CN111245939B - 数据同步方法、装置和系统 - Google Patents
数据同步方法、装置和系统 Download PDFInfo
- Publication number
- CN111245939B CN111245939B CN202010026958.3A CN202010026958A CN111245939B CN 111245939 B CN111245939 B CN 111245939B CN 202010026958 A CN202010026958 A CN 202010026958A CN 111245939 B CN111245939 B CN 111245939B
- Authority
- CN
- China
- Prior art keywords
- service
- data
- server
- management cluster
- connection request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
- H04L67/5682—Policies or rules for updating, deleting or replacing the stored data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据同步方法、装置和系统,涉及计算机技术领域。该方法的一具体实施方式包括:响应于所承载的业务服务生成连接请求,发送连接请求给管理集群;判断连接请求是否属于断链重连类请求,如果是,则响应于所运行的业务服务获取本地缓存数据,并接收管理集群发送的第一数据,以更新本地缓存数据;否则,当接收到管理集群广播时,从管理集群获取第二数据,并将第二数据缓存在本地,以供所运行的业务服务获取。该实施方式使业务服务在断链重连时,仍然能够不间断服务。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据同步方法、装置和系统。
背景技术
在银行业中,很多业务服务是在面向服务的架构(SOA架构)下完成的。即一个业务流程通过链式服务调用,依次调用不同服务方,当最后一个服务方调用成功后,整个业务流程完成。在这个过程中,链上的每一个服务方依赖于上一个服务方的数据,即链式服务上的服务方需要从上一服务方获取数据。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
现有的这种链式服务调用,一旦断链重连情况发生,将导致服务停滞。
发明内容
有鉴于此,本发明实施例提供一种数据同步方法、装置和系统,在断链重连时,仍然能够不间断服务。
为实现上述目的,根据本发明实施例的一个方面,提供了一种数据同步方法,应用于服务端,包括:
响应于所运行的业务服务生成连接请求,发送连接请求给管理集群;
判断连接请求是否属于断链重连类请求,
如果是,则响应于所运行的业务服务获取本地缓存数据,并接收管理集群发送的第一数据,以更新本地缓存数据;
否则,当接收到管理集群广播时,从管理集群获取第二数据,并将第二数据缓存在本地,以供所运行的业务服务获取。
优选地,
上述数据同步方法,进一步包括:解析业务服务中包括的运行标识;
判断连接请求是否属于断链重连类请求,包括:
判断运行标识是否指示首次运行,如果否,则确定业务服务生成的连接请求属于断链重连类请求。
优选地,
上述数据同步方法,进一步包括:发送业务服务的订阅信息给管理集群,以使管理集群管理业务服务的订阅信息;
第二数据,包括:订阅信息包括的服务提供方所提供的数据。
优选地,
上述数据同步方法,进一步包括:
响应于业务服务产生第三数据;
将第三数据发送给管理集群,以触发管理集群广播,使订阅有业务服务的服务调用方获取第三数据。
优选地,
数据同步方法,应用于分布式面向服务的架构中的每一个节点,业务服务位于节点。
根据本发明实施例的第二方面,提供了一种数据同步方法,应用于管理集群,包括:
接收服务端发送的连接请求;
当连接请求属于断链重连类请求时,发送第一数据给服务端,以更新服务端的本地缓存数据;
当连接请求不属于断链重连类请求时,存储并广播接收到的第二数据,以使服务端将获取到的第二数据缓存在本地。
优选地,
上述数据同步方法,进一步包括:
接收服务端发送的服务端运行的业务服务的订阅信息;
管理业务服务的订阅信息;
第二数据,包括:订阅信息包括的服务提供方所提供的数据。
优选地,
上述数据同步方法,进一步包括:
接收服务端发送的业务服务产生的第三数据;
为第三数据发起广播,使订阅有业务服务的服务调用方获取第三数据。
优选地,
管理集群为zookeeper集群。
根据本发明实施例的第三方面,提供了一种服务端,包括:交互单元以及处理单元,其中,
交互单元,用于响应于所运行的业务服务生成连接请求,发送连接请求给管理集群;
处理单元,用于判断交互单元响应的连接请求是否属于断链重连类请求,如果是,则响应于所运行的业务服务获取本地缓存数据;
交互单元,进一步用于接收管理集群发送的第一数据,以更新本地缓存数据;
交互单元,进一步用于当接收到管理集群广播时,从管理集群获取第二数据,并将第二数据缓存在本地,以供所运行的业务服务获取。
根据本发明实施例的第四方面,提供了一种管理集群,包括:多个节点,其中,
每一个节点,用于当接收到服务端发送的连接请求,且连接请求属于断链重连类请求时,将第一数据发送给服务端;
每一个节点,进一步用于当连接请求不属于断链重连类请求时,存储接收到的第二数据,并广播第二数据,以使服务端将获取到的第二数据缓存在本地。
根据本发明实施例的第五方面,提供了一种数据同步系统,包括:多个上述服务端以及管理集群。
上述发明中的一个实施例具有如下优点或有益效果:服务端通过响应于所运行的业务服务生成连接请求,在判断出连接请求属于断链重连的请求,则响应于所运行的业务服务获取本地缓存数据,在接收到管理集群发送的第一数据后,通过该第一数据更新本地缓存数据,而针对于连接请求不属于断链重连请求,在接收到管理集群广播时,从管理集群获取第二数据,并将第二数据缓存在本地,以供所运行的业务服务获取。即当断链重连的状况发生时,业务服务可以获取本地缓存数据继续任务,而在接收到管理集群发送的第一数据后,更新本地缓存数据,该更新的过程并不会对业务服务的运行产生影响,实现了不间断服务。另外,连接请求不属于断链重连类请求时,在从管理集群获取第二数据后,才将该第二数据提供给所运行的业务服务,以保证数据处理的顺序性以及准确性。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的数据同步的方法的主要流程的示意图;
图2是根据本发明实施例的数据同步的方法的主要流程的示意图;
图3是根据本发明实施例的服务调用方、管理集群以及服务提供方之间交互实现数据同步的主要流程的示意图;
图4是根据本发明实施例的服务端的主要单元的示意图;
图5是根据本发明实施例的管理集群的主要设备的示意图;
图6是根据本发明实施例的数据同步系统的主要设备的示意图;
图7是本发明实施例可以应用于其中的示例性系统架构图;
图8是适于用来实现本发明实施例的服务端设备或集群服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
对于链式服务来说,数据处理过程是具有严格顺序的,一旦顺序被打乱将导致处理出错。比如,对于开户交易来说,其需要顺序通过账户检查服务、身份核查服务、客户信息录入服务及银行卡开立服务才能完成开户。又比如,对于快捷支付来说,其需要顺序通过账户检查服务、身份核查服务、银行卡扣款服务、转账服务等才能完成快捷支付。在现有技术中,这些服务间一旦发生断链重连,则会中断服务。
一般来说,如果大批量的断链重连请求同时发生时,更新可能数据传输堵塞,导致服务系统崩溃。而身份核查服务所在服务器的名称、地址信息等公开的信息以及已经处理过的业务所产生的数据是相对固定的,在断链重连后这些数据很多都没有必要更新。基于此,本发明实施例提供一种数据同步方法,以避免大批量的断链重连请求同时发生导致的数据传输堵塞。
本发明实施例提及的业务服务是指为实现/完成某个业务所调用安装于服务端的服务系统如账户检查服务系统、身份核查服务系统等。
断链重连是指属于链式业务处理中的一个业务服务由于系统运行原因或者网络原因等,在与链上的其他业务服务通信中断后又重新建立连接。
图1是根据本发明实施例的一种数据同步方法,应用于服务端。如图1所示,该数据同步方法可包括如下步骤:
S101:响应于所运行的业务服务生成连接请求,发送连接请求给管理集群;
S102:判断连接请求是否属于断链重连类请求,如果是,则执行S103;否则,执行S104;
S103:响应于所运行的业务服务获取本地缓存数据,并接收管理集群发送的第一数据,以更新本地缓存数据,并结束当前流程;
S104:当接收到管理集群广播时,从管理集群获取第二数据,并将第二数据缓存在本地,以供所运行的业务服务获取。
运行的业务服务是指在执行业务相关任务的业务服务系统或业务应用程序,比如在执行账户检查任务的账户检查服务系统或账户检查应用程序。
上述更新本地缓存数据的方式可以为只替换有更改的数据,也可以为全部更新。
在图1所示的实施例中,服务端通过响应于所运行的业务服务生成连接请求,在判断出连接请求属于断链重连的请求,则响应于所运行的业务服务获取本地缓存数据,在接收到管理集群发送的第一数据后,通过该第一数据更新本地缓存数据,而针对于连接请求不属于断链重连请求,在接收到管理集群广播时,从管理集群获取第二数据,并将第二数据缓存在本地,以供所运行的业务服务获取。即在连接请求不属于断链重连类请求时,在从管理集群获取第二数据后,才将该第二数据提供给所运行的业务服务,以保证数据处理的顺序性以及准确性。而当断链重连的状况发生时,业务服务可以获取本地缓存数据继续任务,而在接收到管理集群发送的第一数据后,更新本地缓存数据,该更新的过程并不会对业务服务的运行产生影响,实现了不间断服务。
在本发明实施例中,业务服务在发生断链重连情况时,是由管理集群主动发送第一数据给服务端,服务端才更新本地缓存数据,避免了大量断链重连的服务端同时向管理集群获取数据的情况发生,保证了服务运行的稳定性。
在本发明实施例中,管理集群作为一个中间节点,其可存储各个服务端的基本信息如服务端的名称、地址信息等以及各个服务端产生的业务数据,通过该管理集群向订阅有业务数据的服务端广播,然后服务端从管理集群获取其订阅的业务数据,一方面,该管理集群可根据自己资源使用情况,下发广播,以避免数据传输过程的堵塞;另一方面,通过该管理集群可以对服务端进行管理,同时存储服务端产生的数据,以避免由于服务端故障或服务中断导致的数据丢失。
另外,通过所运行的业务服务获取本地缓存数据,并接收管理集群发送的第一数据,以更新所述本地缓存数据,实现了异步同步数据,使得在断链重连情况下业务不受影响,实现了链式处理流程中各个业务服务非阻塞式业务处理,可以以较小的性能代价实现对数据一致性的保证。
服务端通过扫描业务服务中的各种参数或者运行日志等,即可识别出业务服务的运行情况。而各种运行参数、运行日志中的运行标志等能够指示业务服务是否为初次启动/未处理过数据的标志均可作为运行标识。
在本发明一个实施例中,上述数据同步方法进一步包括:解析业务服务中包括的运行标识;相应地,判断连接请求是否属于断链重连类请求的具体实施方式可包括:判断运行标识是否指示首次运行,如果否,则确定业务服务生成的连接请求属于断链重连类请求。通过该过程能够比较准确的确定出该业务服务是否属于一个链式业务处理流程中,从而保证业务服务处理数据的顺序性。
该首次运行是指该业务服务作为一个链式处理流程的节点还未完成处理业务数据。比如,对于一个新建链式处理流程处理快捷支付的业务数据来说,当快捷支付完成,才能表示该新建链式处理流程建立完成,该链式处理流程中的各个业务服务为非首次运行;当快捷支付过程中数据处理出现问题导致支付未成功,那么该新建链式处理流程未建立完成,该链式处理流程中的各个业务服务仍然为首次运行。
由于在链式处理流程中,一个业务的数据如快捷支付的交易数据,只有从链式处理流程中的起始位置的业务服务开始处理,并顺着链式处理流程传递,直到最后一个业务服务处理完成后,一个业务才处理完成。而对于链式处理流程中的各个业务服务来说,是按照同步方式同步数据,即只有当前业务服务处理完成后,才能将数据传输给当前业务服务对应的下一业务服务,该下一业务服务才处理接收到的数据,同时,只有数据完成链式处理流程,链式处理流程中的各个业务服务才算运行成功。那么,只有在确定出业务服务非首次运行,才能保证业务数据能够完成后续的处理,避免处理故障。
本发明实施例在业务服务出现断链重连时提供一种是否首次判断机制(判断运行标识是否指示首次运行),选择从管理集群同步数据的方式(首次则采用同步同步数据的方式,非首次则采用异步同步数据的方式),同时为了保证异步同步数据的可靠性,从本地缓存获取数据时,确定缓存已存在相应数据信息。
在本发明一个实施例中,上述方法进一步包括:发送业务服务的订阅信息给管理集群,以使管理集群管理业务服务的订阅信息;相应地,第二数据,包括:订阅信息包括的服务提供方所提供的数据。即管理集群集中管理各个服务端中的业务服务的数据,并根据业务服务的订阅信息,当接收到服务提供方提供的数据时,存储并告知订阅有该服务提供方的业务服务,以使业务服务从管理集群获取该第二数据。即管理集群下发数据的过程实际为业务服务从管理集群获取数据,而管理集群广播的仅为一个简短的电子信号,以告知业务服务获取第二数据。
在本发明一个实施例中,可以以注册请求的方式发送上述业务服务的订阅信息给管理集群。另外,该注册请求还可包括有业务服务的基本信息,如地址信息、业务服务名称、特征标识等。以方便管理集群对业务服务的基本信息进行管理。
该服务提供方是指为当前业务服务提供数据的链式处理流程中的当前业务服务对应的上一业务服务。因此,在链式处理流程中,除链末端的业务服务外,其他业务服务均可为对应的下一业务服务的服务提供方。由此可知,该链式处理流程包括的各个业务服务均在管理集群中注册,并以管理集群为中转点,各个业务服务从管理集群获取想要的信息或数据,避免了各个业务服务之间频繁交互引起的业务服务崩溃或链式处理流程断链导致的业务服务停滞。
在本发明一个实施例中,上述数据同步方法,进一步包括:
响应于业务服务产生第三数据;
将第三数据发送给管理集群,以触发管理集群广播,使订阅有业务服务的服务调用方获取第三数据。
该服务调用方是指订阅有该业务服务,从管理集群获取业务服务所产生的数据的服务端或客户端。值得说明的是,该服务调用方与前述的服务提供方是相对的,在一个链式处理流程中,当前业务服务所对应的上一业务服务所在的服务端(为当前业务服务提供数据)为当前业务服务的服务提供方,相应地,当前业务服务所在的服务端为对应的上一业务服务的服务调用方;当前业务服务所在的服务端(为下一业务服务提供数据)为其所对应的下一业务服务的服务提供方,相应地,下一业务服务所在的服务器(为当前业务服务提供数据的业务服务所在的服务端)为当前业务服务的服务调用方。
在本发明一个实施例中,上述数据同步方法应用于分布式面向服务的架构中的每一个节点,业务服务位于节点。该节点即为上述的服务端。实现了管理集群管理分布式面向服务的架构中的每一个节点。该分布式面向服务的架构中的服务事务参与者与服务事务管理器分别位于分布式系统的若干个不同节点上。分布式面向服务的架构完成的分布式事务则为事务参与者与事务管理器分别位于分布式系统的若干个不同节点上的数据库事务。
值得说明的是,服务端的本地缓存数据一般为持久性文件。该本地缓存的持久性文件与管理集群存储数据一致性的保持的实现方式:当服务端与管理集群保持长连接时,服务端能够主动从管理集群获取最新数据至服务调用方本地缓存文件;在服务提供方更新数据信息至管理集群后,接收管理集群的广播,使服务端可以快速得到响应(获知数据已变更,需同步数据)。通过上述过程能够快速获取变更信息,使本地缓存数据可靠。
通过本发明实施例提供的方案,在管理集群无法对外工作的情况下,管理集群无法连接到服务端,链式处理流程中的服务调用方和服务提供方一方面仍可通过利用本地持久化缓存文件中的已有数据进行数据处理,另一方面,服务调用方可通过本地持久化缓存文件中的服务提供方的信息,与服务提供方建立连接,以与服务提供方通信,持续进行数据处理。
由于本地持久化缓存文件中存储有服务提供方和服务调用方的相关信息如ID、地址信息等,在管理集群的Leader服务器出现宕机,管理集群进行新一轮选举期间无法对外服务的情况下,链式处理流程中的服务调用方可优先利用本地持久化缓存文件的已有数据对服务提供方进行无中断访问。
因此,在服务调用方交易量大,时效性比较高的情况下,仍可以保证在服务调用方与管理集群出现断链重连时,非首次连接可以不用通过等待服务调用方从管理集群同步信息后,再与服务提供方进行交易,实现了非阻塞模式。
图2为本发明实施例提供的一种数据同步方法,应用于管理集群。如图2所示,该数据同步方法可包括如下步骤:
S201:接收服务端发送的连接请求;当连接请求属于断链重连类请求时,执行步骤S202;当连接请求不属于断链重连类请求时,执行步骤S203;
S202:发送第一数据给服务端,以更新服务端的本地缓存数据,并结束当前流程;
S203:存储并广播接收到的第二数据,以使服务端将获取到的第二数据缓存在本地。
该管理集群的基本运转流程:选举管理节点/主节点(Leader),该Leader具有最高执行权限;存储及备份数据;对外提供服务。
管理节点/主节点(Leader)是对外接收和发送请求的决策出入口。一个集群只有一个Leader,Leader服务器出现宕机,那么整个集群将暂停对外服务,进入新一轮Leader选举。该管理节点/主节点管理整个集群中的从节点。
在本发明一个实施例中,应用于管理集群中的数据同步方法,可进一步包括:接收服务端发送的服务端运行的业务服务的订阅信息;管理业务服务的订阅信息;第二数据,包括:订阅信息包括的服务提供方所提供的数据。
在本发明一个实施例中,应用于管理集群中的数据同步方法,可进一步包括:接收服务端发送的业务服务产生的第三数据;为第三数据发起广播,使订阅有业务服务的服务调用方获取第三数据。
在本发明一个实施例中,上述管理集群为zookeeper集群。
上述服务端与zookeeper集群通信,实际上为服务端与zookeeper集群中的服务器通信。
以快捷支付为例说明数据同步方法。比如,在分布式面向服务的架构中的节点上部署快捷支付所需的多个业务服务,使该多个业务服务形成链式处理流程(如该链式处理流程可为业务服务1—业务服务2—业务服务3—业务服务4),该业务服务1所在服务端、业务服务2所在服务端、业务服务3所在服务端、业务服务4所在服务端与zookeeper集群建立连接。
各个业务服务向zookeeper集群发送自身的基本信息(如地址信息等)、业务数据以及订阅信息/订阅服务(比如,业务服务2处理的数据来源于业务服务1,则业务服务2订阅业务服务1,业务服务3处理的数据来源于业务服务2,则业务服务3订阅业务服务2等)。
zookeeper集群存储并管理接收到的基本信息(如地址信息等)、业务数据以及订阅信息/订阅服务。zookeeper集群根据订阅信息,进行广播(比如,zookeeper集群在接收到业务服务1的基本信息/业务服务1处理后的业务数据后进行广播,相应地,业务服务2订阅业务服务1,则业务服务2接收到广播会获取业务服务1的基本信息/业务服务1处理后的业务数据)。
各个业务服务将从zookeeper集群获取到的数据/信息缓存在本地永久性文件内。
在业务服务所在的服务端之间断链重连(比如业务服务1与业务服务2断链重连),则业务服务可使用本地缓存的数据以及zookeeper集群为业务服务更新的数据;业务服务所在的服务端与zookeeper集群断链重连,业务服务作为服务调用方可根据本地缓存的信息,与对应的服务提供方建立连接,以从服务提供方获取数据,从而保证数据可以不间断处理,以保证快捷支付能够快速稳定的完成。同时,对于首次连接请求按照同步方式同步数据,解决了由异步同步数据造成的下游消息乱序问题。
为了清楚地说明链式处理流程中的各个业务服务所在的服务端作为服务调用方/服务提供方与管理集群之间的进行数据同步的过程,以图3所述的流程进行详细说明。如图3所示,该数据同步过程可包括如下步骤:
S301:服务调用方响应于所承载的业务服务生成连接请求;
S302:服务调用方发送连接请求给管理集群;
S303:服务调用方判断该连接请求是否属于断链重连类请求,如果是,则执行步骤S304;否则,执行步骤S310;
该步骤S303具体实现方式为解析业务服务中包括的运行标识;判断运行标识是否指示首次运行,如果是,则确定该连接请求不属于断链重连类请求;否则确定连接请求属于断链重连类请求。
步骤S302与步骤S303之间没有严格的先后顺序。值得说明的是,该断链重连请求可以为服务调用方与服务提供方之间断链重连请求,也可以为服务调用方/服务提供方与管理集群之间断链重连请求。
S304:服务调用方响应于所运行的业务服务获取本地缓存数据;
S305:服务调用方根据本地缓存数据,与服务提供方建立连接;
S306:服务调用方从服务提供方获取第一数据;
该步骤S305和步骤S306可以使服务调用方与服务提供方直接通信/保持通信,以使链式处理流程能够持续进行。
S307:服务提供方发送第一数据到管理集群;
S308:在服务调用方与管理集群重新连接后,服务调用方接收管理集群发送的数据;
该步骤的具体过程可为管理集群广播接收到该第一数据,服务调用方在接收到广播后,主动从管理集群中获取该第一数据,该过程为了避免太多的服务调用方从管理集群获取数据,管理集群可设置广播规则,以使多个断链重连的服务调用方能够分批次从管理集群获取第一数据。
S309:服务调用方利用从管理集群获取的数据更新本地缓存数据,并结束当前流程;
步骤S308和步骤S309为重新连接到管理集群后,更新本地缓存。上述步骤S305和步骤S306与步骤S308和步骤S309之间没有严格的先后顺序。
S310:服务调用方确定业务服务的订阅信息;
S311:服务调用方发送业务服务的订阅信息给管理集群;
该订阅信息指示服务调用方订阅的服务提供方的信息。
S312:管理集群接收服务提供方提供的第二数据;
步骤S311与步骤S312之间没有严格的先后顺序。
S313:管理集群根据订阅信息广播接收到的第二数据;
该广播的目的是告知服务调用方可以获取第二数据。
S314:服务调用方接收管理集群广播后,从管理集群获取第二数据;
S315:服务调用方缓存第二数据在本地,以供所运行的业务服务获取。
在上述实施例中,服务调用方与服务提供方是相对的,一个服务端即可作为服务调用方,也可作为服务提供方。
如图4所示,本发明实施例提供一种服务端400,该服务端400包括:交互单元401以及处理单元402,其中,
交互单元401,用于响应于所运行的业务服务生成连接请求,发送连接请求给管理集群500;
处理单元402,用于判断交互单元401响应的连接请求是否属于断链重连类请求,如果是,则响应于所运行的业务服务获取本地缓存数据;
交互单元401,进一步用于接收管理集群500发送的第一数据,以更新本地缓存数据;
交互单元401,进一步用于当接收到管理集群500广播时,从管理集群500获取第二数据,并将第二数据缓存在本地,以供所运行的业务服务获取。
在本发明一个实施例中,处理单元402,进一步用于解析业务服务中包括的运行标识;判断运行标识是否指示首次运行,如果否,则确定业务服务生成的连接请求属于断链重连类请求。
在本发明一个实施例中,交互单元401,进一步用于发送所述业务服务的订阅信息给管理集群,以使管理集群管理业务服务的订阅信息;相应地,交互单元401获取的第二数据,包括:订阅信息包括的服务提供方所提供的数据。
在本发明一个实施例中,处理单元402,进一步用于响应于业务服务产生第三数据;
交互单元401,进一步用于将第三数据发送给管理集群,以触发管理集群广播,使订阅有业务服务的服务调用方获取第三数据。
在本发明一个实施例中,上述服务端400为分布式面向服务的架构中的节点。
如图5所示,本发明实施例提供一种管理集群500,该管理集群500包括:多个节点501、502、503,其中,
每一个节点501、502、503,用于当接收到服务端发送的连接请求,且连接请求属于断链重连类请求时,将第一数据发送给服务端;
每一个节点501、502、503,进一步用于当连接请求不属于断链重连类请求时,存储接收到的第二数据,并广播第二数据,以使服务端将获取到的第二数据缓存在本地。
值得说明的是,上述多个节点501、502、503包含有一个主节点和多个从节点,其中,主节点用于管理多个从节点。其中,主节点是由多个节点501、502、503选举出的,该多个节点501、502、503中的任意一个节点均有成为主节点的可能。
其中,第一数据可以存储在任意一个或多个节点中,比如,节点502存储有第一数据,节点501可从节点502中获取到第一数据,并将该第一数据发送给服务端。
如图6所示,本发明实施例提供一种数据同步系统600,该数据同步系统600包括:多个上述任一服务端400以及上述管理集群500。
图7示出了可以应用本发明实施例的数据同步方法或数据同步系统的示例性系统架构700。
如图7所示,系统架构700可以包括服务端设备701、702、703,网络704和集群服务器705。网络704用以在服务端设备701、702、703和集群服务器705之间提供通信链路的介质。网络704可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用服务端设备701、702、703通过网络704与集群服务器705交互,以接收或发送消息等。服务端设备701、702、703上可以安装有各种业务服务系统/业务服务应用程序,例如客户信息匹配服务系统、客户信息查询服务系统、银行卡转账服务系统(仅为示例)。
服务端设备701、702、703可以是各种类型的服务器,包括但不限于刀片式服务器、塔式服务器、机柜式服务器、UNIX服务器等等。
集群服务器705可以是提供各种服务的服务器,例如对用户利用服务端设备701、702、703所处理业务提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的数据可进行存储、分发以及广播等处理,并将存储的数据(例如服务端的地址信息--仅为示例)反馈给作为服务调用方的服务端设备。
需要说明的是,本发明实施例所提供的数据同步方法一般由服务端设备701、702、703和集群服务器705协同完成。
应该理解,图7中的服务端设备、网络和集群服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的服务端设备、网络和服务器。
下面参考图8,其示出了适于用来实现本发明实施例的服务端设备/集群服务器的计算机系统800的结构示意图。图8示出的服务端设备/集群服务器仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,计算机系统800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中,还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括交互单元和处理单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,交互单元还可以被描述为“发送连接请求给管理集群的单元”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:响应于所承载的业务服务生成连接请求,发送连接请求给管理集群;判断连接请求是否属于断链重连类请求,如果是,则响应于所运行的业务服务获取本地缓存数据,并接收管理集群发送的第一数据,以更新本地缓存数据;否则,当接收到管理集群广播时,从管理集群获取第二数据,并将第二数据缓存在本地,以供所运行的业务服务获取。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:解析业务服务中包括的运行标识;判断运行标识是否指示首次运行,如果否,则确定业务服务生成的连接请求属于断链重连类请求。
上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:发送业务服务的订阅信息给管理集群,以使管理集群管理业务服务的订阅信息。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:接收服务端发送的连接请求;当连接请求属于断链重连类请求时,发送第一数据给服务端,以更新服务端的本地缓存数据;当连接请求不属于断链重连类请求时,存储并广播接收到的第二数据,以使服务端将获取到的第二数据缓存在本地。
根据本发明实施例的技术方案,服务端通过响应于所运行的业务服务生成连接请求,在判断出连接请求属于断链重连的请求,则响应于所运行的业务服务获取本地缓存数据,在接收到管理集群发送的第一数据后,通过该第一数据更新本地缓存数据,而针对于连接请求不属于断链重连请求,在接收到管理集群广播时,从管理集群获取第二数据,并将第二数据缓存在本地,以供所运行的业务服务获取。即在连接请求不属于断链重连类请求时,在从管理集群获取第二数据后,才将该第二数据提供给所运行的业务服务,以保证数据处理的顺序性以及准确性。而当断链重连的状况发生时,业务服务可以获取本地缓存数据继续任务,而在接收到管理集群发送的第一数据后,更新本地缓存数据,该更新的过程并不会对业务服务的运行产生影响,实现了不间断服务。
根据本发明实施例的技术方案,在服务端与管理集群首次建立连接时,采用同步方式同步数据,以保证链式处理流程的处理顺序;在服务端与管理集群非首次建立连接时,采用异步方式同步数据,服务端可以不停止服务,以有效的提高数据处理的效率。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (12)
1.一种数据同步方法,其特征在于,应用于服务端,包括:
响应于所承载的业务服务生成连接请求,发送所述连接请求给管理集群,所述业务服务位于所述服务端;
判断所述连接请求是否属于断链重连类请求,其中,所述断链重连是指属于链式业务处理中的一个业务服务与链上的其他业务服务通信中断后又重新建立连接,
如果是,则响应于所运行的业务服务获取本地缓存数据,并接收所述管理集群发送的第一数据,以更新所述本地缓存数据;
否则,当接收到所述管理集群广播时,从所述管理集群获取第二数据,并将所述第二数据缓存在本地,以供所运行的业务服务获取。
2.根据权利要求1所述的数据同步方法,其特征在于,
进一步包括:解析所述业务服务中包括的运行标识;
所述判断所述连接请求是否属于断链重连类请求,包括:
判断所述运行标识是否指示首次运行,如果否,则确定业务服务生成的所述连接请求属于断链重连类请求。
3.根据权利要求1所述的数据同步方法,其特征在于,
进一步包括:发送所述业务服务的订阅信息给所述管理集群,以使所述管理集群管理所述业务服务的订阅信息;
所述第二数据,包括:所述订阅信息包括的服务提供方所提供的数据。
4.根据权利要求2所述的数据同步方法,其特征在于,进一步包括:
响应于所述业务服务产生第三数据;
将所述第三数据发送给所述管理集群,以触发所述管理集群广播,使订阅有所述业务服务的服务调用方获取所述第三数据。
5.一种数据同步方法,其特征在于,应用于管理集群,包括:
接收服务端发送的连接请求,所述服务端设置有业务服务;
当所述连接请求属于断链重连类请求时,发送第一数据给所述服务端,以更新所述服务端的本地缓存数据;
当所述连接请求不属于断链重连类请求时,存储并广播接收到的第二数据,以使所述服务端将获取到的所述第二数据缓存在本地,以供所述业务服务获取;
所述断链重连是指属于链式业务处理中的一个业务服务与链上的其他业务服务通信中断后又重新建立连接。
6.根据权利要求5所述的数据同步方法,其特征在于,进一步包括:
接收所述服务端发送的所述服务端运行的业务服务的订阅信息;
管理所述业务服务的订阅信息;
所述第二数据,包括:所述订阅信息包括的服务提供方所提供的数据。
7.根据权利要求6所述的数据同步方法,其特征在于,进一步包括:
接收所述服务端发送的所述业务服务产生的第三数据;
为所述第三数据发起广播,使订阅有所述业务服务的服务调用方获取所述第三数据。
8.一种服务端,其特征在于,包括:交互单元以及处理单元,其中,
所述交互单元,用于响应于所运行的业务服务生成连接请求,发送所述连接请求给管理集群,所述业务服务位于所述服务端;
所述处理单元,用于判断所述交互单元响应的所述连接请求是否属于断链重连类请求,如果是,则响应于所运行的业务服务获取本地缓存数据;
所述交互单元,进一步用于接收所述管理集群发送的第一数据,以更新所述本地缓存数据;
所述交互单元,进一步用于当接收到所述管理集群广播时,从所述管理集群获取第二数据,并将所述第二数据缓存在本地,以供所运行的业务服务获取;
所述断链重连是指属于链式业务处理中的一个业务服务与链上的其他业务服务通信中断后又重新建立连接。
9.一种管理集群,其特征在于,包括:多个节点,其中,
每一个所述节点,用于当接收到服务端发送的连接请求,且所述连接请求属于断链重连类请求时,将第一数据发送给所述服务端;
每一个所述节点,进一步用于当所述连接请求不属于断链重连类请求时,存储接收到的第二数据,并广播所述第二数据,以使所述服务端将获取到的所述第二数据缓存在本地;
所述断链重连是指属于链式业务处理中的一个业务服务与链上的其他业务服务通信中断后又重新建立连接。
10.一种数据同步系统,其特征在于,包括:多个权利要求8所述的服务端以及权利要求9所述的管理集群。
11.一种数据同步服务端,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
12.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010026958.3A CN111245939B (zh) | 2020-01-10 | 2020-01-10 | 数据同步方法、装置和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010026958.3A CN111245939B (zh) | 2020-01-10 | 2020-01-10 | 数据同步方法、装置和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111245939A CN111245939A (zh) | 2020-06-05 |
CN111245939B true CN111245939B (zh) | 2022-07-29 |
Family
ID=70872402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010026958.3A Active CN111245939B (zh) | 2020-01-10 | 2020-01-10 | 数据同步方法、装置和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111245939B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112596952B (zh) * | 2020-12-25 | 2022-07-12 | 苏州浪潮智能科技有限公司 | 一种集群数据处理方法、系统、设备以及介质 |
CN116777568A (zh) * | 2023-08-17 | 2023-09-19 | 浙江网新恒天软件有限公司 | 金融市场交易事前智能对话下单方法、装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103281346A (zh) * | 2013-03-06 | 2013-09-04 | 起于凡信息技术(上海)有限公司 | 断线重连方法、网络系统和代理服务器 |
CN103516587A (zh) * | 2012-06-30 | 2014-01-15 | 北京神州泰岳软件股份有限公司 | 即时通信客户端断线重连的方法和装置 |
CN106713506A (zh) * | 2017-02-22 | 2017-05-24 | 郑州云海信息技术有限公司 | 一种数据获取方法及系统 |
CN109621409A (zh) * | 2018-12-14 | 2019-04-16 | 网易(杭州)网络有限公司 | 游戏中断线重连的方法、装置、存储介质及电子设备 |
CN110507988A (zh) * | 2019-08-12 | 2019-11-29 | 广州小丑鱼信息科技有限公司 | 一种游戏断线自动重连方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101123490B (zh) * | 2007-09-21 | 2012-05-30 | 北京意科通信技术有限责任公司 | 用消息服务机制实现不同服务器间发收同步数据的方法 |
US8473582B2 (en) * | 2009-12-16 | 2013-06-25 | International Business Machines Corporation | Disconnected file operations in a scalable multi-node file system cache for a remote cluster file system |
US20120124298A1 (en) * | 2010-11-17 | 2012-05-17 | International Business Machines Corporation | Local synchronization in a memory hierarchy |
WO2015073006A1 (en) * | 2013-11-14 | 2015-05-21 | Empire Technology Development Llc | Data synchronization |
CN105635116B (zh) * | 2015-12-18 | 2019-02-12 | 网易(杭州)网络有限公司 | 断线重连方法、装置及系统 |
CN110460637B (zh) * | 2019-07-11 | 2022-03-18 | 贵阳语玩科技有限公司 | 一种提高用户体验的聊天室掉线的处理方法和系统 |
-
2020
- 2020-01-10 CN CN202010026958.3A patent/CN111245939B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103516587A (zh) * | 2012-06-30 | 2014-01-15 | 北京神州泰岳软件股份有限公司 | 即时通信客户端断线重连的方法和装置 |
CN103281346A (zh) * | 2013-03-06 | 2013-09-04 | 起于凡信息技术(上海)有限公司 | 断线重连方法、网络系统和代理服务器 |
CN106713506A (zh) * | 2017-02-22 | 2017-05-24 | 郑州云海信息技术有限公司 | 一种数据获取方法及系统 |
CN109621409A (zh) * | 2018-12-14 | 2019-04-16 | 网易(杭州)网络有限公司 | 游戏中断线重连的方法、装置、存储介质及电子设备 |
CN110507988A (zh) * | 2019-08-12 | 2019-11-29 | 广州小丑鱼信息科技有限公司 | 一种游戏断线自动重连方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111245939A (zh) | 2020-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107295080B (zh) | 应用于分布式服务器集群的数据存储方法和服务器 | |
CN111277639B (zh) | 一种保持数据一致性的方法和装置 | |
CN110120961B (zh) | 一种分布式服务集群及其路由同步的方法 | |
CN112118315A (zh) | 数据处理系统、方法、装置、电子设备和存储介质 | |
CN109783151B (zh) | 规则变更的方法和装置 | |
CN115004673A (zh) | 消息推送方法、装置、电子设备及计算机可读介质 | |
CN111245939B (zh) | 数据同步方法、装置和系统 | |
CN111478781B (zh) | 一种消息广播的方法和装置 | |
CN111597033A (zh) | 一种任务调度方法和装置 | |
CN110019158A (zh) | 一种监控数据质量的方法和装置 | |
CN113179324A (zh) | 一种区块链节点及其执行的业务处理方法 | |
CN111092934B (zh) | 更新客户端路由的方法、存储介质 | |
US20150032710A1 (en) | Method Of Communicating Changes In A Main Database To A Client Application | |
CN112988800B (zh) | 一种基于分布式环境的数据处理方法和装置 | |
CN108874531A (zh) | 用于熔断服务的方法、装置、系统及电子设备 | |
CN113079098B (zh) | 路由更新的方法、装置、设备和计算机可读介质 | |
CN110798495A (zh) | 用于在集群架构模式下端到端的消息推送的方法和服务器 | |
CN112860505A (zh) | 一种分布式集群的调控方法及装置 | |
CN113486032B (zh) | 日期切换方法、装置、电子设备以及计算机可读介质 | |
CN113783826B (zh) | 一种微服务异常处理方法和装置 | |
CN115629909A (zh) | 业务数据处理的方法、装置、电子设备和存储介质 | |
CN114968636A (zh) | 一种故障处理的方法和装置 | |
CN110661857B (zh) | 一种数据同步方法和装置 | |
CN110324425B (zh) | 混合云交易路由处理方法及装置 | |
CN115827174B (zh) | 一种基于多实例的任务处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220922 Address after: 25 Financial Street, Xicheng District, Beijing 100033 Patentee after: CHINA CONSTRUCTION BANK Corp. Address before: 25 Financial Street, Xicheng District, Beijing 100033 Patentee before: CHINA CONSTRUCTION BANK Corp. Patentee before: Jianxin Financial Science and Technology Co.,Ltd. |
|
TR01 | Transfer of patent right |