CN111651522B - 一种数据同步方法及装置 - Google Patents
一种数据同步方法及装置 Download PDFInfo
- Publication number
- CN111651522B CN111651522B CN202010464247.4A CN202010464247A CN111651522B CN 111651522 B CN111651522 B CN 111651522B CN 202010464247 A CN202010464247 A CN 202010464247A CN 111651522 B CN111651522 B CN 111651522B
- Authority
- CN
- China
- Prior art keywords
- data
- business
- service
- service system
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/275—Synchronous replication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multi Processors (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种数据同步方法及装置,用以解决业务系统中数据同步效率低下的问题。该方法应用于核心服务系统,所述核心服务系统与外围服务系统通信,所述外围服务系统用于执行业务流程,所述业务流程包括至少一个业务流程节点,所述方法包括:获取所述至少一个业务流程节点中每个业务流程节点的业务数据;将所述每个业务流程节点的业务数据存储在数据状态池;基于所述数据状态池中的数据进行数据同步。通过这种方法可以对业务流程中的每个业务流程节点的数据都进行实时采集、实时同步,而不需要等业务流程中所有业务流程节点都执行结束才对数据进行同步,提高了业务系统数据同步的效率。
Description
技术领域
本申请实施例涉及通信技术领域,尤其涉及一种数据同步方法及装置。
背景技术
随着互联网技术的发展,一个业务系统中往往会产生大量数据,如何将外围服务系统中用户操作产生的大量数据同步到核心服务系统是当前需解决的问题。
现有技术中,业务系统对外围服务系统中的数据进行同步的过程是,外围服务系统执行完用户请求的业务流程结束后,才对外围服务系统产生的数据进行采集,把业务数据放到中间数据库,核心服务系统通过中间数据库进行数据同步。但是,通常一个业务流程中包括多个业务流程节点,目前的这种方法中,只是在整个业务流程结束之后,才进行数据同步,存在较大时延,效率较低。
发明内容
本申请实施例提供一种数据同步方法及装置,用以外围服务系统中的当前执行的业务流程节点中产生的数据进行实时数据同步,进而提高了业务系统中系统数据同步效率。
第一方面,本申请实施例提供一种数据同步方法,应用于核心服务系统,所述核心服务系统与外围服务系统通信,所述外围服务系统用于执行业务流程,所述业务流程包括至少一个业务流程节点,所述方法包括:
获取所述至少一个业务流程节点中每个业务流程节点的业务数据,所述每个业务流程节点的业务数据中携带用于区分数据类别的标识;
根据所述标识,在所述数据状态池中确定与所述标识对应的消息队列MQ;
将所述每个业务流程节点的业务数据存储到所述MQ中;
基于所述MQ中的数据进行数据同步。
可选的,所述标识是所述业务数据携带的省份标识、业务数据流水标识、业务流程节点标识中的一种或多种。
可选的,将所述每个业务流程节点的业务数据存储到所述MQ中之前,所述方法还包括:
判断所述每个业务流程节点的业务数据量是否超出所述MQ的预设值;
所述将所述每个业务流程节点的业务数据存储到所述MQ中,包括:
当所述每个业务流程节点的业务数据量未超出所述MQ的预设值时,将所述每个业务流程节点的业务数据存储到所述MQ中。
可选的,所述方法还包括:若所述每个业务流程节点的业务数据量超出所述MQ的预设值,根据预设规则对所述标识进行计算,确定所述数据状态池中的备用MQ;
将所述每个业务流程节点的业务数据存储到所述备用MQ中。
可选的,根据预设规则对所述标识进行计算,确定备用MQ,包括:
根据以下公式确定所述备用MQ编号:
y=m mod N;
其中,所述y是所述备用MQ编号,所述m为所述标识,所述N为所述备用MQ的总数;
根据所述备用MQ编号,确定对应的备用MQ。
可选的,所述方法还包括:
生成业务流程图,所述业务流程图中包括所述每个业务流程节点对应的业务流程节点标识。
可选的,所述基于所述MQ中的数据进行数据同步,包括:
判断所述MQ中的数据与获取到的所述至少一个业务流程节点的业务数据是否对账成功;
若对账成功,将所述MQ中的数据同步到所述核心服务系统。
第二方面,本申请实施例提供一种数据同步装置,应用于核心服务系统,所述核心服务系统与外围服务系统通信,所述外围服务系统用于执行业务流程,所述业务流程包括至少一个业务流程节点,所述装置包括:
获取模块,用于获取所述至少一个业务流程节点中每个业务流程节点的业务数据,所述每个业务流程节点的业务数据中携带用于区分数据类别的标识;
处理模块,用于根据所述标识,在所述数据状态池中确定与所述标识对应的消息队列MQ;
所述处理模块,还用于将所述每个业务流程节点的业务数据存储到所述MQ中;
所述处理模块,还用于基于所述MQ中的数据进行数据同步。
可选的,所述标识是所述业务数据携带的省份标识、业务数据流水标识、业务流程节点标识中的一种或多种。
可选的,在所述处理模块将所述每个业务流程节点的业务数据存储到所述MQ中之前,所述处理模块还用于:
判断所述每个业务流程节点的业务数据量是否超出所述MQ的预设值;
所述将所述每个业务流程节点的业务数据存储到所述MQ中,包括:
当所述每个业务流程节点的业务数据量未超出所述MQ的预设值时,将所述每个业务流程节点的业务数据存储到所述MQ中。
可选的,所述处理模块还用于:当所述每个业务流程节点的业务数据量超出所述MQ的预设值,根据预设规则对所述标识进行计算,确定所述数据状态池中的备用MQ;
将所述每个业务流程节点的业务数据存储到所述备用MQ中。
可选的,所述处理模块在用于根据预设规则对所述标识进行计算,确定备用MQ时,具体用于:
根据以下公式确定所述备用MQ编号:
y=m mod N;
其中,所述y是所述备用MQ编号,所述m为所述标识,所述N为所述备用MQ的总数;
根据所述备用MQ编号,确定对应的备用MQ。
可选的,所述处理模块还用于:
生成业务流程图,所述业务流程图中包括所述每个业务流程节点对应的业务流程节点标识。
可选的,所述处理模块在用于基于所述MQ中的数据进行数据同步,具体用于:
判断所述MQ中的数据与获取到的所述至少一个业务流程节点的业务数据是否对账成功;
若对账成功,将所述MQ中的数据同步到所述核心服务系统。
第三方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被计算机执行时,使所述计算机执行如上述第一方面提供的数据同步方法的一个或多个步骤。
第四方面,本申请实施例提供一种程序产品,所述程序产品包括程序指令,所述程序指令当被计算机执行时,使所述计算机执行如上述第一方面提供的数据同步方法的一个或多个步骤。
本申请提供了一种数据同步方法,应用于核心服务系统,所述核心服务系统与外围服务系统通信,所述外围服务系统用于执行业务流程,所述业务流程包括至少一个业务流程节点,所述方法包括:获取所述至少一个业务流程节点中每个业务流程节点的业务数据,所述每个业务流程节点的业务数据中携带用于区分数据类别的标识;根据所述标识,在所述数据状态池中确定与所述标识对应的消息队列MQ;将所述每个业务流程节点的业务数据存储到所述MQ中;基于所述MQ中的数据进行数据同步。通过这种方法可以对业务流程中的每个业务流程节点的数据都进行实时采集、实时同步,而不需要等业务流程中所有业务流程节点都执行结束才对数据进行同步,提高了业务系统数据同步的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例适用的业务场景架构示意图;
图2为现有技术中数据同步方法流程示意图;
图3为本申请实施例提供的数据同步方法流程示意图之一;
图4为本申请实施例提供的数据同步方法流程示意图之二;
图5为本申请实施例提供的数据同步装置的结构示意图;
图6为本申请实施例提供的电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
随着互联网技术的发展,一个业务系统中往往会产生大量数据,如何将客服端中用户操作产生的大量数据同步到外围服务系统是当前需解决的问题。
请参见图1,图1为本申请实施例适用的业务场景架构示意图;如图1所示,该架构中包括服务器101,服务器101通过网络102与多个客户端设备通信。所述网络可以是无线通信网络,也可以是有线通信网络。
所述客户端设备可包括无线通信设备,比如手机、平板电脑、穿戴设备等,所述客户端设备也可以是个人计算机、笔记本电脑等。比如,图中示出的客户端设备包括:为手机的客户端设备103和客户端设备104、为平板电脑的客户端设备105、为笔记本电脑的客户端设备106、为计算机的客户端设备107。
所述服务器101可以是采用云计算技术的服务器或服务器集群。服务器101能够提供网络存储功能。
在实际应用中,以保险业务系统为例,假设全国多个省份的多个用户分别利用客户端设备103、客户端设备104、客户端设备105、客户端设备106、客户端设备107通过保险业务系统同时购买了一项保险业务,就购买保险业务这个业务流程而言,当前执行的用户对其进行操作都会产生相关的数据,由于大量用户同时操作就产生了大量数据,服务器101通过网络102接收到数据之后,需要将这些数据同步到服务器101的内部存储结构。
请参见图2,图2为现有技术中数据同步方法流程示意图;在现有技术中,业务系统对用户在外围服务系统中产生的数据进行同步往往是设置一个中间数据库,在客户端通过外围服务系统执行完用户请求的业务流程操作结束后把数据放到中间数据库,核心服务系统通过中间数据库进行数据同步。
应理解,本申请的外围服务系统可以理解为银行业务系统或者保险服务系统,核心服务系统可以理解为企业内部的数据管理系统。
首先,现有技术中,只当整个业务流程结束,即业务流程中的所有业务流程节点都执行结束之后,才对外围服务系统产生的数据进行采集,把业务数据放到中间数据库,核心服务系统通过中间数据库进行数据同步;一方面,当外围服务系统产生的业务数据的数据量过大时容易造成数据积压,另一方面,由于核心服务系统只能在整个业务流程结束之后,才进行同步数据,等待时延较大,以至于效率较低。
此外,由于核心服务系统只在整个业务流程结束之后进行数据同步,导致整个业务流程中各个业务流程节点的数据流向不清楚。
因此,本申请提供了一种数据同步方法,用以解决现有技术中数据同步效率低下的问题。请参见图3,图3为本申请实施例提供的数据同步方法流程示意图之一;如图3所示,本申请提供的数据同步方法中,核心服务系统对外围服务系统中的某项业务的所有业务流程节点都进行标准化输出埋点,实时获取节点数据,并将当前执行的节点产生的数据实时发送到对应的数据状态池中,进一步将数据同步到核心服务系统。通过图3所示方法,核心服务系统还可实现对同步后的数据进行对账,保证了数据的可靠性。
本申请提供的一种数据同步方法,详细的方法流程请参见图4,图4为本申请实施例提供的数据同步方法流程示意图之二;该方法流程主要包括以下步骤:
401:对业务流程中的当前执行的流程节点进行埋点。
应理解,为了能够实时获取业务流程中当前执行的节点产生的数据,故核心服务系统对外围服务系统中当前执行的流程节点进行标准化输出埋点,至于埋点的方式本申请实施例不做具体的限定。
402:执行业务流程。
示例性的,在用户通过外围服务系统发起业务流程之前,核心服务系统就已对业务流程在的业务流程节点埋点好了,外围服务系统执行业务流程。
403:采集业务流程中当前执行的业务流程节点的数据。
示例性的,对外围服务系统埋点之后,外围服务系统中的数据获取插件自动采集当前执行的业务流程节点产生的数据。
404:根据数据标识发送数据。
应理解,所述数据标识可以是数据携带的省份标识,也可以是省份标识与数据流水标识的组合,也可以是业务流程节点标识、省份标识、数据流水号的组合,本申请不作具体的限定。
示例性的,外围服务系统根据数据所携带的标识信息将数据发送到核心服务系统的数据状态池中。
405:确定采集的数据对应的MQ。
示例性的,业务流程中的当前执行的业务流程节点配置了一个数据状态池,数据状态池是多个消息队列MQ的集群,核心服务系统接收到外围服务系统的采集当前执行的业务流程节点产生的数据之后,核心服务系统需要把数据存储到数据状态池中对应的MQ队列。
应理解,所述当前执行的业务流程节点的数据中携带用于区分数据类别的标识;核心服务系统根据所述标识,在所述数据状态池中确定与所述标识对应的消息队列MQ;核心服务系统将所述当前执行的业务流程节点的数据存储到所述MQ中,以使所述MQ对应的消费端根据所述当前执行的业务流程节点的数据进行数据同步。
通过上述方法,可以对业务数据进行分类同步,使得后期数据对账更为便捷。
可选的,核心服务系统将所述当前执行的业务流程节点的数据存储到所述MQ中之前,还包括:判断所述MQ中的数据量是否超出预设值;若所述MQ中的数据量超出预设值,核心服务系统根据预设规则对所述标识进行计算,确定备用MQ;核心服务系统将所述当前执行的业务流程节点的数据存储到所述备用MQ中,以使所述备用MQ对应的消费端根据所述当前执行的业务流程节点的数据进行数据同步。
示例性的,以保险业务系统为例,假设全国多个省份的多个用户在同一时刻购买了同一项保险服务,产生了大量数据,而且每一个省份数据量均不相同。每条数据中均包含省份标识;预设存储规则为将一个省份的数据存储在一个MQ中,在存储之前核心服务系统需要先判断是否存在某个省份的数据总量超出了原MQ预设的数据标准量;若该省份的数据量超出了MQ的预设标准量,核心服务系统获取该省份的标识,通过设定的算法确定该省份数据该发往哪个备用的MQ。
可选的,核心服务系统根据预设规则对所述标识进行计算,确定备用MQ,包括:
根据以下公式确定所述备用MQ编号:
y=m mod N;
其中,所述y是所述备用MQ编号,所述m为所述标识,所述N为备用MQ总数;核心服务系统根据所述备用MQ编号,确定对应的所述备用MQ。
示例性的,核心服务系统确定备用MQ编号的过程如下:
外围服务系统的数据获取插件进行数据采集时就已经获取到数据的省份标识以及数据流水号,当核心服务系统监控到来源省份数据量超标时则通过省份标识以及数据流水号进行规则计算判断出应该分发到哪一个MQ队列。假设,省份及数据流水号标识为325100002019101710225,备用MQ队列总数为155,则通过省份及数据流水号标识除以备用MQ队列总数取余,余数多少则分发到对应备用标号MQ队列。
406:将数据存储在业务流程节点对应的数据状态池。
示例性的,核心服务系统根据数据中携带的省份标识,将数据存储到数据状态池中对应的MQ中。
407:对数据进行同步。
应理解,核心服务系统对数据状态池中的数据进行同步,实质上是数据状态池中的消费端将数据同步到核心服务系统内部存储结构。
408:对数据进行对账。
应理解,在核心服务系统对数据进行同步之后,还需要对数据进行对账,以免造成数据损失,若已同步数据与外围服务系统实际产生的数据出现偏差,则对偏差的数据部分进行再次同步。
可选的,在核心服务系统根据所述数据状态池中的数据进行数据同步之后,还包括:判断已同步数据与采集数据是否有一致,若不一致,输出报警消息;若一致,判断所述已同步数据中是否存在携带第一标识的数据与所述采集数据中携带第一标识的数据不一致;若不一致,对所述携带第一标识的数据进行再次同步。
示例性的,以保险业务系统为例,假设核心服务系统对数据进行同步之后,次日业务系统自动会对前一日业务系统产生的所有数据进行对账;系统对账包括多个过程:首先,核心服务系统核对已同步数据中的数据总量即订单总数量及订单产生的总金额与业务流程节点中产生的数据是否一致,若不一致,核心服务系统的报警模块进行报警,核心服务系统:再次进行数据同步;若核心服务系统内部存储的数据总量即订单总数量及订单产生的总金额与业务流程节点中产生的数据一致,核心服务系统核对已同步数据中各省份总数量、总金额与业务流程节点的数据是否一致,对于不符合的省份数据,核心服务系统对不符合的省份数据中的数据流水号按快速排序算法,判断出是哪些数据未同步成功。核心服务系统取出这些数据的省份标识及数据流水号,核心服务系统这些数据再次做同步处理。
可选的,外围服务系统还可以生成业务流程图,所述业务流程图中包括所述业务流程中当前执行的业务流程节点对应的流程节点标识,用户根据业务流程图可以清楚地知道该业务流程处于哪个节点,实时跟踪数据流向。
下面介绍具体的实施例。
以保险业务系统为例,假设保险业务系统的业务流程中的当前执行的节点配置了一个数据状态池,一个数据状态池中的MQ队列的数据量为34,备用MQ队列数量为35,MQ队列能容纳的数据量小于备用MQ队列能容纳的数据量。为了能够实时获取业务流程中当前执行的节点产生的数据,对当前执行的流程节点进行标准化输出埋点。在核心服务系统对外围服务系统中的业务流程节点埋点之后,外围服务系统中的数据获取插件采集当前执行的节点产生的数据,外围服务系统中的数据获取插件采集当前执行的节点产生的数据之后,自动上报给核心服务系统。
假设全国多个省份的多个用户在同一时刻购买了同一项保险服务,产生了大量数据,而且每一个省份数据量均不相同。每条数据中均包含省份标识;预设存储规则为将一个省份的数据存储在一个MQ中,在存储之前核心服务系统需要先判断是否存在某个省份的数据总量超出了原MQ预设的数据标准量;若该省份的数据量超出了MQ的预设标准量,核心服务系统获取该省份的标识,通过设定的算法确定该省份数据该发往哪个备用的MQ。外围服务系统的数据获取插件进行数据采集时就已经获取到数据的省份标识以及数据流水号,当核心服务系统监控到来源省份数据量超标时,则通过省份标识进行规则计算判断出应该分发到哪一个MQ队列。假设省份标识为32510000,备用MQ队列总数为35,核心服务系统则通过省份标识除以备用MQ队列总数取余,余数多少则分发到对应备用标号MQ队列。外围服务系统根据数据所携带的标识信息将数据发送到核心服务系统的数据状态池中。核心服务系统根据数据中携带的省份标识,将数据存储到数据状态池中对应的MQ中。核心服务系统对各个MQ中的数据进行一一同步。
在数据同步之前,核心服务系统还可以生成业务流程图,所述业务流程图中包括所述业务流程中当前执行的业务流程节点对应的流程节点标识,运维人员根据业务流程图可以清楚地知道该业务流程处于哪个节点,实时跟踪数据流向,在业务流程问题时,可以及时定位维护。
在核心服务系统对数据进行同步之后,还需要对数据进行对账,以免造成数据损失,若已同步数据与外围服务系统实际产生的数据出现偏差,则对偏差的数据部分进行再次同步。假设核心服务系统对数据进行同步之后,次日核心服务系统自动会对前一日业务系统产生的所有数据进行对账;核心服务系统对账包括多个过程,首先,核心服务系统核对已同步数据中的数据总量即订单总数量及订单产生的总金额与外围服务系统的业务流程节点中产生的数据是否一致,若不一致,核心服务系统的报警模块进行报警,业务系统的核心服务系统再次进行数据同步;若服务器内部存储的数据总量即订单总数量及订单产生的总金额与业务流程节点中产生的数据一致,核心服务系统核对已同步数据中各省份总数量、总金额与业务流程节点的数据是否一致,对于不符合的省份数据,对不符合的省份数据中的数据流水号按快速排序算法,判断出是哪些数据未同步成功。取出这些数据的省份标识及数据流水号,核心服务系统自动对这些数据再次做同步处理。
基于同一发明构思下,本发明实施例提供了一种数据同步装置,应用于核心服务系统,所述核心服务系统与外围服务系统通信,所述外围服务系统用于执行业务流程,所述业务流程包括至少一个业务流程节点。请参考图5所示,图5为本申请实施例提供的数据同步装置的结构示意图,该装置包括:
获取模块501,用于获取所述至少一个业务流程节点中每个业务流程节点的业务数据;,所述每个业务流程节点的业务数据中携带用于区分数据类别的标识;
处理模块502,用于根据所述标识,在所述数据状态池中确定与所述标识对应的消息队列MQ;
所述处理模块502,还用于将所述每个业务流程节点的业务数据存储到所述MQ中;
所述处理模块502,还用于基于所述MQ中的数据进行数据同步。
可选的,在所述处理模块502将所述每个业务流程节点的业务数据存储到所述MQ中之前,所述处理模块还用于:
判断所述每个业务流程节点的业务数据量是否超出所述MQ的预设值;
所述将所述每个业务流程节点的业务数据存储到所述MQ中,包括:
当所述每个业务流程节点的业务数据量未超出所述MQ的预设值时,将所述每个业务流程节点的业务数据存储到所述MQ中。
可选的,所述处理模块502还用于:当所述每个业务流程节点的业务数据量超出所述MQ的预设值,根据预设规则对所述标识进行计算,确定所述数据状态池中的备用MQ;将所述每个业务流程节点的业务数据存储到所述备用MQ中。
可选的,所述处理模块502在用于根据预设规则对所述标识进行计算,确定备用MQ时,具体用于:
根据以下公式确定所述备用MQ编号:
y=m mod N;
其中,所述y是所述备用MQ编号,所述m为所述标识,所述N为所述备用MQ的总数;
根据所述备用MQ编号,确定对应的备用MQ。
可选的,所述处理模块502还用于:
生成业务流程图,所述业务流程图中包括所述每个业务流程节点对应的业务流程节点标识。
可选的,所述处理模块502在用于基于所述MQ中的数据进行数据同步,具体用于:
判断所述MQ中的数据与获取到的所述至少一个业务流程节点的业务数据是否对账成功;若对账成功,将所述MQ中的数据同步到所述核心服务系统。
基于同一发明构思,本申请实施例提供一种设置有数据同步功能的电子设备,请参见图6所述,图6为本申请实施例提供的电子设备的结构示意图。该设置有数据同步功能的电子设备包括至少一个处理器602,以及与至少一个处理器连接的存储器601,本申请实施例中不限定处理器602与存储器601之间的具体连接介质,图6是以处理器602和存储器601之间通过总线600连接为例,总线600在图6中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不以此为限。总线600可以分为地址总线、数据总线、控制总线等,为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
在本申请实施例中,存储器601存储有可被至少一个处理器602执行的指令,至少一个处理器602通过调用存储器601存储的指令,可以执行前述的数据同步的方法中所包括的步骤。
其中,处理器602是设置有数据同步功能的电子设备的控制中心,可以利用各种接口和线路连接整个设置有数据同步功能的电子设备的各个部分,通过执行存储在存储器601内的指令,从而实现设置有数据同步功能的电子设备的各种功能。可选的,处理器602可包括一个或多个处理单元,处理器602可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器602中。在一些实施例中,处理器602和存储器601可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
存储器601作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器601可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器601是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器601还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
处理器602可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的数据同步的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
通过对处理器602进行设计编程,可以将前述实施例中介绍的数据同步的方法所对应的代码固化到芯片内,从而使芯片在运行时能够执行前述的数据同步的方法的步骤,如何对处理器602进行设计编程为本领域技术人员所公知的技术,这里不再赘述。
基于同一发明构思,本申请实施例还提供一种存储介质,该存储介质存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行如前述的数据同步的方法的步骤。
在一些可能的实施方式中,本申请提供的数据同步的方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在业务系统上运行时,程序代码用于业务系统执行本说明书上述描述的根据本申请各种示例性实施方式的数据同步的方法中的步骤。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种数据同步方法,其特征在于,应用于核心服务系统,所述核心服务系统与外围服务系统通信,所述外围服务系统用于执行业务流程,所述业务流程包括至少一个业务流程节点,所述方法包括:
获取所述至少一个业务流程节点中每个业务流程节点的业务数据,所述每个业务流程节点的业务数据中携带用于区分数据类别的标识;
根据所述标识,在数据状态池中确定与所述标识对应的消息队列MQ;
将所述每个业务流程节点的业务数据存储到所述MQ中;
基于所述MQ中的数据进行数据同步。
2.如权利要求1所述的方法,其特征在于,所述标识是所述业务数据携带的省份标识、业务数据流水标识、业务流程节点标识中的一种或多种。
3.如权利要求1所述的方法,其特征在于,将所述每个业务流程节点的业务数据存储到所述MQ中之前,所述方法还包括:
判断所述每个业务流程节点的业务数据量是否超出所述MQ的预设值;
所述将所述每个业务流程节点的业务数据存储到所述MQ中,包括:
当所述每个业务流程节点的业务数据量未超出所述MQ的预设值时,将所述每个业务流程节点的业务数据存储到所述MQ中。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
若所述每个业务流程节点的业务数据量超出所述MQ的预设值,根据预设规则对所述标识进行计算,确定所述数据状态池中的备用MQ;
将所述每个业务流程节点的业务数据存储到所述备用MQ中。
5.如权利要求4所述的方法,其特征在于,根据预设规则对所述标识进行计算,确定所述数据状态池中的备用MQ,包括:
根据以下公式确定所述备用MQ编号:
y=m mod N;
其中,所述y是所述备用MQ编号,所述m为所述标识,所述N为所述备用MQ的总数;
根据所述备用MQ编号,确定对应的备用MQ。
6.如权利要求1所述的方法,其特征在于,所述方法还包括:
生成业务流程图,所述业务流程图中包括所述每个业务流程节点对应的业务流程节点标识。
7.如权利要求1所述的方法,其特征在于,所述基于所述MQ中的数据进行数据同步,包括:
判断所述MQ中的数据与获取到的所述至少一个业务流程节点的业务数据是否对账成功;
若对账成功,将所述MQ中的数据同步到所述核心服务系统。
8.一种数据同步装置,其特征在于,应用于核心服务系统,所述核心服务系统与外围服务系统通信,所述外围服务系统用于执行业务流程,所述业务流程包括至少一个业务流程节点,所述装置包括:
获取模块,用于获取所述至少一个业务流程节点中每个业务流程节点的业务数据,所述每个业务流程节点的业务数据中携带用于区分数据类别的标识;
处理模块,用于根据所述标识,在数据状态池中确定与所述标识对应的消息队列MQ;
所述处理模块,还用于将所述每个业务流程节点的业务数据存储到所述MQ中;
所述处理模块,还用于基于所述MQ中的数据进行数据同步。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1-7任一项所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被计算机执行时,使所述计算机执行如权利要求1-7中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010464247.4A CN111651522B (zh) | 2020-05-27 | 2020-05-27 | 一种数据同步方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010464247.4A CN111651522B (zh) | 2020-05-27 | 2020-05-27 | 一种数据同步方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111651522A CN111651522A (zh) | 2020-09-11 |
CN111651522B true CN111651522B (zh) | 2023-05-19 |
Family
ID=72350679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010464247.4A Active CN111651522B (zh) | 2020-05-27 | 2020-05-27 | 一种数据同步方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111651522B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113204575B (zh) * | 2021-05-28 | 2023-08-01 | 西藏宁算科技集团有限公司 | 一种基于云平台的分布式流程处理解决方法及系统 |
CN113382373B (zh) * | 2021-06-09 | 2022-04-15 | 中国银行股份有限公司 | 银行外围系统的监控装置、系统及方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106156094B (zh) * | 2015-04-01 | 2019-09-17 | 阿里巴巴集团控股有限公司 | 一种数据库的远程数据同步方法和装置 |
CN106649311A (zh) * | 2015-10-28 | 2017-05-10 | 阿里巴巴集团控股有限公司 | 一种业务数据同步方法及设备 |
CN106888238B (zh) * | 2015-12-15 | 2020-05-05 | 阿里巴巴集团控股有限公司 | 一种数据同步方法及装置 |
CN107124281B (zh) * | 2017-05-05 | 2020-02-28 | 国信嘉宁数据技术有限公司 | 一种数据保全方法和相关系统 |
CN107423404B (zh) * | 2017-07-27 | 2020-06-26 | 东软集团股份有限公司 | 流程实例数据同步处理方法和装置 |
CN109542981B (zh) * | 2018-11-21 | 2020-10-27 | 网易(杭州)网络有限公司 | 一种数据同步的系统及方法、电子设备、存储介质 |
CN109788053B (zh) * | 2019-01-04 | 2022-04-29 | 深圳壹账通智能科技有限公司 | 数据同步方法和系统 |
CN110032571B (zh) * | 2019-04-18 | 2023-04-18 | 腾讯科技(深圳)有限公司 | 业务流程处理方法、装置、存储介质及计算设备 |
CN110334070A (zh) * | 2019-05-21 | 2019-10-15 | 中国人民财产保险股份有限公司 | 数据处理方法、系统、设备及存储介质 |
-
2020
- 2020-05-27 CN CN202010464247.4A patent/CN111651522B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111651522A (zh) | 2020-09-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112559475B (zh) | 数据实时捕获和传输方法及系统 | |
CN111651522B (zh) | 一种数据同步方法及装置 | |
CN111343241B (zh) | 一种图数据更新方法、装置及系统 | |
CN109002765A (zh) | 一种动态人脸识别数据处理方法及系统 | |
CN111666298A (zh) | 基于flink的用户服务类别检测方法、装置、计算机设备 | |
CN111382334A (zh) | 一种数据处理方法、装置、计算机以及可读存储介质 | |
CN112860662A (zh) | 数据血缘关系建立方法、装置、计算机设备及存储介质 | |
CN112948723A (zh) | 接口调用方法、装置及相关设备 | |
CN117114909A (zh) | 一种核算规则引擎构建方法、装置、设备及存储介质 | |
CN108833133A (zh) | 基于云计算网络的网络配置管理方法、装置和存储介质 | |
CN106951225B (zh) | 基于服务配置模板的数据处理方法及装置 | |
CN106708869B (zh) | 一种群组数据处理的方法及装置 | |
CN117251490A (zh) | 数据查询方法、装置、计算机设备及存储介质 | |
CN112291321A (zh) | 业务处理方法、装置及系统 | |
CN116681045A (zh) | 报表生成方法、装置、计算机设备及存储介质 | |
CN116136801B (zh) | 云平台的数据处理方法、装置、电子设备及存储介质 | |
CN114706787A (zh) | 业务测试方法、业务测试装置、设备及存储介质 | |
CN114547010A (zh) | 数据分析方法、装置、电子设备及存储介质 | |
CN114239296A (zh) | 一种数据处理方法、装置及电子设备 | |
CN114626948A (zh) | 区块链交易记账方法、装置、电子设备及存储介质 | |
CN114119203A (zh) | 基于人工智能的资源管控方法、装置、电子设备及介质 | |
CN109754189A (zh) | 一种制卡任务的分配方法、一种制卡任务的获取方法、计算机装置及计算机可读存储介质 | |
CN114860847B (zh) | 应用于大数据平台的数据链路处理方法、系统及介质 | |
CN115577985B (zh) | 一种电力区块链多设备共识方法 | |
CN117873691B (zh) | 数据处理方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |