CN110661857A - 一种数据同步方法和装置 - Google Patents
一种数据同步方法和装置 Download PDFInfo
- Publication number
- CN110661857A CN110661857A CN201910864770.3A CN201910864770A CN110661857A CN 110661857 A CN110661857 A CN 110661857A CN 201910864770 A CN201910864770 A CN 201910864770A CN 110661857 A CN110661857 A CN 110661857A
- Authority
- CN
- China
- Prior art keywords
- data
- synchronization
- synchronized
- node
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据同步方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收数据同步指令；其中，所述数据同步指令携带有同步配置信息；注册临时顺序节点；根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置；根据所述待同步数据的起始位置和结束位置，获取所述待同步数据，并发送所述待同步数据。该实施方式能够解决数据同步速度取决于性能最差的同步节点，从而导致性能浪费的技术问题。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种数据同步方法和装置。
背景技术
在现今网络高度发展，尤其是数据大爆发的环境下，各个应用系统之间，无法避免的地需要进行大数据量(千万上亿级别)的数据同步。千万上亿级别的数据，如果采用单机处理，则会存在单点故障问题，而且同步速度也无法达到要求。如果采用多机处理，则会存在数据重复、数据一致性差的问题。而且由于各个同步节点的性能不是完全一致，如果按某种固定规则来切分数据进行同步，那么整体的数据的同步速度取决于性能最差的同步节点，已经处理完数据的同步节点只能等待，因此会存在性能浪费的问题，已经处理完数据的同步节点只能等待。
发明内容
有鉴于此，本发明实施例提供一种数据同步方法和装置，以解决数据同步速度取决于性能最差的同步节点，从而导致性能浪费的技术问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种数据同步方法，包括：
接收数据同步指令；其中，所述数据同步指令携带有同步配置信息；
注册临时顺序节点；
根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置；
根据所述待同步数据的起始位置和结束位置，获取所述待同步数据，并发送所述待同步数据。
可选地，注册临时顺序节点，包括：
发起注册临时顺序节点的请求；
接收注册成功的消息；
其中，所述注册成功的消息中携带有当前注册的临时顺序节点的序号，且所述当前注册的临时顺序节点的序号为已完成注册的临时顺序节点的序号的最大值加一。
可选地，所述同步配置信息包括每次同步数据的条数和待同步数据的总条数；
根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置，包括：
将所述临时顺序节点的序号减一得到起始值，将所述起始值与每次同步数据的条数相乘得到的结果作为待同步数据的起始位置；
将所述临时顺序节点的序号与每次同步数据的条数相乘得到的结果作为待同步数据的结束位置。
可选地，所述同步配置信息还包括：同步标识、同步日期和待同步数据的业务类型。
可选地，在分布式调度中心预先注册有至少一个持久化顺序节点，每一个业务类型的待同步数据对应于一个持久化顺序节点。
可选地，每一个持久化顺序节点中存储有一种业务类型的待同步数据的同步配置信息，所述持久化顺序节点的序号描述了数据的同步顺序。
可选地，根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置之后，还包括：
根据所述待同步数据的结束位置和待同步数据的总条数，响应于当前的待同步数据为最后一批，将所述持久化顺序节点中存储的同步配置信息初始化为默认配置信息。
另外，根据本发明实施例的另一个方面，提供了一种数据同步装置，包括：
接收模块，用于接收数据同步指令；其中，所述数据同步指令携带有同步配置信息；
注册模块，用于注册临时顺序节点；
计算模块，用于根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置；
同步模块，用于根据所述待同步数据的起始位置和结束位置，获取所述待同步数据，并发送所述待同步数据。
可选地，所述注册模块还用于：
发起注册临时顺序节点的请求；
接收注册成功的消息；
其中，所述注册成功的消息中携带有当前注册的临时顺序节点的序号，且所述当前注册的临时顺序节点的序号为已完成注册的临时顺序节点的序号的最大值加一。
可选地，所述同步配置信息包括每次同步数据的条数和待同步数据的总条数；
所述计算模块还用于：
将所述临时顺序节点的序号减一得到起始值，将所述起始值与每次同步数据的条数相乘得到的结果作为待同步数据的起始位置；
将所述临时顺序节点的序号与每次同步数据的条数相乘得到的结果作为待同步数据的结束位置。
可选地，所述同步配置信息还包括：同步标识、同步日期和待同步数据的业务类型。
可选地，在分布式调度中心预先注册有至少一个持久化顺序节点，每一个业务类型的待同步数据对应于一个持久化顺序节点。
可选地，每一个持久化顺序节点中存储有一种业务类型的待同步数据的同步配置信息，所述持久化顺序节点的序号描述了数据的同步顺序。
可选地，所述计算模块还用于：
在根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置之后，响应于所述待同步数据为所述持久化顺序节点对应的业务类型的待同步数据的最后一个批次，将所述持久化顺序节点中存储的同步配置信息初始化为默认配置信息。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：因为采用在分布式调度中心注册临时顺序节点，根据临时顺序节点的序号和同步配置信息计算待同步数据的起始位置和结束位置的技术手段，所以克服了现有技术中数据同步速度取决于性能最差的同步节点，从而导致性能浪费的技术问题。本发明实施例基于分布式调度中心提供的临时顺序节点特性，通过临时顺序节点的序号计算待同步数据的起始位置和结束位置，从而充分利用性能高的数据同步节点，避免性能浪费。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的数据同步方法的主要流程的示意图；
图2为用于实现本发明实施例的数据同步方法的系统框架示意图。
图3是根据本发明一个可参考实施例的数据同步方法的主要流程的示意图；
图4是根据本发明实施例的数据同步装置的主要模块的示意图；
图5是本发明实施例可以应用于其中的示例性系统架构图；
图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
目前，现有技术中常用的数据同步方式主要有：1)通过数据库提供的数据同步方式进行数据同步；2)通过操作文件进行数据同步；3)通过binlog结合消息中间件的方式进行数据同步。
但是，在实现本发明过程中，发明人发现这些同步方式存在如下问题：
1)在数据备份、主从复制等场景下，通过数据库提供的数据同步方式进行数据同步是可以实现的，但是如果在数据同步的过程中，需要进行复杂的业务逻辑处理，这种数据同步方式就无法实现。
2)在大数据场景下，通过操作文件进行数据同步是比较常见的方式，比如Hadoop(一个由Apache基金会所开发的分布式系统基础架构)生态中，经常采用这种方式进行数据同步。但是对于应用系统来说，通过操作文件进行数据同步是比较困难的，需要专业人员来进行操作，因此不具备通用性和可复制性。
3)使用binlog结合消息中间件的方式虽然能够在数据同步的过程中进行业务逻辑处理，但是这种数据同步属于实时同步，对于离线数据来说，无法采用这种方式进行数据同步。
综上所述，各种同步方式各有各的优缺点，各有各的应用场景，为了克服上述各种同步方式存在的缺点，本发明实施例提供的数据同步方法基于离线数据，能够用于在同步数据的过程中需要进行大量的、复杂的业务逻辑处理的场景。
图1是根据本发明实施例的数据同步方法的主要流程的示意图。作为本发明的一个实施例，如图1所示，所述数据同步方法可以包括：
步骤101，接收数据同步指令。
可选地，可以接收分布式调度中心发送的数据同步。在本发明的实施例中，所述分布式调度中心是一个分布式应用程序协调服务管理器，能够进行分布式数据同步协调管理。可选地，所述分布式调度中心可以是ZooKeeper分布式集群，ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务管理器。本发明实施例应用ZooKeeper的特性，进行分布式数据同步协调管理，基于ZooKeeper的分布式集群来保证服务的高可用。
图2为用于实现本发明实施例的数据同步方法的系统框架示意图。如图2所示，该系统包括分布式调度中心、数据库、数据准备节点、数据同步节点和业务节点；其中，所述分布式调度中心用于分布式数据同步协调管理，所述数据库中存储有各个业务类型的待同步数据，所述数据准备节点监测数据库中的待同步数据是否准备完成，如果数据库中的待同步数据已准备完成，则将数据准备完成指令发送到分布式调度中心，以通知分布式调度中心开始同步数据。所述数据同步节点将数据库中的待同步数据同步至业务节点，所述业务节点在接收到待同步数据后，对数据进行业务处理。
在本发明的实施例中，在进行数据同步之前，需要预先在分布式调度中心(可选地，为ZooKeeper集群)注册至少一个持久化顺序节点，数据库中每一个业务类型的待同步数据对应于一个持久化顺序节点。每创建一个持久化顺序节点，分布式调度中心就会生成一个序号，并将该序号分配给该持久化顺序节点。持久化顺序节点的序号可以是按照由小到大的顺序依次生成，比如1、2、3等。可选地，每一个持久化顺序节点中存储有一种业务类型的待同步数据的同步配置信息，并且所述持久化顺序节点的序号描述了数据的同步顺序。例如，以ZooKeeper集群为例，在进行数据同步之前，首先需要搭建ZooKeeper集群环境，然后在ZooKeeper集群中初始化数据，使得持久化顺序节点的序号按照由小到大的顺序依次生成。
如果是对某一种业务类型的数据进行同步，则只需要在分布式调度中心注册一个持久化节点即可，并在该持久化顺序节点中存储该业务数据的同步配置信息。如果是对多种不同业务类型的数据进行同步，则需要对应地注册多个持久化顺序节点，并在这些持久化顺序节点中分别存储各个业务类型的数据对应的同步配置信息。如果这多种不同业务类型的数据存在先后同步关系，则将需要先同步的数据的同步配置信息初始化到序号最小的持久化顺序节点中。
如图2所示，当数据准备节点将数据库中的待同步数据准备完成之后，发送数据准备完成指令到在分布式调度中心注册的持久化顺序节点，以更新持久化顺序节点中的同步配置信息。其中，所述数据准备完成指令可以携带有每次同步数据的条数、待同步数据的总条数、同步日期和待同步数据的业务类型等。分布式调度中心接收到数据准备节点发送的数据准备完成指令后，根据数据准备完成指令中携带的信息更新持久化顺序节点中的默认配置信息。
数据同步节点预先在持久化顺序节点上注册监听(watcher)事件，那么当监听到配置信息更新事件后，分布式调度中心向数据同步节点发送数据同步指令，以通知数据同步节点开始同步数据。数据同步节点接收到分布式调度中心发送的数据同步指令之后，就可以按照步骤102-104执行数据同步的过程。其中，所述数据同步指令携带更新后的配置信息，比如每次同步数据的条数(batchCount)、待同步数据的总条数(dataCount)、同步日期(dateFlag)和待同步数据的业务类型(dataType)等。
需要指出的是，所述持久化顺序节点中还存储有同步标识(completeFlag)，以表示所述持久化顺序节点对应的待同步数据是否完成了数据同步。首先判断序号最小的持久化顺序节点代表的数据是否同步完成，如果同步完成，则查询次小的持久化顺序节点，以此类推。比如，该标识可以初始化为“0”，说明未进行数据同步；当持久化顺序节点中的配置信息发生变化后，将该标识修改为“1”，说明该持久化顺序节点对应的待同步数据正在进行数据同步。
如果同步的数据包含先后关系，比如需要先同步A业务类型的数据，再同步B业务类型的数据，则需要先在分布式调度中心注册两个持久化顺序节点，序号分别为1和2，分别对应于A业务类型的数据、B业务类型的数据。首先将持久化顺序节点1中的同步标识由“0”修改为“1”，通知数据同步节点对A业务类型的数据进行同步。当完成A业务类型的数据的同步后，将持久化顺序节点1中的同步标识由“1”修改为“0”，并将持久化顺序节点2中的同步标识由“0”修改为“1”，通知数据同步节点对B业务类型的数据进行同步，由此实现进行数据同步的顺序控制。
步骤102，注册临时顺序节点。
可选地，数据同步节点在接收到分布式调度中心发送的数据同步指令之后，向所述分布式调度中心发起临时顺序节点注册请求，序号由分布式调度中心生成，分布式调度中心将生成的序号分配给临时顺序节点，从而在所述分布式调度中心成功注册临时顺序节点。可选地，步骤102可以包括：向所述分布式调度中心发起注册临时顺序节点的请求；接收所述分布式调度中心返回的注册成功的消息，所述注册成功的消息中携带有当前注册的临时顺序节点的序号；其中，所述当前注册的临时顺序节点的序号为已在所述分布式调度中心完成注册的临时顺序节点的序号的最大值加一。
在本发明的实施例中，所述分布式调度中心接收到数据同步节点发送的注册临时顺序节点的请求之后，查询已在所述分布式调度中心完成注册的临时顺序节点的序号的最大值；将所述最大值加一，得到待注册的临时顺序节点的序号，从而在所述分布式调度中心注册临时顺序节点。然后将该序号发送给数据同步节点，该数据同步节点获得当前批次的数据同步权。举例来说，如果分布式调度中心上已完成注册的临时顺序节点的序号的最大值为10，则当前要注册的临时顺序节点的序号为11。
步骤103，根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置。
在分布式调度中心完成临时顺序节点的注册后，数据同步节点获得当前批次的数据同步权，然后根据临时顺序节点的序号和每次同步数据的条数计算待同步数据的起始位置和结束位置。例如：数据同步节点A第一个注册成功，其注册的临时顺序节点的序号为1，那么数据同步节点A可以同步的数据量为1到1*batchCount。
可选地，步骤103包括：将所述临时顺序节点的序号减一得到起始值，将所述起始值与每次同步数据的条数相乘得到的结果作为待同步数据的起始位置；将所述临时顺序节点的序号与每次同步数据的条数相乘得到的结果作为待同步数据的结束位置。
可以采用如下公式计算待同步数据的起始位置和结束位置：
((orderNum-1)*batchCount，orderNum*batchCount]
其中，orderNum表示临时顺序节点的序号，batchCount表示每次同步数据的条数。
假设每次同步数据的条数是5000条，数据同步节点A第一个注册临时顺序节点成功，则orderNum＝1，则由以上公式可知：数据同步节点同步的数据是(0，5000]。
假如数据同步节点B第二个注册临时节点成功，则orderNum＝2，则由以上公司可知：数据同步节点B同步的数据是(5000,10000]，以此类推。
可见，本发明实施例提供的数据同步方法利用分布式调度中心的特性，实现各个数据同步节点的区别对待，性能高的数据同步节点可以尽可能多的同步数据，性能差的数据同步节点可以少同步数据，从而提高整个集群的同步性能。举例如下：
假设只有A和B两个数据同步节点，而且数据同步节点B的性能远远小于数据同步节点A。当数据同步节点A注册临时顺序节点成功后，开始同步(0，5000]的数据。数据同步节点B接着同步(5000,10000]的数据。当数据同步节点A完成(0，5000]的数据同步后，可以不需要关心数据同步节点B的同步情况，数据同步节点A只需到分布式调度中心继续注册临时顺序节点，继续完成下一批次的数据同步。
示例性地，当数据同步节点A第4次注册临时顺序节点时，数据同步节点B才完成(5000,10000]的数据同步。根据上述公式可知，此时数据同步节点A和B同步的数据情况如下：
由此可以看出，数据同步节点A同步的数据量是20000条，数据同步节点B同步的数据是10000条，数据同步节点A的同步量远远超出了数据同步节点B，但是数据并没有因为这种情况的发生而出现重复，或者丢失。因此，本发明实施例提供的数据同步方法可以实现节点性能的个性化利用，充分利用性能高的数据同步节点，避免性能浪费。
可选地，在步骤103之后，还可以包括：响应于所述待同步数据为所述持久化顺序节点对应的业务类型的待同步数据的最后一个批次，将所述持久化顺序节点中存储的同步配置信息初始化为默认值。也就说是，根据所述待同步数据的结束位置和待同步数据的总条数，判断当前的待同步数据是否为最后一批；若是，则将所述分布式调度中心上的持久化顺序节点中存储的同步配置信息初始化为默认值。随着数据同步过程的不断执行，如果数据同步节点发现当前待同步数据为最后一批，则将分布式调度中心上的持久化顺序节点中存储的同步配置信息还原到初始化状态，以便下一次数据同步时再次使用。需要指出的是，只需要一个数据同步节点对持久化顺序节点中的同步配置信息进行初始化，其他数据同步节点发现同步配置信息已更新后，则不需要再次更新同步配置信息，只需进行停止数据同步的操作即可。
步骤104，根据所述待同步数据的起始位置和结束位置，获取所述待同步数据，并发送所述待同步数据。
数据同步节点根据步骤103计算出的待同步数据的起始位置和结束位置，从数据库中获取待同步数据，并将所述待同步数据发送至业务节点。业务节点在接收到待同步数据后，还可以对数据进行业务处理，最后将处理后的同步数据发送至对应的数据库中进行存储。在接收分布式调度中心发送的数据同步指令之后，所有的数据同步节点按照步骤102-104反复进行数据同步，并且在数据同步的过程中，数据同步节点可以调用业务节点进行业务处理，直到同步完成所有数据。
可选地，所述数据同步节点可以基于消息中间件向业务系统发送待同步数据，业务系统中的各个业务节点接收待同步数据，并对其进行业务处理。本发明实施例提供的数据同步方法负责数据同步过程中的协调服务，业务逻辑的处理开放给具体业务系统(即业务节点)实现，将数据同步过程进行解耦，故而在数据同步过程中可以处理复杂的业务逻辑。可选地，在本发明的实施例中，数据同步节点可以采用分布式部署，业务节点也可以采用分布式部署，有利于提高整个系统的数据处理能力。
需要指出的是，在数据同步的过程中，还可以对数据同步节点进行动态扩容。如果根据实际情况发现数据同步速度不能满足业务要求，而且数据库性能并未达到峰值，则可以动态增加数据同步节点。只需要增加数据同步节点后启动数据同步任务，从而将数据同步节点加入数据同步处理场景，举例如下：
假如现在有5个数据同步节点在工作，每批次同步的数据条数是5000条，当前数据同步的最大位置是5000*10，也就说当前分布式调度中心上已注册了的10个临时顺序节点。因此，对新加入的数据同步节点启动数据同步任务以后：
第一步是到分布式调度中心获取当前集群数据同步情况，查询持久化顺序节点，以获取同步配置信息，包括数据同步是否完成、每次同步数据的条数、待同步数据的总条数、同步日期和待同步数据的业务类型等。
第二步是在分布式调度中心注册临时顺序节点，获取自身要处理的批次。由于当前的临时顺序节点的序号是10，因此当前要注册的临时顺序节点的序号为11。注册成功后，就可以开始数据同步。根据公式可知，新加入的数据同步节点要同步的数据范围是：(50000,55000]。
当其他数据同步节点处理完成自身批次数据后，再次注册临时顺序节点时，会从11之后开始。因此，本发明实施例提供的数据同步方法可以根据需要增加数据同步节点，而不会造成数据重复或者数据丢失的问题。
根据上面所述的各种实施例，可以看出本发明通过在分布式调度中心注册临时顺序节点，根据临时顺序节点的序号和同步配置信息计算待同步数据的起始位置和结束位置的技术手段，解决了现有技术中数据同步速度取决于性能最差的同步节点，从而导致性能浪费的技术问题。本发明实施例基于分布式调度中心提供的临时顺序节点特性，通过临时顺序节点的序号计算待同步数据的起始位置和结束位置，从而充分利用性能高的数据同步节点，避免性能浪费。
因此，本发明实施例提供的数据同步方法可以在以下几个方面满足不同场景下的数据同步需求：数据量大，并且处理速度要求高的数据同步场景；数据同步过程中需要进行复杂业务处理的场景；需要极大的提高机器性能利用的场景；数据同步节点动态扩容的场景。而且本发明实施例提供的数据同步方法可以实现海量离线数据处理，可以动态调节数据同步节点的个数，在处理能力无法满足的情况下进行扩容，尽可能地让性能高的数据同步节点同步尽可能多的数据，解决了整个系统平台处理速度取决于性能较差的数据同步节点的问题，从而尽提高了整个系统平台的数据处理能力。
图3是根据本发明一个可参考实施例的数据同步方法的主要流程的示意图。
步骤301，在持久化顺序节点上注册监听事件。
数据同步节点预先在持久化顺序节点上注册监听事件，那么当监听到配置信息更新事件后，分布式调度中心就会向数据同步节点发送数据同步指令，以通知数据同步节点开始同步数据。
步骤302，接收分布式调度中心发送的数据同步指令。
当数据准备节点将数据库中的待同步数据准备完成之后，发送数据准备完成指令到在分布式调度中心注册的持久化顺序节点，以更新持久化顺序节点中的同步配置信息。分布式调度中心接收到数据准备节点发送的数据准备完成指令后，根据数据准备完成指令中携带的信息更新持久化顺序节点中的默认配置信息。此时分布调度中心向注册了监听事件的数据同步节点发送数据同步指令，其中，所述数据同步指令携带有同步配置信息，比如每次同步数据的条数、待同步数据的总条数、同步日期和待同步数据的业务类型等。数据同步节点接收到分布式调度中心发送的数据同步指令之后，就可以按照步骤303-306执行数据同步的过程。
步骤303，向所述分布式调度中心发起注册临时顺序节点的请求。
步骤304，接收所述分布式调度中心返回的注册成功的消息，所述注册成功的消息中携带有当前注册的临时顺序节点的序号。
所述分布式调度中心接收到数据同步节点发送的注册临时顺序节点的请求之后，查询已在所述分布式调度中心完成注册的临时顺序节点的序号的最大值；将所述最大值加一，得到待注册的临时顺序节点的序号，从而在所述分布式调度中心注册临时顺序节点。然后将该序号发送给数据同步节点，该数据同步节点获得当前批次的数据同步权。
步骤305，将所述临时顺序节点的序号减一得到起始值，将所述起始值与每次同步数据的条数相乘得到的结果作为待同步数据的起始位置；将所述临时顺序节点的序号与每次同步数据的条数相乘得到的结果作为待同步数据的结束位置。
数据同步节点可以采用如下公式计算待同步数据的起始位置和结束位置：
((orderNum-1)*batchCount，orderNum*batchCount]
其中，orderNum表示临时顺序节点的序号，batchCount表示每次同步数据的条数。
步骤306，根据所述待同步数据的起始位置和结束位置，从数据库中获取所述待同步数据，并将所述待同步数据发送至业务节点。
另外，在本发明一个可参考实施例中数据同步方法的具体实施内容，在上面所述数据同步方法中已经详细说明了，故在此重复内容不再说明。
图4是根据本发明实施例的数据同步装置的主要模块的示意图，如图4所示，所述数据同步装置400包括接收模块401、注册模块402、计算模块403和同步模块404。其中，接收模块401用于接收数据同步指令；其中，所述数据同步指令携带有同步配置信息；注册模块402用于注册临时顺序节点；计算模块403用于根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置；同步模块404用于根据所述待同步数据的起始位置和结束位置，获取所述待同步数据，并发送所述待同步数据。
可选地，所述注册模块402还用于：
发起注册临时顺序节点的请求；
接收注册成功的消息；
其中，所述注册成功的消息中携带有当前注册的临时顺序节点的序号，且所述当前注册的临时顺序节点的序号为已完成注册的临时顺序节点的序号的最大值加一。
可选地，所述同步配置信息包括每次同步数据的条数和待同步数据的总条数；
所述计算模块403还用于：
将所述临时顺序节点的序号减一得到起始值，将所述起始值与每次同步数据的条数相乘得到的结果作为待同步数据的起始位置；
将所述临时顺序节点的序号与每次同步数据的条数相乘得到的结果作为待同步数据的结束位置。
可选地，所述同步配置信息还包括：同步标识、同步日期和待同步数据的业务类型。
可选地，在分布式调度中心预先注册有至少一个持久化顺序节点，每一个业务类型的待同步数据对应于一个持久化顺序节点。
可选地，每一个持久化顺序节点中存储有一种业务类型的待同步数据的同步配置信息，所述持久化顺序节点的序号描述了数据的同步顺序。
可选地，所述计算模块403还用于：
在根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置之后，响应于所述待同步数据为所述持久化顺序节点对应的业务类型的待同步数据的最后一个批次，将所述持久化顺序节点中存储的同步配置信息初始化为默认配置信息。
根据上面所述的各种实施例，可以看出本发明通过在分布式调度中心注册临时顺序节点，根据临时顺序节点的序号和同步配置信息计算待同步数据的起始位置和结束位置的技术手段，解决了现有技术中数据同步速度取决于性能最差的同步节点，从而导致性能浪费的技术问题。本发明实施例基于分布式调度中心提供的临时顺序节点特性，通过临时顺序节点的序号计算待同步数据的起始位置和结束位置，从而充分利用性能高的数据同步节点，避免性能浪费。
需要说明的是，在本发明所述数据同步装置的具体实施内容，在上面所述数据同步方法中已经详细说明了，故在此重复内容不再说明。
图5示出了可以应用本发明实施例的数据同步方法或数据同步装置的示例性系统架构500。
如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器504交互，以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器，例如对用户利用终端设备501、502、503所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的物品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、物品信息——仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的数据同步方法一般由服务器505执行，相应地，所述数据同步装置一般设置在服务器505中。
应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序物品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序物品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块、注册模块、计算模块和同步模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收数据同步指令；其中，所述数据同步指令携带有同步配置信息；注册临时顺序节点；根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置；根据所述待同步数据的起始位置和结束位置，获取所述待同步数据，并发送所述待同步数据。
根据本发明实施例的技术方案，因为采用在分布式调度中心注册临时顺序节点，根据临时顺序节点的序号和同步配置信息计算待同步数据的起始位置和结束位置的技术手段，所以克服了现有技术中数据同步速度取决于性能最差的同步节点，从而导致性能浪费的技术问题。本发明实施例基于分布式调度中心提供的临时顺序节点特性，通过临时顺序节点的序号计算待同步数据的起始位置和结束位置，从而充分利用性能高的数据同步节点，避免性能浪费。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种数据同步方法，其特征在于，包括：
接收数据同步指令；其中，所述数据同步指令携带有同步配置信息；
注册临时顺序节点；
根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置；
根据所述待同步数据的起始位置和结束位置，获取所述待同步数据，并发送所述待同步数据。
2.根据权利要求1所述的方法，其特征在于，注册临时顺序节点，包括：
发起注册临时顺序节点的请求；
接收注册成功的消息；
其中，所述注册成功的消息中携带有当前注册的临时顺序节点的序号，且所述当前注册的临时顺序节点的序号为已完成注册的临时顺序节点的序号的最大值加一。
3.根据权利要求2所述的方法，其特征在于，所述同步配置信息包括每次同步数据的条数和待同步数据的总条数；
根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置，包括：
将所述临时顺序节点的序号减一得到起始值，将所述起始值与每次同步数据的条数相乘得到的结果作为待同步数据的起始位置；
将所述临时顺序节点的序号与每次同步数据的条数相乘得到的结果作为待同步数据的结束位置。
4.根据权利要求3所述的方法，其特征在于，所述同步配置信息还包括：同步标识、同步日期和待同步数据的业务类型。
5.根据权利要求1所述的方法，其特征在于，在分布式调度中心预先注册有至少一个持久化顺序节点，每一个业务类型的待同步数据对应于一个持久化顺序节点。
6.根据权利要求5所述的方法，其特征在于，每一个持久化顺序节点中存储有一种业务类型的待同步数据的同步配置信息，所述持久化顺序节点的序号描述了数据的同步顺序。
7.根据权利要求6所述的方法，其特征在于，在根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置之后，还包括：
响应于所述待同步数据为所述持久化顺序节点对应的业务类型的待同步数据的最后一个批次，将所述持久化顺序节点中存储的同步配置信息初始化为默认配置信息。
8.一种数据同步装置，其特征在于，包括：
接收模块，用于接收数据同步指令；其中，所述数据同步指令携带有同步配置信息；
注册模块，用于注册临时顺序节点；
计算模块，用于根据所述临时顺序节点的序号和所述同步配置信息，计算待同步数据的起始位置和结束位置；
同步模块，用于根据所述待同步数据的起始位置和结束位置，获取所述待同步数据，并发送所述待同步数据。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910864770.3A CN110661857B (zh) | 2019-09-12 | 2019-09-12 | 一种数据同步方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910864770.3A CN110661857B (zh) | 2019-09-12 | 2019-09-12 | 一种数据同步方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110661857A true CN110661857A (zh) | 2020-01-07 |
| CN110661857B CN110661857B (zh) | 2021-12-07 |
Family
ID=69036981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910864770.3A Active CN110661857B (zh) | 2019-09-12 | 2019-09-12 | 一种数据同步方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110661857B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114385341A (zh) * | 2022-03-24 | 2022-04-22 | 国能大渡河流域水电开发有限公司 | 一种分布式任务调度方法及调度平台 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6567424B1 (en) * | 1995-08-07 | 2003-05-20 | Motorola, Inc. | Apparatus and method for determining a synchronization signal |
| CN104301990A (zh) * | 2014-10-10 | 2015-01-21 | 大唐移动通信设备有限公司 | 一种数据同步的方法及装置 |
| CN106657174A (zh) * | 2015-10-28 | 2017-05-10 | 阿里巴巴集团控股有限公司 | 一种数据同步方法、更新方法及装置 |
| CN106775437A (zh) * | 2015-11-24 | 2017-05-31 | 阿里巴巴集团控股有限公司 | 数据同步方法及装置 |
| CN110209726A (zh) * | 2018-02-12 | 2019-09-06 | 中兴通讯股份有限公司 | 分布式数据库集群系统、数据同步方法及存储介质 |
-
2019
- 2019-09-12 CN CN201910864770.3A patent/CN110661857B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6567424B1 (en) * | 1995-08-07 | 2003-05-20 | Motorola, Inc. | Apparatus and method for determining a synchronization signal |
| CN104301990A (zh) * | 2014-10-10 | 2015-01-21 | 大唐移动通信设备有限公司 | 一种数据同步的方法及装置 |
| CN106657174A (zh) * | 2015-10-28 | 2017-05-10 | 阿里巴巴集团控股有限公司 | 一种数据同步方法、更新方法及装置 |
| CN106775437A (zh) * | 2015-11-24 | 2017-05-31 | 阿里巴巴集团控股有限公司 | 数据同步方法及装置 |
| CN110209726A (zh) * | 2018-02-12 | 2019-09-06 | 中兴通讯股份有限公司 | 分布式数据库集群系统、数据同步方法及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 孙胜利: "大型分布式信息系统数据同步技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑I138-219》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114385341A (zh) * | 2022-03-24 | 2022-04-22 | 国能大渡河流域水电开发有限公司 | 一种分布式任务调度方法及调度平台 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110661857B (zh) | 2021-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110609872B (zh) | 用于同步节点数据的方法和装置 | |
| CN109976667B (zh) | 一种镜像管理方法、装置及系统 | |
| CN110311983B (zh) | 服务请求的处理方法、装置、系统、电子设备及存储介质 | |
| CN112860451A (zh) | 一种基于SaaS的多租户数据处理方法和装置 | |
| CN110909521B (zh) | 在线文档信息的同步处理方法、装置及电子设备 | |
| CN109245908B (zh) | 一种主从集群切换的方法和装置 | |
| WO2021051747A1 (zh) | 数据更新方法、系统、装置、电子设备及计算机存储介质 | |
| CN109783151B (zh) | 规则变更的方法和装置 | |
| EP3817338B1 (en) | Method and apparatus for acquiring rpc member information, electronic device and storage medium | |
| CN111181765A (zh) | 一种任务处理方法和装置 | |
| CN113079098B (zh) | 路由更新的方法、装置、设备和计算机可读介质 | |
| CN110661857B (zh) | 一种数据同步方法和装置 | |
| CN110795328A (zh) | 一种接口测试方法和装置 | |
| CN113541987A (zh) | 一种更新配置数据的方法和装置 | |
| CN111343220B (zh) | 转发器、分布式文件传输方法、系统、介质及电子设备 | |
| CN108833147B (zh) | 一种配置信息的更新方法和装置 | |
| CN113111626A (zh) | 序列生成的方法、装置、电子设备和存储介质 | |
| CN115629909A (zh) | 业务数据处理的方法、装置、电子设备和存储介质 | |
| CN115277707A (zh) | 业务处理方法、装置、电子设备和存储介质 | |
| CN113824675B (zh) | 管理登录态的方法和装置 | |
| CN115361382A (zh) | 基于数据群组的数据处理方法、装置、设备和存储介质 | |
| CN113760929A (zh) | 数据同步方法、装置、电子设备和计算机可读介质 | |
| CN113760487A (zh) | 一种业务处理方法和装置 | |
| CN112612806A (zh) | 房源信息处理方法、装置、电子设备和计算机可读介质 | |
| CN113472565B (zh) | 服务器功能的扩容方法、装置、设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176 Patentee after: Jingdong Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176 Patentee before: Jingdong Digital Technology Holding Co.,Ltd. Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176 Patentee after: Jingdong Digital Technology Holding Co.,Ltd. Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176 Patentee before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder |