CN112835862B - 一种数据同步方法、装置、系统及存储介质 - Google Patents
一种数据同步方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN112835862B CN112835862B CN201911159486.2A CN201911159486A CN112835862B CN 112835862 B CN112835862 B CN 112835862B CN 201911159486 A CN201911159486 A CN 201911159486A CN 112835862 B CN112835862 B CN 112835862B
- Authority
- CN
- China
- Prior art keywords
- synchronous
- data
- synchronization
- address
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000001360 synchronised effect Effects 0.000 claims abstract description 432
- 238000004519 manufacturing process Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 5
- 238000005192 partition Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/178—Techniques for file synchronisation in file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Multi Processors (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种数据同步的方法、装置、系统及存储介质，应用于同步服务器，所述方法包括：读取分布式应用程序协调系统中的多个同步任务，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址；当存在多个所述同步任务的任务分配对象为所述同步服务器时，针对每个所述同步任务建立多组消费者线程和生产者线程；根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取；根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入，以至少解决目前uReplicator集群无法实现多个集群之间数据同步的问题。
Description
技术领域
本公开涉及信息处理技术领域，特别是涉及一种数据同步方法、装置、系统及存储介质。
背景技术
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据，是在现代网络上的许多社会功能的一个关键因素。
在实际应用中，当一个消息系统Kafka集群将topic数据镜像到另外一个Kafka集群时，需要借助Kafka集群中的MirroMaker的工具实现，由于MirroMaker工具不是集群化的服务，因此上述工具无法解决大量数据镜像任务的场景。
为了实现大量数据镜像任务，通常采用uReplicator集群实现，具体的，
在uReplicator集群中的Worker启动之前，预先在配置文件中写入一个源Kafka集群地址和一个目的Kafka集群地址，并且一个uReplicator集群配置文件中只会配置一个源Kafka集群地址和一个目的集群地址，因此当该集群启动后，只能执行从固定源Kafka集群到固定目的Kafka集群的数据同步任务，由于在配置文件中不存在其他源Kafka集群地址和目的Kafka集群地址，因此不能连接到配置文件中不存在的源Kafka集群地址和目的Kafka集群地址，当然也就无法执行对应的数据镜像任务，也就是说，对于配置文件中不存在的源Kafka集群地址和目的Kafka集群地址的数据镜像任务，由于不知道集群地址，因此无法连接源集群进行消费，以及无法连接目的集群进行写入。
此外，由于数据同步任务的源集群和目的集群是固定不变的：当搭建一个uReplicator集群后，那么该同步服务集群就只能负责从一个Kafka源集群镜像到另外一个Kafka目的集群，无法进行大量数据同步，如果此时存在另外的源集群和目的集群的数据同步任务，那么需要重新搭建一个uReplicator集群。
发明内容
本公开提供了一种数据同步方法、装置、系统及存储介质，以至少解决目前uReplicator集群无法实现大量数据同步的问题。
为了解决上述问题，本公开公开了一种数据同步方法，应用于同步服务器，所述方法包括：
读取分布式应用程序协调系统中的多个同步任务，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址；
当存在多个所述同步任务的任务分配对象为所述同步服务器时，针对每个所述同步任务建立多组消费者线程和生产者线程；
根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取；
根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入。
进一步的，在所述根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取之后，还包括；
将读取的同步数据放入同步队列中；
根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入，包括：
读取所述同步队列中的同步数据，根据所述同步数据对应的生产者线程，连接目的同步对象进行同步数据的写入。
进一步的，所述同步任务中还包括所述同步数据对应的所述源地址中的源主题，以及所述同步数据对应的所述目的地址中的目的主题；
所述根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取，包括：
根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象，读取所述源主题下的所述同步数据；
所述根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入，包括：
根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象，将所述同步数据写入所述目的主题。
进一步的，所述根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入，包括：
当所述同步数据的目的地址为分布式文件系统HDFS地址时，调用分布式文件系统接口，启动对应的生产者线程，通过所述分布式文件系统接口连接目的同步对象进行同步数据的写入。
为了解决上述问题，本公开还公开了一种数据同步方法，应用于控制服务器，所述方法包括：
接收数据同步请求，所述数据同步请求包括：同步数据的源地址和目的地址；
根据所述同步请求对同步服务器进行任务分配，生成同步任务；
将所述同步任务写入到分布式应用程序协调系统，以使所述同步服务器根据所述分布式应用程序协调系统中的同步任务进行数据同步，其中，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址。
进一步的，所述根据所述同步请求对同步服务器进行任务分配，生成同步任务，包括；
获取各所述同步服务器当前正在执行的同步任务；
根据所述同步请求，选择同步任务数量小于设定阈值的同步服务器进行任务分配，生成同步任务。
进一步的，所述同步请求中还包括：所述同步数据对应的所述源地址中的源主题，以及所述同步数据对应的所述目的地址中的目的主题；
相应地，所述每个所述同步任务中包含任务分配对象，同步数据的源地址及目的地址，以及所述源地址中的源主题，所述目的地址中的目的主题。
进一步的，所述同步请求中包含的源地址为消息系统集群地址，所述同步请求还包括所述同步数据对应的所述源地址中的源主题；
所述同步请求中包含的所述目的地址为分布式文件系统HDFS地址，所述同步请求中还包含所述HDFS地址对应的HDFS目录；
相应地，所述每个所述同步任务中包含任务分配对象，同步数据的所述消息系统集群地址及HDFS地址，以及所述源主题，所述HDFS目录。
为了解决上述问题，本公开还公开了一种数据同步装置，应用于同步服务器，包括：
读取模块，被配置为读取分布式应用程序协调系统中的多个同步任务，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址；
线程模块，被配置为当存在多个所述同步任务的任务分配对象为所述同步服务器时，针对每个所述同步任务建立多组消费者线程和生产者线程；
消费模块，被配置为根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取；
生产模块，被配置为根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入。
进一步的，在所述消费模块根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取之后，所述数据同步装置还包括；
同步队列模块，被配置为将读取的同步数据放入同步队列中；
所述生产模块，包括：
第一写入模块，被配置为读取所述同步队列中的同步数据，根据所述同步数据对应的生产者线程，连接目的同步对象进行同步数据的写入。
进一步的，所述同步任务中还包括所述同步数据对应的所述源地址中的源主题，以及所述同步数据对应的所述目的地址中的目的主题；
所述消费模块，包括：
第一连接模块，被配置为根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象，读取所述源主题下的所述同步数据；
所述生产模块，包括：
第二写入模块，被配置为根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象，将所述同步数据写入所述目的主题。
进一步的，所述生成模块，包括：
第三写入模块，被配置为当所述同步数据的目的地址为分布式文件系统HDFS地址时，调用分布式文件系统接口，启动对应的生产者线程，通过所述分布式文件系统接口连接目的同步对象进行同步数据的写入。
为了解决上述问题，本公开还公开了一种数据同步装置，应用于控制服务器，包括：
接收模块，被配置为接收数据同步请求，所述同步请求包括：同步数据的源地址和目的地址；
分配模块，被配置为根据所述数据同步请求对同步服务器进行任务分配，生成同步任务；
数据同步模块，被配置为将所述同步任务写入到分布式应用程序协调系统，以使所述同步服务器根据所述分布式应用程序协调系统中的同步任务进行数据同步，其中，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址。
进一步的，所述分配模块包括：
获取子模块，被配置为获取各所述同步服务器当前正在执行的同步任务；
生成同步任务子模块，被配置为根据所述同步请求，选择同步任务数量小于设定阈值的同步服务器进行任务分配，生成同步任务。
进一步的，所述同步请求中还包括：所述同步数据对应的所述源地址中的源主题，以及所述同步数据对应的所述目的地址中的目的主题；
相应地，所述每个所述同步任务中包含任务分配对象，同步数据的源地址及目的地址，以及所述源地址中的源主题，所述目的地址中的目的主题。
进一步的，所述同步请求中包含的源地址为消息系统集群地址，所述同步请求还包括所述同步数据对应的所述源地址中的源主题；
所述同步请求中包含的所述目的地址为分布式文件系统HDFS地址，所述同步请求中还包含所述HDFS地址对应的HDFS目录；
相应地，所述每个所述同步任务中包含任务分配对象，同步数据的所述消息系统集群地址及HDFS地址，以及所述源主题，所述HDFS目录。
为了解决上述问题，本公开还公开了一种数据同步系统，包括：
控制服务器，被配置为接收数据同步请求，所述数据同步请求包括：同步数据的源地址和目的地址；根据所述同步请求对同步服务器进行任务分配，生成同步任务；将所述同步任务写入到分布式应用程序协调系统；
分布式应用程序协调系统，被配置为记录所述控制服务器分配的同步任务；
多个同步服务器，所述同步服务器，被配置为读取分布式应用程序协调系统中的多个同步任务，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址；当存在多个所述同步任务的任务分配对象为所述同步服务器时，针对每个所述同步任务建立多组消费者线程和生产者线程；根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取；根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入。
为了解决上述问题，本公开还公开了一种存储介质，当所述存储介质用于存储程序代码，所述程序代码以实现所述数据同步方法所执行的操作。
为了解决上述问题，本公开还公开了一种存储介质，当所述存储介质用于存储程序代码，所述程序代码以实现所述数据同步方法所执行的操作。
与现有技术相比，本公开包括以下优点：
本公开同步服务器读取到分布式应用程序协调系统的同步任务，才会启动多个消费线程和多个生成者线程实现将源地址的数据同步到目的地址。相对于uReplicator方案来说，本公开的同步服务器启动多个消费者线程和多个生产者线程来进行读写，这样并发度更高，可以实现大量数据的同步，大大提高了CPU的利用率。
当然，实施本公开的任一产品不一定需要同时达到以上所述的所有优点。
附图说明
图1是根据一示例性实施例示出的一种数据同步方法的流程图；
图2是根据一示例性实施例示出的Worker接口设计的示意图；
图3是根据一示例性实施例示出的源Kafka集群到目的Kafka集群数据同步的结构示意图；
图4是根据一示例性实施例示出的源Kafka集群到分布式文件系统HDFS数据同步的结构示意图；
图5是根据一示例性实施例示出的一种数据同步方法的流程图；
图6是根据一示例性实施例示出的一种数据同步装置的框图；
图7是根据一示例性实施例示出的一种数据同步装置的框图；
图8是根据一示例性实施例示出的一种数据同步系统的框图。
具体实施方式
为使本公开的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本公开作进一步详细的说明。
图1是根据一示例性实施例示出的一种数据同步方法的流程图，如图1所示，该数据同步方法应用于同步服务器，包括：
在本公开实施例中，同步服务器作为数据同步的执行者，主要是实现将源地址的数据写入到目的地址。具体的，同步服务器读取到分布式应用程序协调系统的同步任务，才会启动多个消费线程和多个生成者线程实现将源地址的数据同步到目的地址。相对于uReplicator方案来说，本公开的同步服务器启动多个消费者线程和多个生产者线程来进行读写，这样并发度更高，可以实现大量数据的同步，因此相对于uReplicator方案来说，本公开实施例中的数据同步采用多个消费线程和多个生成者线程，大大提高了CPU的利用率。
同步服务器可以为多种类型，例如：服务器或者工作站Worker或者分布式服务器等等。
本公开实施例的所述数据同步方法具体包括：
步骤101：读取分布式应用程序协调系统zookeeper中的多个同步任务。
其中，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址。
步骤102：当存在多个所述同步任务的任务分配对象为所述同步服务器时，针对每个所述同步任务建立多组消费者线程和生产者线程。
步骤103：根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取。
步骤104：根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入。
在本公开实施例中，同步服务器读取分布式应用程序协调系统中的多个同步任务时，同步服务器针对每个同步任务启动多个消费者consumer线程从源地址读取同步数据，以及启动多个生产者producer线程将读取的同步数据写入到目的地址信息，而相关技术中均是同步服务器启动之前，将一个源集群信息和一个目的集群信息写入配置文件中，这样以便集群启动时进行加载源集群信息和目的集群信息，从而使同步服务器只能实现配置文件中记载的源集群和目的集群之间数据同步。
进一步的，本公开实施例中，在所述根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取之后，还包括；
将读取的同步数据放入同步队列中。
在将同步数据放入同步队列后，步骤104包括如下子步骤：
子步骤104：读取所述同步队列中的同步数据，根据所述同步数据对应的生产者线程，连接目的同步对象进行同步数据的写入。
进一步的，本公开实施例中，所述同步任务中还包括所述同步数据对应的所述源地址中的源主题，以及所述同步数据对应的所述目的地址中的目的主题。
所述步骤103包括如下子步骤：
子步骤1031：根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象，读取所述源主题下的所述同步数据。
步骤104包括如下子步骤：
子步骤1042：根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象，将所述同步数据写入所述目的主题。
步骤104包括如下子步骤：
子步骤1043：当所述同步数据的目的地址为分布式文件系统HDFS地址时，调用分布式文件系统接口，启动对应的生产者线程，通过所述分布式文件系统接口连接目的同步对象进行同步数据的写入。
当所述同步数据的目的地址为消息系统集群地址时，调用消息系统集群接口，启动对应的生产者线程，通过所述消息系统集群接口连接目的同步对象进行同步数据的写入。
在本公开实施例中，同步服务器可以采用回调方法从分布式应用程序协调系统获取同步任务，并且针对每一对源地址和目的地址，都会启动一个或多个同步服务器workerThread线程，这些线程会负责处理源地址到目的地址的数据同步服务，并且workerThrea可以配置多个producer和多个consumer，具体的，Worker接口设计示意图，如图2所示。
在图2中，同步服务器为Worker为例，说明同步服务器的数据同步过程，具体的，Worker负责两个集群对的数据同步，一个集群对为源Kafka集群为A，目的Kafka集群为B；另一个集群对为源Kafka集群为C，目的Kafka集群为D。
当Worker读取到同步任务时，Worker启动workerThread1-workerThreadN实现将源Kafka集群A和目的Kafka集群B的数据同步，以及将源Kafka集群C和目的Kafka集群D的数据同步。
具体的，workerThread1-workerThreadN将源Kafka集群A的源主题的同步数据同步到目的Kafka集群B的目的主题中。
workerThread1-workerThreadN将源Kafka集群C的源主题的同步数据同步到目的Kafka集群D的目的主题中。
在本公开实施例中，Worker中主要的类和变量之间的关系如下：
MirrorWorkerManage类持有一个WorkersMap类变量，WorkersMap类包含一个allWorkersMap变量，allWorkersMap是一个hashMap，key是源Kafka集群名+目的集群信息，value是MirrorMakerWorker对象的list集合，MirrorMakerWorker的类负责相应源Kafka集群到目的集群信息的数据同步任务。
图3是根据一示例性实施例示出的源Kafka集群到目的Kafka集群数据同步的结构示意图，具体数据同步的方法如下：
Woker1-Woker n读取分布式应用程序协调系统zookeeper的同步任务，当读取到所述Woker对应的同步任务时，Woker1与源Kafka集群和目的源Kafka集群建立连接。Woker1启动多个消费者线程从所述源消息系统集群中读取同步数据放入同步队列中，Woker1启动多个生产者线程读取所述同步队列中的同步数据，根据所述同步数据对应的生产者线程，连接目的Kafka集群的目的主题进行同步数据的写入。
在本公开实施例中，所述Woker1启动多个消费者线程通过Kafka集群接口，从所述源Kafka集群中读取源主题的同步数据，并将读取的同步数据放入同步队列中。
Woker1启动多个生产者线程通过Kafka集群接口，从所述队列中读取同步数据，并轮询写入到目的Kafka集群的目的主题中。
图4是根据一示例性实施例示出的源Kafka集群到分布式文件系统HDFS数据同步的结构示意图，具体数据同步的方法如下：
Woker1-Woker n读取分布式应用程序协调系统zookeeper的同步任务，当读取到所述Woker对应的同步任务时，Woker1与源Kafka集群和HDFS建立连接。Woker1启动多个消费者线程从所述源消息系统集群中读取同步数据放入同步队列中，所述Woker1启动多个生产者线程从所述同步队列中读取所述同步数据，并轮询写入到所述分布式文件系统。
在本公开实施例中，所述Woker1启动多个消费者线程通过Kafka集群接口，从所述源Kafka集群中读取源主题的同步数据，并将所述同步数据放入同步队列中。
在本公开实施例中，所述Woker1启动多个生产者线程通过分布式文件系统接口从所述队列中读取所述同步任务，并轮询写入到所述分布式文件系统中的HDFS目录。
图5是根据一示例性实施例示出的一种数据同步方法的流程图，如图5所示，该数据同步方法应用于控制服务器中，包括以下步骤：
步骤501：接收数据同步请求。
其中，所述数据同步请求包括：同步数据的源地址和目的地址，该目的地址可以为一个或者两个以上。
源地址可以为不同的类型，例如：源地址为消息系统集群Kafka地址，也可以为分布式文件系统HDFS地址，还可以为其他类型的地址。
目的地址也可以为不同的类型，例如：源地址为消息系统集群Kafka地址，也可以为分布式文件系统HDFS地址，还可以为其他类型的地址。
在本公开实施例中，控制服务器可以接收不同服务器的数据同步请求，也可以通过客户端作为透传设备接收不同服务器的数据同步请求，也可以直接从客户端获取数据同步请求。
本公开实施例中，控制服务器作为管理者，主要负责根据数据同步请求对同步服务器分配或删除同步任务，或者增加或者删除同步服务器节点，以及感知同步服务器节点的工作状态，并重新为同步服务器分配相应的同步任务。
同步服务器可以是多个工作站worker，也可以为其他，例如：分布式服务器，对此本公开不做具体限制。
本公开实施例中，所述同步数据请求中还包括：所述同步数据对应的所述源地址中的源主题，以及所述同步数据对应的所述目的地址中的目的主题。
相应地，所述每个所述同步任务中包含任务分配对象，同步数据的源地址及目的地址，以及所述源地址中的源主题，所述目的地址中的目的主题。
例如：同步数据的源地址为源消息系统Kafka集群，源地址的源主题，目的地址为目的消息系统Kafka集群，目的地址中的目的主题，这样控制服务器可以实现源Kafka集群中的源主题与目的Kafka集群中的目的主题之间的数据同步。
本公开实施例中，所述同步请求中包含的所述目的地址为分布式文件系统HDFS地址，所述同步请求中还包含所述HDFS地址对应的HDFS目录。
相应地，所述每个所述同步任务中包含任务分配对象，同步数据的所述消息系统集群地址及HDFS地址，以及所述源主题，所述HDFS目录。
例如：源地址为源消息系统Kafka集群，源地址的源主题，目的地址为分布式文件系统HDFS，目的地址对应的HDFS目录，这样控制服务器也可以实现源Kafka集群中的源主题与目的分布式文件系统HDFS中的HDFS目录之间的数据同步。
步骤502：根据所述数据同步请求对同步服务器进行任务分配，生成同步任务。
作为其中一种实现方式，具体的，本步骤502还可以包括如下述子步骤子步骤5021：获取各所述同步服务器当前正在执行的同步任务。
控制服务器统计各个同步服务器当前正在执行的同步任务，即控制服务器统计各个同步服务器的同步任务数量。
子步骤5022：根据所述数据同步请求，选择同步任务数量小于设定阈值的同步服务器进行任务分配，生成同步任务。
控制服务器选择同步任务数量小于设定阈值的同步服务器可以为一个或多个同步服务器，然后对选择出的同步服务器进行任务分配，生成同步任务。
阈值的设定可以由本领域技术人员采用任意适当方式进行设定，如可以采用人工经验设定阈值，或者针对历史数据的差异值设定阈值，本公开对此不作限制。
示例中，数据同步请求中的源地址为源Kafka集群cluster1的地址；目的地址为目的Kafka集群cluster2的地址；源主题topic名称为topicA，分区partition个数为3，分别为partition0、partition1、partition2；目的主题topic名称为topicB。
控制服务器收到同步任务请求后，将topicA的3个partition分配给不同的同步服务器。
具体的，分配的依据是控制服务器统计同步服务器正在执行的partition数量，选出负责partition数量比较少的同步服务器来进行依次分配，选择出3个同步服务器，分别为同步服务器1、同步服务器2和同步服务器3。比如分配如下：partition0分配给同步服务器1，partition2分配给同步服务器2，partition2分配给同步服务器3。
需要说明的是，上述示例仅仅用作举例，实际应用中可以根据实际应用场景进行任务分配。
步骤503：将所述同步任务写入到分布式应用程序协调系统zookeeper，以使所述同步服务器根据所述分布式应用程序协调系统中的同步任务进行数据同步。
其中，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址。
在本步骤中，分布式应用程序协调系统zookeeper只记录信息，不对信息进行处理。
具体的，将每个所述同步任务中包含任务分配对象，同步数据的源地址及目的地址，以及所述源地址中的源主题，所述目的地址中的目的主题全部写入到分布式应用程序协调系统zookeeper。
例如：本公开实施例中的源地址为源消息系统Kafka集群信息，目的地址为目的消息系统Kafka集群信息，源地址中的源主题topic，目的地址中的目的主题topic。这样当控制服务器根据同步请求对同步服务器进行任务分配，生成同步任务，同步服务器可以实现将源Kafka集群信息中的源主题写入到目的Kafka集群的目的topic。
例如：本公开实施例中的源地址为源消息系统Kafka集群信息，目的地址为分布式文件系统HDFS地址，源地址中的源主题topic，目的地址中的HDFS目录。这样当控制服务器根据同步请求对同步服务器进行任务分配，生成同步任务，同步服务器可以实现将源Kafka集群信息中的源主题写入到目的HDFS的目的HDFS目录。
综上所述，首先，本公开实施例中在不同集群之间进行数据同步时，通过发送的数据同步请求传递源地址和目的目的地址，从而实现不同集群之间的数据同步。
其次，控制服务器接收数据同步请求，根据所述同步任务请求对同步服务器进行任务分配，生成同步任务；将所述同步任务写入到分布式应用程序协调系统，以使同步服务器根据所述分布式应用程序协调系统中的同步任务进行数据同步。由于同步任务请求中携带有同步数据的源地址和目的地址，因此在集群启动时，配置文件中不需要配置同步数据的源地址和目的地址，这样可以根据同步任务请求中携带的同步数据的源地址和目的地址即可实现不同集群之间的数据同步。
图6是根据一示例性实施例示出的一种数据同步装置的框图，该装置60可以应用于控制服务器，如图6所示，该装置60可以包括：
接收模块601，被配置为接收数据同步请求，所述同步请求包括：同步数据的源地址和目的地址。
分配模块602，被配置为根据所述数据同步请求对同步服务器进行任务分配，生成同步任务。
数据同步模块603，被配置为将所述同步任务写入到分布式应用程序协调系统，以使所述同步服务器根据所述分布式应用程序协调系统中的同步任务进行数据同步，其中，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址。
在一种可能实施方式中，所述分配模块包括：
获取子模块，被配置为获取各所述同步服务器当前正在执行的同步任务。
生成同步任务子模块，被配置为根据所述同步请求，选择同步任务数量小于设定阈值的同步服务器进行任务分配，生成同步任务。
在一种可能实施方式中，所述同步请求中还包括：所述同步数据对应的所述源地址中的源主题，以及所述同步数据对应的所述目的地址中的目的主题；
相应地，所述每个所述同步任务中包含任务分配对象，同步数据的源地址及目的地址，以及所述源地址中的源主题，所述目的地址中的目的主题。
在一种可能实施方式中，所述同步请求中包含的源地址为消息系统集群地址，所述同步请求还包括所述同步数据对应的所述源地址中的源主题；
所述同步请求中包含的所述目的地址为分布式文件系统HDFS地址，所述同步请求中还包含所述HDFS地址对应的HDFS目录；
相应地，所述每个所述同步任务中包含任务分配对象，同步数据的所述消息系统集群地址及HDFS地址，以及所述源主题，所述HDFS目录。图7是根据一示例性实施例示出的一种数据同步装置的框图，该装置70可以应用于同步服务器，如图7所示，该装置70可以包括：
读取模块701，被配置为被配置为读取分布式应用程序协调系统中的多个同步任务，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址。
线程模块702，被配置为当存在多个所述同步任务的任务分配对象为所述同步服务器时，针对每个所述同步任务建立多组消费者线程和生产者线程。
消费模块703，被配置为根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取。
生产模块704，被配置为根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入。
在一种可能实施方式中，在所述消费模块根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取之后，所述数据同步装置还包括；
同步队列模块，被配置为将读取的同步数据放入同步队列中。
所述生产模块，包括：
第一写入模块，被配置为读取所述同步队列中的同步数据，根据所述同步数据对应的生产者线程，连接目的同步对象进行同步数据的写入。
在一种可能实施方式中，所述同步任务中还包括所述同步数据对应的所述源地址中的源主题，以及所述同步数据对应的所述目的地址中的目的主题；
所述消费模块，包括：
第一连接模块，被配置为根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象，读取所述源主题下的所述同步数据；
所述生产模块，包括：
第二写入模块，被配置为根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象，将所述同步数据写入所述目的主题。
在一种可能实施方式中，，所述生成模块，包括：
第三写入模块，被配置为当所述同步数据的目的地址为分布式文件系统HDFS地址时，调用分布式文件系统接口，启动对应的生产者线程，通过所述分布式文件系统接口连接目的同步对象进行同步数据的写入。
本公开实施例中，同步服务器读取zookeeper的同步任务，当读取到对应的同步任务时，才会启动多个消费线程和多个生成者线程实现将源地址到目的地址的数据同步。相对于uReplicator方案来说，本申请中同步服务器启动多个消费者线程和多个生产者线程来进行读写，这样并发度更高，可以实现大量数据的同步，因此大大提高了CPU的利用率。
图8是根据一示例性实施例示出的一种数据同步系统的框图，该系统可以包括：
本公开实施例中的数据同步系统是指KReplicator，该KReplicator系统具体包括：
控制服务器801，被配置为接收数据同步请求，所述数据同步请求包括：同步数据的源地址和目的地址；根据所述同步请求对同步服务器进行任务分配，生成同步任务；将所述同步任务写入到分布式应用程序协调系统。
分布式应用程序协调系统802，被配置为记录所述控制服务器分配的同步任务。
多个同步服务器803，所述同步服务器，被配置为读取分布式应用程序协调系统中的多个同步任务，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址；当存在多个所述同步任务的任务分配对象为所述同步服务器时，针对每个所述同步任务建立多组消费者线程和生产者线程；根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取；根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入。
需要说明的，控制服务器和同步服务器包括前述实施例的内容，在此不再赘述。
本公开实施例中，KReplicator可以支持任意Kafka集群之间的数据同步以及Kafka集群与HDFS系统之间的数据同步，不用重新搭建集群，并且可以在不重启服务的情况下同步到不同topic中，减少了运维成本。
为了本领域技术人员更好的理解本申请限定的技术方案，下面通过实例详细说明本公开的数据同步的过程。
示例1，源地址为Kafka集群地址，目的地址为Kafka集群地址，当需要将源Kafka集群cluster1中的topicA同步到目的Kafka集群cluster2中的topicB时，其中topicA和topicB均有3个partition，两个Kafka集群之间的数据同步过程如下：
控制服务器接收数据同步请求之后，发送同步任务请求，同步任务请求中包括：源Kafka集群cluster1的地址、目的Kafka集群cluster2的地址；源topicA，分区partition个数为3，分别为partition0、partition1、partition2、目的topicB。
控制服务器收到任务请求后，进行任务分配，将topicA的3个partition分配给不同的worker进行数据同步。
本步骤中，可以将partition0分配给worker1，partition1分配给wroker2，partition2分配给worker3。控制服务器将分布的同步任务写入到zookeeper相应目录上。
每个worker从zookeeper上读取到同步任务时，启动多个consumer连接源kafka集群进行消费源topicA中对应的partiion数据，并放入同步队列中，然后再启多个producer线程连接目的Kafka集群，将同步队列中的同步数据轮询写入目的topicB中的各个partiiton中。
示例2，源地址为Kafka集群地址，目的地址为HDFS，当需要将源Kafka集群cluster1中的topicA同步到目的HDFS对应的HDFS目录，其中topicA有3个partition，Kafka集群与HDFS之间的数据同步过程如下：
控制服务器接收数据同步请求之后，发送同步任务请求，同步任务请求中包括：源Kafka集群cluster1的地址、目的HDFS地址；源topicA，分区partition个数为3，分别为partition0、partition1、partition2、目的HDFS目录。
控制服务器收到任务请求后，进行任务分配，将topicA的3个partition分配给不同的worker进行数据同步。
本步骤中，可以将partition0分配给worker1，partition1分配给wroker2，partition2分配给worker3。控制服务器将分布的同步任务写入到zookeeper相应目录上。
每个worker从zookeeper上读取到同步任务时，启动多个consumer连接源kafka集群进行消费源topicA中对应的partiion数据，并放入同步队列中，然后再启多个producer线程连接目的HDFS集群，将同步队列中的同步数据轮询写入目的HDFS对应的HDFS目录中。
在示例性实施例中，还提供了一种包括存储介质，当所述存储介质用于存储程序代码，所述程序代码以实现数据同步方法所执行的操作。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本公开所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。以上所述，以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。
对本公开所提供的一种数据同步的方法、装置、系统及存储介质，进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域的一般技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。
Claims (19)
1.一种数据同步方法，其特征在于，应用于同步服务器，所述方法包括：
读取分布式应用程序协调系统中的多个同步任务，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址；
当存在多个所述同步任务的任务分配对象为所述同步服务器时，针对每个所述同步任务建立多组消费者线程和生产者线程；
根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取；
根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入；
其中，所述同步服务器有多个。
2.根据权利要求1所述的数据同步方法，其特征在于，在所述根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取之后，还包括；
将读取的同步数据放入同步队列中；
根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入，包括：
读取所述同步队列中的同步数据，根据所述同步数据对应的生产者线程，连接目的同步对象进行同步数据的写入。
3.根据权利要求1所述的数据同步方法，其特征在于，所述同步任务中还包括所述同步数据对应的所述源地址中的源主题，以及所述同步数据对应的所述目的地址中的目的主题；
所述根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取，包括：
根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象，读取所述源主题下的所述同步数据；
所述根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入，包括：
根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象，将所述同步数据写入所述目的主题。
4.根据权利要求1所述的数据同步方法，其特征在于，所述根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入，包括：
当所述同步数据的目的地址为分布式文件系统HDFS地址时，调用分布式文件系统接口，启动对应的生产者线程，通过所述分布式文件系统接口连接目的同步对象进行同步数据的写入。
5.一种数据同步方法，其特征在于，应用于控制服务器，所述方法包括：
接收数据同步请求，所述数据同步请求包括：同步数据的源地址和目的地址；
根据所述同步请求对同步服务器进行任务分配，生成同步任务；其中，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址；
将所述同步任务写入到分布式应用程序协调系统，以使与所述同步任务中的所述任务分配对象对应的所述同步服务器读取到所述分布式应用程序协调系统中的所述同步任务后，根据所述同步任务进行数据同步；
其中，当存在多个所述同步任务的任务分配对象为所述同步服务器时，所述同步服务器针对每个所述同步任务建立多组消费者线程和生产者线程；所述同步服务器根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取；所述同步服务器根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入；其中，所述同步服务器有多个。
6.根据权利要求5所述的数据同步方法，其特征在于，所述根据所述同步请求对同步服务器进行任务分配，生成同步任务，包括；
获取各所述同步服务器当前正在执行的同步任务；
根据所述同步请求，选择同步任务数量小于设定阈值的同步服务器进行任务分配，生成同步任务。
7.根据权利要求5所述的数据同步方法，其特征在于，所述同步请求中还包括：所述同步数据对应的所述源地址中的源主题，以及所述同步数据对应的所述目的地址中的目的主题；
相应地，所述每个所述同步任务中包含任务分配对象，同步数据的源地址及目的地址，以及所述源地址中的源主题，所述目的地址中的目的主题。
8.根据权利要求5所述的数据同步方法，其特征在于，所述同步请求中包含的源地址为消息系统集群地址，所述同步请求还包括所述同步数据对应的所述源地址中的源主题；
所述同步请求中包含的所述目的地址为分布式文件系统HDFS地址，所述同步请求中还包含所述HDFS地址对应的HDFS目录；
相应地，所述每个所述同步任务中包含任务分配对象，同步数据的所述消息系统集群地址及HDFS地址，以及所述源主题，所述HDFS目录。
9.一种数据同步装置，其特征在于，应用于同步服务器，包括：
读取模块，被配置为读取分布式应用程序协调系统中的多个同步任务，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址；
线程模块，被配置为当存在多个所述同步任务的任务分配对象为所述同步服务器时，针对每个所述同步任务建立多组消费者线程和生产者线程；
消费模块，被配置为根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取；
生产模块，被配置为根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入；
其中，所述同步服务器有多个。
10.根据权利要求9所述的数据同步装置，其特征在于，在所述消费模块根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取之后，所述数据同步装置还包括；
同步队列模块，被配置为将读取的同步数据放入同步队列中；
所述生产模块，包括：
第一写入模块，被配置为读取所述同步队列中的同步数据，根据所述同步数据对应的生产者线程，连接目的同步对象进行同步数据的写入。
11.根据权利要求9所述的数据同步装置，其特征在于，所述同步任务中还包括所述同步数据对应的所述源地址中的源主题，以及所述同步数据对应的所述目的地址中的目的主题；
所述消费模块，包括：
第一连接模块，被配置为根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象，读取所述源主题下的所述同步数据；
所述生产模块，包括：
第二写入模块，被配置为根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象，将所述同步数据写入所述目的主题。
12.根据权利要求9所述的数据同步装置，其特征在于，所述生产模块，包括：
第三写入模块，被配置为当所述同步数据的目的地址为分布式文件系统HDFS地址时，调用分布式文件系统接口，启动对应的生产者线程，通过所述分布式文件系统接口连接目的同步对象进行同步数据的写入。
13.一种数据同步装置，其特征在于，应用于控制服务器，包括：
接收模块，被配置为接收数据同步请求，所述同步请求包括：同步数据的源地址和目的地址；
分配模块，被配置为根据所述数据同步请求对同步服务器进行任务分配，生成同步任务；其中，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址；
数据同步模块，被配置为将所述同步任务写入到分布式应用程序协调系统，以使与所述同步任务中的所述任务分配对象对应的所述同步服务器读取到所述分布式应用程序协调系统中的所述同步任务后，根据所述同步任务进行数据同步；
其中，当存在多个所述同步任务的任务分配对象为所述同步服务器时，所述同步服务器针对每个所述同步任务建立多组消费者线程和生产者线程；所述同步服务器根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取；所述同步服务器根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入；其中，所述同步服务器有多个。
14.根据权利要求13所述的数据同步装置，其特征在于，所述分配模块包括：
获取子模块，被配置为获取各所述同步服务器当前正在执行的同步任务；
生成同步任务子模块，被配置为根据所述同步请求，选择同步任务数量小于设定阈值的同步服务器进行任务分配，生成同步任务。
15.根据权利要求13所述的数据同步装置，其特征在于，所述同步请求中还包括：所述同步数据对应的所述源地址中的源主题，以及所述同步数据对应的所述目的地址中的目的主题；
相应地，所述每个所述同步任务中包含任务分配对象，同步数据的源地址及目的地址，以及所述源地址中的源主题，所述目的地址中的目的主题。
16.根据权利要求13所述的数据同步装置，其特征在于，所述同步请求中包含的源地址为消息系统集群地址，所述同步请求还包括所述同步数据对应的所述源地址中的源主题；
所述同步请求中包含的所述目的地址为分布式文件系统HDFS地址，所述同步请求中还包含所述HDFS地址对应的HDFS目录；
相应地，所述每个所述同步任务中包含任务分配对象，同步数据的所述消息系统集群地址及HDFS地址，以及所述源主题，所述HDFS目录。
17.一种数据同步系统，其特征在于，包括：
控制服务器，被配置为接收数据同步请求，所述数据同步请求包括：同步数据的源地址和目的地址；根据所述同步请求对同步服务器进行任务分配，生成同步任务；将所述同步任务写入到分布式应用程序协调系统；
分布式应用程序协调系统，被配置为记录所述控制服务器分配的同步任务；
多个同步服务器，所述同步服务器，被配置为读取分布式应用程序协调系统中的多个同步任务，每个所述同步任务包含任务分配对象，同步数据的源地址及目的地址；当存在多个所述同步任务的任务分配对象为所述同步服务器时，针对每个所述同步任务建立多组消费者线程和生产者线程；根据每个所述同步数据的源地址，启动对应的消费者线程连接源同步对象进行同步数据读取；根据每个所述同步数据的目的地址，启动对应的生产者线程连接目的同步对象进行同步数据的写入。
18.一种存储介质，当所述存储介质用于存储程序代码，所述程序代码以实现如权利要求1至4中任一项所述数据同步方法所执行的操作。
19.一种存储介质，当所述存储介质用于存储程序代码，所述程序代码以实现如权利要求5至8所述数据同步方法所执行的操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911159486.2A CN112835862B (zh) | 2019-11-22 | 2019-11-22 | 一种数据同步方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911159486.2A CN112835862B (zh) | 2019-11-22 | 2019-11-22 | 一种数据同步方法、装置、系统及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112835862A CN112835862A (zh) | 2021-05-25 |
| CN112835862B true CN112835862B (zh) | 2024-05-14 |
Family
ID=75921788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911159486.2A Active CN112835862B (zh) | 2019-11-22 | 2019-11-22 | 一种数据同步方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112835862B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113656503A (zh) * | 2021-08-20 | 2021-11-16 | 北京健康之家科技有限公司 | 数据同步方法、装置、系统及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109144748A (zh) * | 2018-07-26 | 2019-01-04 | 阿里巴巴集团控股有限公司 | 一种服务器、分布式服务器集群及其状态驱动方法 |
| CN109981697A (zh) * | 2017-12-27 | 2019-07-05 | 深圳市优必选科技有限公司 | 一种文件转存方法、系统、服务器及存储介质 |
| CN110347342A (zh) * | 2019-07-12 | 2019-10-18 | 上海英方软件股份有限公司 | 一种基于磁盘队列实现Kafka集群同步的方法及系统 |
-
2019
- 2019-11-22 CN CN201911159486.2A patent/CN112835862B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109981697A (zh) * | 2017-12-27 | 2019-07-05 | 深圳市优必选科技有限公司 | 一种文件转存方法、系统、服务器及存储介质 |
| CN109144748A (zh) * | 2018-07-26 | 2019-01-04 | 阿里巴巴集团控股有限公司 | 一种服务器、分布式服务器集群及其状态驱动方法 |
| CN110347342A (zh) * | 2019-07-12 | 2019-10-18 | 上海英方软件股份有限公司 | 一种基于磁盘队列实现Kafka集群同步的方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112835862A (zh) | 2021-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020177533A1 (zh) | 电子票据标识分配方法、电子票据生成方法、装置及系统 | |
| EP3490224B1 (en) | Data synchronization method and system | |
| US11586673B2 (en) | Data writing and reading method and apparatus, and cloud storage system | |
| US10637916B2 (en) | Method and device for storage resource allocation for video cloud storage | |
| CN105338086A (zh) | 一种分布式的消息转发方法 | |
| CN111399764B (zh) | 数据存储方法、读取方法、装置、设备及存储介质 | |
| CN113037529B (zh) | 一种预留带宽分配方法、装置、设备及存储介质 | |
| US20160183229A1 (en) | Ip phone network system, server apparatus, ip exchange and resource capacity expansion method | |
| JP6405255B2 (ja) | 通信システム、キュー管理サーバ、及び、通信方法 | |
| CN107203429A (zh) | 一种基于分布式锁加载分布式任务的方法以及装置 | |
| CN111541762B (zh) | 数据处理的方法、管理服务器、设备及存储介质 | |
| CN112835862B (zh) | 一种数据同步方法、装置、系统及存储介质 | |
| CN109167819A (zh) | 数据同步系统、方法、装置及存储介质 | |
| US11252121B2 (en) | Message sending method and terminal device | |
| CN110534136B (zh) | 录音的方法和装置 | |
| CN108259605B (zh) | 一种基于多数据中心的数据调用系统及方法 | |
| CN107168642B (zh) | 一种数据存储方法及系统 | |
| US20200236165A1 (en) | System and method for synchronization of media objects between devices operating in a multiroom system | |
| CN111831503A (zh) | 一种基于监控代理的监控方法和监控代理装置 | |
| CN115629909A (zh) | 业务数据处理的方法、装置、电子设备和存储介质 | |
| CN115454666A (zh) | 消息队列集群间的数据同步方法和装置 | |
| CN114629958A (zh) | 资源分配方法、装置、电子设备及存储介质 | |
| EP3648423B1 (en) | Resource allocation method and system | |
| CN109327529B (zh) | 分布式扫描方法及系统 | |
| CN114070889A (zh) | 配置方法、流量转发方法、设备、存储介质及程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |