CN112163037A - 一种数据同步方法、装置、计算机设备及存储介质 - Google Patents
一种数据同步方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112163037A CN112163037A CN202010982356.5A CN202010982356A CN112163037A CN 112163037 A CN112163037 A CN 112163037A CN 202010982356 A CN202010982356 A CN 202010982356A CN 112163037 A CN112163037 A CN 112163037A
- Authority
- CN
- China
- Prior art keywords
- synchronization
- data
- synchronous
- service
- application program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000001360 synchronised effect Effects 0.000 claims abstract description 225
- 230000008569 process Effects 0.000 claims abstract description 38
- 230000002085 persistent effect Effects 0.000 claims description 28
- 238000004590 computer program Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 abstract description 14
- 230000005540 biological transmission Effects 0.000 abstract description 7
- 239000002609 medium Substances 0.000 description 20
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000012120 mounting media Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Hardware Redundancy (AREA)
Abstract
本发明实施例公开了一种数据同步方法、装置、计算机设备及存储介质。该方法包括:通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据;通过发送端同步服务将同步数据发送到接收端同步服务,以通过接收端同步服务将同步数据发送到目标应用程序接口,并通过目标应用程序接口调用目标应用程序对同步数据进行处理;其中,发送端同步服务与接收端同步服务之间通过异步方式进行通讯。本发明实施例所提供的技术方案,实现了一种通用的同步机制,并且极大的方便了分布式及集群下的同步过程,同时也提高了同步过程的稳定性以及在公网传输的安全性。
Description
技术领域
本发明实施例涉及计算机技术领域,尤其涉及一种数据同步方法、装置、计算机设备及存储介质。
背景技术
随着互联网的发展,互联网的规模越来越大,数据的访问量及处理量也越来越大,单机数据库已无法满足日新月异的发展需求,于是提出了很多分布式或集群的解决方案。但在分布式和集群中,存在非常棘手的数据同步问题,即如何保证数据同步的同时避免数据丢失。
目前主流的解决方案是以关系型数据库管理系统(mySQL)为代表的二进制日志(binary log,binlog)同步机制,但是传统的binlog同步机制无法通用,即mySQL的同步机制只能由mySQL使用,而无法让其他的服务也使用这个同步机制,从而导致了大量的重复开发过程,极大的浪费了人力物力。
发明内容
本发明实施例提供一种数据同步方法、装置、计算机设备及存储介质,以实现一种通用的同步机制,从而提高开发效率。
第一方面,本发明实施例提供了一种数据同步方法,该方法包括:
通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据;
通过所述发送端同步服务将所述同步数据发送到接收端同步服务,以通过所述接收端同步服务将所述同步数据发送到目标应用程序接口,并通过所述目标应用程序接口调用目标应用程序对所述同步数据进行处理;其中,所述发送端同步服务与所述接收端同步服务之间通过异步方式进行通讯。
第二方面,本发明实施例还提供了一种数据同步装置,该装置包括:
数据上传模块,用于通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据;
数据同步模块,用于通过所述发送端同步服务将所述同步数据发送到接收端同步服务,以通过所述接收端同步服务将所述同步数据发送到目标应用程序接口,并通过所述目标应用程序接口调用目标应用程序对所述同步数据进行处理;其中,所述发送端同步服务与所述接收端同步服务之间通过异步方式进行通讯。
第三方面,本发明实施例还提供了一种计算机设备,该计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明任意实施例所提供的数据同步方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明任意实施例所提供的数据同步方法。
本发明实施例提供了一种数据同步方法,首先数据发送端内的同步应用程序通过调用同步应用程序接口将同步数据上传到发送端同步服务上,再通过发送端同步服务将同步数据发送到需要进行数据同步的数据接收端,接着数据接收端通过接收端同步服务将同步数据发送到目标应用程序接口,然后通过目标应用程序接口调用目标应用程序对同步数据进行处理,即完成了数据同步的过程,并且发送端同步服务与接收端同步服务之间通过异步方式进行通讯。通过在数据发送端与数据接收端分别增加发送端同步服务与接收端同步服务来专门负责同步数据的传输,解耦了binlog同步机制中的应用程序,只需要调用对应的应用程序接口即可实现将同步数据从数据发送端同步到指定的数据接收端,实现了一种通用的同步机制,并且极大的方便了分布式及集群下的同步过程,同时也提高了同步过程的稳定性以及在公网传输的安全性。
附图说明
图1为本发明实施例一提供的数据同步方法的流程图;
图2为本发明实施例二提供的数据同步方法的流程图;
图3为本发明实施例三提供的数据同步装置的结构示意图;
图4为本发明实施例四提供的计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1为本发明实施例一提供的数据同步方法的流程图。本实施例可适用于在分布式或集群等环境中进行数据同步的情况,该方法可以由本发明实施例提供的数据同步装置来执行,该装置可以由硬件和/或软件的方式来实现,一般可集成于计算机设备中。如图1所示,具体包括如下步骤:
S11、通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据。
具体的,在各种需要进行数据同步的业务中,示例性的,如在邮件业务中,需要对所使用的各个终端上的发件和收件等过程进行数据同步,产生同步数据的过程可以通过调用binlog的应用程序接口写日志文件并存储在本地,写入的机制可以采用文件转储的方案。在需要进行数据同步时,同步应用程序可以从本地的日志文件夹中获取所需的日志文件作为同步数据。可选的,对日志信息的记录以及日志文件的管理等过程可通过数据发送端中的日志管理模块来实现。
可选的,在通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据之前,还包括:通过同步应用程序按照预设周期从本地获取同步数据。具体的,可以设置同步应用程序按照预设周期定时的遍历日志文件夹,对日志文件夹中所有的日志文件进行处理,即通过二进制协议对所有的日志文件进行打包后作为同步数据。其中,预设周期可以是3-10秒,优选的,预设周期为5秒。
可选的,在通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据之前,还包括:向同步应用程序发送同步通知;通过同步应用程序根据同步通知从本地获取同步数据。具体的,还可以通知的方式使同步应用程序从本地的日志文件夹中获取同步数据,示例性的,可以由日志管理模块按照预设周期向同步应用程序发送通知,或者由日志管理模块统计日志文件夹中日志文件的数量,并在日志文件的数量超过了预设数量时,向同步应用程序发送通知,亦或者还可以由上述两种通知方案相结合以形成时间与文件数量的双重限制,即发生任一情况均向同步应用程序发送通知。当应用程序接收到通知后,即可开始遍历日志文件夹,对日志文件夹中所有的日志文件进行处理。其中,预设数量可以是小于5000条,优选的,预设数量为100条。可选的,在处理之前,可以判断当前是否处于等待阶段,若不处于等待阶段,说明存在其他机制正在处理当前的日志文件,则忽略此次通知暂时不进行处理。
在日志文件夹中可以写入多条日志文件,如果尚未写完,即还不需要同步应用程序进行处理时,可以将日志文件的类型设置为临时文件(.tmp),在写完后,可以将日志文件的类型统一修改为数据文件(.dat),则同步应用程序就会开始处理。可以删除已经处理完成的日志文件,在处理的过程中,若遇到因为网络故障等原因造成同步失败的情况,则可以修改指定包以及指定IP记录的状态,以便下次遍历时进一步处理。
在同步应用程序获得了同步数据之后,即可调用同步应用程序接口向发送端同步服务上传同步数据,其中,发送端同步服务为网关。可选的,在通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据之前,还包括:根据同步数据的数据类型确定对应的数据同步模块,数据同步模块提供同步应用程序接口。具体的,数据发送端中可以包括多个数据同步模块,并可以处理不同类型的同步数据,每个数据同步模块可以提供对应的标准同步应用程序接口,同时数据发送端可以通过任务调度模块根据获取的同步数据的数据类型将同步任务分发给相应的数据同步模块进行处理。在确定了相应的数据同步模块之后,即可将该数据同步模块提供的标准同步应用程序接口作为处理本次同步任务的同步应用程序接口。可选的,数据发送端可以通过配置模块对同步应用程序接口提供配置管理,如配置信息的解析、加载以及重载等。
可选的,在根据同步数据的数据类型确定对应的数据同步模块,数据同步模块提供同步应用程序接口之前,还包括:注册每个数据同步模块可处理的同步数据的数据类型。具体的,各个数据同步模块可以在模块初始化过程中向调度模块注册可处理的同步数据的数据类型,后续收到该数据类型,则可以调用对应的数据同步模块的同步应用程序完成数据同步。
S12、通过发送端同步服务将同步数据发送到接收端同步服务,以通过接收端同步服务将同步数据发送到目标应用程序接口,并通过目标应用程序接口调用目标应用程序对同步数据进行处理;其中,发送端同步服务与接收端同步服务之间通过异步方式进行通讯。
发送端同步服务在接收到同步数据之后,即可将同步数据编码成对应所需的报文格式,并将同步数据发送到数据接收端中指定的接收端同步服务,其中,接收端同步服务可以为多个,对接收端同步服务的指定可以根据日志文件中记载的内容来确定。数据发送端与数据接收端之间通过异步方式进行通讯,并可以通过各端的网络通讯模块来提供可靠的异步通讯功能,由于同一时间可能存在多个同步应用程序进行同步,所以发送端同步服务和接收端同步服务需要对多个同步任务进行处理,异步处理可以保证在大并发的情况下能够正常高效的处理,从而保证调用同步应用程序接口的同步应用程序不会等待过久。接收端同步服务在接收到同步数据之后,可以将同步数据发送到目标应用程序接口,以通过目标应用程序接口调用需要同步的目标应用程序并向其发送同步数据,以进行所需的相关处理。目标应用程序在接收到同步数据之后,可以对同步数据执行一次,以保证数据的成功同步,并可以将同步结果以同样的方式返回数据发送端。
示例性的,在数据发送端中存在邮件等需要进行数据同步的业务,在需要将邮件中的写信、读信及发信等状态同步到数据接收端时,可以通过异步通讯的方式将同步数据发送至数据接收端,具体的,可以首先将同步数据从同步应用程序发送至发送端同步服务上,在保证发送端同步服务接收到同步数据后,即可将结果反馈至同步应用程序,从而使同步应用程序不会等待太久,然后发送端同步服务可以根据接收端同步服务的状态确定数据同步的时机,并在合适的时间将同步数据发送至接收端数据服务,从而使得发送端同步服务与接收端同步服务可以按照各自的处理速度而非步调一致,同时,发送端同步服务还可以对其他需要进行数据同步的业务进行处理,而不用等待接收端同步服务的反馈,从而保证了在大并发的情况下仍然能够正常高效的处理各个同步任务。通过异步方式进行通讯,也可以很好的实现向多个数据接收端同时进行数据同步的过程而不互相干扰。
本发明实施例所提供的技术方案,首先数据发送端内的同步应用程序通过调用同步应用程序接口将同步数据上传到发送端同步服务上,再通过发送端同步服务将同步数据发送到需要进行数据同步的数据接收端,接着数据接收端通过接收端同步服务将同步数据发送到目标应用程序接口,然后通过目标应用程序接口调用目标应用程序对同步数据进行处理,即完成了数据同步的过程,并且发送端同步服务与接收端同步服务之间通过异步方式进行通讯。通过在数据发送端与数据接收端分别增加发送端同步服务与接收端同步服务来专门负责同步数据的传输,解耦了binlog同步机制中的应用程序,只需要调用对应的应用程序接口即可实现将同步数据从数据发送端同步到指定的数据接收端,实现了一种通用的同步机制,并且极大的方便了分布式及集群下的同步过程,同时也提高了同步过程的稳定性以及在公网传输的安全性。
实施例二
图2为本发明实施例二提供的数据同步方法的流程图。本实施例的技术方案在上述技术方案的基础上进一步细化,可选的,在通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据之后,还包括:将同步数据在发送端同步服务上进行持久化存储。进一步可选的,在通过发送端同步服务将同步数据发送到接收端同步服务之后,还包括:通过发送端同步服务接收接收端同步服务返回的持久化存储结果,持久化存储结果由接收端同步服务在完成对同步数据进行持久化存储后生成;将发送端同步服务上持久化存储的与持久化存储结果对应的同步数据删除。相应的,如图2所示,具体可以包括如下步骤:
S21、通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据。
S22、将同步数据在发送端同步服务上进行持久化存储。
具体的,发送端同步服务在接收到同步数据之后,将同步数据进行持久化存储,示例性的,如将同步数据存储在文件或数据库中,从而可以在服务异常重启或同步负载过高时从存储中重新加载同步数据,以避免数据丢失。同时,可以向日志管理模块返回上传结果,以使日志管理模块可以在发送端同步服务完成了持久化存储后将处理完成的日志文件进行删除,从而进一步避免数据丢失。
S23、通过发送端同步服务将同步数据发送到接收端同步服务。
S24、通过发送端同步服务接收接收端同步服务返回的持久化存储结果,持久化存储结果由接收端同步服务在完成对同步数据进行持久化存储后生成。
具体的,接收端同步服务在接收到同步数据之后,可以同样将同步数据进行持久化存储,以保证在同步数据被目标应用程序使用之前不丢失,在完成了持久化存储后,即可将持久化存储结果返回至发送端同步服务。
S25、将发送端同步服务上持久化存储的与持久化存储结果对应的同步数据删除。
发送端同步服务在接收到持久化存储结果之后,即可将对应的同步数据删除,以节约发送端同步服务上的存储空间,此时则保证了同步数据已经成功的发送到接收端同步服务上,发送端同步服务的任务完成。特别的,若接收端同步服务的数量为多个,则发送端同步服务在接收到所有接收端同步服务返回的持久化存储结果后,即可删除对应的同步数据。同样的,接收端同步服务在接收到目标应用程序返回的同步结果为成功时,同样可以删除对应的同步数据,以节约接收端同步服务上的存储空间,此时则保证了同步数据已经成功的完成了同步,接收端同步服务的任务完成。
本发明实施例所提供的技术方案,通过在发送端同步服务和接收端同步服务上进行持久化存储,并在完成各自的任务后将存储的同步数据删除,保证了即使在出现异常的情况下,数据也不会丢失,并且不会占用过多的存储空间,从而进一步提高了数据同步过程的稳定性。
实施例三
图3为本发明实施例三提供的数据同步装置的结构示意图,该装置可以由硬件和/或软件的方式来实现,一般可集成于计算机设备中。如图3所示,该装置包括:
数据上传模块31,用于通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据;
数据同步模块32,用于通过发送端同步服务将同步数据发送到接收端同步服务,以通过接收端同步服务将同步数据发送到目标应用程序接口,并通过目标应用程序接口调用目标应用程序对同步数据进行处理;其中,发送端同步服务与接收端同步服务之间通过异步方式进行通讯。
本发明实施例所提供的技术方案,首先数据发送端内的同步应用程序通过调用同步应用程序接口将同步数据上传到发送端同步服务上,再通过发送端同步服务将同步数据发送到需要进行数据同步的数据接收端,接着数据接收端通过接收端同步服务将同步数据发送到目标应用程序接口,然后通过目标应用程序接口调用目标应用程序对同步数据进行处理,即完成了数据同步的过程,并且发送端同步服务与接收端同步服务之间通过异步方式进行通讯。通过在数据发送端与数据接收端分别增加发送端同步服务与接收端同步服务来专门负责同步数据的传输,解耦了binlog同步机制中的应用程序,只需要调用对应的应用程序接口即可实现将同步数据从数据发送端同步到指定的数据接收端,实现了一种通用的同步机制,并且极大的方便了分布式及集群下的同步过程,同时也提高了同步过程的稳定性以及在公网传输的安全性。
在上述技术方案的基础上,可选的,该数据同步装置,还包括:
持久化存储模块,用于在通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据之后,将同步数据在发送端同步服务上进行持久化存储。
在上述技术方案的基础上,可选的,该数据同步装置,还包括:
持久化存储结果接收模块,用于在通过发送端同步服务将同步数据发送到接收端同步服务之后,通过发送端同步服务接收接收端同步服务返回的持久化存储结果,持久化存储结果由接收端同步服务在完成对同步数据进行持久化存储后生成;
数据删除模块,用于将发送端同步服务上持久化存储的与持久化存储结果对应的同步数据删除。
在上述技术方案的基础上,可选的,该数据同步装置,还包括:
第一同步数据获取模块,用于在通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据之前,通过同步应用程序按照预设周期从本地获取同步数据。
在上述技术方案的基础上,可选的,该数据同步装置,还包括:
同步通知模块,用于在通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据之前,向同步应用程序发送同步通知;
第二同步数据获取模块,用于通过同步应用程序根据同步通知从本地获取同步数据。
在上述技术方案的基础上,可选的,该数据同步装置,还包括:
同步应用程序接口确定模块,用于在通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据之前,根据同步数据的数据类型确定对应的数据同步模块,数据同步模块提供同步应用程序接口。
在上述技术方案的基础上,可选的,该数据同步装置,还包括:
数据类型注册模块,用于在根据同步数据的数据类型确定对应的数据同步模块,数据同步模块提供同步应用程序接口之前,注册每个数据同步模块可处理的同步数据的数据类型。
本发明实施例所提供的数据同步装置可执行本发明任意实施例所提供的数据同步方法,具备执行方法相应的功能模块和有益效果。
值得注意的是,在上述数据同步装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
实施例四
图4为本发明实施例四提供的计算机设备的结构示意图,示出了适于用来实现本发明实施方式的示例性计算机设备的框图。图4显示的计算机设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。如图4所示,该计算机设备包括处理器41、存储器42、输入装置43及输出装置44;计算机设备中处理器41的数量可以是一个或多个,图4中以一个处理器41为例,计算机设备中的处理器41、存储器42、输入装置43及输出装置44可以通过总线或其他方式连接,图4中以通过总线连接为例。
存储器42作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的数据同步方法对应的程序指令/模块(例如,数据同步装置中的数据上传模块31及数据同步模块32)。处理器41通过运行存储在存储器42中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的数据同步方法。
存储器42可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据计算机设备的使用所创建的数据等。此外,存储器42可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器42可进一步包括相对于处理器41远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收数据接收端返回的反馈数据,以及产生与计算机设备的用户设置和功能控制有关的键信号输入等。输出装置44可用于向数据接收端发送同步数据等。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,该计算机可执行指令在由计算机处理器执行时用于执行一种数据同步方法,该方法包括:
通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据;
通过发送端同步服务将同步数据发送到接收端同步服务,以通过接收端同步服务将同步数据发送到目标应用程序接口,并通过目标应用程序接口调用目标应用程序对同步数据进行处理;其中,发送端同步服务与接收端同步服务之间通过异步方式进行通讯。
存储介质可以是任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDR RAM、SRAM、EDO RAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据同步方法中的相关操作。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,或者上述的任意合适的组合。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种数据同步方法,其特征在于,包括:
通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据;
通过所述发送端同步服务将所述同步数据发送到接收端同步服务,以通过所述接收端同步服务将所述同步数据发送到目标应用程序接口,并通过所述目标应用程序接口调用目标应用程序对所述同步数据进行处理;其中,所述发送端同步服务与所述接收端同步服务之间通过异步方式进行通讯。
2.根据权利要求1所述的数据同步方法,其特征在于,在所述通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据之后,还包括:
将所述同步数据在所述发送端同步服务上进行持久化存储。
3.根据权利要求2所述的数据同步方法,其特征在于,在所述通过所述发送端同步服务将所述同步数据发送到接收端同步服务之后,还包括:
通过所述发送端同步服务接收所述接收端同步服务返回的持久化存储结果,所述持久化存储结果由所述接收端同步服务在完成对所述同步数据进行持久化存储后生成;
将所述发送端同步服务上持久化存储的与所述持久化存储结果对应的所述同步数据删除。
4.根据权利要求1所述的数据同步方法,其特征在于,在所述通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据之前,还包括:
通过所述同步应用程序按照预设周期从本地获取所述同步数据。
5.根据权利要求1所述的数据同步方法,其特征在于,在所述通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据之前,还包括:
向所述同步应用程序发送同步通知;
通过所述同步应用程序根据所述同步通知从本地获取所述同步数据。
6.根据权利要求1所述的数据同步方法,其特征在于,在所述通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据之前,还包括:
根据所述同步数据的数据类型确定对应的数据同步模块,所述数据同步模块提供所述同步应用程序接口。
7.根据权利要求6所述的数据同步方法,其特征在于,在所述根据所述同步数据的数据类型确定对应的数据同步模块,所述数据同步模块提供所述同步应用程序接口之前,还包括:
注册每个所述数据同步模块可处理的同步数据的数据类型。
8.一种数据同步装置,其特征在于,包括:
数据上传模块,用于通过同步应用程序调用同步应用程序接口向发送端同步服务上传同步数据;
数据同步模块,用于通过所述发送端同步服务将所述同步数据发送到接收端同步服务,以通过所述接收端同步服务将所述同步数据发送到目标应用程序接口,并通过所述目标应用程序接口调用目标应用程序对所述同步数据进行处理;其中,所述发送端同步服务与所述接收端同步服务之间通过异步方式进行通讯。
9.一种计算机设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的数据同步方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的数据同步方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010982356.5A CN112163037A (zh) | 2020-09-17 | 2020-09-17 | 一种数据同步方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010982356.5A CN112163037A (zh) | 2020-09-17 | 2020-09-17 | 一种数据同步方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112163037A true CN112163037A (zh) | 2021-01-01 |
Family
ID=73859141
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010982356.5A Pending CN112163037A (zh) | 2020-09-17 | 2020-09-17 | 一种数据同步方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112163037A (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1753359A (zh) * | 2004-09-24 | 2006-03-29 | 华为技术有限公司 | 实现传输SyncML同步数据的方法 |
CN102637214A (zh) * | 2012-04-28 | 2012-08-15 | 中国工商银行股份有限公司 | 基于数据库服务间的通用数据同步方法及其系统 |
CN103067483A (zh) * | 2012-12-25 | 2013-04-24 | 广东邮电职业技术学院 | 基于数据包的远程数据增量同步方法和装置 |
CN105677885A (zh) * | 2016-01-14 | 2016-06-15 | 大连陆海科技股份有限公司 | 航运业数据同步的收发设备及方法、及同步系统 |
CN106156165A (zh) * | 2015-04-16 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 异构数据源之间的数据同步方法和装置 |
CN107231435A (zh) * | 2017-07-13 | 2017-10-03 | 中体彩科技发展有限公司 | 数据同步监控方法及系统 |
CN107391635A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 数据同步系统及方法 |
CN108647237A (zh) * | 2018-03-30 | 2018-10-12 | 厦门海迈科技股份有限公司 | 异构关系型数据库间的数据同步方法 |
CN110413677A (zh) * | 2019-07-30 | 2019-11-05 | 无锡柠檬科技服务有限公司 | 一种支持并发应用的分布式数据同步方法和系统 |
CN110851413A (zh) * | 2019-11-08 | 2020-02-28 | 深圳市元征科技股份有限公司 | 一种数据同步方法、装置及电子设备和存储介质 |
CN111046100A (zh) * | 2019-11-25 | 2020-04-21 | 武汉达梦数据库有限公司 | 一种关系型数据库到非关系型数据库的同步方法和系统 |
CN111510474A (zh) * | 2020-03-26 | 2020-08-07 | 中国平安人寿保险股份有限公司 | 基于消息中间件的数据传输方法及相关设备 |
-
2020
- 2020-09-17 CN CN202010982356.5A patent/CN112163037A/zh active Pending
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1753359A (zh) * | 2004-09-24 | 2006-03-29 | 华为技术有限公司 | 实现传输SyncML同步数据的方法 |
CN102637214A (zh) * | 2012-04-28 | 2012-08-15 | 中国工商银行股份有限公司 | 基于数据库服务间的通用数据同步方法及其系统 |
CN103067483A (zh) * | 2012-12-25 | 2013-04-24 | 广东邮电职业技术学院 | 基于数据包的远程数据增量同步方法和装置 |
CN106156165A (zh) * | 2015-04-16 | 2016-11-23 | 阿里巴巴集团控股有限公司 | 异构数据源之间的数据同步方法和装置 |
CN105677885A (zh) * | 2016-01-14 | 2016-06-15 | 大连陆海科技股份有限公司 | 航运业数据同步的收发设备及方法、及同步系统 |
CN107391635A (zh) * | 2017-06-30 | 2017-11-24 | 北京奇虎科技有限公司 | 数据同步系统及方法 |
CN107231435A (zh) * | 2017-07-13 | 2017-10-03 | 中体彩科技发展有限公司 | 数据同步监控方法及系统 |
CN108647237A (zh) * | 2018-03-30 | 2018-10-12 | 厦门海迈科技股份有限公司 | 异构关系型数据库间的数据同步方法 |
CN110413677A (zh) * | 2019-07-30 | 2019-11-05 | 无锡柠檬科技服务有限公司 | 一种支持并发应用的分布式数据同步方法和系统 |
CN110851413A (zh) * | 2019-11-08 | 2020-02-28 | 深圳市元征科技股份有限公司 | 一种数据同步方法、装置及电子设备和存储介质 |
CN111046100A (zh) * | 2019-11-25 | 2020-04-21 | 武汉达梦数据库有限公司 | 一种关系型数据库到非关系型数据库的同步方法和系统 |
CN111510474A (zh) * | 2020-03-26 | 2020-08-07 | 中国平安人寿保险股份有限公司 | 基于消息中间件的数据传输方法及相关设备 |
Non-Patent Citations (1)
Title |
---|
马潮: "AVR单片机嵌入式系统原理与应用实践", 北京:北京航空航天大学出版社, pages: 362 - 365 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112000741B (zh) | 内外网数据交换系统、方法、装置、计算机设备和介质 | |
CN112788074B (zh) | 数据发送方法、处理方法、接收方法及其设备、存储介质 | |
US9852220B1 (en) | Distributed workflow management system | |
CN111277639A (zh) | 一种保持数据一致性的方法和装置 | |
CN101360127A (zh) | 文件更新方法及传输系统 | |
CN111949614B (zh) | 银行系统文件转换方法及装置 | |
CN112559461A (zh) | 文件传输方法及装置、存储介质及电子设备 | |
CN107979640B (zh) | 一种数据传输方法及装置 | |
CN112417042A (zh) | 一种处理业务请求的方法和装置 | |
CN110955469A (zh) | 一种x86平台分布式批量调用联机交易的方法及装置 | |
CN103731465A (zh) | 分布式系统及其事务处理方法 | |
US10545667B1 (en) | Dynamic data partitioning for stateless request routing | |
CN116405547A (zh) | 消息推送方法、装置及处理器、电子设备、存储介质 | |
US20170331912A1 (en) | Multi-account login and communication | |
CN112181681A (zh) | 一种远程调用方法、装置、计算机设备及存储介质 | |
CN113556389B (zh) | 一种rpc式的云边端通信方法、系统及存储介质 | |
CN111049913A (zh) | 数据文件的传输方法及装置、存储介质、电子设备 | |
CN112069152B (zh) | 一种数据库集群升级方法、装置、设备以及存储介质 | |
CN110233791B (zh) | 数据去重方法和装置 | |
CN112163037A (zh) | 一种数据同步方法、装置、计算机设备及存储介质 | |
CN110288309B (zh) | 数据交互方法、装置、系统、计算机设备以及存储介质 | |
CN109347896B (zh) | 一种信息处理方法、设备和计算机可读存储介质 | |
US10419368B1 (en) | Dynamic scaling of computing message architecture | |
CN112711466A (zh) | 悬挂事务巡检方法和装置、电子设备和存储介质 | |
CN113890875B (zh) | 任务分配方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |