CN107659663A - 一种数据同步的方法、装置、设备和存储介质 - Google Patents
一种数据同步的方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN107659663A CN107659663A CN201711023878.7A CN201711023878A CN107659663A CN 107659663 A CN107659663 A CN 107659663A CN 201711023878 A CN201711023878 A CN 201711023878A CN 107659663 A CN107659663 A CN 107659663A
- Authority
- CN
- China
- Prior art keywords
- data
- destination server
- server
- source server
- chronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
Abstract
本发明公开了一种数据同步的方法、装置、设备和存储介质。监控源服务器的数据变动,并获取数据变动的详细信息;根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据,以使目标服务器监听到数据同步传输请求后更新目标服务器中的原有数据。本发明实施例的技术方案解决了数据同步耗时长,工作效率低,以及不能实时监测数据和同步数据的问题,达到了实现数据的快速实时同步,提高工作效率的效果。
Description
技术领域
本发明实施例涉及计算机信息技术,尤其涉及一种数据同步的方法、装置、设备和存储介质。
背景技术
随着计算机信息技术的不断更新,计算机系统的规模和数据量也随之增加。当在海量数据文件下,为了保证计算机系统中的各种应用程序能够及时更新数据,需要实现计算机系统中多个机器的数据同步。
目前,现有技术中进行数据同步需要扫描全部的文件,对比数据存储的差异来进行查漏补缺。
现有技术存在以下缺陷:(1)耗时长,工作效率低。如果文件数量达到了百万甚至千万量级,扫描所有文件将是非常耗时的。而且正在发生变化的数据往往是其中很少的一部分,通过扫描所有文件进行查漏补缺是非常低效的数据同步方式。(2)不能实时监测数据和同步数据。
发明内容
有鉴于此,本发明提供一种数据同步的方法、装置、设备和存储介质,以实现数据的快速实时同步,提高工作效率。
第一方面,本发明实施例提供了一种数据同步的方法,包括:
监控源服务器的数据变动,并获取数据变动的详细信息;
根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据,以使目标服务器监听到数据同步传输请求后更新目标服务器中的原有数据。
进一步的,在所述监控源服务器的数据变动之前,还包括:
在源服务器上配置文件系统事件监控软件和第一远程同步软件,并在源服务器开机时启动;
通过源服务器上的文件系统事件监控软件监控源服务器的数据变动,并实时将数据变动的详细信息汇报给配置在源服务器上的第一远程同步软件。
进一步的,在所述目标服务器监听到数据同步传输请求后更新目标服务器中的原有数据之前,还包括:
在目标服务器上配置第二远程同步软件,并在所述目标服务器开机时启动,用于监听源服务器的数据同步传输请求,并在通过所述第二远程同步软件监听到数据同步传输请求后,接受所述数据同步传输请求,接收变动的数据,更新目标服务器中的原有数据。
进一步的,所述源服务器的数据变动包括下述至少一项:文件添加、文件删除、文件修改以及文件移动;
所述数据变动的详细信息包括下述至少一项:数据变动的路径、变动发生时间和变动类型。
进一步的,所述根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据,包括:
向目标服务器发送数据同步传输请求;
在确定所述目标服务器接收所述数据同步传输请求后,采用所述第一远程同步软件向目标服务器传输变动数据。
第二方面,本发明实施例还提供了一种数据同步的装置,包括:
数据变动监控模块,用于监控源服务器的数据变动,并获取数据变动的详细信息;
数据同步执行模块,用于根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据,以使目标服务器监听到数据同步传输请求后更新目标服务器中的原有数据。
进一步的,还包括:
源服务器配置模块,用于在源服务器上配置文件系统事件监控软件和第一远程同步软件,并在源服务器开机时启动,通过源服务器上的文件系统事件监控软件监控源服务器的数据变动,并实时将数据变动的详细信息汇报给配置在源服务器上的第一远程同步软件。
进一步的,还包括:
目标服务器配置模块,用于在目标服务器上配置第二远程同步软件,并在所述目标服务器开机时启动,用于监听源服务器的数据同步传输请求,并在通过所述第二远程同步软件监听到数据同步传输请求后,接受所述数据同步传输请求,接收变动的数据,更新目标服务器中的原有数据。
第三方面,本发明实施例还提供了一种数据同步的设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现本发明实施例所述的数据同步的方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现本发明实施例所述的数据同步的方法。
上述提供的数据同步的方法、装置、设备和存储介质,通过监控源服务器的数据变动,并获取数据变动的详细信息,然后根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据,目标服务器监听到数据同步传输请求后更新目标服务器中的原有数据,解决了数据同步耗时长,工作效率低,以及不能实时监测数据和同步数据的问题,达到了实现数据的快速实时同步,提高工作效率的效果。
附图说明
图1为本发明实施例一提供的一种数据同步的方法的流程图;
图2为本发明实施例二提供的一种数据同步的方法的流程图;
图3为本发明实施例三提供的一种数据同步的装置的结构示意图;
图4为本发明实施例四提供的一种数据同步的设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种数据同步的方法的流程图,本实施例可适用于对数据进行同步的情况,该方法可以由数据同步的装置来执行,所述装置由软件和/或硬件来执行,并一般可集成在数据同步的设备中。数据同步的设备包括但不限定于计算机等。参考图1,其具体包括如下步骤:
步骤110、监控源服务器的数据变动,并获取数据变动的详细信息。
其中,在数据同步的过程中,源服务器是负责发起数据同步操作的服务器。负责响应来自源服务器的数据同步操作的服务器称为目标服务器。源服务器中发生的任何数据变动,如文件创建、文件删除、文件修改等,都会被监控并同步到目标服务器。具体来说,数据同步过程涉及到一系列的网络通信行为和本地计算行为,前者包括传输数据索引、数据内容、同步通知、同步状态和统计信息、同步确认等,后者包括数据切分、散列计算、数据比对等。
通过源服务器上安装的文件系统事件监控软件监控源服务器的数据变动,并获取数据变动的详细信息。例如,利用基于Java语言的文件系统事件监控技术Jnotify调用文件系统事件监控软件inotify监控用户端的同步文件夹中的数据变动,并获取数据变动的详细信息。
Jnotify是一种支持动态监控文件和文件夹(支持级联监控),让Java代码可以实时的监控制定文件夹内文件的变动信息的开源技术。Jnotify通过JNI(Java NativeInterface,Java本地调用)技术,可以和其他语言写的代码进行交互,实现跨平台开发,支持Linux操作系统、Windows操作系统以及MacOS操作系统。
Inotify是linux的一个特性,一种强大、细粒度的、异步的文件系统事件监控机制,用来监控文件系统的操作读取、写入和创建,对监听对象的动态反应灵敏。linux内核从2.6.13起,加入了Inotify支持,所以使用该技术的机器必须是2.6.13或者更新的内核。通过Inotify可以监控文件系统中添加、删除,修改、移动等各种细微事件。利用这个内核接口,第三方软件就可以监控文件系统下文件的各种变化情况,而系统监控工具inotify-tools就是这样的一个第三方软件。
Jnotify在linux操作系统中调用linux底层的Inotify,添加了对子文件夹级联监控的功能,此功能在系统中也发挥着重要的作用。Inotify提供一个简单的应用程序编程接口(Application Programming Interface,API),使用最小的文件描述符,并且允许细粒度监控。Jnotify通过调用API而使Inotify去执行Jnotify的命令(动作)。
进一步的,通过inotify监控源服务器的数据变动,并实时获取数据变动的详细信息,所述源服务器的数据变动包括下述至少一项:文件添加、文件删除、文件修改以及文件移动;所述数据变动的详细信息包括下述至少一项:数据变动的路径、变动发生时间和变动类型。
步骤120、根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据,以使目标服务器监听到数据同步传输请求后更新目标服务器中的原有数据。
其中,根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据。具体的,根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求,在目标服务器接受数据同步传输请求后,通过配置在源服务器的远程同步软件,例如远程同步软件rsync,向目标服务器传输变动数据。目标服务器接收变动数据后更新目标服务器中的原有数据,完成数据同步操作。
rsync是一款实现远程同步功能的软件,同步的文件保留原来的时间、权限及各种附加信息。rsync具有安全性高、备份迅速、支持增量备份等优点。而随着技术的不断更新,系统规模、数据量也随之增加,对数据的安全可靠性也会有更高的要求。rsync可以通过守护进程方式进行触发,实现触发式的文件同步,但是同步的数据和实际数据会有差异。所以在大规模数据下,rsync并不能很快监控到个别文件的变化。而通过将rsync与Jnotify配合使用,利用Jnotify监控文件系统的各种变化,当文件有任何变动时,触发rsync进行数据同步,解决了同步数据的实时性问题,实现数据的实时同步。
在源服务器的部分文件数据变动后,rsync根据监控到的数据变动的详细信息向目标服务器传输变动数据。通过Jnotify通过调用inotify监控数据变化,进而触发rsync进行同步操作,由于这个过程是一种主动触发操作,通过系统内核完成的,所以,比扫描全部的数据文件的数据同步方式,效率要高很多,减少了数据同步过程的时间消耗,实现数据的快速同步,提高工作效率。
有时会遇到这样的情况:当写入一个很大文件时,由于写入这个大文件需要一段时间,此时inotify就会持续不停的输出该文件被更新的信息,这样就会持续不停的触发rsync去执行同步操作,占用了大量系统资源,那么针对这种情况,可以等待文件写完后再去触发rsync同步。
本实施例提供的一种数据同步的方法,通过监控源服务器的数据变动,并获取数据变动的详细信息,然后根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据,目标服务器监听到数据同步传输请求后更新目标服务器中的原有数据,解决了数据同步耗时长,工作效率低,以及不能实时监测数据和同步数据的问题,达到了实现数据的快速实时同步,提高工作效率的效果。
实施例二
图2为本发明实施例二提供的一种数据同步的方法的流程图,本实施例在上述各实施例的基础上进行具体化。如图2所示,该方法具体包括:
步骤210、在源服务器上配置文件系统事件监控软件和第一远程同步软件,并在源服务器开机时启动。
通过源服务器上的文件系统事件监控软件监控源服务器的数据变动,并实时将数据变动的详细信息汇报给配置在源服务器上的第一远程同步软件。
在源服务器上配置文件系统事件监控软件,例如Jnotify和inotify,对源服务器的数据变动进行监控。在源服务器上配置第一远程同步软件,例如rsync,用于在确定所述目标服务器接收所述数据同步传输请求后,向目标服务器传输变动数据。在源服务器开机时,Jnotify、inotify和rsync启动。
具体的,在源服务器上配置Jnotify、inotify和rsync包括以下步骤:
(1)安装Jnotify。
(2)关闭强制访问控制安全系统selinux。
(3)安装rsync,启动rsync服务,创建同步的密码文件,并设置密码文件的权限。
(4)查看服务器内核是否支持inotify,若支持inotify,则继续安装inotify-tools。设置系统环境变量,添加库文件,修改inotify默认参数。
步骤220、在目标服务器上配置第二远程同步软件,并在所述目标服务器开机时启动。
第二远程同步软件用于监听源服务器的数据同步传输请求,并在通过所述第二远程同步软件监听到数据同步传输请求后,接受所述数据同步传输请求,接收变动的数据,更新目标服务器中的原有数据。
在目标服务器上配置第二远程同步软件,例如rsync,用于在确定所述目标服务器接收所述数据同步传输请求后,向目标服务器传输变动数据。在源服务器开机时,rsync启动。
具体的,在目标服务器上配置rsync包括以下步骤:
(1)关闭强制访问控制安全系统selinux。
(2)开放源服务器的权限,允许源服务器访问目标服务器的端口。
(3)安装部署rsync服务并设置为开机启动。包括:启动因特网守护进程xineted服务;创建用户认证配置文件,并配置同步策略(配置策略内容根据自己需求来定);创建用户认证文件;设置文件权限。
(4)创建rsync同步过来后的文件目录。结合Jnotify对源目录进行实时监控,发生数据变动后,就会立刻同步到目标目录下。
在完成对源服务器和目标服务器的配置后,在源服务器上执行rsync首次全量同步的操作,即在初始状态下保证目标服务器的目标目录和源服务器的源目录下文件是绝对一致的。其中,目标目录为目标服务器的文件目录,源目录为源服务器的文件目录。在使用rsync首次全量同步后,目标服务器的目标目录和源服务器的源目录下文件是一致的,即此时目标服务器的数据与源服务器的数据是一致的。完成首次全量同步,启动数据同步脚本,数据同步脚本包含用于完成数据同步操作的程序:
root@xqsj_web1rsync]#cat rsync_xqsj_upload_inotify.sh
#!/bin/bash
SRCDIR=/Data/xqsj_upload/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=xqsj_upload
/usr/local/inotify/bin/inotifywait-mrq--timefmt'%d/%m/%y%H:%M'--format'%T%w%f%e'-e close_write,modify,delete,create,attrib,move$SRCDIR|while read file
do
/usr/bin/rsync-avH--port=873--progress--delete-before$SRCDIR$USER@$IP::$DESTDIR--password-file=/etc/rsync.pass
Echo“${file}was rsynced”>>/tmp/rsync.log2>&1
done
[root@xqsj_web1 rsync]#cat rsync_fangfu_upload_src_inotify.sh
#!/bin/bash
SRCDIR=/usr/local/nginx/html/ssapp.prod/
USER=RSYNC_USER
IP=192.168.1.5
DESTDIR=fangfu_upload_src
/usr/local/inotify/bin/inotifywait-mrq--timefmt'%d/%m/%y%H:%M'--format'%T%w%f%e'-e close_write,modify,delete,create,attrib,move$SRCDIR|while read file
do
/usr/bin/rsync-avH--port=873--progress--delete-before$SRCDIR$USER@$IP::$DESTDIR--password-file=/etc/rsync.pass
Echo”${file}was rsynced”>>/tmp/rsync.log2>&1
Done
步骤230、监控源服务器的数据变动,并获取数据变动的详细信息。
Jnotify通过调用API而使Inotify去执行Jnotify的命令,监控源服务器的数据变动,并实时获取数据变动的详细信息。可用的函数包括:用于创建一个inotify实例的系统调用函数inotify_init,增加对文件或者目录的监控的函数inotify_add_watch,移出监控项目的函数inotify_rm_watch,通常文件读取函数read,以及关闭文件描述符函数close。
其中,典型的inotify监控程序需要进行如下操作:
(1)使用inotify_init打开一个文件描述符。
(2)添加一个或者多个监控。
(3)等待事件。
(4)处理事件,然后返回并等待更多事件。
(5)当监控不再活动时,或者接到某个信号之后,关闭文件描述符,清空,然后退出。
具体的,Jnotify调用inotify的第一步是创建inotify实例。每一个inotify实例对应一个独立的排序的队列。文件系统的变化事件被称做监控watches的一个对象管理,每一个监控watch是一个二元组(目标,事件掩码)。目标可以是文件或目录。事件掩码表示应用希望关注的Inotify事件,事件掩码的每一个位对应一个inotify事件。监控Watch对象通过监控watch描述符引用,监控watches通过文件或目录的路径名来添加。目录监控watches将返回在该目录下的所有文件上面发生的事件。
其中,添加一个watch方法:
int wd=inotify_add_watch(fd,path,mask);
fd是创建inotify实例的系统调用函数inotify_init()返回的文件描述符,path是被监视的目标的路径名(即文件名或目录名),mask是事件掩码,在头文件linux/inotify.h中定义了每一位代表的事件。可以使用同样的方式来修改事件掩码,即改变希望被通知的inotify事件。Wd是监控watch描述符。
其中,删除一个watch方法:
int ret=inotify_rm_watch(fd,wd);
fd是创建inotify实例的系统调用函数inotify_init()返回的文件描述符,wd是增加对文件或者目录的监控的函数inotify_add_watch()返回的watch描述符。Ret是函数的返回值。
其中,文件事件用一个用于inotify的事件结构体inotify_event结构表示,它通过由创建inotify实例的系统调用函数inotify_init()返回的文件描述符使用通常文件读取函数read来获得:
结构中的wd为被监视目标的watch描述符,mask为事件掩码,len为name字符串的长度,name为被监视目标的路径名,该结构的name字段为一个桩,它只是为了用户方面引用文件名,文件名是变长的,它实际紧跟在该结构的后面,文件名将被0填充以使下一个事件结构能够4字节对齐。注意,len也把填充字节数统计在内。
通过通常文件读取函数read调用可以一次获得多个事件,只要提供的数组指针buf足够大:
size_t len=read(fd,buf,BUF_LEN);
buf是一个用于inotify的事件结构体inotify_event结构的数组指针,BUF_LEN指定要读取的总长度,buf大小至少要不小于BUF_LEN,该调用返回的事件数取决于BUF_LEN以及事件中文件名的长度。Len为实际读去的字节数,即获得的事件的总长度。
步骤240、向目标服务器发送数据同步传输请求。
其中,当根据在源服务器上配置的文件系统事件监控软件Jnotify和inotify确认源服务器的数据发生变动后,向目标服务器发送数据同步传输请求,通知目标服务器需要进行数据传送。
步骤250、在确定所述目标服务器接收所述数据同步传输请求后,采用所述第一远程同步软件向目标服务器传输变动数据。
其中,目标服务器的第二远程同步软件rsync监听到源服务器的数据同步传输请求后接受所述数据同步传输请求。在目标服务器接受数据同步传输请求后,根据获取的获取数据变动的详细信息,采用所述第一远程同步软件rsync,向目标服务器传输变动数据。目标服务器的第二远程同步软件rsync接收变动数据,更新目标服务器中的原有数据,完成数据同步操作。
本实施例提供的一种数据同步的方法,通过在源服务器上配置文件系统事件监控软件和第一远程同步软件,在目标服务器上配置第二远程同步软件;监控源服务器的数据变动,并获取数据变动的详细信息;向目标服务器发送数据同步传输请求;在确定所述目标服务器接收所述数据同步传输请求后,采用所述第一远程同步软件向目标服务器传输变动数据,解决了数据同步耗时长,工作效率低,以及不能实时监测数据和同步数据的问题,达到了实现数据的快速实时同步,提高工作效率的效果。
实施例三
图3为本发明实施例三提供的一种数据同步的装置的结构示意图,本实施例可适用于对数据进行同步的情况,如图3所示,所述装置包括:
数据变动监控模块310和数据同步执行模块320。
其中,数据变动监控模块310,用于监控源服务器的数据变动,并获取数据变动的详细信息;数据同步执行模块320,用于根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据,以使目标服务器监听到数据同步传输请求后更新目标服务器中的原有数据。
本实施例提供的一种数据同步的装置,通过监控源服务器的数据变动,并获取数据变动的详细信息,然后根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据,目标服务器监听到数据同步传输请求后更新目标服务器中的原有数据,解决了数据同步耗时长,工作效率低,以及不能实时监测数据和同步数据的问题,达到了实现数据的快速实时同步,提高工作效率的效果。
在上述各实施例的基础上,所述装置还可以包括:
源服务器配置模块,用于在源服务器上配置文件系统事件监控软件和第一远程同步软件,并在源服务器开机时启动,通过源服务器上的文件系统事件监控软件监控源服务器的数据变动,并实时将数据变动的详细信息汇报给配置在源服务器上的第一远程同步软件。
在上述各实施例的基础上,所述装置还可以包括:
目标服务器配置模块,用于在目标服务器上配置第二远程同步软件,并在所述目标服务器开机时启动,用于监听源服务器的数据同步传输请求,并在通过所述第二远程同步软件监听到数据同步传输请求后,接受所述数据同步传输请求,接收变动的数据,更新目标服务器中的原有数据。
在上述各实施例的基础上,所述源服务器的数据变动可以包括下述至少一项:文件添加、文件删除、文件修改以及文件移动;
所述数据变动的详细信息可以包括下述至少一项:数据变动的路径、变动发生时间和变动类型。
在上述各实施例的基础上,所述数据同步执行模块320可以包括:请求发送单元和数据传输单元;
请求发送单元,用于向目标服务器发送数据同步传输请求;
数据传输单元,用于在确定所述目标服务器接收所述数据同步传输请求后,采用所述第一远程同步软件向目标服务器传输变动数据。
上述装置可执行本发明任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种数据同步的设备的结构示意图,如图4所示,该设备包括处理器410、存储器420、输入装置430和输出装置440;设备中处理器410的数量可以是一个或多个,图4中以一个处理器410为例;设备处理器410、存储器420、输入装置430和输出装置440可以通过总线或其他方式连接,图4中以通过总线连接为例。
存储器420作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的数据同步的方法对应的程序指令/模块(例如,数据同步的装置中的数据变动监控模块310和数据同步执行模块320)。处理器410通过运行存储在存储器410中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的数据同步的方法。
存储器420可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器420可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器420可进一步包括相对于处理器410远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置430可用于接收外部输入的数据。输出装置440可用于输出数据以及显示数据。
上述数据同步的设备可执行本发明任意实施例所提供的方法,具备执行方法相应的功能模块和有益效果。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种数据同步的方法,该方法包括:
监控源服务器的数据变动,并获取数据变动的详细信息;
根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据,以使目标服务器监听到数据同步传输请求后更新目标服务器中的原有数据。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的数据同步的方法中的相关操作.
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述数据同步的装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种数据同步的方法,其特征在于,包括:
监控源服务器的数据变动,并获取数据变动的详细信息;
根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据,以使目标服务器监听到数据同步传输请求后更新目标服务器中的原有数据。
2.根据权利要求1所述的方法,其特征在于,在所述监控源服务器的数据变动之前,还包括:
在源服务器上配置文件系统事件监控软件和第一远程同步软件,并在源服务器开机时启动;
通过源服务器上的文件系统事件监控软件监控源服务器的数据变动,并实时将数据变动的详细信息汇报给配置在源服务器上的第一远程同步软件。
3.根据权利要求1所述的方法,其特征在于,在所述目标服务器监听到数据同步传输请求后更新目标服务器中的原有数据之前,还包括:
在目标服务器上配置第二远程同步软件,并在所述目标服务器开机时启动,用于监听源服务器的数据同步传输请求,并在通过所述第二远程同步软件监听到数据同步传输请求后,接受所述数据同步传输请求,接收变动的数据,更新目标服务器中的原有数据。
4.根据权利要求1所述的方法,其特征在于,所述源服务器的数据变动包括下述至少一项:文件添加、文件删除、文件修改以及文件移动;
所述数据变动的详细信息包括下述至少一项:数据变动的路径、变动发生时间和变动类型。
5.根据权利要求2所述的方法,其特征在于,所述根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据,包括:
向目标服务器发送数据同步传输请求;
在确定所述目标服务器接收所述数据同步传输请求后,采用所述第一远程同步软件向目标服务器传输变动数据。
6.一种数据同步的装置,其特征在于,包括:
数据变动监控模块,用于监控源服务器的数据变动,并获取数据变动的详细信息;
数据同步执行模块,用于根据监控到的数据变动的详细信息向目标服务器发送数据同步传输请求并传输变动数据,以使目标服务器监听到数据同步传输请求后更新目标服务器中的原有数据。
7.根据权利要求1所述的装置,其特征在于,还包括:
源服务器配置模块,用于在源服务器上配置文件系统事件监控软件和第一远程同步软件,并在源服务器开机时启动,通过源服务器上的文件系统事件监控软件监控源服务器的数据变动,并实时将数据变动的详细信息汇报给配置在源服务器上的第一远程同步软件。
8.根据权利要求1所述的装置,其特征在于,还包括:
目标服务器配置模块,用于在目标服务器上配置第二远程同步软件,并在所述目标服务器开机时启动,用于监听源服务器的数据同步传输请求,并在通过所述第二远程同步软件监听到数据同步传输请求后,接受所述数据同步传输请求,接收变动的数据,更新目标服务器中的原有数据。
9.一种数据同步的设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5中任一所述的数据同步的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一所述的数据同步的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711023878.7A CN107659663A (zh) | 2017-10-27 | 2017-10-27 | 一种数据同步的方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711023878.7A CN107659663A (zh) | 2017-10-27 | 2017-10-27 | 一种数据同步的方法、装置、设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107659663A true CN107659663A (zh) | 2018-02-02 |
Family
ID=61096639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711023878.7A Pending CN107659663A (zh) | 2017-10-27 | 2017-10-27 | 一种数据同步的方法、装置、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107659663A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647256A (zh) * | 2018-04-23 | 2018-10-12 | 平安科技(深圳)有限公司 | 文件同步方法、装置、计算机装置及存储介质 |
CN109359398A (zh) * | 2018-10-23 | 2019-02-19 | 广州拓欧信息技术有限公司 | Bim数据更新方法和装置 |
CN110737720A (zh) * | 2019-09-06 | 2020-01-31 | 苏宁云计算有限公司 | 一种db2数据库数据同步方法、装置、系统 |
CN111526198A (zh) * | 2020-04-24 | 2020-08-11 | 深圳融安网络科技有限公司 | 服务器的数据同步方法、装置及计算机可读存储介质 |
CN111581168A (zh) * | 2020-05-11 | 2020-08-25 | 上海鸿翼软件技术股份有限公司 | 一种文件同步方法、装置、设备及介质 |
CN112486764A (zh) * | 2020-11-24 | 2021-03-12 | 云南电网有限责任公司信息中心 | 一种发布监控和变更内容分析的系统及方法 |
CN112702406A (zh) * | 2020-12-18 | 2021-04-23 | 深圳市富途网络科技有限公司 | 数据处理方法、装置及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102624871A (zh) * | 2012-02-03 | 2012-08-01 | 杭州杰唐信息技术有限公司 | 一种基于分布式企业服务总线实现的远程文件同步方法 |
CN103384266A (zh) * | 2013-06-07 | 2013-11-06 | 曙光信息产业(北京)有限公司 | 一种基于文件级实时同步的Parastor200管理节点高可用方法 |
CN104156298A (zh) * | 2014-08-19 | 2014-11-19 | 腾讯科技(深圳)有限公司 | 一种应用监控方法及装置 |
US20160378461A1 (en) * | 2014-03-19 | 2016-12-29 | Huawei Device Co., Ltd | Application data synchronization method and apparatus |
CN106569919A (zh) * | 2016-11-07 | 2017-04-19 | 天脉聚源(北京)传媒科技有限公司 | 一种同步文件的方法及装置 |
-
2017
- 2017-10-27 CN CN201711023878.7A patent/CN107659663A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102624871A (zh) * | 2012-02-03 | 2012-08-01 | 杭州杰唐信息技术有限公司 | 一种基于分布式企业服务总线实现的远程文件同步方法 |
CN103384266A (zh) * | 2013-06-07 | 2013-11-06 | 曙光信息产业(北京)有限公司 | 一种基于文件级实时同步的Parastor200管理节点高可用方法 |
US20160378461A1 (en) * | 2014-03-19 | 2016-12-29 | Huawei Device Co., Ltd | Application data synchronization method and apparatus |
CN104156298A (zh) * | 2014-08-19 | 2014-11-19 | 腾讯科技(深圳)有限公司 | 一种应用监控方法及装置 |
CN106569919A (zh) * | 2016-11-07 | 2017-04-19 | 天脉聚源(北京)传媒科技有限公司 | 一种同步文件的方法及装置 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108647256A (zh) * | 2018-04-23 | 2018-10-12 | 平安科技(深圳)有限公司 | 文件同步方法、装置、计算机装置及存储介质 |
CN109359398A (zh) * | 2018-10-23 | 2019-02-19 | 广州拓欧信息技术有限公司 | Bim数据更新方法和装置 |
CN110737720A (zh) * | 2019-09-06 | 2020-01-31 | 苏宁云计算有限公司 | 一种db2数据库数据同步方法、装置、系统 |
CN111526198A (zh) * | 2020-04-24 | 2020-08-11 | 深圳融安网络科技有限公司 | 服务器的数据同步方法、装置及计算机可读存储介质 |
CN111581168A (zh) * | 2020-05-11 | 2020-08-25 | 上海鸿翼软件技术股份有限公司 | 一种文件同步方法、装置、设备及介质 |
CN112486764A (zh) * | 2020-11-24 | 2021-03-12 | 云南电网有限责任公司信息中心 | 一种发布监控和变更内容分析的系统及方法 |
CN112702406A (zh) * | 2020-12-18 | 2021-04-23 | 深圳市富途网络科技有限公司 | 数据处理方法、装置及存储介质 |
CN112702406B (zh) * | 2020-12-18 | 2023-03-24 | 深圳市富途网络科技有限公司 | 数据处理方法、装置及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107659663A (zh) | 一种数据同步的方法、装置、设备和存储介质 | |
EP4047487A1 (en) | File storage method, terminal, and storage medium | |
EP3408744B1 (en) | Providing access to a hybrid application offline | |
US10896102B2 (en) | Implementing secure communication in a distributed computing system | |
WO2021180025A1 (zh) | 一种消息处理方法、装置、电子设备及介质 | |
CN110336871A (zh) | 一种文件处理方法、装置、存储介质及电子设备 | |
US20100161550A1 (en) | File synchronization based on intercepting file system calls | |
JP2020501209A (ja) | マルウェア検出及びコンテンツアイムの復元 | |
WO2020151181A1 (zh) | 基于区块链的跨平台数据更新方法、装置和计算机设备 | |
JP2014523577A (ja) | 最近使用した文書のリストの自動同期 | |
CN108200219A (zh) | 数据同步方法、装置、服务器及存储介质 | |
CN110764700A (zh) | 数据存储方法、装置、计算机设备和存储介质 | |
US10248624B2 (en) | Method and system for document synchronization in a distributed server-client environment | |
US9769203B2 (en) | Methods, systems, and apparatus for mitigating network-based attacks | |
CN113626286A (zh) | 多集群实例处理方法、装置、电子设备及存储介质 | |
US8700750B2 (en) | Web deployment functions and interfaces | |
CN111327680B (zh) | 认证数据同步方法、装置、系统、计算机设备和存储介质 | |
CN115878138B (zh) | 应用预下载方法、装置、计算机、存储介质 | |
CN111294377B (zh) | 一种依赖关系的网络请求发送方法、终端装置及存储介质 | |
CN112865927A (zh) | 消息送达验证方法、装置、计算机设备和存储介质 | |
WO2023071043A1 (zh) | 文件聚合兼容方法、装置、计算机设备和存储介质 | |
CN114201370B (zh) | 一种网页文件监控方法及系统 | |
WO2022083190A1 (zh) | 数据下载方法、装置、计算机设备和存储介质 | |
US20140026139A1 (en) | Information processing apparatus and analysis method | |
US10148607B2 (en) | Electronic-messaging system interceptor forwarding client notifications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180202 |