CN106569919A

CN106569919A - 一种同步文件的方法及装置

Info

Publication number: CN106569919A
Application number: CN201610978876.2A
Authority: CN
Inventors: 张新亮
Original assignee: TVMining Beijing Media Technology Co Ltd
Current assignee: TVMining Beijing Media Technology Co Ltd
Priority date: 2016-11-07
Filing date: 2016-11-07
Publication date: 2017-04-19

Abstract

本发明公开了一种同步文件的方法及装置，用以实现服务器间实时同步文件的目的。方法包括：在内容服务器上安装数据镜像备份工具rsync，并建立第一认证文件以及配置有rsync的相关参数的配置文件；在发布服务器上安装rsync和监控工具inotify，并建立第二认证文件以及文件同步脚本；在所述发布服务器上运行所述文件同步脚本，以通过inotify监控所述发布服务器上包含文件的指定目录，当监控到所述指定目录中的文件发生变化时，调用rsync将所述指定目录中发生变化的文件同步至所述内容服务器。

Description

一种同步文件的方法及装置

技术领域

本发明涉及计算机应用技术领域，特别涉及一种同步文件的方法及装置。

背景技术

rsync(remote synchronize)是类unix系统下的数据镜像备份工具，与传统的备份方式相比，rsync具有安全性高、备份迅速、支持增量备份等优点，通过rsync可以解决对实时性要求不高的数据备份需求，例如定期的备份文件服务器数据到远端服务器，对本地磁盘定期做数据镜像等。

随着应用系统规模的不断扩大，对数据的安全性和可靠性也提出更多的要求，rsync在高端业务系统中也逐渐暴露出了很多不足。首先，rsync同步数据时，需要扫描所有文件后进行比对，进行差量传输。如果文件数量达到了百万甚至千万量级，扫描所有文件将是非常耗时的。而且正在发生变化的往往是其中很少的一部分，这是非常低效的方式。其次，rsync不能实时地去监测、同步数据，虽然它可以通过linux守护进程的方式进行触发同步，但是两次触发动作一定会有时间差，这样就导致了服务端和客户端数据可能出现不一致，无法在应用故障时完全的恢复数据，亟待解决这一问题。

发明内容

本发明提供一种同步文件的方法及装置，用以实现服务器间实时同步文件的目的。

本发明提供一种同步文件的方法，包括：

在内容服务器上安装数据镜像备份工具rsync，并建立第一认证文件以及配置有rsync的相关参数的配置文件；

在发布服务器上安装rsync和监控工具inotify，并建立第二认证文件以及文件同步脚本；

在所述发布服务器上运行所述文件同步脚本，以通过inotify监控所述发布服务器上包含文件的指定目录，当监控到所述指定目录中的文件发生变化时，调用rsync将所述指定目录中发生变化的文件同步至所述内容服务器。

在本发明一实施例中，所述第一认证文件中包含有用户名和密码，并设置有指定权限。

在本发明一实施例中，所述配置文件中设置有预设目录，以由所述发布服务器将所述指定目录中发生变化的文件同步至所述预设目录。

在本发明一实施例中，所述方法还包括：

在所述内容服务器上设置开机启动rsync。

在本发明一实施例中，在所述内容服务器上设置开机启动rsync，包括：

将rsync设置为开机启动项。

在本发明一实施例中，所述第二认证文件包含有密码。

本发明还提供一种同步文件的装置，包括：

第一处理模块，用于在内容服务器上安装数据镜像备份工具rsync，并建立第一认证文件以及配置有rsync的相关参数的配置文件；

第二处理模块，用于在发布服务器上安装rsync和监控工具inotify，并建立第二认证文件以及文件同步脚本；

第三处理模块，用于在所述发布服务器上运行所述文件同步脚本，以通过inotify监控所述发布服务器上包含文件的指定目录，当监控到所述指定目录中的文件发生变化时，调用rsync将所述指定目录中发生变化的文件同步至所述内容服务器。

在本发明一实施例中，所述第一处理模块还用于：

在所述内容服务器上设置开机启动rsync。

在本发明一实施例中，所述第一处理模块还用于：

将rsync设置为开机启动项。

在本发明一实施例中，所述第二认证文件包含有密码。

在本发明实施例中，在内容服务器上安装数据镜像备份工具rsync，并建立第一认证文件以及配置有rsync的相关参数的配置文件；在发布服务器上安装rsync和监控工具inotify，并建立第二认证文件以及文件同步脚本；在所述发布服务器上运行所述文件同步脚本，以通过inotify监控所述发布服务器上包含文件的指定目录，当监控到所述指定目录中的文件发生变化时，调用rsync将所述指定目录中发生变化的文件同步至所述内容服务器。由此可见，本发明实施例基于rsync和inotify能够实现服务器间实时同步文件的目的。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明一实施例中同步文件的方法的流程图；

图2为本发明另一实施例中同步文件的方法的流程图；以及

图3为本发明一实施例中同步文件的装置的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

在介绍本发明之前，首先介绍inotify。inotify是一种强大的、细粒度的、异步的文件系统事件监控机制，linux内核从2.6.13起，加入了inotify支持，通过inotify可以监控文件系统中添加、删除、修改、移动等各种细微事件，利用这个内核接口，第三方软件就可以监控文件系统下文件的各种变化情况，而inotify-tools就是这样的一个第三方软件。

如图1所示为本发明一实施例中同步文件的方法的流程图，该方法可以包括以下步骤S11-S13。

步骤S11，在内容服务器上安装数据镜像备份工具rsync，并建立第一认证文件以及配置有rsync的相关参数的配置文件。

在该步骤中，第一认证文件中可以包含有用户名和密码，并设置有指定权限。例如，第一认证文件为/etc/rsyncd/rsyncd.pass，如果该第一认证文件不能为其他任意用户访问，则可以给该第一认证文件600权限，即：

#chmod 600/etc/rsyncd/rsyncd.pass。

此外，还可以建立配置有rsync的相关参数的配置文件，配置文件中可以设置有预设目录，以由发布服务器将指定目录中发生变化的文件同步至预设目录。这里，预设目录可以如/data/mp3，本发明可以根据实际需求进行设置。在本发明实施例中，可以将配置文件命名为rsyncd.conf，放到/etc/rsyncd/目录里。

步骤S12，在发布服务器上安装rsync和监控工具inotify，并建立第二认证文件以及文件同步脚本。

在该步骤中，第二认证文件中可以包含有密码。

步骤S13，在发布服务器上运行文件同步脚本，以通过inotify监控发布服务器上包含文件的指定目录，当监控到指定目录中的文件发生变化时，调用rsync将指定目录中发生变化的文件同步至内容服务器。

前文提及，rsync可以实现触发式的文件同步，但是通过crontab守护进程方式进行触发，同步的数据和实际数据会有差异，而inotify可以监控文件系统的各种变化，当文件有任何变动时，就触发rsync同步，这样刚好解决了同步数据的实时性问题。

在本发明的可选实施例中，可以在内容服务器上设置开机启动rsync，例如将rsync设置为开机启动项。

在本发明的可选实施例中，可以在发布服务器上设置开机启动rsync，例如将rsync设置为开机启动项。

下面通过一具体实施例来详细介绍本发明的同步文件的方法的实现过程。在该实施例中，假设内容服务器的相关信息为：1.1.1.1(Ubuntu 12.04x86-64)，发布服务器的相关信息为：1.1.1.2(Ubuntu 12.04x86-64)。

如图2所示为本发明另一实施例中同步文件的方法的流程图，该方法可以包括以下步骤S21-S25。

步骤S21，在内容服务器上安装rsync，并建立第一认证文件以及配置有rsync的相关参数的配置文件。

在该步骤中，安装rsync为：#sudo apt-get install rsync；

建立的配置文件为：#mkdir/etc/rsyncd/，#vim/etc/rsyncd/rsyncd.conf，具体代码如下：

#Section 1:Global settings

port＝873

uid＝root

gid＝root

use chroot＝yes

read only＝no

max connections＝7

pid file＝/var/run/rsyncd.pid

log file＝/var/log/rsyncd.log

hosts allow＝*

transfer logging＝yes

log format＝％t％a％m％f％b

syslog facility＝local3

timeout＝300

#Section 2:Directory to be synced

[mp3]

path＝/data/mp3

list＝false

ignore errors＝yes

auth users＝syncuser

secrets file＝/etc/rsyncd/rsyncd.pass

这里，/etc/rsyncd/rsyncd.pass为第一认证文件，其内容为syncuser:IamOK，其中，syncuser为用户名，IamOK为密码。

如果该第一认证文件不能为其他任意用户访问，则可以给该第一认证文件600权限，即：#chmod 600/etc/rsyncd/rsyncd.pass。

步骤S22，在内容服务器上设置开机启动rsync。

在该步骤中，可以将rsync设置为开机启动项，即：#echo"/usr/bin/rsync--daemon--config＝/etc/rsyncd/rsyncd.conf">>/etc/rc.local。

步骤S23，在发布服务器上安装rsync和监控工具inotify，并建立第二认证文件以及文件同步脚本。

在该步骤中，建立文件同步脚本为：#vim/var/tmp/auto_sync.sh，具体代码如下：

#！/bin/bash

#DESTHOST＝1.1.1.1

DESTHOSTDIR＝/data/mp3/

SRCDIR＝/data/mp3/

inotifywait-mr--timefmt'％d/％m/％y％H:％M'--format'％T％w％f'-eclose_write,modify,delete,create,attrib$SRCDIR|while read DATE TIME DIRFILE；do

FILECHANGE＝${DIR}${FILE}

rsync-avz--password-file＝/etc/rsyncd/rsyncd.pass$SRCDIR

syncuser@${DESTHOST}::mp3&>/dev/null&&\

echo"At${TIME}on${DATE},file$FILECHANGE was backed up via rsync">>/var/log/mp3sync.log

done

#chmod u+x/var/tmp/auto_sync.sh

#/var/tmp/auto_sync.sh

步骤S24，在发布服务器上设置开机启动rsync。

在该步骤中，可以将rsync设置为开机启动项，即：

#echo'/var/tmp/auto_sync.sh&'>>/etc/rc.local。

步骤S25，在发布服务器上运行文件同步脚本，以通过inotify监控发布服务器上包含文件的指定目录，当监控到指定目录中的文件发生变化时，调用rsync将指定目录中发生变化的文件同步至内容服务器。

需要说明的是，在实际应用中，上述所有可选实施方式可以采用结合的方式任意组合，形成本发明的可选实施例，在此不再一一赘述。

对应于上述实施例中的同步文件的方法，本发明还提供一种同步文件的装置。如图3所示为本发明一实施例中同步文件的装置的结构示意图，包括：

第一处理模块31，用于在内容服务器上安装数据镜像备份工具rsync，并建立第一认证文件以及配置有rsync的相关参数的配置文件；

第二处理模块32，用于在发布服务器上安装rsync和监控工具inotify，并建立第二认证文件以及文件同步脚本；

第三处理模块33，用于在所述发布服务器上运行所述文件同步脚本，以通过inotify监控所述发布服务器上包含文件的指定目录，当监控到所述指定目录中的文件发生变化时，调用rsync将所述指定目录中发生变化的文件同步至所述内容服务器。

在本发明一实施例中，所述第一处理模块31还用于：

在所述内容服务器上设置开机启动rsync。

在本发明一实施例中，所述第一处理模块31还用于：

将rsync设置为开机启动项。

在本发明一实施例中，所述第二认证文件包含有密码。

本发明实施例的上述装置：在内容服务器上安装数据镜像备份工具rsync，并建立第一认证文件以及配置有rsync的相关参数的配置文件；在发布服务器上安装rsync和监控工具inotify，并建立第二认证文件以及文件同步脚本；在所述发布服务器上运行所述文件同步脚本，以通过inotify监控所述发布服务器上包含文件的指定目录，当监控到所述指定目录中的文件发生变化时，调用rsync将所述指定目录中发生变化的文件同步至所述内容服务器。由此可见，本发明实施例基于rsync和inotify能够实现服务器间实时同步文件的目的。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种同步文件的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述第一认证文件中包含有用户名和密码，并设置有指定权限。

3.根据权利要求1或2所述的方法，其特征在于，所述配置文件中设置有预设目录，以由所述发布服务器将所述指定目录中发生变化的文件同步至所述预设目录。

4.根据权利要求1或2所述的方法，其特征在于，还包括：

在所述内容服务器上设置开机启动rsync。

5.根据权利要求1或2所述的方法，其特征在于，在所述内容服务器上设置开机启动rsync，包括：

将rsync设置为开机启动项。

6.根据权利要求1或2所述的方法，其特征在于，所述第二认证文件包含有密码。

7.一种同步文件的装置，其特征在于，包括：

8.根据权利要求7所述的装置，其特征在于，所述第一认证文件中包含有用户名和密码，并设置有指定权限。

9.根据权利要求7或8所述的装置，其特征在于，所述配置文件中设置有预设目录，以由所述发布服务器将所述指定目录中发生变化的文件同步至所述预设目录。

10.根据权利要求7或8所述的装置，其特征在于，所述第一处理模块还用于：

在所述内容服务器上设置开机启动rsync。