CN1234074C - 基于Internet的文件镜像方法 - Google Patents

基于Internet的文件镜像方法 Download PDF

Info

Publication number
CN1234074C
CN1234074C CN 03135150 CN03135150A CN1234074C CN 1234074 C CN1234074 C CN 1234074C CN 03135150 CN03135150 CN 03135150 CN 03135150 A CN03135150 A CN 03135150A CN 1234074 C CN1234074 C CN 1234074C
Authority
CN
China
Prior art keywords
file
formation
record
mirror
internet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN 03135150
Other languages
English (en)
Other versions
CN1567238A (zh
Inventor
李涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu century summit Technology Co., Ltd.
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN 03135150 priority Critical patent/CN1234074C/zh
Publication of CN1567238A publication Critical patent/CN1567238A/zh
Application granted granted Critical
Publication of CN1234074C publication Critical patent/CN1234074C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

本发明提出一种基于Internet的文件镜像方法，属于数据备份与灾难恢复领域。其特征在于在对本地服务器的文件进行写操作时，记录下文件名、文件路径、文件偏移以及写入数据，然后通过Internet发送到远程镜像服务器，在远程镜像服务器上对相应的文件进行同样的写操作，达到镜像的目的。由于在本地服务器上设置了记录文件变化的队列，本方法能够在一定程度上容忍Internet网络的带宽限制、速度变化、网络中断等不利因素，在网络状况良好的情况下还能获得良好的实时性。本发明可广泛应用于基于Internet的远距离异地数据备份与灾难恢复，建设成本极低，具有广阔的应用前景。

Description

基于Internet的文件镜像方法
技术领域
本发明提出了一种基于Internet的文件镜像方法，属于数据备份与灾难恢复领域，在两台通过Internet连接的计算机上实现文件的同步。
背景技术
在容灾系统中，镜像技术是基础，是整个容灾系统成败的关键。目前比较成熟的镜像技术有磁盘阵列技术，存储区域网络，网络直接存储等。这些技术各有其优缺点，但距离都受到严格限制。存储区域网络的镜像距离最大，通常在10千米以内，最大不超过100千米。其他的几种技术仅适合于本地存储，不适于远距离异地镜像系统的建立。这些技术价格昂贵，应用范围较窄，使用不够方便，维护费用高。
中国专利公开号为CN1179219A的申请案可实现文件的异地备份，但时间间隔长，实时性不高。中国专利公开号为CN1371058A的申请案是针对一个特定应用的文件同步方法，当客户端向服务器写数据时，同时向镜像服务器写同样的数据使主服务器与镜像服务器同步，需要在每个客户端上安装底层备份驱动程序，应用的范围、距离都有很大的限制。
本发明是一个通用的文件镜像方法，不需要在客户端作任何配置，应用范围和镜像距离不受限制(只要能够接入Internet就行)，支持多种操作系统，对网络的带宽以及网络的稳定性要求低。可支持用户在Internet上以极小的成本构建自己的文件镜像系统，具有广阔的应用前景。
发明内容
定义1：文件列表L，用来登记需要镜像的文件，L中的每个元素包含以下两个部分：
1)文件名：字符串，需监视的文件的名称。
2)文件路径：字符串，需监视的文件所在的路径。
定义2：文件变化队列Q，是一个先进先出队列，用来记录哪些文件产生了写操作。队列Q的每个元素包含以下四个部分：
1)文件名：字符串，指明产生写操作的文件。
2)文件路径：字符串，指明产生写操作的文件的路径。
3)偏移量：整数，文件写指针的位置。
4)写入数据：二进制串，表示写入文件的内容。
为了提高效率，队列Q设计为两级：一级队列Q1和二级队列Q2。由于磁盘的读写速度和RAM的读写速度相差几个数量级。因此，Q1放在RAM中，Q2放在磁盘上。Q1的尾端与Q2的首端相连从而在逻辑上形成一个队列Q。取记录时总是在Q的首端进行，插入记录时总是在Q的尾端进行。
在取记录时，如果队列Q的头指针已经指向Q2，则先将Q2中的部分记录移动到Q1，同时修改Q的头指针和尾指针(类似于操作系统的缺页中断处理方法)，然后再从Q的首端取出记录。
队列Q的大小可以灵活设定。Q越大，能够记录文件的变化越多，用本发明设计的系统就能够更好地容忍Internet的带宽限制、速度变化、网络中断等不利因素。实际使用中，Q的大小可以根据内存的容量，磁盘的容量，文件的使用情况，网络的连接速度，容许网络中断的最大时间等来确定。一般情况下建议Q1为128M，Q2为1G。
在进行镜像之前，首先保证本地服务器需要镜像的文件和远程镜像服务器相应的文件完全相同。
附图说明
图1是本发明工作原理图。
图2是文件监视模块FMON的流程图。
图3是本地镜像模块LMM的流程图。
图4远程镜像模块RMM的流程图。
具体实施方式
图1是本发明工作原理图。
本发明在实现上分为本地和远程两个部分，本地部分包括文件监视模块FMON、本地镜像模块LMM以及两个数据结构，列表L和队列Q；远程部分只包括远程镜像模块RMM。
文件监视模块FMON监听操作系统的写操作，如果被操作的文件F在列表L中，则把F的文件名、文件路径、偏移量、写入数据等封装成一个记录R插入到队列Q中。本地镜像模块LMM不断地从Q中取出记录R，发送到远程镜像服务器，远程镜像模块RMM根据收到的记录R对相应的文件进行写操作完成文件的镜像工作。
在程序运行前，首先要清空队列Q，并把需要镜像的文件登记到列表L中。
图2是文件监视模块FMON的流程图。
文件监视模块FMON在本地服务器上监听操作系统对某个文件F进行的操作W，如果W是一个写操作并且F在列表L中，则将W记录到队列Q中。具体步骤如下：
①监听到操作系统对某个文件F进行了W操作
②判断操作W是否是写操作，如果不是转到①。
③判断文件F是否在列表L中，如果不在转到①。
④判断队列Q是否已满，如果已满转到⑩。
⑤把操作W(包括文件名、文件路径、偏移量、写入数据等)封装成记录R。
⑥获得队列Q的读写权。
⑦把记录R插入到队列Q的尾端。
⑧释放队列Q的读写权。
⑨结束。
⑩报错。
图3是本地镜像模块LMM的流程图。
本地镜像模块LMM从队列Q的首端取出记录R，然后发送到远程镜像服务器完成同步。
具体步骤如下：
①判断队列Q是否为空，如果为空转到①。
②获得队列Q的读写权。
③从队列Q的首端取出一条记录R。
④释放队列Q的读写权。
⑤把记录R封装成镜像请求T。
⑥把请求T发送到远程镜像服务器进行镜像。
⑦等待远程镜像服务器的完成标志。
⑧判断是否超时，如果超时转到⑥。
⑨获得队列Q的读写权。
⑩从队列Q中删除记录R。
释放队列Q的读写权。
转到①。
图4是远程镜像模块RMM的流程图。
远程文件同步模块监听文件同步请求，当一个同步请求到来时，在镜像服务器上对相应的文件进行同样的操作，具体步骤如下：
①监听到文件镜像请求T。
②从T中解析出记录R。
③根据记录R的内容对相应的文件进行写操作。
④向本地镜像模块发送完成标志。
⑤转到①。

Claims (1)

1.一种基于Internet的文件镜像方法，其特征在于定义以下两种结构，包括
文件列表L，用来登记需要镜像的文件，L中的每个元素又包含以下两个部分：文件名和文件路径；
文件变化队列Q，是一个先进先出队列，用来记录哪些文件产生了写操作，其中队列Q的每个元素又包含以下四个部分：文件名、文件路径、偏移量、和写入数据，并且，为了提高效率，队列Q设计为两级：一级队列Q1和二级队列Q2，其中Q1放在RAM中，Q2放在磁盘上，Q1的尾端与Q2的首端相连，从而在逻辑上形成一个队列Q，取记录时总是在Q的首端进行，插入记录时总是在Q的尾端进行；
其镜像方法包括以下步骤：文件监视步骤；本地镜像步骤；远程镜像步骤；其中：
文件监视步骤包括以下主要步骤：
①监听操作系统对某个文件F进行写操作的步骤；
②判断F在列表L中的步骤；
③若F在L中，则把对F的写操作封装成一个记录R，并将R插入到队列Q的步骤；
本地镜像步骤为一循环步骤，只要文件变化队列Q中有记录，就一直进行以下步骤：
①从队列Q中取出一条记录R的步骤；
②把记录R封装成镜像请求T的步骤；
③把请求T发送到远程备份服务器的步骤；
④从队列Q中删除记录R的步骤；
远程镜像步骤包括以下主要步骤：
①监听文件镜像请求的步骤；
②当一个镜像请求到来时，解析出记录R的步骤；
③根据记录R的内容对相应的文件进行写操作的步骤；
④向本地镜像模块发送完成标志的步骤；
⑤返回①，继续监听下一个文件镜像请求的步骤。
CN 03135150 2003-06-09 2003-06-09 基于Internet的文件镜像方法 Expired - Fee Related CN1234074C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 03135150 CN1234074C (zh) 2003-06-09 2003-06-09 基于Internet的文件镜像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 03135150 CN1234074C (zh) 2003-06-09 2003-06-09 基于Internet的文件镜像方法

Publications (2)

Publication Number Publication Date
CN1567238A CN1567238A (zh) 2005-01-19
CN1234074C true CN1234074C (zh) 2005-12-28

Family

ID=34470201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 03135150 Expired - Fee Related CN1234074C (zh) 2003-06-09 2003-06-09 基于Internet的文件镜像方法

Country Status (1)

Country Link
CN (1) CN1234074C (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100385407C (zh) * 2006-03-10 2008-04-30 四川大学 网络信息系统异地数据镜像方法
CN100405312C (zh) * 2006-03-10 2008-07-23 四川大学 异地数据备份中的差错控制方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100775132B1 (ko) * 2006-03-30 2007-11-08 엔에이치엔(주) 서버 미러링 시스템 및 방법
CN101414915B (zh) * 2007-10-19 2011-02-16 英业达股份有限公司 远程复制的发送请求处理系统及其方法
CN101989084B (zh) * 2009-07-29 2012-05-23 中国铝业股份有限公司 热电站及配套系统的数据发布系统
CN101984634B (zh) * 2010-11-22 2013-06-26 北京酷我科技有限公司 一种适应资源同步机制的服务器端自动转向方法及系统
CN111506587A (zh) * 2020-03-31 2020-08-07 紫光云技术有限公司 一种基于Redis的异地双活方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100385407C (zh) * 2006-03-10 2008-04-30 四川大学 网络信息系统异地数据镜像方法
CN100405312C (zh) * 2006-03-10 2008-07-23 四川大学 异地数据备份中的差错控制方法

Also Published As

Publication number Publication date
CN1567238A (zh) 2005-01-19

Similar Documents

Publication Publication Date Title
CN100345143C (zh) 数据处理方法和装置
CN1253793C (zh) 在计算机系统中提供卷快照相关性的方法和设备
CN101079034A (zh) 消除文件存储系统中冗余文件的系统及方法
CN1169628A (zh) 用于复制数据的数据管理系统和方法
CN102591947A (zh) 用于数据去重复的快速且低ram占用的索引
CN101055511A (zh) 一种存储阵列系统及其数据操作方法
CN101079036A (zh) 一种海量文件的存储方法及系统
CN1858710A (zh) 数据同步的方法和系统
CN113626431A (zh) 一种基于lsm树的延迟垃圾回收的键值分离存储方法及系统
CN1945571A (zh) Fat卷中重建目录结构和恢复数据的方法
CN1234074C (zh) 基于Internet的文件镜像方法
CN1286288C (zh) 一种内存数据库主备同步的方法
CN1567248A (zh) 应用程序日志记录方法及系统
CN1282111C (zh) 一种跨平台数据库查询方法
CN100347705C (zh) 一种合并文件的方法
Barry et al. Implementing journaling in a linux shared disk file system
CN101034416A (zh) 一种利用文件分配表进行文件寻道的方法及系统架构
CN1351299A (zh) 一种访问数据库的方法及装置
CN1975717A (zh) 搜索系统索引切换的方法及搜索系统
CN1228726C (zh) 基于多通道存储设备的海量存储系统及其系统控制方法
CN1835607A (zh) 基于pc服务器短信二级网关及业务环境
CN1808433A (zh) 一种快速安全的实时数据库访问方法
CN1859686A (zh) 一种记录小区日志的实现方法
CN112506922A (zh) 面向混合固态存储系统的嵌入式IoT时序数据库设计方法
CN1819527A (zh) 网管系统中客户端实现告警快速刷新的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: SICHUAN GREAT TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: SICHUAN UNIVERSITY

Effective date: 20100513

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: 610065 NO.24, SOUTH 1ST SECTION, 1ST RING ROAD, CHENGDU CITY, SICHUAN PROVINCE TO: 610041 2/F, COMPLEX BUILDING (FACING THE STREET), CHENGDU KEHUA MIDDLE ROAD PRIMARY SCHOOL, NO.2, CHANGSHOU ROAD, WUHOU DISTRICT, CHENGDU CITY

TR01 Transfer of patent right

Effective date of registration: 20100513

Address after: 610041, Wuhou District, Changshou Road, Chengdu No. 2 Chengdu KELONG Road Primary School Street building two floor

Patentee after: Sichuan Gerite Technology Co., Ltd.

Address before: 610065 Sichuan, Chengdu, South Ring Road, No. 1, No. 24

Patentee before: Sichuan University

ASS Succession or assignment of patent right

Owner name: CHENGDU GLOBAL CAPSHEAF TECHNOLOGY CO., LTD.

Free format text: FORMER OWNER: SICHUAN GREAT TECHNOLOGY CO., LTD.

Effective date: 20130401

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130401

Address after: 610000 C-411 Asia Pacific Plaza, KELONG North Road, Sichuan, Chengdu

Patentee after: Chengdu century summit Technology Co., Ltd.

Address before: 610000, Sichuan, Wuhou District, Changshou Road, Chengdu No. 2 Chengdu KELONG Road Primary School Street building two floor

Patentee before: Sichuan Gerite Technology Co., Ltd.

DD01 Delivery of document by public notice

Addressee: Wang Zhengtao

Document name: Notification of Passing Examination on Formalities

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051228

Termination date: 20180609

CF01 Termination of patent right due to non-payment of annual fee