CN107092444A - 一种基于rsync的数据一致性校验的系统及实现方法 - Google Patents

一种基于rsync的数据一致性校验的系统及实现方法 Download PDF

Info

Publication number
CN107092444A
CN107092444A CN201710303993.3A CN201710303993A CN107092444A CN 107092444 A CN107092444 A CN 107092444A CN 201710303993 A CN201710303993 A CN 201710303993A CN 107092444 A CN107092444 A CN 107092444A
Authority
CN
China
Prior art keywords
rsync
checksum values
storage
clients
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710303993.3A
Other languages
English (en)
Inventor
王志华
吴丙涛
徐艳秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201710303993.3A priority Critical patent/CN107092444A/zh
Publication of CN107092444A publication Critical patent/CN107092444A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于rsync的数据一致性校验的系统及实现方法，属于计算机存储技术领域，本发明要解决的技术问题为通过MD5值进行校验文件需要从源数据端把所有的数据通过网络传输到存储端，效率比较低，而且计算过程无法并行进行，不能充分利用CPU资源，采用的技术方案为：其结构包括源数据端和存储端，所述存储端设置有rsync客户端，rsync客户端用于分块读取存储端中存储文件，进行checksum值计算；源数据端设置有rsync服务端，rsync客户端通过网络发送checksum值到rsync服务端，rsync服务端用于分块读取存储在源数据端的源数据，进行checksum值计算，并和接收到rsync客户端的checksum值比较。本发明还公开了基于rsync的数据一致性校验的实现方法。

Description

一种基于rsync的数据一致性校验的系统及实现方法
技术领域
本发明涉及计算机存储技术领域，具体地说是一种基于rsync的数据一致性校验的系统及实现方法。
背景技术
大部分存储产品都有数据冗余保护功能，一般的存储冗余保护策略为副本、RAID技术，当出现单个磁盘故障时，通过某种技术可以还源数据，保证数据不丢失。在对存储产品功能测试时，如何在磁盘出现故障时校验数据不丢失，保证数据的一致性是一个必须进行的测试点。如附图1所示，当前的测试方式为对文件进行MD5值进行校验，当MD5值相同即表示文件相同。该方法需要从源数据端把所有的数据通过网络传输到存储端，效率比较低，而且计算过程无法并行进行，不能充分利用CPU资源。
发明内容
本发明的技术任务是提供一种基于rsync的数据一致性校验的系统及实现方法，来解决通过MD5值进行校验文件需要从源数据端把所有的数据通过网络传输到存储端，效率比较低，而且计算过程无法并行进行，不能充分利用CPU资源的问题。
本发明的技术任务是按以下方式实现的，一种基于rsync的数据一致性校验的系统，包括源数据端和存储端，所述存储端设置有rsync客户端，rsync客户端用于分块读取存储端中存储文件，进行checksum值计算；源数据端设置有rsync服务端，rsync客户端通过网络发送checksum值到rsync服务端，rsync服务端用于分块读取存储在源数据端的源数据，进行checksum值计算，并和接收到rsync客户端的checksum值比较。
作为优选，所述rsync客户端和rsync服务端启用多个线程分别对源数据和存储文件同步进行分块checksum值计算。
作为优选，所述源数据端用于测试存储的测试数据，存放于通用服务器本地；存储端用于生产的存储系统。
一种基于rsync的数据一致性校验的实现方法，该方法包括如下步骤：
（1）、rsync服务端和rsync客户端同时分别对源数据和存储文件进行分块checksum值计算；
（2）、rsync客户端通过网路发送存储文件的所有块的checksum值到rsync服务端；
（3）、rsync服务端接收到rsync客户端的checksum值，并和源数据的分块checksum值进行比较；
（4）、rsync服务端进行checksum值比对并输出比对结果：
①、若checksum值完全相同，则输出数据无丢失的结果；
②、若checksum值不同，则输出输出丢失的结果，同时输出checksum值不同的数据块。
作为优选，所述源数据端用于测试存储的测试数据，存放于通用服务器本地；存储端用于生产的存储系统，在服务器本地布置rsync服务端，在存储端布置rsync客户端。
本发明的基于rsync的数据一致性校验的系统及实现方法具有以下优点：
1、本发明在客户端布置rsync服务端，在存储端布置rsync客户端，两端对本地文件进行数据分块，利用CPU的多核资源同时对数据块进行checksum值计算，rsync客户端通过网络发送所有的checksum到rsync服务端，rsync服务端和rsync客户端不进行数据同步，只进行checksum比较，rsync服务端输出差异，rsync服务端对checksum值进行对比，如果完全相同则输出数据无丢失的结果，如果存在checksum值不同的则输出数据丢失结果，并标注第几个数据块，通过该方法提高了数据校验的准确性以及提高了校验效率；
2、本发明通过rsync的同步算法分别在源数据端和存储端计算checksum值，减少了网络数据传输，同时可以充分利用源数据端和存储端的CPU资源，提高了数据一致性校验效率，减少测试过程中的等待时间，并能准确知道丢失的那个数据块，有利于问题分析。
故发明具有设计合理、结构简单、使用方便、一物多用等特点，因而，具有很好的推广使用价值。
附图说明
下面结合附图对本发明进一步说明。
附图1为背景技术的结构框图；
附图2为实施例1的结构框图。
具体实施方式
参照说明书附图和具体实施例对本发明的基于rsync的数据一致性校验的系统及实现方法作以下详细地说明。
实施例1
如附图1所示，本发明的基于rsync的数据一致性校验的系统，其结构包括源数据端和存储端，源数据端用于测试存储的测试数据，存放于通用服务器本地；存储端用于生产的存储系统。存储端设置有rsync客户端，rsync客户端用于分块读取存储端中存储文件，进行checksum值计算；源数据端设置有rsync服务端，rsync客户端通过网络发送checksum值到rsync服务端，rsync服务端用于分块读取存储在源数据端的源数据，进行checksum值计算，并和接收到rsync客户端的checksum值比较。rsync客户端和rsync服务端启用多个线程分别对源数据和存储文件同步进行分块checksum值计算。
实施例2
基于实施例1的基于rsync的数据一致性校验的实现方法，该方法包括如下步骤：
（1）、rsync服务端和rsync客户端同时分别对源数据和存储文件进行分块checksum值计算；
（2）、rsync客户端通过网路发送存储文件的所有块的checksum值到rsync服务端；
（3）、rsync服务端接收到rsync客户端的checksum值，并和源数据的分块checksum值进行比较；
（4）、rsync服务端进行checksum值比对并输出比对结果：
①、若checksum值完全相同，则输出数据无丢失的结果；
②、若checksum值不同，则输出输出丢失的结果，同时输出checksum值不同的数据块。
其中，源数据端用于测试存储的测试数据，存放于通用服务器本地；存储端用于生产的存储系统，在服务器本地布置rsync服务端，在存储端布置rsync客户端。
通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的2种具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (5)

1.一种基于rsync的数据一致性校验的系统，包括源数据端和存储端，其特征在于：所述存储端设置有rsync客户端，rsync客户端用于分块读取存储端中存储文件，进行checksum值计算；源数据端设置有rsync服务端，rsync客户端通过网络发送checksum值到rsync服务端，rsync服务端用于分块读取存储在源数据端的源数据，进行checksum值计算，并和接收到rsync客户端的checksum值比较。
2.根据权利要求1所述的基于rsync的数据一致性校验的系统，其特征在于：所述rsync客户端和rsync服务端启用多个线程分别对源数据和存储文件同步进行分块checksum值计算。
3.根据权利要求1所述的基于rsync的数据一致性校验的系统，其特征在于：所述源数据端用于测试存储的测试数据，存放于通用服务器本地；存储端用于生产的存储系统。
4.一种基于rsync的数据一致性校验的实现方法，其特征在于：该方法包括如下步骤：
（1）、rsync服务端和rsync客户端同时分别对源数据和存储文件进行分块checksum值计算；
（2）、rsync客户端通过网路发送存储文件的所有块的checksum值到rsync服务端；
（3）、rsync服务端接收到rsync客户端的checksum值，并和源数据的分块checksum值进行比较；
（4）、rsync服务端进行checksum值比对并输出比对结果：
①、若checksum值完全相同，则输出数据无丢失的结果；
②、若checksum值不同，则输出输出丢失的结果，同时输出checksum值不同的数据块。
5.根据权利要求4所述的基于rsync的数据一致性校验的实现方法，其特征在于：所述源数据端用于测试存储的测试数据，存放于通用服务器本地；存储端用于生产的存储系统，在服务器本地布置rsync服务端，在存储端布置rsync客户端。
CN201710303993.3A 2017-05-03 2017-05-03 一种基于rsync的数据一致性校验的系统及实现方法 Pending CN107092444A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710303993.3A CN107092444A (zh) 2017-05-03 2017-05-03 一种基于rsync的数据一致性校验的系统及实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710303993.3A CN107092444A (zh) 2017-05-03 2017-05-03 一种基于rsync的数据一致性校验的系统及实现方法

Publications (1)

Publication Number Publication Date
CN107092444A true CN107092444A (zh) 2017-08-25

Family

ID=59637801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710303993.3A Pending CN107092444A (zh) 2017-05-03 2017-05-03 一种基于rsync的数据一致性校验的系统及实现方法

Country Status (1)

Country Link
CN (1) CN107092444A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704372A (zh) * 2017-10-12 2018-02-16 郑州云海信息技术有限公司 一种验证存储系统中逻辑卷数据销毁有效性的方法及系统
CN108897806A (zh) * 2018-06-15 2018-11-27 东软集团股份有限公司 数据一致性比对方法、装置、存储介质及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065098A (zh) * 2010-12-31 2011-05-18 网宿科技股份有限公司 网络节点之间数据同步的方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102065098A (zh) * 2010-12-31 2011-05-18 网宿科技股份有限公司 网络节点之间数据同步的方法和系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107704372A (zh) * 2017-10-12 2018-02-16 郑州云海信息技术有限公司 一种验证存储系统中逻辑卷数据销毁有效性的方法及系统
CN108897806A (zh) * 2018-06-15 2018-11-27 东软集团股份有限公司 数据一致性比对方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
JP6653358B2 (ja) 複数のシステムからのデータのブロックチェーンロギング
CN107688999B (zh) 一种基于区块链的并行交易执行方法
CN111026511B (zh) 基于事务数据分区-链间融合的区块链并行系统及方法
WO2018149345A1 (zh) 一种数据处理方法及装置
CN109949111A (zh) 电子票据标识分配方法、电子票据生成方法、装置及系统
CN109815373B (zh) 数据存储的控制方法、装置、服务器及可读存储介质
CN102523234B (zh) 一种应用服务器集群实现方法及系统
CN104123184B (zh) 一种用于为构建过程中的任务分配资源的方法和系统
CN109189751A (zh) 基于区块链的数据同步方法及终端设备
CN105933408B (zh) 一种Redis通用中间件的实现方法及装置
CN108810115B (zh) 一种适用于分布式数据库的负载均衡方法、装置及服务器
US20130326028A1 (en) Server migration
CN101673289B (zh) 分布式文件存储构架的构建方法和装置
CN105045871A (zh) 数据聚合查询方法及装置
CN109799948A (zh) 一种数据存储方法及装置
CN104407879A (zh) 一种电网时序大数据并行加载方法
US9189489B1 (en) Inverse distribution function operations in a parallel relational database
CN107463342A (zh) 一种cdn边缘节点文件的存储方法及装置
CN107450855A (zh) 一种用于分布式存储的模型可变的数据分布方法及系统
CN105827678B (zh) 一种基于高可用架构下的通信方法和节点
CN108206839B (zh) 一种基于多数派数据存储方法、装置及系统
CN109344268A (zh) 图形数据库写入的方法、电子设备及计算机可读存储介质
CN105260232A (zh) 一种实现云计算虚拟机内部资源优化配置的方法及系统
CN107092444A (zh) 一种基于rsync的数据一致性校验的系统及实现方法
CN107818106B (zh) 一种大数据离线计算数据质量校验方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170825

RJ01 Rejection of invention patent application after publication