CN104639629A - 一种在客户端和云端进行文件的比较方法及比较系统 - Google Patents

一种在客户端和云端进行文件的比较方法及比较系统 Download PDF

Info

Publication number
CN104639629A
CN104639629A CN201510047581.9A CN201510047581A CN104639629A CN 104639629 A CN104639629 A CN 104639629A CN 201510047581 A CN201510047581 A CN 201510047581A CN 104639629 A CN104639629 A CN 104639629A
Authority
CN
China
Prior art keywords
file
client
clouds
data
carried out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510047581.9A
Other languages
English (en)
Inventor
涂剑锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inventec Appliances Shanghai Corp
Inventec Appliances Pudong Corp
Inventec Appliances Corp
Original Assignee
Inventec Appliances Shanghai Corp
Inventec Appliances Pudong Corp
Inventec Appliances Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inventec Appliances Shanghai Corp, Inventec Appliances Pudong Corp, Inventec Appliances Corp filed Critical Inventec Appliances Shanghai Corp
Priority to CN201510047581.9A priority Critical patent/CN104639629A/zh
Publication of CN104639629A publication Critical patent/CN104639629A/zh
Priority to TW104122289A priority patent/TWI563405B/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Abstract

本发明提供一种在客户端和云端进行文件的比较方法，包括：客户端发起传输文件的请求，并向云端传输所述文件的特征；所述云端接收所述客户端发来的文件特征，将所述文件特征与一数据库中的数据进行比对，若数据库中的数据与所述客户端发来的文件特征不完全匹配，则通知所述客户端上传文件；若数据库中的数据与所述客户端发来的文件特征完全匹配，则通知所述客户端进行特征校验值比较，若通过比较则无需上传所述文件，反之则通知客户端传输所述文件。

Description

一种在客户端和云端进行文件的比较方法及比较系统
技术领域
本发明涉及通讯技术领域，特别涉及一种在客户端和云端进行文件的比较方法及比较系统。
背景技术
在云端存储应用中，目前最常用的技术为依据RFC0959提出的FTP协议将客户端文件传输到云端。该协议提出了一个可靠的将文件逐个字节地将文件进行传输的方法。利用该方法进行文件传输其速度受限于端点的运算速度和网络的带宽，对于较大的文件，应用过程中会遇到较大的瓶颈。由于多个用户可能会应用到同样一份数据文件，因此在云端通常只需要存储该数据文件的一个拷贝。当某个用户上传某个数据文件时，服务程序可以先判断该数据文件已经存在于云端，如果存在，则无需新建一个该数据文件的拷贝，直接使用云端原有的拷贝即可。通常情况下，服务程序要判断某个数据文件存在于云端，需要将用户数据文件和云端数据文件进行逐个字节的比较，对于超大的数据文件来说，这是一个非常漫长的过程，需要耗费大量的客户端运行时间和网络带宽。
发明内容
本发明的目的在于提供一种在客户端和云端进行文件的比较方法及比较系统，以解决现有技术在客户端和云端进行文件传输时费时费带宽的问题。
为解决上述技术问题，本发明提供一种在客户端和云端进行文件的比较方法，包括：
客户端发起传输，文件的请求，并向云端传输所述文件的特征；
所述云端接收所述客户端发来的文件特征，将所述文件特征与一数据库中的数据进行比对，若数据库中的数据与所述客户端发来的文件特征不完全匹配，则通知所述客户端上传所述文件；若数据库中的数据与所述客户端发来的文件特征完全匹配，则通知所述客户端进行特征校验值比较，若通过比较则无需上传文件，反之则通知客户端传输所述文件。
进一步的，在所述的客户端和云端进行文件的比较方法中，所述客户端发送传输文件请求时，并向云端传输所述文件的大小及该文件开始处数据和结尾处数据。
进一步的，在所述的客户端和云端进行文件的比较方法中，将所述文件特征与一数据库中的数据进行比对的步骤中包括比对所述文件的大小、比对文件开始处数据和结尾处数据。
进一步的，在所述的客户端和云端进行文件的比较方法中，所述完全匹配指所述文件的大小、开始处数据和结尾处数据中均与所述数据库中的数据匹配。
进一步的，在所述的客户端和云端进行文件的比较方法中，所述通知所述客户端进行特征校验值比较的步骤包括：
云端通知客户端用于计算特征校验值的数据段的选取方法；
客户端根据云端的选取方法选出用于计算特征校验值的数据段；
所述云端和客户端同时进行特征校验值的计算。
进一步的，在所述的客户端和云端进行文件的比较方法中，所述云端通知客户端用于计算特征校验值的数据段的选取方法的步骤包括：
云端根据所述客户端发来的文件的大小，将该文件划分为大小相同的N段,最后一段用添零的方法补齐；
从1到N中随机抽取M个数字，按从小到大的顺序排列抽出的数字，将排列后的数字传输于客户端。
进一步的，在所述的客户端和云端进行文件的比较方法中，所述客户端根据云端的选取方法选出用于计算特征校验值的数据段的步骤包括：
客户端接收云端传来的排列后的数字，并按此在文件中选出相同段的数据段进行特征校验值的计算。
进一步的，在所述的客户端和云端进行文件的比较方法中，所述云端和客户端同时进行特征校验值的计算的步骤包括：
客户端逐一将文件中选出的数据段进行MD5校验字符串的计算，并将计算结果传输至云端；
云端同样逐一对相同的数据段进行MD5校验字符串的计算，并将计算结果与客户端传来的计算结果相比对，若结果相同，则通知客户端无需上传文件，反之则通知客户端上传文件。
进一步的，在所述的客户端和云端进行文件的比较方法中，所述文件为超大文件。
进一步的，在所述的客户端和云端进行文件的比较方法中，所述超大文件是大于等于1G的文件。
相应的，本发明还提供一种在客户端和云端进行文件的比较系统，包括：客户端和云端，其中，
所述客户端用于发起传输文件的请求，并向云端传输所述文件的特征；
所述云端用于接收所述客户端发来的文件特征，将所述文件特征与一数据库中的数据进行比对，若数据库中的数据与所述客户端发来的文件特征不完全匹配，则通知所述客户端上传所述文件；若数据库中的数据与所述客户端发来的文件特征完全匹配，则通知所述客户端进行特征校验值比较，若通过比较则无需上传文件，反之则通知客户端传输所述文件。
进一步的，在所述的客户端和云端进行文件的比较系统中，所述文件的特征为所述文件的大小及所述文件开始处数据和结尾处数据。
进一步的，在所述的客户端和云端进行文件的比较系统中，所述完全匹配指所述文件的大小、开始处数据和结尾处数据均与所述数据库中的数据匹配。
进一步的，在所述的客户端和云端进行文件的比较系统中，所述文件为超大文件。
进一步的，在所述的客户端和云端进行文件的比较系统中，所述超大文件是大于等于1G的文件。
本发明提供的一种在客户端和云端进行文件的比较方法及比较系统，具有以下有益效果：本发明使用随机数据段抽取和特征校验值分开计算的办法来进行客户端和云端文件的比较。在云端存在与客户端相同文件的情况下，可以避免本地和云端之间超大数据量的传输，并且减轻了客户端和云端的运算量。
附图说明
图1是本发明在客户端和云端进行文件的比较方法的流程图；
图2是本发明优选实施例的云端的数据库中的数据与客户端发来的文件不完全匹配情况下的时序图；
图3是本发明本发明优选实施例的云端的数据库中的数据与客户端发来的文件完全匹配情况下校验结果相同的时序图；
图4是本发明本发明优选实施例的云端的数据库中的数据与客户端发来的文件完全匹配情况下校验结果不相同的时序图。
具体实施方式
以下结合附图和具体实施例对本发明提出的在客户端和云端进行文件的比较方法及比较系统作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
如图1所示，本发明提供一种在客户端和云端进行文件的比较方法，包括以下步骤：
S100：客户端发起传输文件的请求，并向云端传输所述文件的特征；所述文件的特征可以是文件的大小，也可以是文件中某一特定段的数据，在本实施例中，在传输的过程中，文件的特征是指文件的大小及该文件开始处数据和结尾处数据；特别的，在本实施例中，所述文件是指超大文件，即为大于等于1G的文件。
S200：所述云端接收所述客户端发来的文件特征，将所述文件特征与一数据库中的数据进行比对，即比对所述文件的大小、比对文件开始处数据和结尾处数据。若数据库中的数据与所述客户端发来的文件不完全匹配，则通知所述客户端上传文件，即如图2所示的情况。若数据库中的数据与所述客户端发来的文件完全匹配，所述完全匹配指所述文件的大小、开始处数据和结尾处数据中均与所述数据库中的数据匹配；则通知所述客户端进行特征校验值比较，若通过比较则无需上传文件，反之则通知客户端传输所述文件。
当数据库中的数据与所述客户端发来的文件完全匹配时，首先云端通知客户端用于计算特征校验值的数据段的选取方法，在本实施例中，云端根据所述客户端发来的文件的大小，将该文件划分为大小相同的N段，最后一段用添零的方法补齐；从1到N中随机抽取M个数字，按从小到大的顺序排列抽出的数字，将排列后的数字传输于客户端，N为大于1的整数，M为大于1小于N的整数。接着，客户端根据云端的选取方法选出用于计算特征校验值的数据段，在本实施例中，客户端接收云端传来的排列后的数字，并按此在文件中选出相同段的数据段进行特征校验值的计算。最后，所述云端和客户端同时进行特征校验值的计算，在本实施例中，客户端逐一将文件中选出的数据段进行MD5校验字符串的计算，并将计算结果传输至云端；云端同样逐一对相同的数据段进行MD5校验字符串的计算，并将计算结果与客户端传来的计算结果相比对，若结果相同，则通知客户端无需上传文件，即如图3所示的情况。反之则通知客户端上传文件，即如图4所示的情况。
相应的，本发明还提供一种在客户端和云端进行文件的比较系统，包括：客户端和云端，其中，
所述客户端用于发起传输文件的请求，并向云端传输所述文件的特征；所述文件的特征可以是文件的大小，也可以是文件中某一特定段的数据，在本实施例中，在传输的过程中，文件的特征是指文件的大小及该文件开始处数据和结尾处数据；特别的，在本实施例中，所述文件是指超大文件，即为大于等于1G的文件。
所述云端用于接收所述客户端发来的文件特征，将所述文件特征与一数据库中的数据进行比对，若数据库中的数据与所述客户端发来的文件特征不完全匹配，则通知所述客户端上传所述文件；若数据库中的数据与所述客户端发来的文件特征完全匹配，则通知所述客户端进行特征校验值比较，若通过比较则无需上传文件，反之则通知客户端传输所述文件。其中，所述完全匹配指所述文件的大小、开始处数据和结尾处数据均与所述数据库中的数据匹配。
综上所述，本发明使用随机数据段抽取和特征校验值分开计算的办法来进行客户端和云端文件的比较。在云端存在与客户端相同文件的情况下，可以避免本地和云端之间超大数据量的传输，并且减轻了客户端和云端的运算量。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

Claims (12)

1.一种在客户端和云端进行文件的比较方法，其特征在于，包括：
客户端发起传输文件的请求，并向云端传输所述文件的特征；
所述云端接收所述客户端发来的文件特征，将所述文件特征与一数据库中的数据进行比对，若数据库中的数据与所述客户端发来的文件特征不完全匹配，则通知所述客户端上传所述文件；若数据库中的数据与所述客户端发来的文件特征完全匹配，则通知所述客户端进行特征校验值比较，若通过比较则无需上传文件，反之则通知客户端传输所述文件。
2.如权利要求1所述的客户端和云端进行文件的比较方法，其特征在于，所述文件的特征为所述文件的大小及所述文件开始处数据和结尾处数据。
3.如权利要求2所述的客户端和云端进行文件的比较方法，其特征在于，所述完全匹配指所述档的大小、开始处数据和结尾处数据均与所述数据库中的数据匹配。
4.如权利要求1所述的客户端和云端进行文件的比较方法，其特征在于，所述通知所述客户端进行特征校验值比较的步骤包括：
云端通知客户端用于计算特征校验值的数据段的选取方法；
客户端根据云端的选取方法选出用于计算特征校验值的数据段；
所述云端和客户端同时进行特征校验值的计算。
5.如权利要求4所述的客户端和云端进行文件的比较方法，其特征在于，所述云端通知客户端用于计算特征校验值的数据段的选取方法的步骤包括：
云端根据所述客户端发来的文件的大小，将该文件划分为大小相同的N段，最后一段用添零的方法补齐；
从1到N中随机抽取M个数字，按从小到大的顺序排列抽出的数字，将排列后的数字传输于客户端，N为大于1的整数，M为大于1小于N的整数。
6.如权利要求5所述的客户端和云端进行文件的比较方法，其特征在于，所述客户端根据云端的选取方法选出用于计算特征校验值的数据段的步骤包括：
客户端接收云端传来的排列后的数字，并按此在文件中选出相同段的数据段进行特征校验值的计算。
7.如权利要求6所述的客户端和云端进行文件的比较方法，其特征在于，所述云端和客户端同时进行特征校验值的计算的步骤包括：
客户端逐一将文件中选出的数据段进行MD5校验字符串的计算，并将计算结果传输至云端；
云端同样逐一对相同的数据段进行MD5校验字符串的计算，并将计算结果与客户端传来的计算结果相比对，若结果相同，则通知客户端无需上传文件，反之则通知客户端上传文件。
8.如权利要求1所述的客户端和云端进行文件的比较方法，其特征在于，所述文件为超大文件,所述超大文件是大于等于1G的文件。
9.一种在客户端和云端进行文件的比较系统，其特征在于，包括：客户端和云端，其中，
所述客户端用于发起传输文件的请求，并向云端传输所述文件的特征；
所述云端用于接收所述客户端发来的文件特征，将所述文件特征与一数据库中的数据进行比对，若数据库中的数据与所述客户端发来的文件特征不完全匹配，则通知所述客户端上传所述文件；若数据库中的数据与所述客户端发来的文件特征完全匹配，则通知所述客户端进行特征校验值比较，若通过比较则无需上传文件，反之则通知客户端传输所述文件。
10.如权利要求9所述的客户端和云端进行文件的比较系统，其特征在于，所述文件的特征为所述文件的大小及所述文件开始处数据和结尾处数据。
11.如权利要求10所述的客户端和云端进行文件的比较系统，其特征在于，所述完全匹配指所述文件的大小、开始处数据和结尾处数据均与所述数据库中的数据匹配。
12.如权利要求9所述的客户端和云端进行文件的比较系统，其特征在于，所述文件为超大文件,所述超大文件是大于等于1G的文件。
CN201510047581.9A 2015-01-30 2015-01-30 一种在客户端和云端进行文件的比较方法及比较系统 Pending CN104639629A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510047581.9A CN104639629A (zh) 2015-01-30 2015-01-30 一种在客户端和云端进行文件的比较方法及比较系统
TW104122289A TWI563405B (en) 2015-01-30 2015-07-09 A method for comparing files between a user terminal and a cloud end and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510047581.9A CN104639629A (zh) 2015-01-30 2015-01-30 一种在客户端和云端进行文件的比较方法及比较系统

Publications (1)

Publication Number Publication Date
CN104639629A true CN104639629A (zh) 2015-05-20

Family

ID=53217930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510047581.9A Pending CN104639629A (zh) 2015-01-30 2015-01-30 一种在客户端和云端进行文件的比较方法及比较系统

Country Status (2)

Country Link
CN (1) CN104639629A (zh)
TW (1) TWI563405B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104936045A (zh) * 2015-06-03 2015-09-23 无锡天脉聚源传媒科技有限公司 一种基于html5的视频文件处理方法及装置
CN104936044A (zh) * 2015-06-03 2015-09-23 无锡天脉聚源传媒科技有限公司 一种基于html5的传输视频文件的方法、客户端及服务器
CN104994441A (zh) * 2015-07-06 2015-10-21 无锡天脉聚源传媒科技有限公司 一种传输视频文件的方法及装置
CN104994442A (zh) * 2015-07-06 2015-10-21 无锡天脉聚源传媒科技有限公司 一种传输视频文件的方法及装置
CN105007333A (zh) * 2015-08-12 2015-10-28 阔地教育科技有限公司 一种文件传输管理方法及系统
CN107426331A (zh) * 2017-08-09 2017-12-01 北京天信瑞安信息技术有限公司 一种基于JavaScript的文件上传方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005120A1 (en) * 2006-06-30 2008-01-03 Microsoft Corporation Metadata structures for mass p2p file sharing
CN101552669A (zh) * 2008-04-02 2009-10-07 林兆祥 数据传输的方法及系统
CN103108033A (zh) * 2013-01-09 2013-05-15 广东一一五科技有限公司 文件上传方法及系统
CN103248711A (zh) * 2013-05-23 2013-08-14 华为技术有限公司 一种文件上传的方法和服务器
CN103412929A (zh) * 2013-08-16 2013-11-27 蓝盾信息安全技术股份有限公司 一种海量数据的存储方法
CN103729342A (zh) * 2012-10-12 2014-04-16 中国银联股份有限公司 文件比对方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141476A (zh) * 2007-10-09 2008-03-12 创新科存储技术（深圳）有限公司 文件存储、下载方法以及装置
US8805953B2 (en) * 2009-04-03 2014-08-12 Microsoft Corporation Differential file and system restores from peers and the cloud
CN102710630B (zh) * 2012-05-29 2016-03-16 新华网股份有限公司 一种多线程分片的云上传下载方法及系统
CN103412950B (zh) * 2013-08-28 2016-06-22 浙江大学 加速空间大数据文件读写速度的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080005120A1 (en) * 2006-06-30 2008-01-03 Microsoft Corporation Metadata structures for mass p2p file sharing
CN101552669A (zh) * 2008-04-02 2009-10-07 林兆祥 数据传输的方法及系统
CN103729342A (zh) * 2012-10-12 2014-04-16 中国银联股份有限公司 文件比对方法及装置
CN103108033A (zh) * 2013-01-09 2013-05-15 广东一一五科技有限公司 文件上传方法及系统
CN103248711A (zh) * 2013-05-23 2013-08-14 华为技术有限公司 一种文件上传的方法和服务器
CN103412929A (zh) * 2013-08-16 2013-11-27 蓝盾信息安全技术股份有限公司 一种海量数据的存储方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
魏宇 等: "基于VC制作的文件比较器", 《微计算机信息》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104936045A (zh) * 2015-06-03 2015-09-23 无锡天脉聚源传媒科技有限公司 一种基于html5的视频文件处理方法及装置
CN104936044A (zh) * 2015-06-03 2015-09-23 无锡天脉聚源传媒科技有限公司 一种基于html5的传输视频文件的方法、客户端及服务器
CN104936045B (zh) * 2015-06-03 2018-05-15 无锡天脉聚源传媒科技有限公司 一种基于html5的视频文件处理方法及装置
CN104994441A (zh) * 2015-07-06 2015-10-21 无锡天脉聚源传媒科技有限公司 一种传输视频文件的方法及装置
CN104994442A (zh) * 2015-07-06 2015-10-21 无锡天脉聚源传媒科技有限公司 一种传输视频文件的方法及装置
CN104994441B (zh) * 2015-07-06 2018-09-25 无锡天脉聚源传媒科技有限公司 一种传输视频文件的方法及装置
CN105007333A (zh) * 2015-08-12 2015-10-28 阔地教育科技有限公司 一种文件传输管理方法及系统
CN107426331A (zh) * 2017-08-09 2017-12-01 北京天信瑞安信息技术有限公司 一种基于JavaScript的文件上传方法及装置

Also Published As

Publication number Publication date
TW201627887A (zh) 2016-08-01
TWI563405B (en) 2016-12-21

Similar Documents

Publication Publication Date Title
CN104639629A (zh) 一种在客户端和云端进行文件的比较方法及比较系统
SG11201809978SA (en) Method, system, computer system and storage medium of uploading blockchain data
EP3742690A4 (en) DATA TRANSFER METHOD, COMPUTING DEVICE, NETWORK DEVICE AND DATA TRANSFER SYSTEM
SG11201907939VA (en) Fragmentation processing method for use with multi-blockchains, device, server and storage medium
SG11201809101WA (en) Blockchain system and blockchain transaction data processing method based on ethereum
EP3051848A3 (en) Method of single-cell point-to-multipoint transmission
CN102065098A (zh) 网络节点之间数据同步的方法和系统
CN104573064B (zh) 一种大数据环境下的数据处理方法
CO5680121A1 (es) Algoritmo y protocolo eficiente para comprension diferencial remota
WO2012092602A3 (en) Methods and systems for caching data communications over computer networks
CN103227818A (zh) 终端、服务器、文件传输方法、文件存储管理系统和方法
WO2016123383A3 (en) Techniques for compact data storage of network traffic and efficient search thereof
CN103532984A (zh) websocket协议的数据传输方法、设备和系统
CN109639768A (zh) 一种分布式分块文件传输方法及系统
CN104317676A (zh) 一种数据备份容灾方法
RU2019126328A (ru) Способ, устройство передачи данных и система связи
CN104954497A (zh) 一种云存储系统中数据传输方法和系统
EP3735027A4 (en) DATA TRANSMISSION PROCESS, TERMINAL DEVICE, NETWORK DEVICE AND COMPUTER INFORMATION MEDIA
EP3739957A4 (en) NETWORK MANAGEMENT PROCEDURE, DEVICE, SYSTEM AND COMPUTER READABLE STORAGE MEDIUM
CN106027419B (zh) 一种数据结构的管理方法和装置
EP3177074A3 (en) Method and system for dynamic selection of communication paths for a moving vehicle
EP3767852A4 (en) DATA TRANSFER METHOD, COMMUNICATION DEVICE AND NETWORK DEVICE
RU2013146689A (ru) Тиражирование данных
CN104780120A (zh) 一种局域网中文件传输的方法和装置
CN104317922A (zh) 一种数据推送系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20150520

RJ01 Rejection of invention patent application after publication