CN106453577A - 一种在云存储系统中实现文件快速上传的方法 - Google Patents

一种在云存储系统中实现文件快速上传的方法 Download PDF

Info

Publication number
CN106453577A
CN106453577A CN201610917625.3A CN201610917625A CN106453577A CN 106453577 A CN106453577 A CN 106453577A CN 201610917625 A CN201610917625 A CN 201610917625A CN 106453577 A CN106453577 A CN 106453577A
Authority
CN
China
Prior art keywords
file
cloud storage
stored
storage system
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610917625.3A
Other languages
English (en)
Inventor
李少青
寇立强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201610917625.3A priority Critical patent/CN106453577A/zh
Publication of CN106453577A publication Critical patent/CN106453577A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network

Abstract

本发明公开了一种在云存储系统中实现文件快速上传的方法,所述方法在使用HTTP1.1协议向云存储服务上传文件时,云存储服务判断该文件是否已经被存储过,如果该文件已经存储过,则云存储中断接受文件,向用户发送已经成功接受的消息。本发明方法不是加快了网络传输速率,而是阻止了不必要上传文件的上传操作,节省了传输时间,从而实现文件的快速上传,极大的节省网络资源及时间成本。

Description

一种在云存储系统中实现文件快速上传的方法
技术领域
本发明涉及计算机软件及网络应用技术领域,具体涉及一种在云存储系统中实现文件快速上传的方法。
背景技术
随着云计算时代的到来,可扩展、高可用、高安全的云存储成为一个主流方向。公有云、私有云、企业云等纷纷出现,向大众或小区域的用户提供云存储服务。
用户数据内容多种多样。但某些云存储系统所面向的用户拥有的数据可能具有很大的重复性。若云存储系统针能够辨别这类数据,不仅能够节省存储空间,同样可以节省服务的网络资源以及服务提供者和用户的时间成本,提高用户体验。
当前的某些云存储环境主要使用场景是存储用户上传的数据文件,不同用户的文件可能会具有较高的重复性。
发明内容
本发明要解决的技术问题是:本发明针对以上问题,提供一种在云存储系统中实现文件快速上传的方法。
本发明所采用的技术方案为:
一种在云存储系统中实现文件快速上传的方法,所述方法在使用HTTP1.1协议向云存储服务上传文件时,云存储服务判断该文件是否已经被存储过,如果该文件已经存储过,则云存储中断接受文件,向用户发送已经成功接受的消息,从而实现文件的快速上传,极大的节省网络资源及时间成本。
当前的某些云存储环境主要使用场景是存储用户上传的数据文件,不同用户的文件可能会具有较高的重复性。本发明不是加快了网络传输速率,而是阻止了不必要上传文件的上传操作,节省了传输时间。
所述方法通过在云存储服务端持久化当前被存储的每个文件的摘要信息,在用户上传文件时通过对比摘要信息判断被上传的文件是否已经存在于云存储服务中而实现文件的快速上传。
持久化(Persistence),即把数据(如内存中的对象)保存到可永久保存的存储设备中(如磁盘)。持久化的主要应用是将内存中的对象存储在关系型的数据库中,当然也可以存储在磁盘文件中、XML数据文件中等等。持久化是将程序数据在持久状态和瞬时状态间转换的机制。
所述文件摘要信息的获取方式及两个文件是否相同的判断过程如下:
1)通过云存储服务端一个云存储系统软件,其内部持久化了当前所有已存储文件各自的MD5值以及各自头部1024字节数据的MD5值;
2)用户在向云存储系统上传数据时,预先计算出该文件的MD5值,将其写入上传请求的标头Header中;
3) 云存储系统在接受到请求后,第一步先接收1024字节的数据,计算MD5值,同时读取用户计算出的文件整体MD5值,与持久化的数据对比,判断该文件是否已经存储过;
4)如果已经存储过,则中断上传请求;如果未存储过,则继续收数据进行存储。
从而实现了在一个HTTP请求中实现文件快速上传的方法。
标头 (header) 是服务器以 HTTP 协议传 HTML 资料到浏览器前所送出的字串,在标头与 HTML 文件之间尚需空一行分隔。
计算文件的MD5值(一般可把MD5称为文件的“摘要信息”)进行判断是一种有效且高效的方法。两段不同数据的MD5值相同的概率极低,甚至可以说不会相同;如果采用二次判断的方式,对比不同文件两处数据段的MD5值,我们这里认为它们绝对不会相同。本发明正是基于这个假设做出的设计。
基于TCP协议的HTTP协议是一种用普遍使用的可靠数据传输方式。HTTP1.1协议支持用户在请求中添加自定义的Header向服务器传输区别于被上传数据额外的信息。数据的MD5值可以通过这种方式发送给服务器。
本发明的有益效果为:
本发明方法不是加快了网络传输速率,而是阻止了不必要上传文件的上传操作,节省了传输时间,从而实现文件的快速上传,极大的节省网络资源及时间成本。
具体实施方式
下面结合具体实施方式对本发明进一步说明:
实施例1:
一种在云存储系统中实现文件快速上传的方法,所述方法在使用HTTP1.1协议向云存储服务上传文件时,云存储服务判断该文件是否已经被存储过,如果该文件已经存储过,则云存储中断接受文件,向用户发送已经成功接受的消息,从而实现文件的快速上传,极大的节省网络资源及时间成本。
当前的某些云存储环境主要使用场景是存储用户上传的数据文件,不同用户的文件可能会具有较高的重复性。本发明不是加快了网络传输速率,而是阻止了不必要上传文件的上传操作,节省了传输时间。
实施例2
在实施例1的基础上,本实施例所述方法通过在云存储服务端持久化当前被存储的每个文件的摘要信息,在用户上传文件时通过对比摘要信息判断被上传的文件是否已经存在于云存储服务中而实现文件的快速上传。
持久化(Persistence),即把数据(如内存中的对象)保存到可永久保存的存储设备中(如磁盘)。持久化的主要应用是将内存中的对象存储在关系型的数据库中,当然也可以存储在磁盘文件中、XML数据文件中等等。持久化是将程序数据在持久状态和瞬时状态间转换的机制。
实施例3
在实施例2的基础上,本实施例所述文件摘要信息的获取方式及两个文件是否相同的判断过程如下:
1)通过云存储服务端一个云存储系统软件,其内部持久化了当前所有已存储文件各自的MD5值以及各自头部1024字节数据的MD5值;
2)用户在向云存储系统上传数据时,预先计算出该文件的MD5值,将其写入上传请求的标头Header中;
3) 云存储系统在接受到请求后,第一步先接收1024字节的数据,计算MD5值,同时读取用户计算出的文件整体MD5值,与持久化的数据对比,判断该文件是否已经存储过;
4)如果已经存储过,则中断上传请求;如果未存储过,则继续收数据进行存储。
从而实现了在一个HTTP请求中实现文件快速上传的方法。
标头 (header) 是服务器以 HTTP 协议传 HTML 资料到浏览器前所送出的字串,在标头与 HTML 文件之间尚需空一行分隔。
实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (3)

1.一种在云存储系统中实现文件快速上传的方法,其特征在于,所述方法在使用HTTP1.1协议向云存储服务上传文件时,云存储服务判断该文件是否已经被存储过,如果该文件已经存储过,则云存储中断接受文件,向用户发送已经成功接受的消息。
2.根据权利要求1所述的一种在云存储系统中实现文件快速上传的方法,其特征在于,所述方法通过在云存储服务端持久化当前被存储的每个文件的摘要信息,在用户上传文件时通过对比摘要信息判断被上传的文件是否已经存在于云存储服务中而实现文件的快速上传。
3.根据权利要求1所述的一种在云存储系统中实现文件快速上传的方法,其特征在于,
所述文件摘要信息的获取方式及两个文件是否相同的判断过程如下:
1)通过一个云存储系统软件,其内部持久化了当前所有已存储文件各自的MD5值以及各自头部1024字节数据的MD5值;
2)用户在向云存储系统上传数据时,预先计算出该文件的MD5值,将其写入上传请求的标头中;
3) 云存储系统在接受到请求后,第一步先接收1024字节的数据,计算MD5值,同时读取用户计算出的文件整体MD5值,与持久化的数据对比,判断该文件是否已经存储过;
4)如果已经存储过,则中断上传请求;如果未存储过,则继续收数据进行存储。
CN201610917625.3A 2016-10-21 2016-10-21 一种在云存储系统中实现文件快速上传的方法 Pending CN106453577A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610917625.3A CN106453577A (zh) 2016-10-21 2016-10-21 一种在云存储系统中实现文件快速上传的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610917625.3A CN106453577A (zh) 2016-10-21 2016-10-21 一种在云存储系统中实现文件快速上传的方法

Publications (1)

Publication Number Publication Date
CN106453577A true CN106453577A (zh) 2017-02-22

Family

ID=58176477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610917625.3A Pending CN106453577A (zh) 2016-10-21 2016-10-21 一种在云存储系统中实现文件快速上传的方法

Country Status (1)

Country Link
CN (1) CN106453577A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101552669A (zh) * 2008-04-02 2009-10-07 林兆祥 数据传输的方法及系统
CN101699822A (zh) * 2009-08-06 2010-04-28 腾讯科技(深圳)有限公司 一种文件上传方法、装置和海量存储系统
CN102857578A (zh) * 2012-09-25 2013-01-02 新浪网技术(中国)有限公司 一种网络硬盘的文件上传方法、系统及网盘客户端
CN103248711A (zh) * 2013-05-23 2013-08-14 华为技术有限公司 一种文件上传的方法和服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101552669A (zh) * 2008-04-02 2009-10-07 林兆祥 数据传输的方法及系统
CN101699822A (zh) * 2009-08-06 2010-04-28 腾讯科技(深圳)有限公司 一种文件上传方法、装置和海量存储系统
CN102857578A (zh) * 2012-09-25 2013-01-02 新浪网技术(中国)有限公司 一种网络硬盘的文件上传方法、系统及网盘客户端
CN103248711A (zh) * 2013-05-23 2013-08-14 华为技术有限公司 一种文件上传的方法和服务器

Similar Documents

Publication Publication Date Title
US10594606B2 (en) Wired data-connection aggregation
US9130991B2 (en) Processing data packets in performance enhancing proxy (PEP) environment
US8898311B2 (en) Data communication method and information processing device
CN104811459A (zh) 用于消息服务的处理方法、装置及系统、消息服务系统
CN101179393A (zh) 一种实现文件断点续传的方法及系统
WO2017161760A1 (zh) 数据传输方法及装置
US9794354B1 (en) System and method for communication between networked applications
US20150032798A1 (en) Method And Apparatus For Providing Redundant Data Access
US10402280B2 (en) File transfer system and method, policy server, terminal and storage medium
CN106331184A (zh) 基于互联网的大数据分发方法和分发平台
US10601692B2 (en) Integrating a communication bridge into a data processing system
KR20150030713A (ko) 낙관적인 윈도우 조정들을 이용한 원치않은 tcp 재송신들의 회피
CN106059936B (zh) 云系统组播文件的方法及装置
EP2439890A1 (en) Method and system for processing mobile multimedia data broadcasting service
CN113992654A (zh) 一种高速的文件传输方法、系统、设备及介质
CN109995664A (zh) 一种发送数据流的方法、设备和系统
CN106101184B (zh) 一种文件下载方法和播放设备
CN107451092A (zh) 一种基于ib网络的数据传输系统
US9992309B2 (en) Communication device and communication method
US20160065644A1 (en) Method and system for efficient enrichment of upper layer protocol content in transmission control program (tcp) based sessions
CN111835801B (zh) 文件下载方法、装置、服务器、边缘设备、终端及介质
CN115361455B (zh) 一种数据传输存储方法、装置以及计算机设备
CN106453577A (zh) 一种在云存储系统中实现文件快速上传的方法
CN114244785B (zh) 5g数据流量乱序处理方法及其装置
US10250515B2 (en) Method and device for forwarding data messages

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222

RJ01 Rejection of invention patent application after publication