CN104954497A - 一种云存储系统中数据传输方法和系统 - Google Patents
一种云存储系统中数据传输方法和系统 Download PDFInfo
- Publication number
- CN104954497A CN104954497A CN201510388348.7A CN201510388348A CN104954497A CN 104954497 A CN104954497 A CN 104954497A CN 201510388348 A CN201510388348 A CN 201510388348A CN 104954497 A CN104954497 A CN 104954497A
- Authority
- CN
- China
- Prior art keywords
- cloud
- data
- compression
- transmission data
- service end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
- H04L67/5651—Reducing the amount or size of exchanged application data
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种云存储系统中数据传输方法和系统,包括:云存储客户端预先设置数据块的压缩门限;在云存储客户端向云存储服务端传送数据前,如果确定传送数据的数据块大小超过压缩门限,则对传送数据执行压缩优化,在压缩的传送数据中标记压缩属性后发送至云存储服务端;云存储服务端接收到来自云存储客户端的传送数据,确定传送数据携带有压缩属性后,根据压缩属性对传送数据进行解压缩优化,并对传送数据进行存储处理。通过本发明,能够解决云存储系统中网络带宽瓶颈的问题。
Description
技术领域
本发明涉及数据传输技术领域,尤指一种云存储系统中数据传输方法和系统。
背景技术
云存储提供的是存储服务,存储服务通过网络将本地数据存放在存储服务提供商(SSP)提供的在线存储空间。需要存储服务的用户不再需要建立自己的数据中心,只需向SSP申请存储服务,从而避免了存储平台的重复建设,节约了昂贵的软硬件基础设施投资。
云存储实现了海量数据的统一管理。在现有云存储系统中,对于网络带宽要求都非常高,至少是千兆网络带宽,甚至一些高端云存储系统要求万兆网络带宽,无形中增加了云存储系统建设成本,即使万兆网络环境也常常出现网络带宽紧张带来云存储系统性能下降,造成网络带宽成为云存储系统性能的瓶颈,同时高速后端存储设备就无法发挥至极致,造成云存储系统后端资源浪费。
发明内容
为了解决上述技术问题,本发明提供了一种云存储系统中数据传输方法和系统,能够解决云存储系统中网络带宽瓶颈的问题。
为了达到本发明目的,本发明提供了一种云存储系统中数据传输方法,包括:云存储系统中数据传输方法,应用于云存储系统中的云存储客户端和云存储服务端,包括:云存储客户端预先设置数据块的压缩门限;在云存储客户端向云存储服务端传送数据前,如果确定传送数据的数据块大小超过压缩门限,则对传送数据执行压缩优化,在压缩的传送数据中标记压缩属性后发送至云存储服务端;云存储服务端接收到来自云存储客户端的传送数据,确定传送数据携带有压缩属性后,根据压缩属性对传送数据进行解压缩优化,并对传送数据进行存储处理。
进一步地,所述压缩门限为128KB;所述压缩优化和解压缩优化的算法为LZ4算法。
进一步地,所述压缩属性至少包括已压缩标识,或者,所述压缩属性包括已压缩标识、算法库类型、压缩前大小、压缩后大小和压缩比。
进一步地,所述方法还包括:云存储客户端确定传送数据的数据块大小没有超过压缩门限,则将传送数据发送至云存储服务端;云存储服务端确定传送数据没有携带压缩属性后,对传送数据进行存储处理。
进一步地,所述对传送数据进行存储处理,具体为:云存储服务端对接收到的传送数据或解压缩后的传送数据进行校验,通过校验后的传送数据进行存储处理。
本发明还提供了一种云存储系统,包括云存储客户端和云存储服务端,其中,云存储客户端,用于预先设置数据块的压缩门限;向云存储服务端传送数据前,如果确定传送数据的数据块大小超过压缩门限,则对传送数据执行压缩优化,在压缩的传送数据中标记压缩属性后发送至云存储服务端;云存储服务端,用于接收到来自云存储客户端的传送数据,确定传送数据携带有压缩属性后,根据压缩属性对传送数据进行解压缩优化,并对传送数据进行存储处理。
与现有技术相比,本发明云存储客户端在发送数据到云存储服务端前,先对传送数据进行压缩,然后通过网络发送至云存储服务端,云存储服务端接收到传送数据后,先对传送数据执行解压缩,然后云存储服务端即可按照原有数据存储操作进行后续操作。通过本发明,解决了传送数据在网络传输中对带宽占用造成网络带宽成为性能瓶颈的缺陷,且对现有云存储系统不会造成影响,并具有很强的通用性。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本发明的技术方案,并不构成对本发明技术方案的限制。
图1是本发明的一种实施例中云存储系统中数据传输方法的流程示意图。
图2是本发明的一种实施例中云存储系统中数据传输系统的架构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是本发明的一种实施例中云存储系统中数据传输方法的流程示意图。该云存储系统中数据传输方法应用于云存储系统中的云存储客户端和云存储服务端,如图1所示,该方法包括:
步骤101,在云存储客户端预先设置数据块的压缩门限。
在本步骤中,用户可以在云存储客户端预先设置数据块的压缩门限,例如压缩门限为128KB,当然也可以是其它值,在此不限定。
步骤102,在云存储客户端向云存储服务端传送数据前,判断传送数据的数据块大小是否超过压缩门限,如果超过,进行步骤103;如果没有超过,进行步骤104。
在本步骤中,在云存储客户端向云存储服务端传送数据前,先进行传送数据的数据块大小是否超过压缩门限的判断,例如判断数据块大小是否大于128KB。
步骤103,云存储客户端对传送数据执行压缩优化,在压缩后的传送数据中标记压缩属性,然后进行步骤104。
相对于现有技术,本发明的云存储客户端在发送传送数据到服务端前,先对传送数据进行压缩,然后通过网络发送至服务端,从而可以大幅度减少传送数据在网络传输中对带宽的占用。
在本步骤中,如果传送数据的数据块大小超过压缩门限128KB,则云存储客户端对传送数据执行网络数据通信压缩优化,该压缩优化可以采用LZ4压缩算法,LZ4是一个快速的无损压缩算法,压缩速度在单核300MB/S,可扩展支持多核CPU。它还具有一个非常快速的解码器,速度单核可达到和超越1GB/s,通常能够达到多核系统上的RAM速度限制。当然还可以使用其它的压缩算法,在此不限制。
压缩优化完成后,在压缩的传送数据中标记压缩属性,该压缩属性至少包括已压缩标识,还可以包括算法库类型、压缩前大小、压缩后大小、压缩比等信息。
步骤104,云存储客户端将传送数据发送至云存储服务端。
在本步骤中,如果传送数据的数据块大小超过压缩门限128KB,则云存储客户端对传送数据执行网络数据通信压缩优化并标记压缩属性后将传送数据发送至云存储服务端;如果传送数据的数据块大小没有超过压缩门限128KB,则云存储客户端直接将传送数据发送至云存储服务端。
步骤105,云存储服务端接收到来自云存储客户端的传送数据,判断是否需要对传送数据进行解压缩,如果是,进行步骤106;如果否,进行步骤107
在本步骤中,根据接收到的传送数据是否携带压缩属性来判断是否需要对传送数据进行解压缩。
步骤106,云存储服务端对传送数据进行解压缩优化,然后进行步骤107。
在本步骤中,确定该传送数据携带有压缩属性后,根据该压缩属性对传送数据进行解压缩优化,该解压缩优化可以采用LZ4压缩算法,当然还可以使用其它的压缩算法,在此不限制。
步骤107,云存储服务端对传送数据进行存储处理。
在本步骤中,云存储服务端对传送数据进行校验,通过校验后的传送数据进行存储处理。如何进行数据校验为本领域技术人员所熟知,在此不赘述。
图2是本发明的一种实施例中云存储系统的架构示意图。如图2所示,该云存储系统包括云存储客户端和云存储服务端,其中,
云存储客户端,用于预先设置数据块的压缩门限;向云存储服务端传送数据前,判断传送数据的数据块大小是否超过压缩门限,如果超过对传送数据执行网络数据通信压缩优化,在压缩的传送数据中标记压缩属性并发送至云存储服务端,如果没有超过,将传送数据发送至云存储服务端;
云存储服务端,用于接收到来自云存储客户端的传送数据,根据是否携带压缩属性判断是否需要对传送数据进行解压缩;如果需要,根据该压缩属性对传送数据进行解压缩优化后对传送数据进行存储处理,如果不需要,对传送数据进行存储处理。
云存储系统的具体实现细节和云存储系统中数据传输方法相似,故在此不赘述。
本发明对现有云存储系统不会造成影响,且具有很强的通用性。云存储客户端在发送数据到云存储服务端前,先对传送数据进行压缩,然后通过网络发送至云存储服务端,云存储服务端接收到传送数据后,先对传送数据执行解压缩,然后云存储服务端即可按照原有数据存储操作进行后续操作,从而解决了传送数据在网络传输中对带宽占用造成网络带宽成为性能瓶颈的缺陷。
虽然本发明所揭露的实施方式如上,但所述的内容仅为便于理解本发明而采用的实施方式,并非用以限定本发明。任何本发明所属领域内的技术人员,在不脱离本发明所揭露的精神和范围的前提下,可以在实施的形式及细节上进行任何的修改与变化,但本发明的专利保护范围,仍须以所附的权利要求书所界定的范围为准。
Claims (10)
1.一种云存储系统中数据传输方法,应用于云存储系统中的云存储客户端和云存储服务端,其特征在于,包括:
云存储客户端预先设置数据块的压缩门限;
在云存储客户端向云存储服务端传送数据前,如果确定传送数据的数据块大小超过压缩门限,则对传送数据执行压缩优化,在压缩的传送数据中标记压缩属性后发送至云存储服务端;
云存储服务端接收到来自云存储客户端的传送数据,确定传送数据携带有压缩属性后,根据压缩属性对传送数据进行解压缩优化,并对传送数据进行存储处理。
2.根据权利要求1所述的云存储系统中数据传输方法,其特征在于,所述压缩门限为128KB;
所述压缩优化和解压缩优化的算法为LZ4算法。
3.根据权利要求1所述的云存储系统中数据传输方法,其特征在于,所述压缩属性至少包括已压缩标识,或者,
所述压缩属性包括已压缩标识、算法库类型、压缩前大小、压缩后大小和压缩比。
4.根据权利要求1~3中任一项所述的云存储系统中数据传输方法,其特征在于,所述方法还包括:云存储客户端确定传送数据的数据块大小没有超过压缩门限,则将传送数据发送至云存储服务端;
云存储服务端确定传送数据没有携带压缩属性后,对传送数据进行存储处理。
5.根据权利要求4所述的云存储系统中数据传输方法,其特征在于,所述对传送数据进行存储处理,具体为:
云存储服务端对接收到的传送数据或解压缩后的传送数据进行校验,通过校验后的传送数据进行存储处理。
6.一种云存储系统,包括云存储客户端和云存储服务端,其特征在于:
云存储客户端,用于预先设置数据块的压缩门限;向云存储服务端传送数据前,如果确定传送数据的数据块大小超过压缩门限,则对传送数据执行压缩优化,在压缩后的传送数据中标记压缩属性后发送至云存储服务端;
云存储服务端,用于接收到来自云存储客户端的传送数据,确定传送数据携带有压缩属性后,根据压缩属性对传送数据进行解压缩优化,并对传送数据进行存储处理。
7.根据权利要求6所述的云存储系统,其特征在于,所述压缩门限为128KB;所述压缩优化和解压缩优化的算法为LZ4算法。
8.根据权利要求6所述的云存储系统,其特征在于,所述压缩属性至少包括已压缩标识,或者,
所述压缩属性包括已压缩标识、算法库类型、压缩前大小、压缩后大小和压缩比。
9.根据权利要求6~8中任一项所述的云存储系统,其特征在于,所述云存储客户端,还用于确定传送数据的数据块大小没有超过压缩门限,则将传送数据发送至云存储服务端;
云存储服务端,还用于确定传送数据没有携带压缩属性后,对传送数据进行存储处理。
10.根据权利要求9所述的云存储系统,其特征在于,所述云存储服务端,还用于对接收到的传送数据或解压缩的传送数据进行校验,通过校验后的传送数据进行存储处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510388348.7A CN104954497B (zh) | 2015-07-03 | 2015-07-03 | 一种云存储系统中数据传输方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510388348.7A CN104954497B (zh) | 2015-07-03 | 2015-07-03 | 一种云存储系统中数据传输方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104954497A true CN104954497A (zh) | 2015-09-30 |
CN104954497B CN104954497B (zh) | 2018-09-14 |
Family
ID=54168839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510388348.7A Active CN104954497B (zh) | 2015-07-03 | 2015-07-03 | 一种云存储系统中数据传输方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104954497B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105516307A (zh) * | 2015-12-09 | 2016-04-20 | 浪潮电子信息产业股份有限公司 | 一种基于压缩的优化云存储系统日志存储的方法 |
CN106101218A (zh) * | 2016-06-12 | 2016-11-09 | 乐视控股(北京)有限公司 | 终端数据的上报方法及装置 |
WO2018076819A1 (zh) * | 2016-10-25 | 2018-05-03 | 广东欧珀移动通信有限公司 | 数据的上传方法、装置、存储介质、电子设备及系统 |
WO2018161791A1 (zh) * | 2017-03-10 | 2018-09-13 | 深圳创维-Rgb电子有限公司 | 可执行文件的压缩方法及装置 |
CN109325006A (zh) * | 2018-08-23 | 2019-02-12 | 郑州云海信息技术有限公司 | 一种压缩存储的方法和装置、解压下载的方法和装置 |
CN112347399A (zh) * | 2019-08-08 | 2021-02-09 | 武汉东湖大数据交易中心股份有限公司 | 一种基于大数据的智能推荐系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070005795A1 (en) * | 1999-10-22 | 2007-01-04 | Activesky, Inc. | Object oriented video system |
CN102143198A (zh) * | 2010-09-30 | 2011-08-03 | 华为技术有限公司 | 消息传送方法、装置和系统 |
CN102546740A (zh) * | 2011-06-24 | 2012-07-04 | 奇智软件(北京)有限公司 | 一种基于云压缩文件的压缩和解压缩方法、装置及系统 |
CN102802197A (zh) * | 2011-05-23 | 2012-11-28 | 中兴通讯股份有限公司 | 应用数据的传输方法及装置 |
-
2015
- 2015-07-03 CN CN201510388348.7A patent/CN104954497B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070005795A1 (en) * | 1999-10-22 | 2007-01-04 | Activesky, Inc. | Object oriented video system |
CN102143198A (zh) * | 2010-09-30 | 2011-08-03 | 华为技术有限公司 | 消息传送方法、装置和系统 |
CN102802197A (zh) * | 2011-05-23 | 2012-11-28 | 中兴通讯股份有限公司 | 应用数据的传输方法及装置 |
CN102546740A (zh) * | 2011-06-24 | 2012-07-04 | 奇智软件(北京)有限公司 | 一种基于云压缩文件的压缩和解压缩方法、装置及系统 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105516307A (zh) * | 2015-12-09 | 2016-04-20 | 浪潮电子信息产业股份有限公司 | 一种基于压缩的优化云存储系统日志存储的方法 |
CN106101218A (zh) * | 2016-06-12 | 2016-11-09 | 乐视控股(北京)有限公司 | 终端数据的上报方法及装置 |
WO2018076819A1 (zh) * | 2016-10-25 | 2018-05-03 | 广东欧珀移动通信有限公司 | 数据的上传方法、装置、存储介质、电子设备及系统 |
WO2018161791A1 (zh) * | 2017-03-10 | 2018-09-13 | 深圳创维-Rgb电子有限公司 | 可执行文件的压缩方法及装置 |
CN109325006A (zh) * | 2018-08-23 | 2019-02-12 | 郑州云海信息技术有限公司 | 一种压缩存储的方法和装置、解压下载的方法和装置 |
CN112347399A (zh) * | 2019-08-08 | 2021-02-09 | 武汉东湖大数据交易中心股份有限公司 | 一种基于大数据的智能推荐系统 |
Also Published As
Publication number | Publication date |
---|---|
CN104954497B (zh) | 2018-09-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104954497A (zh) | 一种云存储系统中数据传输方法和系统 | |
CN109756536B (zh) | 一种数据传输的方法、装置及系统 | |
CN111190928A (zh) | 缓存处理方法、装置、计算机设备以及存储介质 | |
Grigorik | Making the web faster with HTTP 2.0 | |
WO2017114091A1 (zh) | 一种nas数据访问的方法、系统及相关设备 | |
CN103873505B (zh) | 向云存储服务器离线上传的方法、系统与装置 | |
CN102065098A (zh) | 网络节点之间数据同步的方法和系统 | |
CN104219298B (zh) | 集群系统及其数据备份的方法 | |
EP3159803B1 (en) | Data storage method and network interface card | |
CN103532984A (zh) | websocket协议的数据传输方法、设备和系统 | |
JP5753946B2 (ja) | フォントファイルをダウンロードする方法およびシステム | |
CN103731493A (zh) | 页面传输方法、装置及系统 | |
US20150026334A1 (en) | Method for distinguishing type of communication network and method for providing content using same | |
KR101419437B1 (ko) | 데이터 가속 알고리즘을 선택하여 콘텐츠를 제공하는 방법 및 장치 | |
EP3258673B1 (en) | Efficient information exchange between servers in content transmission network system | |
CN105872090B (zh) | 基于扩展状态码的http通信方法 | |
CN105391712B (zh) | 一种基于tcp协议的数据快速传输方法和装置 | |
CN109672756B (zh) | 一种数据传输方法及相关装置、服务器和存储介质 | |
CN108494700B (zh) | 跨链路数据传输方法、装置、计算机设备及存储介质 | |
CN108234595B (zh) | 日志传输方法及系统 | |
CN105610979B (zh) | 一种基于虚拟化技术的网络资源传输系统及其方法 | |
JP5162686B2 (ja) | Dmクライアントからオブジェクトを取り出す方法及びそれに関するデバイス管理システム | |
CN114880115A (zh) | 数据回源的调度方法、装置、电子设备及存储介质 | |
CN113766020A (zh) | 面向卫星导航接收机设备的远程控制系统及其控制方法 | |
CN110730126B (zh) | 链路汇聚系统、数据帧的发送或接收方法及其装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |