CN103916421B - 云存储数据服务装置、数据传输系统、服务器及方法 - Google Patents

云存储数据服务装置、数据传输系统、服务器及方法 Download PDF

Info

Publication number
CN103916421B
CN103916421B CN201210593020.5A CN201210593020A CN103916421B CN 103916421 B CN103916421 B CN 103916421B CN 201210593020 A CN201210593020 A CN 201210593020A CN 103916421 B CN103916421 B CN 103916421B
Authority
CN
China
Prior art keywords
data
cloud storage
characteristic value
transmitted
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210593020.5A
Other languages
English (en)
Other versions
CN103916421A (zh
Inventor
罗治国
段翔
孙少陵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201210593020.5A priority Critical patent/CN103916421B/zh
Publication of CN103916421A publication Critical patent/CN103916421A/zh
Application granted granted Critical
Publication of CN103916421B publication Critical patent/CN103916421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种云存储数据服务装置、云存储数据传输系统、服务器及方法。所述云存储数据服务装置包括数据服务模块,所述数据服务模块用于:接收云存储客户端进行云存储待传输数据的特征值,根据所述特征值进行去重存储;以及接收所述云存储客户端进行云存储访问发送的访问请求,根据所述访问请求,提取去重后的数据并进行数据重组,发送给所述云存储客户端。本发明通过将数据去重应用于云存储数据传输中,可以解决大规模云存储环境的可扩展性问题,提升去重比和传输效率,提升传输服务的可用性,降低对客户端的资源消耗,容忍较差的网络环境。

Description

云存储数据服务装置、数据传输系统、服务器及方法
技术领域
本发明涉及通讯技术领域,尤其是指一种云存储数据服务装置、云存储数据传输系统、服务器及方法。
背景技术
随着云计算商业模式的不断普及,已经出现提供云存储服务的运营商,主要表现在以下几种方式:
1.以对象存储系统的方式对外提供云存储服务,除了提供存储空间外,对使用者提供可编程的对象访问接口供程序调用,用户可以以HTTP或REST方式访问实际的数据,并且可以在不同用户之间进行分享,例如亚马逊AWS的S3对象存储服务。
2.以个人网盘或终端数据同步的方式,个人用户在个人电脑或终端部署客户端软件,用户将云端的存储空间看做本地的一个存储盘进行数据存储访问,实际上数据可以存放在云端,或者云存储软件通过后台同步的方式将数据同步到云端。例如Dropbox、iCloud、酷盘、金山快盘提供的云数据同步或个人网盘等服务。
3.以企业云存储服务的方式,企业用户在企业网络部署网关设备,企业内部用户像使用本地存储一样进行数据存储访问,但实际上数据可以存放在云端。例如Nirvanix提供的企业NAS云服务。
这种云存储服务方式,通常包括云存储服务端和客户端,服务端主要实现海量数据存储,并且提供相关的访问接口;客户端在用户终端上实现数据的统一展现,实现与服务端的数据传输。由于网络环境复杂,在无线网络环境下,包括有线宽带、WIFI、3G、GRPS/EDGE等无线网络,由于信号稳定性和带宽受限等问题,当传输较大文件时所需时间较长,甚至出现传输失败等情况,用户体验不好。为了解决这一问题,通常采用压缩的方式进行传输。
如图1所示,现有技术方案只是将数据在云存储客户端10与云存储服务端20之间进行传输,将数据存储在云端。有些技术方案加入了数据压缩/解压缩模块,在数据传输之前,先对数据进行压缩,云存储服务端将接收到的压缩数据存储下来;当客户端需要访问云存储服务端的数据时,云存储服务端先将数据提取出来,传输到云存储客户端,云存储客户端对数据进行解密,然后进行访问。这种加密方式进行传输,可以从一定程度提升数据传输和后台存储效率,且通用的压缩算法只对某些类型的文件效率较高,对其他文件压缩率有限,且没有有效地利用云存储后台的能力,其效果非常有限。
因此,有必要对现有云存储技术所存在的可扩展性有限及传输效率低的问题进行研究及改进。
发明内容
本发明技术方案的目的是提供一种云存储数据服务装置、云存储数据传输系统、服务器及方法,能够充分利用云端云存储中的资源和能力,有效降低数据传输量,提升云存储数据的传输效率。
本发明提供一种云存储数据服务装置,其中,所述云存储数据服务装置包括数据服务模块,所述数据服务模块用于:
接收云存储客户端进行云存储待传输数据的特征值,根据所述特征值进行去重存储;以及
接收所述云存储客户端进行云存储访问发送的访问请求,根据所述访问请求,提取去重后的数据并进行数据重组,发送给所述云存储客户端。
优选地,上述所述的云存储数据服务装置,所述数据服务模块为多个,每一所述云存储客户端具有对应的所述数据服务模块。
优选地,上述所述的云存储数据服务装置,所述云存储数据服务装置还包括:
数据服务选择模块,用于接受所述数据服务模块的注册、监控所述数据服务模块的状态以及为所述云存储客户端分配相对应的所述数据服务模块。
优选地,上述所述的云存储数据服务装置,所述云存储客户端第一次进行云存储之前,发送服务请求信息,所述数据服务选择模块根据所述服务请求信息,为所述云存储客户端分配相对应的所述数据服务模块。
优选地,上述所述的云存储数据服务装置,所述服务请求信息中包括所述云存储客户端的信息、所述待传输数据的文件名称和所述云存储客户端对所述待传输数据切片后获得的起始数据块号。
优选地,上述所述的云存储数据服务装置,所述数据服务模块根据所述特征值进行去重存储的步骤具体为:
判断所述特征值是否保存在特征值数据库中,若存在,则根据所述特征值建立链接以备存储;若不存在,则通知所述云存储客户端需要传输所述待传输数据的原始数据切片;
以及在获得所述云存储客户端传输的所述原始数据切片后,将所述特征值及原始数据切片保存在所述特征值数据库中,并将所述原始数据切片与所述特征值进行组合后保存。
优选地,上述所述的云存储数据服务装置,所述数据服务模块根据所述访问请求,提取去重后的数据并进行数据重组的步骤具体包括:
根据所述访问请求中包括的待访问数据的数据块信息,将去重后的所述特征值还原成原始数据,并与所述原始数据切片进行组合,获得所述待访问数据。
优选地,上述所述的云存储数据服务装置,所述数据服务模块具体包括:
数据传输子模块,用于从所述云存储客户端获得所述特征值和所述访问请求;
特征值查询子模块,用于判断所述待传输数据的特征值是否保存在所述特征值数据库中;
数据组合子模块,用于将所述待传输数据的特征值与原始数据切片进行组合,获得去重后的数据;以及根据所述访问请求,提取去重后的数据并进行数据重组。
优选地,上述所述的云存储数据服务装置,所述云存储数据服务装置还包括:
数据存储模块,用于保存云重后的数据。
优选地,上述所述的云存储数据服务装置,所述特征值数据库为基于NoSQL系统的分布式数据库。
本发明还提供一种云存储数据传输方法,所述云存储数据传输方法包括:
当云存储客户端向云存储服务端传输待传输数据时,所述云存储服务端从所述云存储客户端获得所述待传输数据的特征值,根据所述特征值进行去重存储;
当所述云存储客户端向所述云存储服务端发送访问请求时,所述云存储服务端根据所述访问请求,提取去重后的数据并进行数据重组,发送给所述云存储客户端。
优选地,上述所述的云存储数据传输方法,当所述云存储客户端向所述云存储服务端传输所述待传输数据之前,所述云存储客户端对所述待传输数据进行切片并提取所述特征值。
优选地,上述所述的云存储数据传输方法,所述云存储服务端包括多个数据服务模块,通过所述数据服务模块接收所述特征值,根据所述特征值进行去重存储;以及接收所述访问请求,根据所述访问请求,提取去重后的数据并进行数据重组,发送给所述云存储客户端;
其中,所述云存储客户端向所述云存储服务端传输数据之前,还包括:
所述云存储客户端发送服务请求信息,所述云存储服务端根据所述服务请求信息,为所述云存储客户端分配相对应的所述数据服务模块。
优选地,上述所述的云存储数据传输方法,所述数据服务模块根据所述特征值进行去重存储的步骤具体为:
判断所述特征值是否保存在特征值数据库中,若存在,则根据所述特征值建立链接以备存储;若不存在,则通知所述云存储客户端需要传输所述待传输数据的原始数据切片;
以及在获得所述云存储客户端传输的所述原始数据切片后,将所述特征值及原始数据切片保存在所述特征值数据库中,并将所述原始数据切片与所述特征值进行组合后保存。
优选地,上述所述的云存储数据传输方法,根据所述访问请求,提取去重后的数据并进行数据重组的步骤具体包括:
根据所述访问请求中包括的待访问数据的数据块信息,将去重后的所述特征值还原成原始数据,并与所述原始数据切片进行组合,获得所述待访问数据。
本发明提供一种云存储数据传输系统,包括如上所述的云存储数据服务装置,所述云存储数据传输系统还包括:
云存储客户端,用于在将待传输数据进行云存储之前,对所述待传输数据进行切片,提取所述待传输数据的特征值。
本发明还提供一种服务器,用于数据云存储与访问,所述服务器包括:
特征值提取模块,用于在向云存储数据服务装置传输数据之前,提取待传输数据的特征值;
数据传输模块,用于将所述待传输数据的特征值发送至所述云存储数据服务装置,以及用于向所述云存储数据服务装置发送访问请求。
优选地,所述服务器还包括:
数据切片模块,用于在向所述云存储数据服务装置传输数据之前,对所述待传输数据进行切片,将所述待传输数据切分成多个数据块,使所述特征值提取模块根据所述数据块提取所述待传输数据的特征值。
优选地,所述数据传输模块还用于:在第一次向所述云存储数据服务装置传输数据之前,向所述云存储数据服务装置发送服务请求信息。
优选地,所述数据传输模块还用于:当所述云存储数据服务装置判断所述待传输数据的特征值未保存在特征值数据库中时,向所述云存储数据服务装置传输所述待传输数据的原始数据切片。
本发明具体实施例上述技术方案中的至少一个具有以下有益效果:
通过将数据去重应用于云存储数据传输中,可以解决大规模云存储环境的可扩展性问题,提升去重比和传输效率,提升传输服务的可用性,降低对客户端的资源消耗,容忍较差的网络环境。
附图说明
图1表示现有技术云存储传输数据的过程示意图;
图2表示本发明具体实施例所述云存储数据传输系统的结构示意图;
图3表示本发明具体实施例中,所述云存储客户端将数据传输至云存储数据服务装置(云存储服务端)的流程示意图;
图4表示本发明具体实施例中,数据从云存储数据服务装置(云存储服务端)传输至云存储客户端的流程示意图。
具体实施方式
以下将合附图对本发明具体实施例进行详细描述。
本发明具体实施例所述的云存储数据服务装置,包括数据服务模块,所述数据服务模块用于:
接收云存储客户端进行云存储待传输数据的特征值,根据所述特征值进行去重存储;以及
接收所述云存储客户端进行云存储访问发送的访问请求,根据所述访问请求,提取去重后的数据并进行数据重组,发送给所述云存储客户端。
通过在客户端进行云存储待传输数据的特征值提取,在服务端进行去重存储,使云存储与数据重组技术相结合,可以解决大规模云存储环境的可扩展性问题,提升去重比和传输效率,提升传输服务的可用性,降低对客户端的资源消耗,容忍较差的网络环境。
图2为用于说明采用本发明具体实施例所述云存储数据服务装置的云存储数据传输系统的结构示意图,该云存储数据传输系统包括:云存储客户端100与云存储数据服务装置200。
其中,所述云存储客户端100包括:
数据切片模块110,用于在向服务端也即云存储数据服务装置200进行云存储传输数据之前,对待传输数据进行切片,将待传输数据切分成多个数据块;
特征值提取模块120,用于根据所述数据块,提取所述待传输数据的特征值;
数据传输模块130,用于与云存储数据服务装置200之间进行数据传输。
所述云存储数据服务装置200具体包括:
数据服务模块210,用于接收云存储客户端100进行云存储待传输数据的特征值,根据所述特征值进行去重存储;以及接收所述云存储客户端100进行云存储访问发送的访问请求,根据所述访问请求,提取去重后的数据并进行数据重组,发送给所述云存储客户端100。
具体地,如图2,所述云存储客户端100通过数据传输模块130将待传输数据的特征值发送至数据服务模块210,以及将访问请求发送至数据服务模块210。
本发明具体实施例中,所述数据服务模块210为多个,每一云存储客户端100具有对应的数据服务模块210,也即当一云存储客户端100与一数据服务模块210具有一一对应关系之后,仅由该具有对应关系的数据服务模块210为该云存储客户端100服务。
如图2所示,所述云存储服务装置200还包括:
数据服务选择模块220,用于接受所述数据服务模块210的注册、监控所述数据服务模块210的状态以及为所述云存储客户端100分配相对应的所述数据服务模块210。
较佳地,为了提升系统可用性,如图2,所述数据服务选择模块220为多个,避免出现数据服务选择模块220故障不能正常工作的问题;另一方面,更佳地,数据服务选择模块220为奇数个,内部实现数据交换和自动协商仲裁。
另外,所述云存储数据服务装置200还包括:
一特征值数据库230,用于保存云存储客户端100所传输数据的特征值。其中该特征值数据库230为一个基于NoSQL系统的分布式数据库,利用NoSQL的横向扩展能力,当数据急剧膨胀时仍然可以保证快速查询响应时间,因此能够基于特征值代码快速查询海量的数据,响应时间不受特征值数量多少的影响,从而达到提高了去重效率(去重比)的目的;
数据存储模块240,用于保存云重后的数据。
参阅图2,本发明具体实施例中,所述数据服务模块210具体包括:
数据传输子模块211,用于与云存储客户端100的数据传输模块130之间进行数据传输;具体地,当云存储客户端100向云存储服务装置200传输待传输数据时,数据传输子模块211从数据传输模块130获得待传输数据的特征值;以及当云存储客户端100向云存储服务装置200发送访问请求时,数据传输子模块211从数据传输模块130获得所述访问请求;
特征值查询子模块212,用于判断所述待传输数据的特征值是否保存在所述特征值数据库230中;
数据组合子模块213,用于将所述待传输数据的特征值与原始数据切片进行组合,获得去重后的数据;以及根据所述访问请求,提取去重后的数据并进行数据重组。
以下将结合图3和图4对采用本发明具体实施例时,云存储客户端100与云存储数据服务装置200之间的数据传输过程进行详细描述。
参阅图3所示,所述云存储客户端100将数据传输至云存储数据服务装置200(云存储服务端)的过程包括:
S310,云存储客户端100的数据切片模块110首先对待传输数据进行切片,之后特征值提取模块120针对每个切片进行计算提取特征值,数据传输模块130记录切片后的数据块编号;
S320,云存储客户端100在将云存储待传输数据的第一个特征值发送至云存储数据服务装置200之前,首先发送服务请求至数据服务选择模块220;其中所述服务请求中包括:所述云存储客户端100的信息、所述待传输数据的文件名称和所述云存储客户端100对所述待传输数据切片后获得的起始数据块号;
S330,数据服务选择模块220根据一定的策略(如按照负载情况等)为该云存储客户端100选择对应的数据服务模块210提供服务,并将服务请求信息发送至所选定的数据服务模块210;
S340,云存储客户端100的数据传输模块130将待传输数据的特征值、数据块编号传输给所选定的数据服务模块210的数据传输子模块211;
S350,数据传输子模块211接收到特征值后,向特征值查询子模块212发起查询请求,通过该特征值查询子模块212判断相应的特征值是否存在于特征值数据库230中;若判断结果为是,则向下执行步骤S360;若判断结果为否,则向下执行步骤S370;
S360,所述特征值传输给数据组合子模块213,该数据组合子模块213根据所述特征值建立链接以备存储;
S370,数据传输子模块211通知云存储客户端100的数据传输模块130需要传输待传输数据的原始数据切片;
S380,数据传输模块130将待传输数据的原始数据切片传输给相应的数据传输子模块211,数据传输子模块211将特征值和原始数据切片通过特征值查询子模块212记录在特征值数据库230中,同时将特征值、原始数据切片及数据块编号等传输给数据组合子模块213;
S390,数据组合子模块213将接收到的上述数据进行组合,并将组合的数据存储在数据存储模块240中。
参阅图4所示,数据从云存储数据服务装置200(云存储服务端)传输至云存储客户端100的过程包括:
S410,云存储客户端100通过数据传输模块130发起数据访问请求;
S420,数据服务选择模块220接收到该访问请求,选择一个数据服务模块210为该云存储客户端100提供服务;
S430,所选定数据服务模块210的数据组合子模块213从数据存储模块240中提取去重后的数据,且针对每个切片进行数据重组,也即根据所述访问请求中包括的待访问数据的数据块信息,将去重后的所述特征值还原成原始数据,并与所述原始数据切片进行组合,获得待访问数据;
S440,最后,进行数据重组后获得的待访问数据通过数据传输子模块211传输给云存储客户端100的数据传输模块130,供云存储客户端100访问。
采用本发明具体实施例所述的云存储数据服务装置,通过数据服务选择模块220为云存储客户端100选定对应的数据服务模块210,以提供服务。当每一数据服务模块210启动时,即向数据服务选择模块220注册。数据服务选择模块220定期收集各个数据服务模块210的状态,根据各数据服务模块210的负载情况(如CPU利用率、内存使用情况、连接数、网络带宽利用率等)及运行状态,为云存储客户端100择优选择相对应的数据服务模块210。且当正在提供服务的数据服务模块210失效时,数据服务选择模块220可以将云存储客户端100的数据传输调度到其他数据服务模块210,改换其他数据服务模块210为云存储客户端100服务。之后云存储客户端100的数据服务请求将不会发给该已经失效的数据服务模块210,直到该数据服务模块210重新注册。
采用上述多个数据服务模块210的方式,当某个数据服务模块210出现故障时,正在进行传输的云存储客户端100的数据传输模块130重新发送服务请求(服务请求中带有客户端信息、文件名称、起始数据块编号等)数据服务选择模块220,继续进行数据传输。
若网络发生故障,将导致数据传输失败。当网络恢复后,云存储客户端100可从当前数据块的编号开始继续进行传输。
本发明具体实施例提供一种图3所示的云存储数据服务装置200,以及提供一种包括图3所示云存储客户端100及云存储数据服务装置200(云存储客户端)的云存储数据传输系统,具体结构分别参阅以上所述。
本发明具体实施例的云存储数据传输系统,具有以下有益效果:
数据去重在云存储服务端完成,不需要在云存储客户端保持去重特征值数据库,降低了对云存储客户端的资源需求;
采用基于NoSQL的分布式共享特征值数据库,可以利用NoSQL的横向扩展能力,当数据急剧膨胀时仍然可以保证快速查询响应时间;
确保云存储客户端与数据服务模块是无状态的,可以使不同的数据服务模块支持同一个客户端,实现故障切换,从而提高了云服务的可用性;
在云存储客户端保持正在传输的数据块号,从而可以实现故障续传,从而可以容忍较差的网络环境。
本发明具体实施例另一方面还提供一种云存储数据传输方法,该云存储数据传输方法包括:
当云存储客户端向云存储服务端传输待传输数据时,所述云存储服务端从所述云存储客户端获得所述待传输数据的特征值,根据所述特征值进行去重存储;
当所述云存储客户端向所述云存储服务端发送访问请求时,所述云存储服务端根据所述访问请求,提取去重后的数据并进行数据重组,发送给所述云存储客户端。
其中,当所述云存储客户端向所述云存储服务端传输所述待传输数据之前,所述云存储客户端对所述待传输数据进行切片并提取所述特征值。
所述云存储服务端包括多个数据服务模块,通过所述数据服务模块接收所述特征值,根据所述特征值进行去重存储;以及接收所述访问请求,根据所述访问请求,提取去重后的数据并进行数据重组,发送给所述云存储客户端;
其中,所述云存储客户端向所述云存储服务端传输数据之前,还包括:
所述云存储客户端发送服务请求信息,所述云存储服务端根据所述服务请求信息,为所述云存储客户端分配相对应的所述数据服务模块。
另外,所述数据服务模块根据所述特征值进行去重存储的步骤具体为:
判断所述特征值是否保存在特征值数据库中,若存在,则根据所述特征值建立链接以备存储;若不存在,则通知所述云存储客户端需要传输所述待传输数据的原始数据切片;
以及在获得所述云存储客户端传输的所述原始数据切片后,将所述特征值及原始数据切片保存在所述特征值数据库中,并将所述原始数据切片与所述特征值进行组合后保存。
再一方面,根据所述访问请求,提取去重后的数据并进行数据重组的步骤具体包括:
根据所述访问请求中包括的待访问数据的数据块信息,将去重后的所述特征值还原成原始数据,并与所述原始数据切片进行组合,获得所述待访问数据。
本发明还提供一种用于如上数据云存储与访问的服务器,包括:
特征值提取模块,用于在向云存储数据服务装置传输数据之前,提取待传输数据的特征值;
数据传输模块,用于将所述待传输数据的特征值发送至所述云存储数据服务装置,以及用于向所述云存储数据服务装置发送访问请求;
数据切片模块,用于在向所述云存储数据服务装置传输数据之前,对所述待传输数据进行切片,将所述待传输数据切分成多个数据块,使所述特征值提取模块根据所述数据块提取所述待传输数据的特征值。
其中该用于云存储访问的服务器与云存储数据服务装置之间的数据传输与访问过程参阅上述,在此不再赘述。
本发明具体实施例所述云存储数据服务装置、云存储数据传输系统、服务器及方法,通过将数据去重技术应用到云存储数据传输中,能够充分利用云端云存储中的资源和能力,有效降低数据传输量,提升传输效率,提升用户体验,同时还可以有效地降低后台云存储数据存储效率。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (16)

1.一种云存储数据服务装置,其特征在于,所述云存储数据服务装置包括数据服务模块,所述数据服务模块用于:
接收云存储客户端进行云存储待传输数据的特征值,根据所述特征值进行去重存储,包括:判断所述特征值是否保存在特征值数据库中,若存在,则根据所述特征值建立链接以备存储;若不存在,则通知所述云存储客户端需要传输所述待传输数据的原始数据切片;以及在获得所述云存储客户端传输的所述原始数据切片后,将所述特征值及原始数据切片保存在所述特征值数据库中,并将所述原始数据切片与所述特征值进行组合后保存;以及
接收所述云存储客户端进行云存储访问发送的访问请求,根据所述访问请求,提取去重后的数据并进行数据重组,发送给所述云存储客户端。
2.如权利要求1所述的云存储数据服务装置,其特征在于,所述数据服务模块为多个,每一所述云存储客户端具有对应的所述数据服务模块。
3.如权利要求2所述的云存储数据服务装置,其特征在于,所述云存储数据服务装置还包括:
数据服务选择模块,用于接受所述数据服务模块的注册、监控所述数据服务模块的状态以及为所述云存储客户端分配相对应的所述数据服务模块。
4.如权利要求3所述的云存储数据服务装置,其特征在于,所述云存储客户端第一次进行云存储之前,发送服务请求信息,所述数据服务选择模块根据所述服务请求信息,为所述云存储客户端分配相对应的所述数据服务模块。
5.如权利要求4所述的云存储数据服务装置,其特征在于,所述服务请求信息中包括所述云存储客户端的信息、所述待传输数据的文件名称和所述云存储客户端对所述待传输数据切片后获得的起始数据块号。
6.如权利要求1所述的云存储数据服务装置,其特征在于,所述数据服务模块根据所述访问请求,提取去重后的数据并进行数据重组的步骤具体包括:
根据所述访问请求中包括的待访问数据的数据块信息,将去重后的所述特征值还原成原始数据,并与所述原始数据切片进行组合,获得所述待访问数据。
7.如权利要求6所述的云存储数据服务装置,其特征在于,所述数据服 务模块具体包括:
数据传输子模块,用于从所述云存储客户端获得所述特征值和所述访问请求;
特征值查询子模块,用于判断所述待传输数据的特征值是否保存在所述特征值数据库中;
数据组合子模块,用于将所述待传输数据的特征值与原始数据切片进行组合,获得去重后的数据;以及根据所述访问请求,提取去重后的数据并进行数据重组。
8.如权利要求7所述的云存储数据服务装置,其特征在于,所述云存储数据服务装置还包括:
数据存储模块,用于保存去重后的数据。
9.如权利要求1所述的云存储数据服务装置,其特征在于,所述特征值数据库为基于NoSQL系统的分布式数据库。
10.一种云存储数据传输方法,其特征在于,所述云存储数据传输方法包括:
当云存储客户端向云存储服务端传输待传输数据时,所述云存储服务端从所述云存储客户端获得所述待传输数据的特征值,根据所述特征值进行去重存储,包括:判断所述特征值是否保存在特征值数据库中,若存在,则根据所述特征值建立链接以备存储;若不存在,则通知所述云存储客户端需要传输所述待传输数据的原始数据切片;以及在获得所述云存储客户端传输的所述原始数据切片后,将所述特征值及原始数据切片保存在所述特征值数据库中,并将所述原始数据切片与所述特征值进行组合后保存;
当所述云存储客户端向所述云存储服务端发送访问请求时,所述云存储服务端根据所述访问请求,提取去重后的数据并进行数据重组,发送给所述云存储客户端。
11.如权利要求10所述的云存储数据传输方法,其特征在于,当所述云存储客户端向所述云存储服务端传输所述待传输数据之前,所述云存储客户端对所述待传输数据进行切片并提取所述特征值。
12.如权利要求10所述的云存储数据传输方法,其特征在于,所述云存 储服务端包括多个数据服务模块,通过所述数据服务模块接收所述特征值,根据所述特征值进行去重存储;以及接收所述访问请求,根据所述访问请求,提取去重后的数据并进行数据重组,发送给所述云存储客户端;
其中,所述云存储客户端向所述云存储服务端传输数据之前,还包括:
所述云存储客户端发送服务请求信息,所述云存储服务端根据所述服务请求信息,为所述云存储客户端分配相对应的所述数据服务模块。
13.如权利要求12所述的云存储数据传输方法,其特征在于,根据所述访问请求,提取去重后的数据并进行数据重组的步骤具体包括:
根据所述访问请求中包括的待访问数据的数据块信息,将去重后的所述特征值还原成原始数据,并与所述原始数据切片进行组合,获得所述待访问数据。
14.一种云存储数据传输系统,其特征在于,包括如上权利要求1至9任一项所述的云存储数据服务装置,其特征在于,所述云存储数据传输系统还包括:
云存储客户端,用于在将待传输数据进行云存储之前,对所述待传输数据进行切片,提取所述待传输数据的特征值。
15.一种服务器,用于数据云存储与访问,其特征在于,所述服务器包括:
特征值提取模块,用于在向云存储数据服务装置传输数据之前,提取待传输数据的特征值;
数据传输模块,用于将所述待传输数据的特征值发送至所述云存储数据服务装置,以及用于向所述云存储数据服务装置发送访问请求;
数据切片模块,用于在向所述云存储数据服务装置传输数据之前,对所述待传输数据进行切片,将所述待传输数据切分成多个数据块,使所述特征值提取模块根据所述数据块提取所述待传输数据的特征值;
数据传输模块还用于:当所述云存储数据服务装置判断所述待传输数据的特征值未保存在特征值数据库中时,向所述云存储数据服务装置传输所述待传输数据的原始数据切片。
16.如权利要求15所述的服务器,其特征在于,所述数据传输模块还用于:在第一次向所述云存储数据服务装置传输数据之前,向所述云存储数据服务装置发送服务请求信息。
CN201210593020.5A 2012-12-31 2012-12-31 云存储数据服务装置、数据传输系统、服务器及方法 Active CN103916421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210593020.5A CN103916421B (zh) 2012-12-31 2012-12-31 云存储数据服务装置、数据传输系统、服务器及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210593020.5A CN103916421B (zh) 2012-12-31 2012-12-31 云存储数据服务装置、数据传输系统、服务器及方法

Publications (2)

Publication Number Publication Date
CN103916421A CN103916421A (zh) 2014-07-09
CN103916421B true CN103916421B (zh) 2017-08-25

Family

ID=51041826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210593020.5A Active CN103916421B (zh) 2012-12-31 2012-12-31 云存储数据服务装置、数据传输系统、服务器及方法

Country Status (1)

Country Link
CN (1) CN103916421B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104394222A (zh) * 2014-11-26 2015-03-04 盐城师范学院 一种云存储系统及方法
CN106302202B (zh) * 2015-05-15 2020-07-28 阿里巴巴集团控股有限公司 数据限流方法和装置
CN105282247B (zh) * 2015-10-27 2018-10-26 中国人民解放军军械工程学院 基于分布式雷达告警接收机仿真系统的信号传输方法
CN107515002A (zh) * 2016-06-17 2017-12-26 趣之科技(深圳)有限公司 一种基于LiDAR和云计算实现机器人实时室内地图构建和定位导航的系统方法和装置
CN106170014A (zh) * 2016-07-11 2016-11-30 安徽斗转星移信息科技有限公司 一种云存储系统和方法
CN107493313A (zh) * 2016-12-19 2017-12-19 汪海军 云管理系统与方法
CN109639804A (zh) * 2018-12-18 2019-04-16 交通银行股份有限公司 生产系统的监控方法、系统及生产设备、终端、服务器
CN111064774B (zh) * 2019-11-29 2022-12-27 苏州浪潮智能科技有限公司 一种分布式数据存储的方法及装置
CN114205384A (zh) * 2021-12-03 2022-03-18 浙江工平智能设备有限公司 通信模块自动化物联网数据传输和云服务器系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063587A (zh) * 2010-11-29 2011-05-18 北京卓微天成科技咨询有限公司 一种云存储的数据存储与取回的方法、装置及系统
CN102347969A (zh) * 2010-08-03 2012-02-08 李祥宇 云端资料储存系统
CN102456059A (zh) * 2010-10-21 2012-05-16 英业达股份有限公司 重复数据删除的处理系统
CN102799598A (zh) * 2011-05-25 2012-11-28 英业达股份有限公司 重复数据删除的数据复原方法
CN102833294A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 基于云存储的文件处理方法、系统及服务器集群系统
CN102833298A (zh) * 2011-06-17 2012-12-19 英业达集团(天津)电子技术有限公司 分布式的重复数据删除系统及其处理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102347969A (zh) * 2010-08-03 2012-02-08 李祥宇 云端资料储存系统
CN102456059A (zh) * 2010-10-21 2012-05-16 英业达股份有限公司 重复数据删除的处理系统
CN102063587A (zh) * 2010-11-29 2011-05-18 北京卓微天成科技咨询有限公司 一种云存储的数据存储与取回的方法、装置及系统
CN102799598A (zh) * 2011-05-25 2012-11-28 英业达股份有限公司 重复数据删除的数据复原方法
CN102833294A (zh) * 2011-06-17 2012-12-19 阿里巴巴集团控股有限公司 基于云存储的文件处理方法、系统及服务器集群系统
CN102833298A (zh) * 2011-06-17 2012-12-19 英业达集团(天津)电子技术有限公司 分布式的重复数据删除系统及其处理方法

Also Published As

Publication number Publication date
CN103916421A (zh) 2014-07-09

Similar Documents

Publication Publication Date Title
CN103916421B (zh) 云存储数据服务装置、数据传输系统、服务器及方法
CN101854625B (zh) 安全算法选择处理方法与装置、网络实体及通信系统
CN103179156B (zh) 一种图片分享方法、系统及设备
CN106790532B (zh) 一种基于边缘网络聚合的在线直播上传方法及系统
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其系统
CN105868231A (zh) 缓存数据的更新方法及装置
CN105847139A (zh) 数据传输方法、装置及系统
CN112202918B (zh) 长连接通信的负载调度方法、装置、设备及存储介质
CN104580158A (zh) 一种分布式平台文件与内容分发方法及系统
CN103024085A (zh) 一种处理p2p节点请求的系统及方法
CN103685332B (zh) 文件上传方法、客户端、服务器及系统
EP3025234A1 (en) Method and apparatus for providing redundant data access
CN103067359A (zh) 一种基于连接复用的提高服务器并发处理能力的系统及方法
CN105871981A (zh) 一种推送服务实现方法、装置、终端设备及系统
CN101771717A (zh) 数据库同步方法及系统
CN107835095A (zh) 一种日志的处理方法及装置
CN105681266B (zh) 一种多媒体电话MMTel的通讯集群方法及装置
CN104092754A (zh) 文件存储系统和文件存储方法
CN105591959A (zh) 一种利用ssl会话重用进行负载均衡的系统及方法
CN110909030A (zh) 一种信息处理方法及服务器集群
US9537735B2 (en) Data collection method, mobile terminal and data storage device
CN103685497B (zh) 一种在线存储共享方法和系统
CN103825922B (zh) 一种数据更新方法及web服务器
CN101753561B (zh) 业务的集群处理方法及集群系统
CN102244695A (zh) 联络人分组系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant