CN104008028A - 基于多云存储的智能移动终端数据存储备份方法与系统 - Google Patents

基于多云存储的智能移动终端数据存储备份方法与系统 Download PDF

Info

Publication number
CN104008028A
CN104008028A CN201410219412.4A CN201410219412A CN104008028A CN 104008028 A CN104008028 A CN 104008028A CN 201410219412 A CN201410219412 A CN 201410219412A CN 104008028 A CN104008028 A CN 104008028A
Authority
CN
China
Prior art keywords
cloud
cloud dish
storage
attribute
cloudy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410219412.4A
Other languages
English (en)
Other versions
CN104008028B (zh
Inventor
李影
贾统
张齐勋
吴中海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201410219412.4A priority Critical patent/CN104008028B/zh
Publication of CN104008028A publication Critical patent/CN104008028A/zh
Application granted granted Critical
Publication of CN104008028B publication Critical patent/CN104008028B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多云存储的智能移动终端数据存储备份方法与系统。本方法为:1)智能移动终端选取多个云盘并进行授权认证,得到一授权云盘集合R;2)多云存储方案规划器将待存储备份文件的该属性信息转换为一存储向量U,然后根据U计算用户需求云盘属性权值向量W;3)多云存储方案规划器从集合R中查找剩余空间满足该待存储备份的云盘子集R’;对R’中每一云盘,根据用户对云盘的各属性期望值向量μ生成云盘权值向量Qw;然后根据Qw及其W,计算该云盘最终权值;从集合R’中选取m个云盘作为候选多云存储系统,并计算其可靠性指标P,如果P≥Fp,则将该待存储备份文件保存到该候选多云存储系统;Fp为用户设定的可靠性指标。

Description

基于多云存储的智能移动终端数据存储备份方法与系统
技术领域
本发明属于移动互联网技术领域,具体涉及一种面向多云存储服务的智能移动设备数据存储备份系统与方法,可以实现智能手机等移动终端设备的可靠数据存储与备份,并避免“厂商锁定”问题,其中多个云存储服务的选择、数据传输、管理等功能对移动设备用户透明。
背景技术
智能移动终端借助功能丰富的应用软件,迅速深入到了人们生活中的方方面面,特别是智能手机。随着移动智能终端的快速普及和移动网络的大范围覆盖,移动应用持续增长,个人下载移动应用并产生大量的信息,包括照片、文档,录音等等,并存储在本地移动终端。而移动终端的存储资源有限,例如许多用户买来Android手机后,往往发现无论是手机的外部存储空间(SD卡上的FAT32分区)还是手机的自身存储(ROM)都非常有限,使用一段时间后便会弹出系统提示“内部存储空间不足”或是内存不足。为解决移动终端资源不足的问题,除了利用手机管理软件整理存储空间外,用户还需定期将移动终端所存储的个人信息如照片或录音等存储和备份到具有大容量存储空间的介质。作为大规模分布式存储系统的云存储实现了类似于个人用户磁盘的功能。
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,并通过一定的应用软件或应用接口,对用户提供一定类型的存储服务和访问服务。一般包括存储层、基础管理层、应用接口和访问层。云存储如Dropbox,Box,百度云存储、腾讯云盘、华为网盘等均支持智能移动设备端,用户可以方便地将自己在智能移动设备上保存的信息如图片、文档、录影、录音等信息上传到某云存储服务,弥补移动设备存储资源的不足,并具有访问便捷等优势。在实际应用中,移动终端设备用户采用某云存储服务做为其信息存储与备份的扩展存在一个显著的问题,即对某个云存储服务的依赖与绑定,即“厂商锁定”问题,一旦该云存储服务出于商业考虑停止提供服务,或者出现可靠性问题例如由于服务器更新出错或网络连接而导致的服务中断、或者遭到恶意攻击而导致的服务崩溃或数据丢失等,都会造成移动设备用户个人数据的损失。云存储服务提供商往往会对此类事故事先声明免责,例如百度云的服务协议中称,“鉴于网络服务的特殊性,用户同意百度云服务有权随时变更、中断或终止部分或全部的网络服务。如变更、中断或终止的网络服务属于免费网络服务,百度云服务无需通知用户,也无需对任何用户或任何第三方承担任何责任;用户理解,百度云服务需要定期或不定期地对提供网络服务的平台或相关的设备进行检修或者维护,如因此类情况而造成收费网络服务在合理时间内的中断,百度云服务无需为此承担任何责任,但百度云服务应尽可能事先进行通告;百度云服务可在任何时候为任何原因变更本服务或删除其部分功能。百度云服务可在任何时候取消或终止对用户的服务。百度云服务取消或终止服务的决定不需要理由或通知用户。一旦服务取消,用户使用本服务的权利立即终止。一旦本服务取消或终止,用户在本服务中储存的任何信息可能无法恢复。”。
随着移动智能手机应用的丰富,信息产生的速度和规模也快速增长,如何为移动设备用户提供一种可靠的信息存储与备份方法,避免对特定云存储服务的依赖和“厂商锁定”是一个问题。
发明内容
针对现有技术中存在的问题,本发明的目的在于提供一种基于多云存储服务平台的数据存储与备份系统和方法,其中多个云存储服务的选择、数据传输、管理对移动设备用户透明。
本发明提供的技术方案为:
一种基于多云存储服务的智能移动设备数据存储与备份系统,本系统包括移动设备端和云存储服务端,其中云存储服务端包括多个第三方云存储服务平台,提供用户认证、数据访问等功能的API;移动设备端包括用户界面、本地数据管理模块、多云存储管理模块,其中多云存储管理模块包括多云存储用户认证单元、多云存储信息管理器、多云存储方案规划器和多云存储数据传输单元。
用户界面,针对移动设备数据存储与备份需求,用户可通过界面指定待存储或备份的数据及其可靠性指标,也可使用系统预设的可靠性指标。用户界面可实现为Web页面,或者App界面。
本地数据管理模块,根据移动设备用户需求,采用通用的和自定义的元信息机制定义本地数据属性(数据类型如文本、多媒体、日志或二进制等,规模等)。为用户读取待存储或备份数据的数据属性{(data_type_1,size_1),(data_type_2,size_2),…(data_type_m,size_m)},发送给多云存储方案规划器。
多云存储用户认证单元,与多个云存储服务{cloud_storage_1,cloud_storage_2,…cloud_storage_n}和用户三方交互完成签名认证,用户将账户授权给应用,通过认证的云存储服务方可被本系统使用,作为可用云存储服务集提供给多云存储方案规划器。
多云存储信息管理器,与多个云存储服务{cloud_storage_1,cloud_storage_2,…cloud_storage_n}交互,获得云存储服务的可用性指标(即,其服务水平协议SLA中说明的高可用性,如华为云存储服务为99.9%),该云存储服务的运行状态(服务状态、服务中断状态、或服务停止状态等),以及用户在该云存储服务平台上分配的空间信息(如已用空间和可用空间的规模)等服务指标,可向云存储服务平台主动读取。
多云存储方案规划器,利用多云存储规划算法根据预设或用户指定的数据存储可靠性指标,分析待存储数据的规模以及候选云存储服务的服务指标,给出满足可靠性指标的多云存储方案(候选云存储服务集合的子集,{cloud_storage_1,cloud_storage_2,…cloud_storage_t},2≤t≤n);其中,多云存储规划算法为:
已知:
用户:文件大小fs,文件重要性级别fl、可靠性指标fp,使用云存储服务频率fv
云存储服务平台(简称:云盘):价格p,容量s,速度v,可靠性a
其中,文件重要性级别和可靠性指标由用户指定,使用云存储频率由系统根据用户习惯进行统计生成。对于云盘的各项属性,价格和容量从每一第三方云存储平台获取,存取速度由系统根据用户使用期间各第三方云存储服务的存取速度动态生成和改变,可靠性以各云盘服务级别协议(SLA)中说明的高可用性指标为基础,辅以用户实际使用期间各云存储服务平台可靠性参数。
目的:
通过扫描已知中用户属性的各项(文件大小、文件重要性级别、使用云存储服务频率),生成用户对云盘属性的需求向量,同各云盘自身属性向量比较,进而选择合适的云存储服务,之后根据用户指定的可靠性指标生成多云存储方案。
具体算法:
假设各云盘编号为Icloud=(I1,I2,I3.....In),云盘自身属性值为向量Q=(p,s,v,a),用户指定文件的存储向量U=(Fs,Fl,Fv),可靠性指标Fp是用户最希望满足的属性,主要依靠多云备份方式满足。因此,Fp作为一个阈值用于最终选择多云备份方案。
对于文件大小属性Fs以Mb为单位,对于文件级别Fl采用用户自主选择,采取三级重要性阶梯,分别记为0/0.5/1(重要性依次递增)。对于使用云存储服务频率Fv以日存取次数为单位。
Step1:计算指定文件的属性权值向量:
Fs=a1+(1-a1)*[2*(fs-avers)/(maxs-mins)]
Fv=a2+(1-a2)*[2*(fv-averv)/(maxv-minv)]
Fl=fl=0|0.5|1
其中,maxs,mins,avers分别表示已存储文件大小的最大值、最小值和平均值;maxv,minv,averv分别表示以往各月日存取次数的最大值、最小值和平均值;通过计算,将文件属性映射到文件属性权值向量Uw=(Fs,Fv,Fl)。a1,a2为小于1的常系数,单位是Mb,由版本确定,fs是文件大小,以Mb为单位。
Step2:计算基于用户的云盘各属性分量的需求权值:
云盘价格属性需求权值Wp=Fs+Fv2+Fl3
云盘容量属性需求权值Ws=Fs+Fv2+Fl3
云盘速度属性需求权值Wv=Fv+Fs2+Fl3
云盘可靠性属性需求权值Wa=Fl+Fv2+Fs3
其中,多项式各项前系数省略,系数均由版本确定。
由此生成用户需求云盘属性权值向量:W=(Wp,Ws,Wv,Wa)。
Step3:动态生成各云盘自身属性权值向量Qw
1.Q向量的初始值Q’=(p,s,v,a)=(0,free_storage,v,sla),任意云盘初始值v定为相同,sla为该云盘的服务水平协议SLA中说明的高可用性。
2.对于每一次存储过程:
Step3.1:从云盘集合中选出已鉴权完毕的子集R,即用户,第三方云存储服务平台和应用彼此认证过的平台集合。
Step3.2:遍历R找出剩余空间满足指定文件大小Fs的子集R’,R’中元素数目为n,若空间不足,则提示需求用户进行扩容或认证新的云盘。
Step3.3:对于每一个云盘,就用户体验来说,速度是最关键因素,因此假设向量期望值的比例为2:2:3:2,定义四维行向量min和max,具体计算如下:
Qw T={g+(1-g)*[(QT-minT)/(maxT-minT)]}*μ
其中,μ为各属性期望值向量,是一个四维行向量,μ=(2232)。g为大于0小于1的常数参数,由系统版本确定,min和max为R’中n个元素的各属性的最小值向量和最大值向量,计算如下:
各云盘自身属性向量为Q(I1)=(p1,s1,v1,a1)
Q(I2)=(p2,s2,v2,a2)
...
Q(In)=(pn,sn,vn,an)
则计算max向量和min向量为:
min=(min(p1,p2...pn),min(s1,s2...sn),min(v1,v2...vn),min(a1,a2...an))
max=(max(p1,p2...pn),max(s1,s2...sn),max(v1,v2...vn),max(a1,a2...an))
Step4:生成多云存储规划方案:
Step4.1:计算各云盘最终权值,即适合此次存储的程度:Weight(Ii)=Qw(Ii)*WT,并将各云盘的编号按照最终权值从大到小重新排序{I1,I2,...,In},满足:
Weight(I1)≥Weight(I2)≥...≥Weight(In)
Step4.2:根据用户指定的文件可靠性指标Fp依次查找,目的是找到满足系统整体可靠性P≥Fp的最小的m个元素,即云存储方案采取满足P≥Fp的m个云存储服务进行备份。
1.建立一个队列,将{I1,I2,...,In}各元素作为集合依次加入队列。之后循环执行2,3步骤,直到队列为空或者跳出。
2.从队列取出一个集合Rm(R的子集),此时m为Rm元素个数,ai表示Rm中各元素(云盘)的可靠性参数。计算如果以Rm作为多云存储规划方案的系统整体可靠性指标:
P=1-ПRm(1-ai)
3.如果第2步求得P≥fp,则跳出循环。否则依次取R-Rm中的每一个元素作为单元素子集,同Rm取并集,并将结果依次加入队列,在这里需要注意的是,从R-Rm中取出的元素序号必须大于Rm中的元素序号,否则队列中集合会出现大面积重复。
4.如果最终Rm=R且P<fp,即队列最终为空,则提示用户给定可靠性指标无法达到,需要增加认证云盘数目。
Step4.3:选择Step4.2获得的Rm作为此次多云存储云盘集,即Rm作为此次多云存储方案结果,并调用上传接口进行备份。
Step5:智能终端在本地更新各云盘属性向量Q,步骤如下:
Step5.1:上传成功与否,若失败一次则将该云盘实际使用期间的可靠性参数a’加1,并进行重新上传。若上传失败次数超出某一阈值则R去除该云盘重新进行多云存储规划。若超出规定的时间段没发生意外,a’减1。计算云盘可靠性new_a=(pop-a’/1000)*sla,其中a’初始值为0且取值范围大于等于0,pop为云盘服务商的名誉系数,取值范围0.98到1,由系统版本确定,sla为云盘服务水平协议SLA中说明的高可用性指标。
Step5.2:记录存储云盘的剩余空间大小new_storage。
Step5.3:设原本记录的传输速度为Vp,此次上传速度为Vn,则计算期望值new_v=[(n-1)*Vp+Vn]/n,其中n为已上传次数。
Step5.4:对每一云盘更新Q向量为:Q=(p,s,v,a)=(1/cost,new_storage,new_v,new_a)。
其中,cost为用户拓展存储空间后的单位空间单位时间的价格,以Yuan/(GB*month)为单位,并取倒数作为云盘向量元素。
多云存储数据传输单元根据方案规划器给出的结果,即t个云存储服务,将待存储的数据上传到云存储服务{cloud_storage_1,cloud_storage_2,…cloud_storage_t},做为数据的存储与备份。
与现有技术相比,本发明的积极效果为:
首先,根据不同用户的使用习惯和待存储文件属性选择云存储服务,可以有效帮助用户做出合理的选择。其次,对不同重要级别的文件进行不同的备份,采取多云备份的方式,有效避免了“厂商锁定”问题并且一定程度上提高了云存储服务的可靠性。最后,采取对云存储服务的融合思路,虚拟地扩充了云存储的容量,提高云存储过程的速度,降低云存储服务的成本,实现优化云存储服务质量。
附图说明
图1是本发明的基于多云存储平台的移动智能设备数据存储与备份系统结构示意图。
图2是实施例中流程示意图。
图3是实施例中移动智能设备端系统结构示意图。
具体实施方式
下面通过具体实施例和附图,对本发明做进一步说明。
本发明采取对不同云存储服务的智能化融合思路,并以此思路为基础针对基于多云的移动终端存储管理的合理性、可靠性和透明性提供完善的支持和方式。
该智能化融合思路旨在从用户自身需求角度思考,将不同云存储服务各自的优势和特点结合在一起,虚拟出一个可靠性和实用性程度高的云存储服务。
基于多云的存储方式的合理性主要包括用户的体验和花费。其中用户体验的主要评价指标为存取速度,容量以及操作是否方便简洁,具体使用动态的对云存储服务指标的记录和更新方法,采取一种新型合适的数据结构储存文件所在云存储服务器的位置和路径;用户花费采用对不同云存储服务的容量拓展费用的权衡策略,为用户提供相对合理的选择。
基于多云的存储方式的可靠性主要以各云存储服务的可用性指标为基准,以服务的运行状态和实际存取可靠性(存取文件数据中断率等)为重要因素,以云存储服务商的声望(财力,物力等)为辅助因素,主要采取用户自主选择可靠性指标的方式,根据不同云存储服务的可靠性状态,拟合出一个适用于用户文件当前可靠性的多云存储方式。
基于多云的存储方式的透明性主要包括云存储服务选择的透明性,文件存取过程的透明性,文件实际存取位置的透明性。本方法与系统采取后台智能选择云存储服务方式,使用虚拟化的方法,将文件实际存取过程和位置虚拟化,并建立用户可见路径和实际存取路径的映射结构。
图1是本发明的多云智能移动终端存储系统的结构示意图,本系统采用模块化方式构建,不同模块之间通过接口进行交互并传递消息,各模块之间具有相对的独立性并做到模块间的松耦合。如图1所示,整个系统包括移动设备端和云存储服务端,其中移动设备端包括用户界面,本地数据管理模块以及多云存储管理模块;云存储服务端包括第三方云存储服务提供的开放平台和公开API。下面分别对不同的模块进行具体说明。
1.移动设备端
移动设备端是整个系统的核心,它实现了与云存储服务端的消息交互,对本地文件的管理以及对存储方案的生成。同时它通过模块化的设计方式,对整个用户操作流程进行分割处理,形成模块之间的交互路径,也即接口的确定。
移动设备端包含了基于多云的移动终端存储管理的合理性,可靠性和透明性的具体支持和体现,主要包括用户界面,本地数据管理模块以及多云存储管理模块,各个模块都通过与其他相关模块和云存储服务端进行信息交互来完成整体功能。下面阐述每个模块的主要目的和功能。
1>用户界面
用户界面是用户唯一直接可视可操作的模块,提供的主要功能包括对本地文件的查询和操作,对云端文件的查询和操作以及对待存储文件重要程度的选择操作。由于对不同云存储服务的认证需要用户同云存储服务进行交互且用户授权操作是一个一次性过程,因此用户界面还需加入云盘认证操作。用户界面直接使用本地数据管理模块和多云存储管理模块中的多云用户认证单元提供的接口。
用户界面的实现包括APP界面和WEB界面,APP界面适用于对云存储服务使用频率较高的用户,WEB界面适用于移动端存储空间不足或者对云存储服务使用较少的用户。
2>本地数据管理模块
本地数据管理模块主要功能是对本地数据进行查询和操作。它向用户界面提供操作接口,并将用户待存储的数据属性元信息传递给多云存储管理模块,当多云存储管理模块计算出最佳存储方案时,本地数据管理模块向多云存储管理模块输送待存储数据流,并向用户界面提供实时数据存储状态。
本地数据管理模块基于android操作系统的底层支持,主要硬件依赖于SD卡和sim卡。它在具备单一地对本地文件进行扫描,查询,移动等功能的基础上,又实现了基于文件类型(图片,文档等)的归类整理,从而成为移动端智能自动进行云备份的功能基础。
3>多云存储管理模块
多云存储管理模块是整个移动设备端的核心,它包括多云存储方案规划器,多云存储用户认证单元,多云存储服务信息管理器,多云存储数据传输单元。此模块的主要功能是完成本地和云端的用户数据的交互,对云存储服务方数据的保存和处理,对待传输本地数据的分析与处理。它提供了后台控制层的几乎所有操作方法,是对此智能管理方法合理性,可靠性,透明性的集中体现。下面分别介绍此模块中不同处理单元的具体功能如表1所示。
表1各单元具体功能表
1)多云存储用户认证单元
当用户选择可用的云盘进行认证时,多云存储用户认证单元会调用云存储服务平台的认证方法(主要包括oAuth1.0a和oAuth2.0协议),并且在用户界面同用户实时交互。在认证完成后,该单元会将各云盘认证状态保存为一张表,并存储在本地系统文件中。
2)多云存储服务信息管理器
多云存储服务信息管理器主要用于保存各云盘信息,主要包括已使用容量,可用容量,服务水平协议SLA中说明的高可用性指标,服务当前状态,服务提供商的声望,平均存取速率,扩展容量价格,当前使用价格等。此功能单元实时保存和更新各云盘信息,并为多云存储方案规划器提供当前各云盘状态,为选择云存储方案提供各项属性数据支持。
3)多云存储方案规划器
多云存储方案规划器是多云存储管理模块的核心,它收集来自本地数据管理模块的待存储数据属性信息,来自多云存储服务信息管理器的各云盘信息,来自多云用户认证单元的用户认证信息,并通过这些信息自动生成合适的存储方案。下面对此功能单元对数据的处理过程做简要阐述。
多云存储方案规划器首先筛选出通过用户授权的已认证云盘集合R(应用集成的候选云存储服务的子集{cloud_storage_1,cloud_storage_2,…cloud_storage_t},t<n),其次过滤各云盘信息,仅保留使用R中所有元素的信息集I,然后接收待存储数据属性信息集T,最后根据I和T两个信息集,从大众用户角度权衡两者的利弊关系,从而获得对于T的最优存储方案(已认证云盘集合R的子集)。
4)多云存储数据传输单元
多云存储数据传输单元主要承担一项管道式的通信任务,在云存储阶段它的数据流获取源为用户选择的本地数据,目的地为云存储服务,由多云存储方案规划器生成的存储方案进行控制;在从云端下载文件阶段,它的数据流获取源为云存储服务,目的地为移动端存储设备,主要是SD卡。
该功能单元主要封装网络传输的一系列方法以及对各云盘公开API的使用方法,其中包括文件上传,文件下载,文件移动,修改用户信息,记录文件存取时间,记录文件存取路径等,它保证了文件的稳定传输,并及时记录检测文件的传输状态,而且可以将传输检测指标反馈给多云存储服务信息管理器,用以更新各云盘的状态属性。
2.云存储服务端
云存储服务端的功能即为移动设备端提供存储服务,它主要向移动设备端的多云存储用户认证单元提供oAuth认证接口,向多云存储服务信息管理器提供第三方云存储服务的相关信息,向多云存储数据传输单元提供对云端数据操作的各项方法。在本系统中,它具体表现为第三方云存储服务平台以及它所公开的API。
1>第三方云存储服务平台
第三方云存储服务平台即各备用云存储服务,主要指有开放平台的云存储服务。
2>公开API
第三方云存储服务提供的公开API主要是为第三方应用开发(相对于该云存储服务而言)所准备,通常是通过http方法实现网络信息交互。其中不同的方法提供不同的URL路径,应用程序通过用户身份验证后,方可使用这些URL对用户数据进行操作。
下面通过一个具体实例说明整个系统流程:
假设系统提供的候选云盘集合R包含5个元素{cloud_storage_1,cloud_storage_2,...,cloud_storage_5}。
首先,用户在用户界面选择候选云盘集合中的某一元素,使用授权认证功能。多云管理存储模块的多云存储认证单元接受信号,并向相应的云存储服务发出认证信息,得到的反馈为一个需要用户填写账号密码的认证web页面(嵌套入应用界面),用户填写认证页面并提交。若服务器认证成功,多云存储认证单元得到一个request_token和refresh_token(在oAuth1.0a协议中没有refresh_token,使用oAuth1.0a协议每次操作需要计算http头部各参数的签名oauth_signature),request_token作为http头部参数之一对云盘用户空间进行操作,refresh_token用于刷新request_token。用户重复此操作选取不同的云盘进行授权认证,假设已授权云盘集合R’为{cloud_storage_1,cloud_storage_2,cloud_storage_3,cloud_storage_4}。
图2是移动设备端数据存储与备份到云端的流程图。认证阶段完毕,用户在用户界面选择本地文件放入云端并指定文件存储重要性级别,本地数据管理模块将此文件的属性{data_type,size}传入多云存储方案规划器,与此同时,多云存储方案规划器从多云存储用户认证单元获取用户授权认证信息(四个云盘),从多云存储服务信息管理器获取已授权的四个云盘的属性集。之后,多云存储方案规划器根据前文所说明的算法选取合适的云存储服务,根据重要性级别和可靠性指标生成多云存储方案。例如,用户指定文件需求较高可靠性,则多云存储方案规划器根据算法得出的方案为使用三个云存储服务同时进行备份,假设为cloud_storage_1、cloud_storage_2和cloud_storage_4。
下面多云存储方案规划器将生成的多云存储方案提供给多云存储数据传输单元,多云存储数据传输单元根据存储方案调用相应的云存储服务,即cloud_storage_1、cloud_storage_3和cloud_storage_4的开放平台提供的API,利用multipart格式和post方法提交文件。
最后,多云存储数据传输单元将此次上传的监控结果(包括上传速率,消耗空间,上传成功与否等)传递给多云存储服务信息管理器,多云存储服务信息管理器更新本地记录的云盘属性信息(只更新cloud_storage_1、cloud_storage_3和cloud_storage_4)。
下面提供一个应用实例。
在日常生活中,任何移动终端都会接触和操作各种各样的图片文件,而通过将图片文件存放在云端可以极大地解放手机本身存储空间并节省成本,因此,手机图片的云存储作为一种趋势,越来越受到人们的青睐。然而,由于云端存储本身具有的可靠性问题以及图片文件管理方法的不完善,现今手机图片的云端存储仍具有较大改进空间。
我们希望在智能移动平台上建立一个图片数据云存储系统,旨在为用户提供一种完善安全方便的图片存储管理机制。应用的整体框架基于以上叙述的系统,下面介绍本应用功能和结构上的改进。
图3为移动智能端的结构示意图。在这里针对图片本身具有的数目大,放置杂乱的问题对系统做了以下修改。在设计本地数据管理模块和用户界面的时候,将批量操作和自动扫描功能加入其中。在用户界面,用户可以选择多个图片进行一次上传操作,图片数据管理模块保持一个图片路径队列,将用户选择的批量文件路径依次加入队列。之后,图片信息生成器和图片存取器分别从图片路径队列中取得图片路径,图片信息生成器获取当前图片的属性,如大小,格式等信息并传入多云存储管理模块,用于多云存储方案规划器生成存储方案;图片存取器则获取图片文件资源,交给多云存储管理模块,用于文件上传。用户仅仅知晓文件所在地是云端还是本地,云端的图片文件由用户建立的虚拟路径进行操作管理,如用户创建一个名为相册的文件夹,然后把云端的a.jpg文件放入相册,则用户可见的文件路径为/云端/相册/a.jpg,但实际存取路径是某一个或多个云盘内的目录,即实际存取路径和过程对用户透明。因此,本地数据管理模块需要将每张图片的实际存取位置和虚拟存取位置映射保存。这样对用户而言,批量图片上传操作更加简洁,同时云端文件与本地文件在操作和视觉上是一致的,极大方便用户对图片文件的管理。
进一步地,在本地数据管理模块和用户界面添加图片的实时上传功能。如果用户选择对图片实时备份,本地数据管理模块的后台程序将会每隔固定时间扫描默认路径文件夹(在许多情况下,用户拍摄的图片是直接存放入默认路径中,例如SD卡中/storage/sdcard0/DCIM/Camera路径),找出其中新添加的图片文件并将其传入多云存储管理模块,再由多云存储管理模块实现照片的云端备份。当云端备份完成后,应用程序可以自动删除本地图片文件(可选方案)以释放本地存储空间。具体实现是通过一个计时器不断产生固定间隔的消息传递给图片扫描器,图片扫描器将扫描到的图片交给图片信息生成器和图片存取器,用以向多云存储管理模块传输图片属性信息流和图片文件流。
本应用在设计上针对移动终端图片文件的特性构建了一套整体的系统管理和云存储方案,针对图片管理使用多云备份,实时上传以及批量操作的方法,一定程度上提高了云端存储的效率和质量,并且使存储管理在灵活性、便捷性和安全性方面都得到提升。
以上实施例仅用以说明本发明的技术方案而非对其进行限制,本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明的精神和范围,本发明的保护范围应以权利要求所述为准。

Claims (12)

1.一种基于多云存储的智能移动终端数据存储备份方法,其步骤为:
1)用户通过智能移动终端选取多个云盘,并通过多云存储用户认证单元对所选每一云盘进行授权认证,得到一授权云盘集合R;
2)该智能移动终端将设定待存储备份文件的属性信息发送给多云存储方案规划器;
3)多云存储方案规划器将该属性信息转换为一存储向量U=(Fs,Fl,Fv),然后根据该存储向量U计算用户需求云盘属性权值向量W;其中,Fs为文件大小属性,Fl为文件重要性级别属性,Fv为使用云存储服务频率属性;
4)多云存储方案规划器从集合R中查找剩余空间满足该待存储备份的云盘子集R’;
5)对于集合R’中每一云盘,多云存储方案规划器根据用户对云盘的各属性期望值向量μ,动态生成该云盘自身属性权值向量Qw
6)对于集合R’中每一云盘,多云存储方案规划器根据云盘自身属性权值向量Qw及其用户需求云盘属性权值向量W,计算该云盘最终权值;
7)多云存储方案规划器从集合R’中选取云盘最终权值靠前的m个云盘作为候选多云存储系统,并根据所选云盘的可靠性计算该候选多云存储系统可靠性指标P,如果满足P≥Fp,则将该待存储备份文件保存到该候选多云存储系统;Fp为用户设定的可靠性指标。
2.如权利要求1所述的方法,其特征在于计算所述云盘自身属性权值向量Qw的公式为:Qw T={g+(1-g)*[(QT-minT)/(maxT-minT)]}*μ;其中,Q为云盘自身属性值向量:Q=(p,s,v,a),p为价格,s为容量,v为速度,a为可靠性;min为云盘各属性的最小值向量,max为云盘各属性的最大值向量,g为一个大于0小于1的常数参数。
3.如权利要求1或2所述的方法,其特征在于所述用户需求云盘属性权值向量W为:W=(Wp,Ws,Wv,Wa);其中,云盘价格属性需求权值Wp=Fs+Fv2+Fl3;云盘容量属性需求权值Ws=Fs+Fv2+Fl3;云盘速度属性需求权值Wv=Fv+Fs2+Fl3;云盘可靠性属性需求权值Wa=Fl+Fv2+Fs3
4.如权利要求3所述的方法,其特征在于该待存储本备份文件大小Fs=a1+(1-a1)*[2*(fs-avers)/(maxs-mins)],使用云存储服务频率Fv=a2+(1-a2)*[2*(fv-averv)/(maxv-minv)];其中,fs表示当前文件大小,maxs为该智能移动终端已存储文件大小的最大值,mins为该智能移动终端已存储文件大小的最小值,avers为该智能移动终端已存储文件大小的平均值;fv为设定时间段内该智能移动终端的平均日存取次数,maxv为设定时间段内该智能移动终端的平均日存取次数的最大值,minv为为设定时间段内该智能移动终端的平均日存取次数最小值,averv为设定时间段内该智能移动终端的平均日存取次数平均值;a1、a2为小于1的常系数。
5.如权利要求3所述的方法,其特征在于所述云盘最终权值为Weight(Ii)=Qw(Ii)*WT,其中Ii为第i个云盘的编号。
6.如权利要求1所述的方法,其特征在于该智能移动终端根据存储备份执行结果,更新各云盘的属性向量Q为Q=(p,s,v,a)=(1/cost,new_storage,new_v,new_a);其中,new_storage为云盘的剩余空间大小;new_v=[(n-1)*Vp+Vn]/n,n为已上传次数,Vp为上一次传输速度,Vn为此次上传速度;new_a=(pop-a’/1000)*sla,pop为云盘的名誉系数,a’为实际使用期间的可靠性参数,初始值为0,sla为云盘高可用性指标;cost为用户拓展存储空间后的单位空间单位时间的价格。
7.如权利要求1所述的方法,其特征在于当待存储备份文件为多个图片文件时,该智能移动终端设备建立一个图片路径队列,将这些图片文件路径依次加入该图片路径队列,然后从该图片路径队列中提取图片路径进而获得当前图片的属性;所述多云存储方案规划器根据所提取的图片属性进行云盘选取,然后根据选取的云盘对图片进行存储并在云盘的实际存储路径与用户设定的虚拟存储路径之间建立映射。
8.一种基于多云存储的智能移动终端数据存储备份系统,其特征在于包括一智能移动终端,与该智能移动终端网络连接的多个云盘;所述云盘用于提供云存储服务;所述智能移动终端包括用户界面、数据管理模块、多云存储管理模块、多云存储用户认证单元和多云存储方案规划器;其中:
所述用户界面,用于对云端文件的查询和认证操作以及对待存储备份文件重要程度和期望可靠性的选择操作;
所述数据管理模块,用于取出和存储待存储备份的属性信息;
所述多云存储管理模块,用于存储各云盘的自身属性值向量Q,各云盘的认证状态以及交互所得的各种令牌及密钥,如认证初始阶段所得的令牌request_token和密钥request_token_secret;认证过程完毕所得的令牌access_token和密钥access_token_secret。
所述多云存储用户认证单元,用于完成智能移动终端与各所选云盘的交互认证;
所述多云存储方案规划器,用于将所述属性信息转换为一存储向量U=(Fs,Fl,Fv),并根据该存储向量U计算用户需求云盘属性权值向量W,然后根据各云盘自身属性动态生成该云盘自身属性权值向量Qw;然后根据云盘自身属性权值向量Qw及其用户需求云盘属性权值向量W,计算该云盘最终权值;然后从集合R’中选取云盘最终权值靠前的m个云盘作为候选多云存储系统,并根据所选云盘可靠性计算该候选多云存储系统可靠性指标P,如果满足P≥Fp,则将该待存储备份文件保存到该候选多云存储系统;其中,Fp为用户设定的可靠性指标,Fs为文件大小,Fl为文件重要性级别,Fv为使用云存储服务频率。
9.如权利要求8所述的系统,其特征在于计算所述云盘自身属性权值向量Qw的公式为:Qw T={g+(1-g)*[(QT-minT)/(maxT-minT)]}*μ;其中,Q为云盘自身属性值向量:Q=(p,s,v,a),p为价格,s为容量,v为速度,a为可靠性;min为云盘各属性的最小值向量,max为云盘各属性的最大值向量,μ为设置的云盘属性期望值向量,g为大于0小于1的常数参数。
10.如权利要求8或9所述的系统,其特征在于所述用户需求云盘属性权值向量W为:W=(Wp,Ws,Wv,Wa);其中,云盘价格属性需求权值Wp=Fs+Fv2+Fl3;云盘容量属性需求权值Ws=Fs+Fv2+Fl3;云盘速度属性需求权值Wv=Fv+Fs2+Fl3;云盘可靠性属性需求权值Wa=Fl+Fv2+Fs3
11.如权利要求8所述的系统,其特征在于该智能移动终端根据存储备份执行结果,更新各云盘的属性向量Q为Q=(p,s,v,a)=(1/cost,new_storage,new_v,new_a);其中,new_storage为云盘的剩余空间大小;new_v=[(n-1)*Vp+Vn]/n,n为已上传次数,Vp为上一次传输速度,Vn为此次上传速度;new_a=(pop-a’/1000)*sla,a’为实际使用期间的可靠性参数,初始值为0,pop为云盘的名誉系数,sla为云盘高可用性指标;cost为用户拓展存储空间后的单位空间单位时间的价格。
12.如权利要求8所述的系统,其特征在于当待存储备份文件为多个图片文件时,该智能移动终端设备建立一个图片路径队列,将这些图片文件路径依次加入该图片路径队列,然后从该图片路径队列中提取图片路径进而获得当前图片的属性;所述多云存储方案规划器根据所提取的图片属性进行云盘选取,然后根据选取的云盘对图片进行存储并在云盘的实际存储路径与用户设定的虚拟存储路径之间建立映射。
CN201410219412.4A 2014-05-22 2014-05-22 基于多云存储的智能移动终端数据存储备份方法与系统 Active CN104008028B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410219412.4A CN104008028B (zh) 2014-05-22 2014-05-22 基于多云存储的智能移动终端数据存储备份方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410219412.4A CN104008028B (zh) 2014-05-22 2014-05-22 基于多云存储的智能移动终端数据存储备份方法与系统

Publications (2)

Publication Number Publication Date
CN104008028A true CN104008028A (zh) 2014-08-27
CN104008028B CN104008028B (zh) 2017-03-15

Family

ID=51368689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410219412.4A Active CN104008028B (zh) 2014-05-22 2014-05-22 基于多云存储的智能移动终端数据存储备份方法与系统

Country Status (1)

Country Link
CN (1) CN104008028B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105279047A (zh) * 2015-11-02 2016-01-27 广东欧珀移动通信有限公司 数据备份装置、方法及数据恢复装置、方法
CN105471945A (zh) * 2014-09-04 2016-04-06 中国石油化工股份有限公司 一种云存储在地震综合解释中的应用方法
CN105868055A (zh) * 2016-03-29 2016-08-17 广州杰赛科技股份有限公司 一种云备份方法及装置
CN107659606A (zh) * 2016-07-26 2018-02-02 施耐德电气It公司 设备的云辅助管理
CN107659652A (zh) * 2017-09-28 2018-02-02 郑州云海信息技术有限公司 一种云备份的方法及装置
WO2018076880A1 (zh) * 2016-10-25 2018-05-03 广东欧珀移动通信有限公司 数据备份方法、装置、存储介质及终端
CN108737484A (zh) * 2017-04-21 2018-11-02 杭州海康威视数字技术股份有限公司 媒体数据存储方法及系统
CN108762980A (zh) * 2018-04-24 2018-11-06 深圳市网心科技有限公司 移动终端、云存储器、后台服务器、备份方法和备份系统
CN108921733A (zh) * 2018-06-27 2018-11-30 郑州云海信息技术有限公司 一种基于云存储的物业信息处理系统
CN109885403A (zh) * 2019-01-29 2019-06-14 努比亚技术有限公司 一种数据管理方法、移动终端和计算机可读存储介质
CN110969321A (zh) * 2018-09-29 2020-04-07 上海可鲁系统软件有限公司 工业信息资产管理方法及装置
CN111770084A (zh) * 2020-06-28 2020-10-13 福建健康之路信息技术有限公司 一种免登陆为用户提供服务方法和装置
CN112839076A (zh) * 2020-12-29 2021-05-25 杭州海康威视系统技术有限公司 数据存储、读取方法、网关、电子设备及存储介质
CN113703691A (zh) * 2021-10-29 2021-11-26 成都市奇点软件有限公司 一种虚拟云盘方法及系统
CN115348260A (zh) * 2022-10-19 2022-11-15 北京宏扬迅腾科技发展有限公司 基于校园信息安全的信息处理方法、装置、设备和介质
CN117453644A (zh) * 2023-10-25 2024-01-26 南京麦杰软件有限公司 一种面向电力行业实时数据库系统的负载均衡管理方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100131624A1 (en) * 2008-11-26 2010-05-27 James Michael Ferris Systems and methods for multiple cloud marketplace aggregation
CN102882923A (zh) * 2012-07-25 2013-01-16 北京亿赛通科技发展有限责任公司 移动终端安全存储系统及方法
CN102915331A (zh) * 2011-09-12 2013-02-06 微软公司 用于云选择的协调引擎
CN103118089A (zh) * 2013-01-22 2013-05-22 华中科技大学 一种基于多个云存储系统的安全存储方法及其系统
CN103118087A (zh) * 2013-01-22 2013-05-22 Tcl集团股份有限公司 一种移动通信终端及其数据保护方法、系统
CN103281344A (zh) * 2012-01-14 2013-09-04 国际商业机器公司 用于混合云的服务使用的集成计量的方法和系统
CN103455389A (zh) * 2012-06-04 2013-12-18 三星电子株式会社 内容备份方法及其电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100131624A1 (en) * 2008-11-26 2010-05-27 James Michael Ferris Systems and methods for multiple cloud marketplace aggregation
CN102915331A (zh) * 2011-09-12 2013-02-06 微软公司 用于云选择的协调引擎
CN103281344A (zh) * 2012-01-14 2013-09-04 国际商业机器公司 用于混合云的服务使用的集成计量的方法和系统
CN103455389A (zh) * 2012-06-04 2013-12-18 三星电子株式会社 内容备份方法及其电子设备
CN102882923A (zh) * 2012-07-25 2013-01-16 北京亿赛通科技发展有限责任公司 移动终端安全存储系统及方法
CN103118089A (zh) * 2013-01-22 2013-05-22 华中科技大学 一种基于多个云存储系统的安全存储方法及其系统
CN103118087A (zh) * 2013-01-22 2013-05-22 Tcl集团股份有限公司 一种移动通信终端及其数据保护方法、系统

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105471945A (zh) * 2014-09-04 2016-04-06 中国石油化工股份有限公司 一种云存储在地震综合解释中的应用方法
CN105279047A (zh) * 2015-11-02 2016-01-27 广东欧珀移动通信有限公司 数据备份装置、方法及数据恢复装置、方法
CN105279047B (zh) * 2015-11-02 2019-10-25 Oppo广东移动通信有限公司 数据备份装置、方法及数据恢复装置、方法
CN105868055A (zh) * 2016-03-29 2016-08-17 广州杰赛科技股份有限公司 一种云备份方法及装置
CN107659606B (zh) * 2016-07-26 2020-12-08 施耐德电气It公司 设备的云辅助管理
CN107659606A (zh) * 2016-07-26 2018-02-02 施耐德电气It公司 设备的云辅助管理
US10922193B2 (en) 2016-10-25 2021-02-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Data backup method, storage medium, and terminal
WO2018076880A1 (zh) * 2016-10-25 2018-05-03 广东欧珀移动通信有限公司 数据备份方法、装置、存储介质及终端
CN108737484A (zh) * 2017-04-21 2018-11-02 杭州海康威视数字技术股份有限公司 媒体数据存储方法及系统
CN108737484B (zh) * 2017-04-21 2021-02-05 杭州海康威视数字技术股份有限公司 媒体数据存储方法及系统
CN107659652A (zh) * 2017-09-28 2018-02-02 郑州云海信息技术有限公司 一种云备份的方法及装置
CN108762980A (zh) * 2018-04-24 2018-11-06 深圳市网心科技有限公司 移动终端、云存储器、后台服务器、备份方法和备份系统
WO2019205688A1 (zh) * 2018-04-24 2019-10-31 深圳市网心科技有限公司 Sd卡数据备份方法、服务器、终端设备及存储介质
CN108921733A (zh) * 2018-06-27 2018-11-30 郑州云海信息技术有限公司 一种基于云存储的物业信息处理系统
CN110969321A (zh) * 2018-09-29 2020-04-07 上海可鲁系统软件有限公司 工业信息资产管理方法及装置
CN110969321B (zh) * 2018-09-29 2024-06-04 上海可鲁系统软件有限公司 工业信息资产管理方法及装置
CN109885403A (zh) * 2019-01-29 2019-06-14 努比亚技术有限公司 一种数据管理方法、移动终端和计算机可读存储介质
CN111770084A (zh) * 2020-06-28 2020-10-13 福建健康之路信息技术有限公司 一种免登陆为用户提供服务方法和装置
CN112839076A (zh) * 2020-12-29 2021-05-25 杭州海康威视系统技术有限公司 数据存储、读取方法、网关、电子设备及存储介质
CN112839076B (zh) * 2020-12-29 2022-07-05 杭州海康威视系统技术有限公司 数据存储、读取方法、网关、电子设备及存储介质
CN113703691A (zh) * 2021-10-29 2021-11-26 成都市奇点软件有限公司 一种虚拟云盘方法及系统
CN113703691B (zh) * 2021-10-29 2022-03-25 成都市奇点软件有限公司 一种虚拟云盘方法及系统
CN115348260A (zh) * 2022-10-19 2022-11-15 北京宏扬迅腾科技发展有限公司 基于校园信息安全的信息处理方法、装置、设备和介质
CN117453644A (zh) * 2023-10-25 2024-01-26 南京麦杰软件有限公司 一种面向电力行业实时数据库系统的负载均衡管理方法及系统

Also Published As

Publication number Publication date
CN104008028B (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN104008028A (zh) 基于多云存储的智能移动终端数据存储备份方法与系统
CN108777625B (zh) 签名的验证方法、装置和系统、存储介质、电子装置
CN103533006B (zh) 一种联合云盘客户端、服务器、系统和联合云盘服务方法
CN105074702B (zh) 提供单租户和多租户环境的数据库系统
EP3614276B1 (en) Document management and collaboration system
CN103078881B (zh) 网络资源下载信息的分享控制系统和方法
US11108559B2 (en) Producing proof of receipt, existence and other data provenance evidence
CN102934413A (zh) 智能电话管理系统和方法
CN107861686A (zh) 文件存储方法、服务端和计算机可读存储介质
CN105095103B (zh) 用于云环境下的存储设备管理方法和装置
US11962680B2 (en) Blockchain ledger growth management
CN109565518A (zh) 可互换的内容取回
US9971544B1 (en) Techniques for usage metering and control in data storage systems
US20150058935A1 (en) Out-of-Path, Content-Addressed Writes with Untrusted Clients
CN109816344A (zh) 一种协同取证方法和终端
CN102882960A (zh) 一种资源文件的发送方法及装置
JP2016529641A (ja) データバックアップ方法、装置、電子デバイス、プログラム及び記録媒体
CN108234551A (zh) 一种数据处理方法及装置
CN102427477A (zh) 一种无线云存储装置
CN108337208A (zh) 基于云存储的数据保护方法、替换装置以及云存储系统
CN106230880B (zh) 一种数据的存储方法以及应用服务器
CN111565144A (zh) 一种对即时通讯工具的数据分层存储管理方法
CN103685497A (zh) 一种在线存储共享方法和系统
TWI515684B (zh) 資訊處理方法、裝置以及系統
CN102497426A (zh) 一种无线云存储卡

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant