CN107786670A - 一种本地存储数据和云存储结合运用的系统和方法 - Google Patents
一种本地存储数据和云存储结合运用的系统和方法 Download PDFInfo
- Publication number
- CN107786670A CN107786670A CN201711106170.8A CN201711106170A CN107786670A CN 107786670 A CN107786670 A CN 107786670A CN 201711106170 A CN201711106170 A CN 201711106170A CN 107786670 A CN107786670 A CN 107786670A
- Authority
- CN
- China
- Prior art keywords
- data
- locally stored
- cloud storage
- clouds
- literacies
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种本地存储数据和云存储结合运用的系统和方法,涉及存储领域,通过本地存储系统运行判断程序对云端IO读写能力的情况进行判断,根据判断结果来确定把数据存储在云存储系统还是暂存在本地存储系统;依据判断程序,对前期先存储在本地的数据继续判断以何种方式存储,并将上传到云存储系统上的前期数据在本地存储系统上删除,以便释放本地资源;直至把本地数据全部都上传到云存储系统上。本发明解决了本地低端存储系统的存储空间和数据安全性方面的局限,提高了数据存储的安全性,维护了低端本地存储的存储性能。
Description
技术领域
本发明涉及存储领域,具体的说是一种本地存储数据和云存储结合运用的系统和方法。
背景技术
随着“大数据”时代的到来,各行各业都已经离不开数据的管理与存储,而一般的中小型企业,只能负担起一些低端存储。现在行业应用中对数据存储的要求也越来越高,而低端存储的数据处理能力比较差,具体表现在硬盘配置小、数据安全性低以及存储选择性小等缺点。而云存储的出现有效地解决了数据存储和安全性方面的缺陷。
云存储是在云计算概念上延伸和发展出来的一个新的概念,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
云存储对于网络的依赖较大,当网络繁忙时,云存储的IO读写能力就会减弱,相对低就会降低本地低端存储的数据读写能力,影响生产,所以在存储数据时,就需要与本地存储相结合来使用。因此在存储过程中急需开发一种把云端存储和本地存储相结合的存储方法。
发明内容
本发明针对目前技术发展的需求和不足之处,提供一种本地存储数据和云存储结合运用的系统和方法。
本发明所述一种本地存储数据和云存储结合运用的系统,解决上述技术问题采用的技术方案如下:所述本地存储数据和云存储结合运用的系统,其系统架构包括:
本地存储系统,负责将数据上传至云存储系统,并负责数据的本地存储;
云存储系统,负责大数据存储;
第一判断模块,包含云端IO读写判断程序,负责判断云端的IO读写能力;第一判断模块设置在本地存储系统中;
本地存储系统运行云端IO读写判断程序,判断云端的IO读写能力,若云端IO读写能力强,则将数据上传至云存储系统,否则将数据暂存在本地存储系统。
进一步,本地存储系统运行云端IO读写判断程序:
由本地存储系统发出IO请求,云存储系统接收IO请求后,根据实际业务状况反馈信息给本地存储系统;本地存储系统接收反馈信息,并计算云端的IO读写能力。
进一步,所述本地存储数据和云存储结合运用的系统,还包括第二判断模块:
第二判断模块包含云端IO读写判断程序,负责判断云存储系统的IO读写能力;第二判断模块设置在本地存储系统中。
进一步,所述本地存储数据和云存储结合运用的系统,还包括数据接收模块:数据接收模块用于本地存储系统接收数据,数据接收后存储于本地硬盘或云存储系统。
进一步,所述本地存储数据和云存储结合运用的系统,还包括数据清理模块:当本地存储系统定时执行第二判断模块,判断云端的IO读写能力强时,本地存储系统将前期暂存数据上传至云存储系统上,同时通过清理模块删除已完成上传的本地数据。
本发明还提出一种本地存储数据和云存储结合运用的方法,具体实现流程包括:
步骤1,本地存储系统运行云端IO读写判断程序,对云端IO读写能力进行判断,并接收判断结果;
步骤2,若判断云端IO读写能力强,则本地存储系统将数据上传至云存储系统,否则将数据暂存在本地存储系统。
进一步,所述步骤1,
本地存储系统运行云端IO读写判断程序,由本地存储系统发出IO请求,云存储系统接收请求后,根据实际业务状况反馈信息给本地存储系统,本地存储系统接收反馈信息,并计算云端的IO读写能力。
进一步,所述步骤2,
若判断云端的IO读写能力弱,则本地存储系统便将数据暂存到本地;同时本地存储系统定时运行云端IO读写判断程序,若判断云端的IO读写能力强,则本地存储系统将前期暂存数据上传到云存储系统上;
否则,本地存储系统继续将数据暂存在本地,继续等待并定时执行云端IO读写判断程序,直至将本地数据全部上传至云存储系统上。
进一步,所述本地存储数据和云存储结合运用的方法,还包括数据收集步骤:
本地存储系统接收数据,数据接收后,本地存储系统将数据存储于本地硬盘或上传至云存储系统。
进一步,所述本地存储数据和云存储结合运用的方法,还包括数据清理步骤:
所述步骤2中,若判断云端的IO读写能力强,则本地存储系统将前期暂存数据上传至云存储系统,并删除本地存储系统上的已完成上传的本地数据。
本发明所述一种本地存储数据和云存储结合运用的系统和方法,与现有技术相比具有的有益效果是:本发明在本地存储系统上预先运行云端IO读写判断程序,来判断云端的IO读写能力,进而根据云存储系统的使用情况确定对输入数据进行何种存储方式;
当发现云端IO的读写能力强时,本地低端存储会自动把前期存储数据上传到云存储系统上,并删除本地已完成上传的数据,以便释放本地资源;从而解决了本地低端存储系统的存储空间和数据安全性方面的局限,提高了数据存储的安全性,维护了低端本地存储的存储性能。
附图说明
为了更清楚的说明本发明实施例或现有技术中的技术内容,下面对本发明实施例或现有技术中所需要的附图做简单介绍。显而易见的,下面所描述附图仅仅是本发明的一部分实施例,对于本领域技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图,但均在本发明的保护范围之内。
附图1为本地存储系统判断云端IO读写能力的流程图;
附图2为本地存储数据和云存储结合运用的方法的流程图。
具体实施方式
为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白,以下结合具体实施例,对本发明的技术方案进行清查、完整的描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下获得的所有实施例,都在本发明的保护范围之内。
实施例1:
本实施例提出一种本地存储数据和云存储结合运用的系统,其系统架构包括:
本地存储系统,负责将数据上传至云存储系统(或云端),并负责数据的本地存储;
云存储系统,负责大数据存储;
第一判断模块,包含云端IO读写判断程序,负责判断云存储系统的IO读写能力;第一判断模块设置在本地存储系统中;
本地存储系统运行云端IO读写判断程序,判断云端的IO读写能力,若云端IO读写能力强,则将数据上传至云存储系统,否则将数据暂存在本地存储系统;可以解决本地底端存储系统的存储空间有限的问题,但又不影响低端存储的性能。
本实施例还提出一种本地存储数据和云存储结合运用的方法,其技术方案可以与实施例1本地存储数据和云存储结合运用的系统相互参考,具体实现流程包括:
步骤1,本地存储系统运行云端IO读写判断程序,对云端IO读写能力进行判断,并接收判断结果;
步骤2,若判断云端IO读写能力强,则本地存储系统将数据上传至云存储系统,否则将数据暂存在本地存储系统。
本实施例本地存储数据和云存储结合运用的方法,通过本地存储系统运行云端IO读写判断程序,判断云端的IO读写能力,根据判断结果来确定把数据存储在云存储系统上还是暂存放在本地存储系统上;既能够解决本地底端存储系统的存储空间有限的问题,又不影响低端存储的性能。
依据判断程序,对前期先存储在本地的数据再上传到云存储系统上,并删除本地存储系统上的已完成上传的本地数据,释放本地资源。直至把本地数据全部都上传到云存储系统上。
实施例2:
本实施例提出的一种本地存储数据和云存储结合运用的系统,在实施例1本地存储数据和云存储结合运用的系统的基础上,对于暂存在本地存储系统中的数据使用第二判断模块,数据暂存本地时继续判断云端的IO读写能力,直至把本地数据全部上传至云存储系统。
具体的,第二判断模块包含云端IO读写判断程序,负责判断云存储系统的IO读写能力;第二判断模块设置在本地存储系统中。
附图1为本地存储系统判断云端IO读写能力的流程图,如附图1所示看,本地存储系统运行云端IO读写判断程序,由本地存储系统发出IO请求,云存储系统接收IO请求后,根据实际业务状况反馈信息给本地存储系统;本地存储系统接收反馈信息,并计算云端的IO读写能力。
若判断云端的IO读写能力强,则本地存储系统将数据上传到云存储系统上;若判断云端的IO读写能力弱,则本地存储系统便将数据暂存到本;同时,本地存储系统定时执行第二判断模块,若判断云端的IO读写能力强,则本地存储系统将前期暂存数据上传到云存储系统上;否则,本地存储系统继续将数据暂存在本地,继续等待并定时执行第二判断模块,直至将本地数据全部上传至云存储系统上。
本实施例还提出一种本地存储数据和云存储结合运用的方法,其技术方案可以与实施例2本地存储数据和云存储结合运用的系统相互参考,具体实现流程包括:
步骤1,本地存储系统运行云端IO读写判断程序,判断云端IO读写能力进行,并接收判断结果;
具体的,本地存储系统运行云端IO读写判断程序,由本地存储系统发出IO请求,云存储系统接收请求后,根据实际业务状况反馈信息给本地存储系统,本地存储系统接收反馈信息,并计算云端的IO读写能力。
步骤2,若判断云端IO读写能力强,则本地存储系统将数据上传至云存储系统,否则将数据暂存在本地存储系统;
具体的,本地存储系统根据反馈信息,若判断云端的IO读写能力强,则本地存储系统将数据上传到云存储系统上;若判断云端的IO读写能力弱,则本地存储系统便将数据暂存到本地;同时本地存储系统定时运行云端IO读写判断程序,若判断云端的IO读写能力强,则本地存储系统将前期暂存数据上传到云存储系统上;否则,本地存储系统继续将数据暂存在本地,继续等待并定时执行云端IO读写判断程序,直至将本地数据全部上传至云存储系统上。
实施例3:
本实施例提出的一种本地存储数据和云存储结合运用的系统,在实施例2本地存储数据和云存储结合运用的系统的基础上,本地存储系统内增加了数据接收模块和数据清理模块,通过数据清理模块删除本地存储系统中已完成上传的数据,不断释放本地存储空间,既能保证数据的稳定上传,又能维护本地存储系统的良好存储性能。
具体的,所述数据接收模块,用于本地存储系统接收数据,数据接收后存储于本地硬盘或云存储系统。
所述数据清理模块:当本地存储系统定时执行第二判断模块,判断云端的IO读写能力强时,本地存储系统将前期暂存数据上传至云存储系统上,同时通过清理模块删除已完成上传的本地数据。
本实施例还提出一种本地存储数据和云存储结合运用的方法,其技术方案可以与实施例3本地存储数据和云存储结合运用的系统相互参考,增加了数据收集步骤和数据清理步骤,
数据收集步骤,包括本地存储系统接收数据,数据接收后,本地存储系统将数据存储于本地硬盘或上传至云存储系统。
本实例例本地存储数据和云存储结合运用的方法,如附图2所示,具体流程包括:
步骤一,本地存储系统接收数据后,运行云端IO读写判断程序,判断云端IO读写能力;
步骤二,若判断云端的IO读写能力强,则将数据存储到云存储系统;
若判断云端的IO读写能力弱,则将数据暂时存储至本地存储系统;同时本地存储系统定时运行云端IO读写判断程序,定时判断云端IO读写能力;
若判断云端的IO读写能力强,则将前期暂存数据存储至云存储系统,并删除本地存储系统上的已完成上传的本地数据;否则,本地存储系统继续暂存储数据,继续等待并定时执行云端IO读写能力判断程序,直至把本地数据全部上传到云存储系统上。
本发明介绍的三种实施例中,所提出的本地存储数据和云存储结合运用的系统和方法,当云端的IO读写能力弱时,将数据暂存在本地存储系统中,具体为将数据存储在本地硬盘中。本领域技术人员所知,本地存储系统采用硬盘以外的存储设备来存储数据的情形,均在本发明的保护范围之内。
以上应用具体个例对本发明的原理及实施方式进行了详细阐述,这些实施例只是用于帮助理解本发明的核心技术内容,并不用于限制本发明的保护范围,本发明的技术方案不限制于上述具体实施方式内。基于本发明的上述具体实施例,本技术领域的技术人员在不脱离本发明原理的前提下,对本发明所作出的任何改进和修饰,皆应落入本发明的专利保护范围。
Claims (10)
1.一种本地存储数据和云存储结合运用的系统,其特征在于,其结构包括:其系统架构包括:
本地存储系统,负责将数据上传至云存储系统,并负责数据的本地存储;
云存储系统,负责大数据存储;
第一判断模块,包含云端IO读写判断程序,负责判断云端的IO读写能力;第一判断模块设置在所述本地存储系统中;
所述本地存储系统运行云端IO读写判断程序,判断云端的IO读写能力,若云端IO读写能力强,则将数据上传至云存储系统,否则将数据暂存在本地存储系统。
2.根据权利要求1所述一种本地存储数据和云存储结合运用的系统,其特征在于,本地存储系统运行云端IO读写判断程序:
所述本地存储系统发出IO请求,所述云存储系统接收IO请求后,根据实际业务状况反馈信息给所述本地存储系统;所述本地存储系统接收反馈信息,并计算云端的IO读写能力。
3.根据权利要求2述一种本地存储数据和云存储结合运用的系统,其特征在于,还包括第二判断模块:
所述第二判断模块包含云端IO读写判断程序,负责判断云存储系统的IO读写能力;所述第二判断模块设置在所述本地存储系统中。
4.根据权利要求3所述一种本地存储数据和云存储结合运用的系统,其特征在于,还包括数据接收模块:用于所述本地存储系统接收数据,数据接收后存储于本地硬盘或云存储系统。
5.根据权利要求4所述一种本地存储数据和云存储结合运用的系统,其特征在于,还包括数据清理模块:
当所述本地存储系统定时执行第二判断模块,判断云端的IO读写能力强时,本地存储系统将前期暂存数据上传至云存储系统上,同时通过清理模块删除已完成上传的本地数据。
6.一种本地存储数据和云存储结合运用的方法,其特征在于,具体实现流程包括:
步骤1,本地存储系统运行云端IO读写判断程序,对云端IO读写能力进行判断,并接收判断结果;
步骤2,若判断云端IO读写能力强,则本地存储系统将数据上传至云存储系统,否则将数据暂存在本地存储系统。
7.根据权利要求6所述一种本地存储数据和云存储结合运用的方法,其特征在于,所述步骤1:
所述本地存储系统运行云端IO读写判断程序,由本地存储系统发出IO请求,所述云存储系统接收请求后,根据实际业务状况反馈信息给本地存储系统;所述本地存储系统接收反馈信息,并计算云端的IO读写能力。
8.根据权利要求7所述一种本地存储数据和云存储结合运用的方法,其特征在于,所述步骤2:
若判断云端的IO读写能力弱,则所述本地存储系统便将数据暂存到本地;同时所述本地存储系统定时运行云端IO读写判断程序,若判断云端的IO读写能力强时,则本地存储系统将前期暂存数据上传到云存储系统上;
否则,所述本地存储系统继续将数据暂存在本地,继续等待并定时执行云端IO读写判断程序,直至将本地数据全部上传至云存储系统上。
9.根据权利要求8所述一种本地存储数据和云存储结合运用的方法,其特征在于,还包括数据收集步骤:
本地存储系统接收数据,数据接收后,本地存储系统将数据存储于本地硬盘或上传至云存储系统。
10.根据权利要求9所述一种本地存储数据和云存储结合运用的方法,其特征在于,还包括数据清理步骤:
所述步骤2中,若判断云端的IO读写能力强,则所述本地存储系统将前期暂存数据上传至云存储系统,并删除本地存储系统上的已完成上传的本地数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711106170.8A CN107786670A (zh) | 2017-11-10 | 2017-11-10 | 一种本地存储数据和云存储结合运用的系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711106170.8A CN107786670A (zh) | 2017-11-10 | 2017-11-10 | 一种本地存储数据和云存储结合运用的系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107786670A true CN107786670A (zh) | 2018-03-09 |
Family
ID=61432886
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711106170.8A Pending CN107786670A (zh) | 2017-11-10 | 2017-11-10 | 一种本地存储数据和云存储结合运用的系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107786670A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110515548A (zh) * | 2019-08-15 | 2019-11-29 | 浙江万朋教育科技股份有限公司 | 一种避免浪费第三方云存储空间的方法 |
CN112835529A (zh) * | 2021-02-23 | 2021-05-25 | 深圳市得一微电子有限责任公司 | 一种数据存储方法、装置、电子设备及存储介质 |
CN114189528A (zh) * | 2020-08-24 | 2022-03-15 | 北京小米移动软件有限公司 | 云存储方法、装置、服务器、终端、云存储系统及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102307221A (zh) * | 2011-03-25 | 2012-01-04 | 国云科技股份有限公司 | 一种云存储系统及其实现方法 |
CN102946426A (zh) * | 2012-11-07 | 2013-02-27 | 浪潮电子信息产业股份有限公司 | 一种工控机数据的云存储方法 |
CN106021381A (zh) * | 2016-05-11 | 2016-10-12 | 北京搜狐新媒体信息技术有限公司 | 一种云存储服务系统的数据访问/存储方法及装置 |
-
2017
- 2017-11-10 CN CN201711106170.8A patent/CN107786670A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102307221A (zh) * | 2011-03-25 | 2012-01-04 | 国云科技股份有限公司 | 一种云存储系统及其实现方法 |
CN102946426A (zh) * | 2012-11-07 | 2013-02-27 | 浪潮电子信息产业股份有限公司 | 一种工控机数据的云存储方法 |
CN106021381A (zh) * | 2016-05-11 | 2016-10-12 | 北京搜狐新媒体信息技术有限公司 | 一种云存储服务系统的数据访问/存储方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110515548A (zh) * | 2019-08-15 | 2019-11-29 | 浙江万朋教育科技股份有限公司 | 一种避免浪费第三方云存储空间的方法 |
CN110515548B (zh) * | 2019-08-15 | 2021-04-06 | 浙江万朋教育科技股份有限公司 | 一种避免浪费第三方云存储空间的方法 |
CN114189528A (zh) * | 2020-08-24 | 2022-03-15 | 北京小米移动软件有限公司 | 云存储方法、装置、服务器、终端、云存储系统及介质 |
CN112835529A (zh) * | 2021-02-23 | 2021-05-25 | 深圳市得一微电子有限责任公司 | 一种数据存储方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104111804B (zh) | 一种分布式文件系统 | |
CN107302561B (zh) | 一种云存储系统中热点数据副本放置方法 | |
CN104166606B (zh) | 文件备份方法和主存储设备 | |
CN102467408B (zh) | 一种虚拟机数据的访问方法和设备 | |
CN101945131B (zh) | 一种基于存储虚拟化的数据迁移方法 | |
CN103530388A (zh) | 一种云存储系统中提升性能的数据处理方法 | |
CN103761190B (zh) | 数据处理方法及装置 | |
CN107704196A (zh) | 区块链数据存储系统和方法 | |
CN109766312A (zh) | 一种区块链存储方法、系统、装置及计算机可读存储介质 | |
CN108647151A (zh) | 一种全闪系统元数据落盘方法、装置、设备及存储介质 | |
CN107436725A (zh) | 一种数据写、读方法、装置及分布式对象存储集群 | |
CA3104353A1 (en) | Storage volume creation method and apparatus, server, and storage medium | |
CN102142006A (zh) | 分布式文件系统的文件处理方法及装置 | |
CN107247619A (zh) | 虚拟机热迁移方法、装置、系统、存储介质及设备 | |
CN102843396A (zh) | 一种分布式缓存系统中的数据写入及读取方法及装置 | |
CN102622407B (zh) | 日志文件操作系统及日志文件管理方法 | |
CN102136003A (zh) | 大规模分布式存储系统 | |
CN103034592B (zh) | 数据处理方法和装置 | |
CN106062742A (zh) | 用于改进快照性能的系统和方法 | |
CN107786670A (zh) | 一种本地存储数据和云存储结合运用的系统和方法 | |
CN101770412A (zh) | 一种连续数据缓存系统及其数据缓存方法 | |
CN107026876A (zh) | 一种文件数据访问系统及方法 | |
CN104572505A (zh) | 一种保证海量数据缓存最终一致性的系统及方法 | |
CN106960011A (zh) | 分布式文件系统元数据管理系统及方法 | |
CN105224256A (zh) | 一种存储系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180309 |