CN106294539A - 混合云环境下的数据索引列表存储策略 - Google Patents

混合云环境下的数据索引列表存储策略 Download PDF

Info

Publication number
CN106294539A
CN106294539A CN201610582079.2A CN201610582079A CN106294539A CN 106294539 A CN106294539 A CN 106294539A CN 201610582079 A CN201610582079 A CN 201610582079A CN 106294539 A CN106294539 A CN 106294539A
Authority
CN
China
Prior art keywords
data
storage
user
cloud
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610582079.2A
Other languages
English (en)
Other versions
CN106294539B (zh
Inventor
兰诚栋
林华琦
孙强强
方大锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201610582079.2A priority Critical patent/CN106294539B/zh
Publication of CN106294539A publication Critical patent/CN106294539A/zh
Application granted granted Critical
Publication of CN106294539B publication Critical patent/CN106294539B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种混合云环境下的数据索引列表存储策略。在传统云存储环境中，数据的重复存储带来的巨大冗余和空间浪费并未被充分考虑到，该项目通过优化数据存储策略来提高云存储性能，进而降低存储成本。首先，我们考虑为用户可访问空间中的已存储数据建立索引列表，它包含了数据的文件名，文件大小和存储路径等相关信息；接着，在存储数据时，将数据的相关信息与可访问资源的索引列表进行重复项的匹配；最后，为相同的可访问资源设定某个数量阈值S并进行判断，根据实际情况选择是否需要进行完整数据存储。本发明可以大大降低相同数据的重复存储，提高存储空间利用率，进而减少成本。

Description

混合云环境下的数据索引列表存储策略
技术领域
本发明涉及一种混合云环境下的数据索引列表存储策略。
背景技术
云计算、云存储技术在近几年内得到了快速发展，国内外涌现了各式各样的公有云存储服务，这些公有云服务对于个人用户是免费的，但对于需要通过API（应用程序接口）访问的企业用户是收费的。云存储服务满足了企业的存储需求，同时又降低了企业购买、维护大容量存储设备的开销，企业等用户越来越倾向于将数据存储在服务提供商的云存储系统上以节省成本。但对于有大量数据存储需求的云存储服务消费者而言，云存储服务仍然需要不菲的存储费用。
2011年，NIST（National Institute of Standards and Technology，美国国家标准与技术研究院）提出了云代理。云代理独立于云存储资源提供商运行,负责发现和分析云用户的需求，拆分成不同的任务发布到云端，云存储提供商根据这些任务给出各自的报价和SLA（Service-Level Agreement，服务等级协议）交给云代理比较和选择；云代理向用户提供报价和合同，并租用云存储资源提供商的资源交给用户使用。但是，我们知道数据的重复存储会带来巨大冗余和空间的浪费，而企业用户放到公有云的数据一般是非关键公共数据，在公有云中很可能会存在相同数据导致重复存储，传统的云存储服务提供商给出的SLA中没有重复资源的描述，传统的云代理选择云存储服务商的策略中也没有考虑云存储服务商是否存在重复资源。
数据的重复存储将带来较大的不必要成本支出浪费，带来低性价比问题，这必然是云存储用户所不希望的，故云存储中的数据重复存储已成为一个迫切需要解决的问题，数据存储量越大的企业对此的需求也是越大的。
发明内容
有鉴于此，本发明的目的在于提供一种混合云环境下的数据索引列表存储策略，增加了数据自身与云空间可访问资源重复的匹配项，并提出数据索引列表存储策略来进行完善。
为实现上述目的，本发明采用如下技术方案：一种混合云环境下的数据索引列表存储策略，其特征在于，包括以下步骤：
步骤S1：在混合云的环境中创建用户可访问空间，所述用户可访问空间包括用户自身所拥有的私有云空间、云代理为用户开辟好的资源池以及通过云代理可检索得到的其他用户共享的数据资源；
步骤S2：为所述用户可访问空间中的已存储数据建立索引列表，所述索引列表用于记录已存储数据的信息，包括已存储信息的文件名、文件大小、存储路径、存储时间、是否全存和存储用户；
步骤S3：在存储数据时，通过所述索引列表将要存储数据的信息和已存储数据的信息进行匹配，找出与要存储数据相同的可访问资源，并统计其资源数X；
步骤S4：为步骤S3得到与要存储数据相同的可访问资源设定数量阈值S，在存储数据时，根据所述资源数X与数量阈值S的大小，选择对要存储数据进行存储或者只存储相同资源的可访问索引列表。
进一步的，在所述用户可访问空间中，用户可访问的资源包括其他用户的共享资源与本用户自身的存储资源。
进一步的，所述索引列表中的是否全存的具体含义为：若为是，则代表数据被完整存储；若为否，则代表只存储相同资源的可访问索引列表。
进一步的，所述步骤S3中的要存储数据的信息包括要存储信息的文件名、文件大小、存储路径、存储时间、是否全存和存储用户。
进一步的，所述步骤S4中，若资源数X低于数量阈值S，则对要存储数据进行完整存储以减少数据丢失的概率；若资源数X高于或等于数量阈值S，则只存储相同资源的可访问索引列表以降低存储成本。
进一步的，在进行完整存储时，根据数据的安全性需求选择将要存储数据存于私有云或公有云中。
本发明与现有技术相比具有以下有益效果：本发明通过为相同资源数设定阈值来决定完整存储数据还是只存储相同资源的可访问索引列表，这能有效减少数据重复存储带来的巨大冗余和空间浪费，极大提高混合云中的云存储性能，为用户节省成本。
附图说明
图1是本发明的流程图。
图2是本发明用户存储数据时系统存储操作的流程图。
图3是本发明一实施例的系统框图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图3，于本实施例中，用户拥有自身的私有云，同时该用户的云代理已开辟了由公有云1、公有云2和公有云3组成的资源池，则该用户的用户可访问空间为自身私有云、云代理为用户开辟好的资源池（此例中由公有云1、公有云2和公有云3组成）以及云代理可检索得到的其他用户共享的资源（设有用户2、用户3、用户4上传共享数据）。并设该用户可访问空间中有数据资源A、B、C、D、E、F、G、H、I、J，各数据资源的具体分布情况可见下表1：
表1：数据在用户可访问空间中的分布情况
私有云 公有云1 公有云2 公有云3
A、C、E、G、I A、B、C、I、J A、D、G、H、I A、C、F、H、I
请参照图1，混合云环境下的数据索引列表存储策略包括以下步骤：
步骤S1：在混合云的环境中创建用户可访问空间，所述用户可访问空间包括用户自身所拥有的私有云空间、云代理为用户开辟好的资源池以及通过云代理可检索得到的其他用户共享的数据资源；
步骤S2：为所述用户可访问空间中的已存储数据建立索引列表，所述索引列表用于记录已存储数据的信息，包括已存储信息的文件名、文件大小、存储路径、存储时间、是否全存和存储用户等信息；其中是否全存的具体含义为：若为是，则代表数据被完整存储；若为否，则代表存储的是相同资源的可访问索引列表。索引列表存放于每个数据所在的云中，下表2为私有云数据的索引列表，表3、表4、表5分别为公有云1、公有云2、公有云3的数据索引列表：
表2：私有云数据的索引列表
文件名 文件大小 存储路径 存储时间 是否全存 存储用户
A 6G 私有云 20160606 是 用户1
C 3G 私有云 20160503 是 用户1
E 10G 私有云 20150909 是 用户1
G 36G 私有云 20150503 是 用户1
I 28G 私有云 20130228 是 用户1
表3：公有云1的数据索引列表
文件名 文件大小 存储路径 存储时间 是否全存 存储用户
A 6G 公有云1 20160601 是 用户1
B 13G 公有云1 20160621 是 用户4
C 3G 公有云1 20160203 是 用户3
I 28G 公有云1 20160303 是 用户1
J 35G 公有云1 20160620 是 用户2
表4：公有云2的数据索引列表
文件名 文件大小 存储路径 存储时间 是否全存 存储用户
A 6G 公有云2 20160606 是 用户1
D 16G 公有云2 20160503 是 用户1
G 36G 公有云2 20150909 是 用户4
H 1G 公有云2 20150503 是 用户3
表5：公有云3的数据索引列表
文件名 文件大小 存储路径 存储时间 是否全存 存储用户
A 6G 公有云3 20160602 是 用户1
C 3G 公有云3 20160607 是 用户2
F 24G 公有云3 20160613 是 用户1
H 1G 公有云3 20160618 是 用户4
I 28G 公有云3 20160621 是 用户1
步骤S3：请参照图2，在存储数据时，通过所述索引列表将要存储数据的信息和已存储数据的信息进行匹配（将文件名和文件大小进行对比，当已存储数据的文件名和文件大小都相同时确定为要存储数据相同的可访问资源），找出与要存储数据相同的可访问资源，并统计其资源数X；
步骤S4：请继续参照图2，为步骤S3得到与要存储数据相同的可访问资源设定数量阈值S，于本实施例中S=3，在存储数据时，根据所述资源数X与数量阈值S的大小，选择对要存储数据进行存储或者只存储相同资源的可访问索引列表，具体为：若资源数X低于数量阈值S，则对要存储数据进行完整存储以减少数据丢失的概率；若资源数X高于数量阈值S，则只存储相同资源的可访问索引列表以降低存储成本。特别的，在进行完整存储时，根据数据的安全性需求选择将要存储数据存于私有云或公有云中。
下面以数据C和数据H为例进行介绍：当该用户要存储数据C时，首先将数据C与用户可访问空间中的数据索引列表进行信息匹配，可得匹配结果：私有云、公有云1和公有云3都有相同的数据C，即相同的可访问资源数X为3。则显然X≥S，故我们存储与数据C相同的数据的可访问索引列表，被存储的内容为下表6：
表6：存储数据C时存储的内容
文件名 文件大小 存储路径 存储时间 是否全存 存储用户
C 3G 私有云 20160503 是 用户1
C 3G 公有云1 20160203 是 用户3
C 3G 公有云3 20160607 是 用户2
当该用户要存储数据H时，首先将数据H与用户可访问空间中的数据索引列表进行信息匹配，可得匹配结果：公有云2和公有云3都有相同的数据H，即相同的可访问资源数X为2。则显然X〈S，故我们选择直接对数据H进行存储。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (6)

1.一种混合云环境下的数据索引列表存储策略，其特征在于，包括以下步骤：
步骤S1：在混合云的环境中创建用户可访问空间，所述用户可访问空间包括用户自身所拥有的私有云空间、云代理为用户开辟好的资源池以及通过云代理可检索得到的其他用户共享的数据资源；
步骤S2：为所述用户可访问空间中的已存储数据建立索引列表，所述索引列表用于记录已存储数据的信息，包括已存储信息的文件名、文件大小、存储路径、存储时间、是否全存和存储用户；
步骤S3：在存储数据时，通过所述索引列表将要存储数据的信息和已存储数据的信息进行匹配，找出与要存储数据相同的可访问资源，并统计其资源数X；
步骤S4：为步骤S3得到与要存储数据相同的可访问资源设定数量阈值S，在存储数据时，根据所述资源数X与数量阈值S的大小，选择对要存储数据进行存储或者只存储相同资源的可访问索引列表。
2.根据权利要求1所述的混合云环境下的数据索引列表存储策略，其特征在于：在所述用户可访问空间中，用户可访问的资源包括其他用户的共享资源与本用户自身的存储资源。
3.根据权利要求1所述的混合云环境下的数据索引列表存储策略，其特征在于：所述索引列表中的是否全存的具体含义为：若为是，则代表数据被完整存储；若为否，则代表只存储相同资源的可访问索引列表。
4.根据权利要求1所述的混合云环境下的数据索引列表存储策略，其特征在于：所述步骤S3中的要存储数据的信息包括要存储信息的文件名、文件大小、存储路径、存储时间、是否全存和存储用户。
5.根据权利要求1所述的混合云环境下的数据索引列表存储策略，其特征在于：所述步骤S4中，若资源数X低于数量阈值S，则对要存储数据进行完整存储以减少数据丢失的概率；若资源数X高于或等于数量阈值S，则只存储相同资源的可访问索引列表以降低存储成本。
6.根据权利要求5所述的混合云环境下的数据索引列表存储策略，其特征在于：在进行完整存储时，根据数据的安全性需求选择将要存储数据存于私有云或公有云中。
CN201610582079.2A 2016-07-22 2016-07-22 混合云环境下的数据索引列表存储策略 Expired - Fee Related CN106294539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610582079.2A CN106294539B (zh) 2016-07-22 2016-07-22 混合云环境下的数据索引列表存储策略

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610582079.2A CN106294539B (zh) 2016-07-22 2016-07-22 混合云环境下的数据索引列表存储策略

Publications (2)

Publication Number Publication Date
CN106294539A true CN106294539A (zh) 2017-01-04
CN106294539B CN106294539B (zh) 2019-08-09

Family

ID=57652121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610582079.2A Expired - Fee Related CN106294539B (zh) 2016-07-22 2016-07-22 混合云环境下的数据索引列表存储策略

Country Status (1)

Country Link
CN (1) CN106294539B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256925A (zh) * 2020-10-21 2021-01-22 西安电子科技大学 一种面向多请求的科学工作流数据集存储方法
CN116561810A (zh) * 2023-07-10 2023-08-08 长沙睿展数据科技有限公司 基于混合云平台的仓储管理大数据处理方法及装置
US11758087B2 (en) 2020-02-24 2023-09-12 Douyin Vision Co., Ltd. Multimedia conference data processing method and apparatus, and electronic device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100257403A1 (en) * 2009-04-03 2010-10-07 Microsoft Corporation Restoration of a system from a set of full and partial delta system snapshots across a distributed system
CN102222090A (zh) * 2011-06-02 2011-10-19 清华大学 一种云环境下海量数据资源管理框架
US8261126B2 (en) * 2009-04-03 2012-09-04 Microsoft Corporation Bare metal machine recovery from the cloud
CN103279508A (zh) * 2012-12-31 2013-09-04 威盛电子股份有限公司 修正语音应答的方法及自然语言对话系统
CN103927357A (zh) * 2014-04-15 2014-07-16 上海新炬网络技术有限公司 一种用于数据库的数据加密及检索方法
US20150015908A1 (en) * 2013-07-10 2015-01-15 Fuji Xerox Co., Ltd. Image forming apparatus and method, non-transitory computer readable medium, and image forming system
CN104735163A (zh) * 2015-04-10 2015-06-24 重庆邮电大学 一种用于混合云存储环境下多用户数据完整性验证方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100257403A1 (en) * 2009-04-03 2010-10-07 Microsoft Corporation Restoration of a system from a set of full and partial delta system snapshots across a distributed system
US8261126B2 (en) * 2009-04-03 2012-09-04 Microsoft Corporation Bare metal machine recovery from the cloud
CN102222090A (zh) * 2011-06-02 2011-10-19 清华大学 一种云环境下海量数据资源管理框架
CN103279508A (zh) * 2012-12-31 2013-09-04 威盛电子股份有限公司 修正语音应答的方法及自然语言对话系统
US20150015908A1 (en) * 2013-07-10 2015-01-15 Fuji Xerox Co., Ltd. Image forming apparatus and method, non-transitory computer readable medium, and image forming system
CN103927357A (zh) * 2014-04-15 2014-07-16 上海新炬网络技术有限公司 一种用于数据库的数据加密及检索方法
CN104735163A (zh) * 2015-04-10 2015-06-24 重庆邮电大学 一种用于混合云存储环境下多用户数据完整性验证方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DAN DOBRE: "Hybris Robust:Hybrid Cloud Storage", 《ACM》 *
YAN ZHU等: "Collaborative Integrity Verification in Hybrid Clouds", 《IEEE》 *
孙强强: "混合云模式中的安全问题研究", 《中天科技》 *
李经纬: "云计算中数据外包安全的关键问题研究", 《中国博士学位论文全文数据库 信息科技辑》 *
白亚光: "计算机数据存储技术研究", 《计算机光盘软件与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11758087B2 (en) 2020-02-24 2023-09-12 Douyin Vision Co., Ltd. Multimedia conference data processing method and apparatus, and electronic device
CN112256925A (zh) * 2020-10-21 2021-01-22 西安电子科技大学 一种面向多请求的科学工作流数据集存储方法
CN112256925B (zh) * 2020-10-21 2022-10-04 西安电子科技大学 一种面向多请求的科学工作流数据集存储方法
CN116561810A (zh) * 2023-07-10 2023-08-08 长沙睿展数据科技有限公司 基于混合云平台的仓储管理大数据处理方法及装置
CN116561810B (zh) * 2023-07-10 2023-09-22 长沙睿展数据科技有限公司 基于混合云平台的仓储管理大数据处理方法及装置

Also Published As

Publication number Publication date
CN106294539B (zh) 2019-08-09

Similar Documents

Publication Publication Date Title
US11169710B2 (en) Method and apparatus for SSD storage access
CN100359427C (zh) 一种移动终端用户使用权限分级管理实现方法
CN101650717B (zh) 一种节约数据库存储空间的方法和系统
CN102906751B (zh) 一种数据存储、数据查询的方法及装置
CN101771723A (zh) 数据同步方法
CN103490981B (zh) 一种跨移动应用的消息推送方法和装置
CN102780574A (zh) 面向业务的局数据的配置方法、装置以及核查方法、装置
CN105530272A (zh) 一种应用数据的同步方法和装置
CN101136025A (zh) 一种下载网络资源的方法、系统及设备
CN110674247A (zh) 弹幕信息的拦截方法、装置、存储介质及设备
CN106294539A (zh) 混合云环境下的数据索引列表存储策略
US20210184998A1 (en) Large data management in communication applications through multiple mailboxes
CN102057376B (zh) 用于进行分布式搜索的方法
US20210365430A1 (en) Technique for replication of database
CN108108486A (zh) 一种数据表查询方法、装置、终端设备及存储介质
CN101778131A (zh) 数据同步系统
CN103258389B (zh) 自助终端上传文件的方法、系统和自助终端
CN107066175A (zh) 生成有价证券显示界面的方法及装置
CN101789963A (zh) 数据同步系统
EP2348676A1 (en) Method for accessing magnanimity data of intelligent network service database and system and device thereof
CN111178965B (zh) 一种资源投放方法及服务器
CN103095833A (zh) 云服务系统更新方法和装置
CN114493598A (zh) 计算资源管理方法、装置、计算机设备和存储介质
WO2021098150A1 (zh) 单据数据加密的方法、装置、电子设备和存储介质
CN110263044B (zh) 数据存储方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190809