CN102404411A - 云存储系统的数据同步方法 - Google Patents

云存储系统的数据同步方法 Download PDF

Info

Publication number
CN102404411A
CN102404411A CN2011104390440A CN201110439044A CN102404411A CN 102404411 A CN102404411 A CN 102404411A CN 2011104390440 A CN2011104390440 A CN 2011104390440A CN 201110439044 A CN201110439044 A CN 201110439044A CN 102404411 A CN102404411 A CN 102404411A
Authority
CN
China
Prior art keywords
memory device
data
metadata
local memory
physical data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011104390440A
Other languages
English (en)
Inventor
黄钦皇
武杜娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UIT STORAGE TECHNOLOGY (SHENZHEN) Co Ltd
Innovation And Technology Storage Technology Co Ltd
Original Assignee
UIT STORAGE TECHNOLOGY (SHENZHEN) Co Ltd
Innovation And Technology Storage Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UIT STORAGE TECHNOLOGY (SHENZHEN) Co Ltd, Innovation And Technology Storage Technology Co Ltd filed Critical UIT STORAGE TECHNOLOGY (SHENZHEN) Co Ltd
Priority to CN2011104390440A priority Critical patent/CN102404411A/zh
Publication of CN102404411A publication Critical patent/CN102404411A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种云存储系统的数据同步方法，首先对用户输入的数据进行物理数据和元数据的识别，然后再分别进行存储、更新，采用并行地方式将物理数据和元数据同步至云端存储设备中。采用本发明可以有效提高数据同步效率，同时也有利于对占用空间较大的物理数据的及时删除，进而有效节约本地存储空间。

Description

云存储系统的数据同步方法
技术领域
本发明涉及数据存储技术，特别是涉及一种云存储系统的数据同步方法。
背景技术
云存储(cloud storage)是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。现今，网络带宽大大改善，使得云存储进一步发展成为可能。
目前，一般的云存储系统中，将本地存储设备的物理数据和元数据同步到云端存储设备是按照串行阻塞式更新和保存的，这种串行的方式会造成同步时延较大，尤其是，当进行同步的数据量特别大时，会因此而严重降低系统性能。另外，由于现有云存储系统的物理数据和元数据都保存在同一个存储空间内，因此，导致本地空间不能释放很久没有使用的文件，从而造成本地存储空间的浪费。
由此可见，目前的云存储系统存在数据同步时延大、本地存储空间浪费的问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种云存储系统的数据同步方法，该方法能有效提高数据同步效率。
为了达到上述目的，本发明提出的技术方案为：
一种云存储系统的数据同步方法，该方法包括以下步骤：
a、当本地存储设备从本地存储接口接收到用户输入的新数据后，将所述新数据按照物理数据和元数据进行分类，并利用分类后的物理数据和元数据，分别对所述本地存储设备中的物理数据库和元数据库进行更新；
b、所述本地存储设备将分类后的所述物理数据和元数据，并行地发送至云端存储设备中；
c、所述云端存储设备利用接收到的所述物理数据和元数据，分别对所述云端存储设备中的物理数据库和元数据库进行更新。
综上所述，本发明提出的一种云存储系统的数据同步方法，对用户输入的数据进行物理数据和元数据的识别，并分别进行存储、更新，采用并行地方式将物理数据和元数据同步至云端存储设备中，从而可以有效提高数据同步效率，同时也有利于对占用空间较大的物理数据的及时删除，进而有效节约本地存储空间。
附图说明
图1为本发明实施例一的方法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
本发明的核心思想是：无论是在本地存储设备中，还是在云端存储设备中，都对物理数据和元数据分别进行存储和管理，这样，本地存储设备在可以并行的分别对物理数据和元数据进行同步，以提高同步的效率，另外，考虑到物理数据对空间的占用较大，用户也可对本地存储设备中长期不用的物理数据进行有针对性地删除，从而可以节约本地的存储空间。
图1为本发明实施例一的方法流程示意图。如图1所示，该方法主要包括：
步骤101、当本地存储设备从本地存储接口接收到用户输入的新数据后，将所述新数据按照物理数据和元数据进行分类，并利用分类后的物理数据和元数据，分别对所述本地存储设备中的物理数据库和元数据库进行更新。
这里，本地存储设备接收用户数据的方式同现有系统，在此不再赘述。
本步骤中，在接收到用户输入的数据后，不立即进行数据的更新和同步，而是先按照数据属性分类，识别出物理数据和元数据，然后再分别对两类数据进行后续的本地数据的更新以及云端存储设备的数据同步操作，这样，一方面可以对两类数据并行地进行本地相关数据的更新以及云端存储设备的数据同步操作，另一方面，本地存储设备和云端存储设备可以分别对两类数据进行维护管理，便于可以有针对性的删除长期不用的物理数据，节约本地的存储空间。
步骤102、所述本地存储设备将分类后的所述物理数据和元数据，并行地发送至云端存储设备中。
本步骤，对物理数据和元数据采用并行的方式，发送至云端存储设备中，可以避免现有系统中采用串行方式所造成的较大传输时延，提高同步效率。
步骤103、所述云端存储设备利用接收到的所述物理数据和元数据，分别对所述云端存储设备中的物理数据库和元数据库进行更新。
在实际应用中，为了提高本地存储空间的可用率，可以根据实际需要预设一空间管理策略，本地存储设备根据该策略，可以按照周期触发或事件触发的方式，来删除当前一定时间内未被使用的物理数据和/或元数据，以尽可能扩大本地存储空间。当用户需要访问的物理数据和/或元数据时，本地存储设备将先在本地存储空间的相应数据库中查找，如果没查找到，则本地存储设备将向所述云端存储设备中请求下载所述物理数据和/或元数据，然后再将所下载的数据存储到本地中，即利用下载到的所述物理数据和/或元数据对所述本地存储设备中的物理数据库和/或元数据库进行更新。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种云存储系统的数据同步方法，其特征在于，该方法包括以下步骤：
a、当本地存储设备从本地存储接口接收到用户输入的新数据后，将所述新数据按照物理数据和元数据进行分类，并利用分类后的物理数据和元数据，分别对所述本地存储设备中的物理数据库和元数据库进行更新；
b、所述本地存储设备将分类后的所述物理数据和元数据，并行地发送至云端存储设备中；
c、所述云端存储设备利用接收到的所述物理数据和元数据，分别对所述云端存储设备中的物理数据库和元数据库进行更新。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
所述本地存储设备根据预设的空间管理策略，按照周期触发或事件触发的方式删除当前预设时间内未被使用的物理数据和/或元数据。
3.根据权利要求2所述的方法，其特征在于，所述方法进一步包括：
当用户访问的物理数据和/或元数据未在所述本地存储设备中保存时，所述本地存储设备向所述云端存储设备中请求下载所述物理数据和/或元数据，并利用下载到的所述物理数据和/或元数据对所述本地存储设备中的物理数据库和/或元数据库进行更新。
CN2011104390440A 2011-12-23 2011-12-23 云存储系统的数据同步方法 Pending CN102404411A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2011104390440A CN102404411A (zh) 2011-12-23 2011-12-23 云存储系统的数据同步方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2011104390440A CN102404411A (zh) 2011-12-23 2011-12-23 云存储系统的数据同步方法

Publications (1)

Publication Number Publication Date
CN102404411A true CN102404411A (zh) 2012-04-04

Family

ID=45886191

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011104390440A Pending CN102404411A (zh) 2011-12-23 2011-12-23 云存储系统的数据同步方法

Country Status (1)

Country Link
CN (1) CN102404411A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880668A (zh) * 2012-09-04 2013-01-16 广东电子工业研究院有限公司 综合应急管理平台数据存储方法及采用该方法的平台架构
CN104519078A (zh) * 2013-09-26 2015-04-15 中国电信股份有限公司 实现云存储的方法与装置
CN104580093A (zh) * 2013-10-21 2015-04-29 腾讯科技（深圳）有限公司 网站通知消息的处理方法、装置及系统
CN107944021A (zh) * 2017-12-11 2018-04-20 北京奇虎科技有限公司 文件替换方法、装置及终端设备
CN108897822A (zh) * 2018-06-21 2018-11-27 郑州云海信息技术有限公司 一种数据更新方法、装置、设备及可读存储介质
CN109739848A (zh) * 2018-12-28 2019-05-10 杭州铭智云教育科技有限公司 一种数据提取方法
CN114189528A (zh) * 2020-08-24 2022-03-15 北京小米移动软件有限公司 云存储方法、装置、服务器、终端、云存储系统及介质
WO2022062166A1 (zh) * 2020-09-27 2022-03-31 上海依图网络科技有限公司 一种数据处理方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1610905A (zh) * 2001-12-28 2005-04-27 汤姆森许可贸易公司 针对数据类型依赖处理、自动检测数据类型的方法和装置
CN101520805A (zh) * 2009-03-25 2009-09-02 中兴通讯股份有限公司 一种分布式文件系统及其文件处理方法
WO2010085579A2 (en) * 2009-01-23 2010-07-29 Nasuni Corporation Method and system for interfacing to cloud storage
CN102014158A (zh) * 2010-11-29 2011-04-13 北京兴宇中科科技开发股份有限公司 一种云存储服务客户端高效细粒度数据缓存系统与方法
CN102035881A (zh) * 2010-11-19 2011-04-27 清华大学 一种云端存储系统的数据缓存方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1610905A (zh) * 2001-12-28 2005-04-27 汤姆森许可贸易公司 针对数据类型依赖处理、自动检测数据类型的方法和装置
WO2010085579A2 (en) * 2009-01-23 2010-07-29 Nasuni Corporation Method and system for interfacing to cloud storage
CN101520805A (zh) * 2009-03-25 2009-09-02 中兴通讯股份有限公司 一种分布式文件系统及其文件处理方法
CN102035881A (zh) * 2010-11-19 2011-04-27 清华大学 一种云端存储系统的数据缓存方法
CN102014158A (zh) * 2010-11-29 2011-04-13 北京兴宇中科科技开发股份有限公司 一种云存储服务客户端高效细粒度数据缓存系统与方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880668A (zh) * 2012-09-04 2013-01-16 广东电子工业研究院有限公司 综合应急管理平台数据存储方法及采用该方法的平台架构
CN104519078A (zh) * 2013-09-26 2015-04-15 中国电信股份有限公司 实现云存储的方法与装置
CN104580093A (zh) * 2013-10-21 2015-04-29 腾讯科技（深圳）有限公司 网站通知消息的处理方法、装置及系统
CN107944021A (zh) * 2017-12-11 2018-04-20 北京奇虎科技有限公司 文件替换方法、装置及终端设备
CN107944021B (zh) * 2017-12-11 2021-06-18 北京奇虎科技有限公司 文件替换方法、装置及终端设备
CN108897822A (zh) * 2018-06-21 2018-11-27 郑州云海信息技术有限公司 一种数据更新方法、装置、设备及可读存储介质
CN109739848A (zh) * 2018-12-28 2019-05-10 杭州铭智云教育科技有限公司 一种数据提取方法
CN109739848B (zh) * 2018-12-28 2021-11-09 深圳市科联汇通科技有限公司 一种数据提取方法
CN114189528A (zh) * 2020-08-24 2022-03-15 北京小米移动软件有限公司 云存储方法、装置、服务器、终端、云存储系统及介质
WO2022062166A1 (zh) * 2020-09-27 2022-03-31 上海依图网络科技有限公司 一种数据处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN102404411A (zh) 云存储系统的数据同步方法
CN109947668B (zh) 存储数据的方法和装置
CN102937980B (zh) 一种集群数据库数据查询方法
CN102591909B (zh) 在去重复存储系统中提供增强的可扩展性的系统及方法
CN101796514B (zh) 对象存储系统的管理方法
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
US8898677B2 (en) Data arrangement calculating system, data arrangement calculating method, master unit and data arranging method
CN105303456A (zh) 电力传输设备监控数据处理方法
CN110347651A (zh) 基于云存储的数据同步方法、装置、设备及存储介质
CN103164525B (zh) Web应用发布方法和装置
CN102169507A (zh) 一种分布式实时搜索引擎
CN102857570A (zh) 文件的云同步方法及云存储服务器
CN103237046A (zh) 支持混合云存储应用的分布式文件系统及实现方法
CN103139300A (zh) 一种基于重复数据删除的虚拟机镜像管理的优化方法
CN105446893A (zh) 数据存储方法及设备
CN105338027A (zh) 进行视频数据云存储的方法、系统及装置
CN104050276A (zh) 一种分布式数据库的缓存处理方法及系统
CN104182487A (zh) 一种支持多种存储方式的统一存储方法
CN110532058B (zh) 容器集群服务的管理方法、装置、设备及可读存储介质
CN104572505A (zh) 一种保证海量数据缓存最终一致性的系统及方法
CN103051671A (zh) 一种集群文件系统重复数据删除方法
CN103399781A (zh) 云服务器及其虚拟机管理方法
CN102779138A (zh) 实时数据的硬盘存取方法
CN103067479A (zh) 一种基于文件冷热的网盘同步方法及系统
CN103491155A (zh) 一种实现移动计算和获取移动数据的云计算方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120404