CN105677250B - 对象存储系统中的对象数据的更新方法和更新装置 - Google Patents

对象存储系统中的对象数据的更新方法和更新装置 Download PDF

Info

Publication number
CN105677250B
CN105677250B CN201610004530.2A CN201610004530A CN105677250B CN 105677250 B CN105677250 B CN 105677250B CN 201610004530 A CN201610004530 A CN 201610004530A CN 105677250 B CN105677250 B CN 105677250B
Authority
CN
China
Prior art keywords
object data
data
updated
metadata
copied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610004530.2A
Other languages
English (en)
Other versions
CN105677250A (zh
Inventor
张晨
杨奋强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201610004530.2A priority Critical patent/CN105677250B/zh
Publication of CN105677250A publication Critical patent/CN105677250A/zh
Priority to JP2016163008A priority patent/JP6348937B2/ja
Priority to KR1020160107726A priority patent/KR101869156B1/ko
Priority to US15/246,112 priority patent/US10380103B2/en
Application granted granted Critical
Publication of CN105677250B publication Critical patent/CN105677250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/289—Object oriented databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0622—Securing storage systems in relation to access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket

Abstract

本申请公开了对象存储系统中的对象数据的更新方法和更新装置。所述方法的一具体实施方式包括：接收用户的对象数据更新请求，其中，对象数据更新请求包括更新请求的类型和待更新的对象数据的身份信息；基于待更新的对象数据的身份信息获取待更新的对象数据的元数据；基于更新请求的类型对待更新的对象数据的元数据执行第一预定操作；基于待更新的对象数据的身份信息获取待更新的对象数据的实际数据；以及基于更新请求的类型对待更新的对象数据的实际数据执行第二预定操作。该实施方式实现了对象存储系统中对象数据的高效删除/复制。

Description

对象存储系统中的对象数据的更新方法和更新装置
技术领域
本申请涉及计算机技术领域，具体涉及数据存储技术领域，尤其涉及对象存储系统中的对象数据的更新方法和更新装置。
背景技术
在云计算服务中，对象存储服务是一个非常重要的基础服务。对象存储服务将数据作为对象写在用户的存储区域中，用户可以写入、读取和删除该存储区域中的对象。
在现有的对象存储系统中，可以支持的最大单个对象数据的大小为5T。现有的对象存储系统在进行数据存储时，通常采用将数据切分成小块存储，并使用元数据(metadata)来维护对象和各小块数据之间的关系。
一般而言，用户对数据的操作包括复制操作和删除操作。
对删除操作而言，现有的技术方案可以概括为两种：
1、直接删除：用户发起删除对象的操作之后，系统就直接删除该对象相关的数据块和metadata。
2、垃圾回收：删除时并不立即释放物理空间，而是采用惰性策略，在周期性的常规垃圾扫描才回收物理空间。
对复制操作而言，现有技术的方案为直接复制。
对于现有的直接复制和直接删除操作，其处理逻辑复杂，容易失败。特别地，当对象数据较大时，甚至会涉及到几十万个数据块的复制/删除，若处理过程中出现异常或失败，不仅可能导致垃圾数据或者数据不完整的情况发生，还容易导致metadata数据不一致的情况发生。此外，当对象数据较大时，复制/删除操作的过程时间长，导致对象存储系统压力较大。若多个用户同时发起大量的复制/删除操作，容易使系统负载陡然上升，甚至无法执行相应的操作。
对于现有的删除操作中的垃圾回收的方案，其主要缺点是对存储空间的浪费。
发明内容
本申请的目的在于提出一种改进的对象存储系统中的对象数据的更新方法和更新装置，来解决以上背景技术部分提到的技术问题。
第一方面，本申请提供了一种对象存储系统中的对象数据更新方法，其中，对象存储系统中存储有多个对象数据，每个对象数据包括元数据和分片存储的实际数据，方法包括：接收用户的对象数据更新请求，其中，对象数据更新请求包括更新请求的类型和待更新的对象数据的身份信息；基于待更新的对象数据的身份信息获取待更新的对象数据的元数据；基于更新请求的类型对待更新的对象数据的元数据执行第一预定操作；基于待更新的对象数据的身份信息获取待更新的对象数据的实际数据；以及基于更新请求的类型对待更新的对象数据的实际数据执行第二预定操作。
在一些实施例中，更新请求的类型包括复制请求，待更新的对象数据包括待复制对象数据，待复制对象数据的身份信息包括复制对象数据的源存储地址信息和目标存储地址信息；基于更新请求的类型对待更新的对象数据的元数据执行第一预定操作包括：将待复制对象数据的元数据作为目标对象数据的元数据存储至目标存储地址；基于更新请求的类型对待更新的对象数据的实际数据执行第二预定操作包括：将待复制对象数据的实际数据作为目标对象数据的实际数据存储到目标存储地址。
在一些实施例中，将待复制对象数据的元数据作为目标对象数据的元数据存储至目标存储地址包括：在待复制对象数据的元数据中，添加复制任务标识。
在一些实施例中，待复制对象数据的元数据包括待复制对象数据的实际数据的当前分片信息；在将待复制对象数据的实际数据复制到目标存储地址，生成目标对象数据的实际数据之后，方法还包括：删除复制任务标识；以及更新目标对象数据的元数据，使得目标对象数据的元数据包括目标对象数据的实际数据的当前分片信息。
在一些实施例中，更新请求的类型包括删除请求；待更新的对象数据包括待删除对象数据；待删除对象数据的元数据包括待删除对象数据的实际数据的当前分片信息以及待删除对象数据的实际数据的历史分片信息；基于更新请求的类型对待更新的对象数据的元数据执行第一预定操作包括：删除待删除对象数据的实际数据的当前分片信息；基于更新请求的类型对待更新的对象数据的实际数据执行第二预定操作包括：删除待删除对象数据的实际数据。
在一些实施例中，在删除待删除对象数据的实际数据之后，方法还包括：删除待删除对象数据的元数据中的历史分片信息。
在一些实施例中，对象数据更新请求包括用户身份信息；接收用户的对象数据更新请求包括：基于用户身份信息确定用户的操作权限；基于待更新的对象数据的身份信息获取待更新的对象数据的元数据包括：基于用户具有预定操作权限，获取待更新的对象数据的元数据；基于待更新的对象数据的身份信息获取待更新的对象数据的实际数据包括：基于用户具有预定操作权限，获取待更新的对象数据的实际数据。
第二方面，本申请提供了一种对象存储系统中的对象数据更新装置，其中，对象存储系统中存储有多个对象数据，每个对象数据包括元数据和分片存储的实际数据，装置包括：接收模块，配置用于接收用户的对象数据更新请求，其中，对象数据更新请求包括更新请求的类型和待更新的对象数据的身份信息；第一获取模块，配置用于基于待更新的对象数据的身份信息获取待更新的对象数据的元数据；第一执行模块，配置用于基于更新请求的类型对待更新的对象数据的元数据执行第一预定操作；第二获取模块，配置用于基于待更新的对象数据的身份信息获取待更新的对象数据的实际数据；以及第二执行模块，配置用于基于更新请求的类型对待更新的对象数据的实际数据执行第二预定操作。
在一些实施例中，更新请求的类型包括复制请求，待更新的对象数据包括待复制对象数据；待复制对象数据的身份信息包括待复制对象数据的存储地址信息和目标存储地址信息；第一执行模块包括第一复制单元，配置用于将待复制对象数据的元数据作为目标对象数据的元数据存储至目标存储地址；第二执行模块包括第二复制单元，配置用于将待复制对象数据的实际数据作为目标对象数据的实际数据存储到目标存储地址。
在一些实施例中，第一复制单元进一步配置用于：在待复制对象数据的元数据中，添加复制任务标识。
在一些实施例中，待复制对象数据的元数据包括待更新的对象数据的实际数据的当前分片信息；装置还包括元数据更新模块，配置用于：在第二复制单元将待复制对象数据的实际数据作为目标对象数据的实际数据存储到目标存储地址之后，删除复制任务标识，以及更新目标对象数据的元数据，使得目标对象数据的元数据包括目标对象数据的实际数据的当前分片信息。
在一些实施例中，更新请求的类型包括删除请求；待更新的对象数据包括待删除对象数据；待删除对象数据的元数据包括待删除对象数据的实际数据的当前分片信息以及待删除对象数据的实际数据的历史分片信息；第一执行模块包括第一删除单元，配置用于删除待删除对象数据的元数据中的当前分片信息；第二执行模块包括第二删除单元，配置用于删除待删除对象数据的实际数据。
在一些实施例中，第二删除单元进一步配置用于：在删除待删除对象数据的实际数据之后，删除待删除对象数据的元数据中的历史分片信息。
在一些实施例中，对象数据更新请求包括用户身份信息；接收模块还包括权限确定单元，配置用于基于用户身份信息确定用户的操作权限；第一执行模块进一步配置用于：基于权限确定单元确定的用户具有预定操作权限，获取待更新的对象数据的元数据；第二执行模块进一步配置用于：基于权限确定单元确定的用户具有预定操作权限，获取待更新的对象数据的实际数据。
本申请提供的对象存储系统中的对象数据的更新方法和更新装置，在用户请求复制/删除对象数据时，通过分别对对象数据的元数据和实际数据执行复制/删除操作，从而提高复制/删除操作的效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的对象存储系统中的对象数据更新方法的一个实施例的流程图；
图3是根据本申请的对象存储系统中的对象数据的更新方法的另一个实施例的流程图；
图4是根据本申请的对象存储系统中的对象数据的更新方法的再一个实施例的流程图；
图5是根据本申请的对象存储系统中的对象数据更新装置的一个实施例的结构示意图；
图6是根据本申请的对象存储系统的一个实施例的架构图；
图7是适于用来实现本申请实施例的对象数据的更新方法或对象数据的更新装置的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的网页生成方法或网页生成装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如云存储应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是能够与服务器进行数据交互的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving Picture Experts GroupAudio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture ExpertsGroup Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103发起的数据复制、删除请求执行相应的复制、删除操作的存储服务器。存储服务器可以对接收到的数据复制、删除请求等数据进行相应的处理，并将处理结果(例如复制成功消息、删除成功消息等)反馈给终端设备。
需要说明的是，本申请实施例所提供的对象数据的更新方法一般由服务器105执行，相应地，对象数据的更新装置一般设置于服务器105中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的对象存储系统中的对象数据的更新方法的一个实施例的流程200。对象存储系统中存储有多个对象数据，每个对象数据包括元数据和分片存储的实际数据。
在对象存储系统中，对象数据是其中的基本存储单元。每个对象数据又包括了元数据和实际数据。
元数据(Metadata)为用于描述对象数据的数据。例如，元数据可以用来描述对象数据的存储位置、历史操作记录等等。
在一些应用场景中，对象数据中的实际数据可能需要占据较大的存储空间。因此，为了充分地利用存储空间，可以将实际数据进行切分，形成多个数据片(slice)，并将这些数据片存储于相同或者不同的存储区域中。元数据可以包含实际数据的分片信息，例如，每个数据片的大小，存储位置等信息。
所述方法包括以下步骤：
步骤210，接收用户的对象数据更新请求，其中，对象数据更新请求包括更新请求的类型和待更新的对象数据的身份信息。
在本实施例中，对象数据的更新方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从用户使用的终端接收对象数据更新请求。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
在这里，更新请求例如可以理解为旨在对对象存储系统中存储的对象数据产生影响，使得对象存储系统中存储的对象数据(例如，对象数据的存储位置)发生改变的请求。
在一些可选的实现方式中，更新请求的类型例如可以包括但不限于剪切、复制和/或删除等。
待更新的对象数据的身份信息例如可以是与对象存储系统中的各对象数据一一对应的标识，通过该标识，便可访问该对象数据，并对其执行与更新请求对应的操作。
步骤220，基于待更新的对象数据的身份信息获取待更新的对象数据的元数据。
如上所述，身份信息可以是对象存储系统中，与对象数据一一对应的标识，因此，通过身份信息，可以得到对象数据中的元数据。
步骤230，基于更新请求的类型对待更新的对象数据的元数据执行第一预定操作。
如上所述，更新请求的类型例如可以包括但不限于对对象数据的剪切、复制和/或删除等。在接收到更新请求之后，可以在本步骤中先对对象数据中的元数据执行与剪切、复制和/或删除等更新请求的类型相对应的操作。
步骤240，基于待更新的对象数据的身份信息获取待更新的对象数据的实际数据。
与步骤220类似，可以通过对象存储系统中，与待更新的对象数据一一对应的标识(也即身份信息)来得到该待更新的对象数据的存储位置，进而获取该待更新的对象数据的实际数据。
由于对象数据的实际数据是分片存储的，在一些应用场景中，对象数据中的各个数据片有可能存储在对象存储系统中的不同位置。在这些应用场景中，例如，可以通过与待更新的对象数据一一对应的标识获得该待更新的对象数据的元数据，通过查询元数据来获取该待更新的对象数据中各个数据片的存储位置，进而获取到该待更新的对象数据的实际数据。
步骤250，基于更新请求的类型对待更新的对象数据的实际数据执行第二预定操作。
与步骤230类似，在获取到待更新的对象数据的实际数据之后，可以在本步骤中先对对象数据中的实际数据执行与剪切、复制和/或删除等更新请求的类型相对应的操作。
在这里，对待更新的对象数据的元数据执行的第一预定操作和对待更新的对象数据的实际数据执行的第二预定操作均是与更新请求的类型相对应的操作。但在不同的应用场景中，对对象数据的元数据执行的第一预定操作可以与对对象数据的实际数据执行的第二预定操作相同或者不同。
在一些可选的实现方式中，对象数据更新请求还可以包括用户身份信息。
在这些可选的实现方式中，本实施例的对象存储系统中的对象数据的更新方法中步骤210的接收用户的对象数据更新请求还可以包括：基于用户身份信息确定用户的操作权限。
步骤220的基于待更新的对象数据的身份信息获取待更新的对象数据的元数据还可以包括：基于用户具有预定操作权限，获取待更新的对象数据的元数据。
此外，步骤240的基于待更新的对象数据的身份信息获取待更新的对象数据的实际数据还可以包括：基于用户具有预定操作权限，获取待更新的对象数据的实际数据。
也即是说，只有在用户具有相应的操作权限的前提下，才能够获取待更新的对象数据的元数据和/或实际数据。这样一来，可以防止对象数据被不具备权限的用户访问和/或修改，保证了对象存储系统中存储的对象数据的安全。
图3是根据本申请的对象存储系统中的对象数据的更新方法的另一个实施例的流程图300。
在该实施例中，更新请求的类型可包括复制请求，相应地，待更新的对象数据可以包括待复制对象数据。
该实施例的方法可包括以下步骤：
步骤310，接收用户的对象数据复制请求。对象数据复制请求包括待复制对象数据的身份信息。在这里，待复制对象数据的身份信息例如可以包括待复制对象数据的源存储地址信息和目标存储地址信息。
步骤320，基于待复制对象数据的身份信息获取待复制对象数据的元数据。
步骤330，将待复制对象数据的元数据作为目标对象数据的元数据存储至目标存储地址。
可以看出，在完成待复制对象数据的元数据在目标存储地址的存储之后，由于该元数据中所包含的仍然为待复制对象数据的描述信息，尽管此时待复制对象数据未完成复制操作，用户仍可通过位于目标存储地址的该元数据，来访问存储于源存储地址的待复制对象数据的实际数据。
步骤340，基于待复制对象数据的身份信息获取待复制对象数据的实际数据。
步骤350，将待复制对象数据的实际数据作为目标对象数据的实际数据存储到目标存储地址。
通过以上的步骤310～步骤350，可以分别将待复制对象数据的元数据和实际数据分别作为目标对象数据的元数据和目标对象数据的实际数据复制到目标存储地址。此外，通过分别操作待复制对象数据的元数据和实际数据，使得在复制过程中，若用户向相同的对象数据作出其它操作请求，对象存储系统仍然能够通过待复制对象数据的元数据来访问待复制对象数据的实际数据，而无需等待完成复制任务之后再响应用户的该操作请求，从而提高了对用户操作请求的响应速度。
在一些应用场景中，当对象存储系统响应于用户A的对象数据复制请求，对待复制对象数据的元数据和/或实际数据进行复制期间，对象存储系统的另一用户B可能向对象存储系统中相同的对象数据发起删除请求。为了避免该对象数据在完成响应于用户A的对象复制请求执行的对象数据的复制操作之前，响应于用户B的删除请求将该对象数据删除，在一些可选的实现方式中，可以在待复制对象数据的元数据中，添加复制任务标识(步骤331)，并在步骤350的将待复制对象数据的实际数据复制到目标存储地址，生成目标对象数据的实际数据执行完毕之后，删除复制任务标识(步骤360)。
这样一来，若用户B发起对象数据删除请求时，与该删除请求对应的对象数据的元数据中包含复制任务标识，表明该对象数据当前正处于复制操作中。此时，可以暂缓执行与用户B发起的对象数据删除请求对应的操作，待元数据中的复制任务标识删除之后，再针对用户B发起的对象数据删除请求执行相应的操作。
在一些可选的实现方式中，待复制对象数据的元数据可以包括待复制对象数据的实际数据的当前分片信息。在完成步骤350的将待复制对象数据的实际数据作为目标对象数据的实际数据存储到目标存储地址之后，本实施例的方法还可以包括步骤370，更新目标对象数据的元数据，使得目标对象数据的元数据包括目标对象数据的实际数据的当前分片信息。
图4是根据本申请的对象存储系统中的对象数据的更新方法的再一个实施例的流程图400。
在该实施例中，更新请求的类型可以包括删除请求，相应地，待更新的对象数据可以包括待删除对象数据。
该实施例的方法可包括以下步骤：
步骤410，接收用户的对象数据删除请求，对象数据删除请求包括待删除对象数据的身份信息。
步骤420，基于待删除对象数据的身份信息获取待删除对象数据的元数据。在这里，待删除对象数据的元数据可以包括待删除对象数据的实际数据的当前分片信息以及待删除对象数据的实际数据的历史分片信息。其中，历史分片信息中包含了用户对对象数据进行更新的相关信息。用户每更新一次对象数据，均可生成一个与该次更新对应的历史分片信息。
步骤430，删除待删除对象数据的实际数据的当前分片信息。
将待删除对象数据的实际数据的当前分片信息删除之后，用户无法再访问该对象数据。因此，对用户而言，完成步骤430后，即可认为完成了对象数据的删除操作。
步骤440，基于待删除对象数据的身份信息获取待删除对象数据的实际数据。
步骤450，删除待删除对象数据的实际数据。
在完成对待删除对象数据的实际数据的删除之后，对象存储系统中相应的存储区域被释放，进而可用于存储其它的对象数据。
在一些可选的实现方式中，在删除待删除对象数据的实际数据之后，本实施例的对象存储系统中的对象数据的方法还可以包括：
步骤460，删除待删除对象数据的元数据中的历史分片信息。在完成历史分片信息的删除后，待删除对象数据中所包含的全部内容均被删除，对象存储系统中相应的存储区域得以最大程度的释放。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种对象存储系统中的对象数据更新装置的一个实施例500，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
在本实施例中，对象存储系统中的对象数据更新装置包括接收模块510、第一获取模块520、第一执行模块530、第二获取模块540以及第二执行模块550。
本实施例中，对象存储系统中存储有多个对象数据，每个对象数据包括元数据和分片存储的实际数据。
接收模块510可配置用于接收用户的对象数据更新请求，其中，对象数据更新请求可包括更新请求的类型和待更新的对象数据的身份信息。
第一获取模块520可配置用于基于待更新的对象数据的身份信息获取待更新的对象数据的元数据。
第一执行模块530可配置用于基于更新请求的类型对待更新的对象数据的元数据执行第一预定操作。
第二获取模块540可配置用于基于待更新的对象数据的身份信息获取待更新的对象数据的实际数据。
第二执行模块550可配置用于基于更新请求的类型对待更新的对象数据的实际数据执行第二预定操作。
在一些可选的实现方式中，更新请求的类型可包括复制请求，待更新的对象数据的身份信息可包括待更新的对象数据的存储地址信息和目标存储地址信息。
在这些可选的实现方式中，第一执行模块530可进一步包括第一复制单元531，配置用于将待复制对象数据的元数据作为目标对象数据的元数据存储至目标存储地址。
此外，在这些可选的实现方式中，第二执行模块550可进一步包括第二复制单元551，配置用于将待复制对象数据的实际数据作为目标对象数据的实际数据存储到目标存储地址。
在一些可选的实现方式中，第一复制单元531还可进一步配置用于在待复制对象数据的元数据中，添加复制任务标识。
在一些可选的实现方式中，待复制对象数据的元数据还可包括待复制对象数据的实际数据的当前分片信息。本实施例的对象存储系统中的对象数据更新装置还可以包括元数据更新模块(图中未示出)，配置用于在第二复制单元551将待复制对象数据的实际数据作为目标对象数据的实际数据存储到目标存储地址之后，删除复制任务标识，以及更新目标对象数据的元数据，使得目标对象数据的元数据包括目标对象数据的实际数据的当前分片信息。
在一些可选的实现方式中，更新请求的类型可包括删除请求。待删除对象数据的元数据可包括待删除对象数据的实际数据的当前分片信息以及待删除对象数据的实际数据的历史分片信息。
在这些可选的实现方式中，第一执行模块530还可进一步包括第一删除单元532，配置用于删除待删除对象数据的元数据中的当前分片信息。第二执行模块550还可进一步包括第二删除单元552，配置用于删除待删除对象数据的实际数据。
在一些可选的实现方式中，第而删除单元532还可进一步配置用于在删除待删除对象数据的实际数据之后，删除待删除对象数据的元数据中的历史分片信息。
在一些可选的实现方式中，对象数据更新请求包括用户身份信息。在这些可选的实现方式中，接收模块510还可进一步包括权限确定单元511，配置用于基于用户身份信息确定用户的操作权限。在这些可选的实现方式中，第一执行模块530还可进一步配置用于基于权限确定单元511确定的用户具有预定操作权限，获取待更新的对象数据的元数据。第二执行模块550还可进一步配置用于基于权限确定单元511确定的用户具有预定操作权限，获取待更新的对象数据的实际数据。
本领域技术人员可以理解，上述对象存储系统中的对象数据更新装置500还包括一些其他公知结构，例如处理器、存储器等，为了不必要地模糊本公开的实施例，这些公知的结构在图5中未示出。
参见图6所示，为本申请的对象存储系统的一个实施例的架构图600。
在图6所示的对象存储系统中，对象数据的实际数据可以存储在存储区域660中，而对象数据的元数据例如可以存储在存储区域660和/或关系引用数据库680中。存储区域660例如可以是分布式KV(Key-Value，键值-数据)存储器。
网络服务模块610可接收用户的对象数据更新请求，并将该更新请求发送至对象服务模块620。
在一些应用场景中，若更新请求为复制请求，则对象服务模块620先复制待复制对象数据的元数据作为目标对象数据的元数据(例如，可通过存储控制器650来访问存储区域660，以获取相应的元数据，或者，还可通过分布式数据库670访问关系引用数据库680，以获得相应的元数据)，并在元数据中添加复制任务标识。接着，对象服务模块620向执行模块630发起数据复制任务。执行模块630响应于对象服务模块620发起的数据复制任务，将待复制对象数据的实际数据复制至目标存储位置。在完成待复制对象数据的实际数据的复制之后，更新目标对象数据的元数据，使得目标对象数据的元数据包括目标对象数据的实际数据的当前分片信息。
在另一些应用场景中，若更新请求为删除请求，对象服务模块620删除待删除对象数据的元数据中的当前分片信息，并向执行模块630发起数据删除任务。在完成待删除对象数据的元数据中的当前分片信息的删除之后，用户无法再访问该对象数据。接着，执行模块630响应于对象服务模块620发起的数据删除任务，删除待删除对象数据中的实际数据。在完成实际数据的删除之后，执行模块630删除该对象数据的元数据中的历史分片信息。至此，对象存储系统完成了该待删除对象数据的删除，释放了存储空间。
此外，ACL(Access Control List，访问控制列表)单元640还可用于确认发起对象数据更新请求的用户是否具有相应的权限，若有，则对象服务模块620和执行模块630可以通过存储控制器650来访问相应的对象数据，否则，对象服务模块620和执行模块630不可通过存储控制器650来访问相应的对象数据，从而保证了对象存储系统中存储的对象数据的安全性。
此外，执行模块630还可以接受账户服务模块690向其发起的任务(例如，不合法账户的销毁)，并执行相应的操作。
在一些可选的实现方式中，执行模块630例如可以包括管理线程池、数据库、任务队列和执行线程池。管理线程池可接收外界发起的任务，接收到任务后，将该任务写入数据库和任务队列。执行线程池从任务队列中取出相应的任务来执行，并在执行完毕之后修改存储在数据库中的任务的标识(例如，将该任务标识为已完成)。
下面参考图7，其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统700的结构示意图。
如图7所示，计算机系统700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统700操作所需的各种程序和数据。CPU 701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括接收模块、第一获取模块、第一执行模块、第二获取模块以及第二执行模块。其中，这些模块的名称在某种情况下并不构成对该单元本身的限定，例如，接收模块还可以被描述为“接收用户的对象数据更新请求的模块”。
作为另一方面，本申请还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质；也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当所述一个或者多个程序被一个设备执行时，使得所述设备：接收用户的对象数据更新请求，其中，对象数据更新请求包括更新请求的类型和待更新的对象数据的身份信息；基于待更新的对象数据的身份信息获取待更新的对象数据的元数据；基于更新请求的类型对待更新的对象数据的元数据执行第一预定操作；基于待更新的对象数据的身份信息获取待更新的对象数据的实际数据；以及基于更新请求的类型对待更新的对象数据的实际数据执行第二预定操作。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种对象存储系统中的对象数据更新方法，其中，所述对象存储系统中存储有多个所述对象数据，每个所述对象数据包括元数据和分片存储的实际数据；其特征在于，所述方法包括：
接收用户的对象数据更新请求，其中，所述对象数据更新请求包括更新请求的类型和待更新的对象数据的身份信息；
基于所述待更新的对象数据的身份信息获取所述待更新的对象数据的元数据；
基于所述更新请求的类型对所述待更新的对象数据的元数据执行第一预定操作；
基于所述待更新的对象数据的身份信息获取所述待更新的对象数据的实际数据；以及
基于所述更新请求的类型对所述待更新的对象数据的实际数据执行第二预定操作；
所述更新请求的类型包括复制请求，所述待更新的对象数据包括待复制对象数据；所述待复制对象数据的身份信息包括待复制对象数据的源存储地址信息和目标存储地址信息；
所述基于所述更新请求的类型对所述待更新的对象数据的元数据执行第一预定操作包括：将所述待复制对象数据的元数据作为目标对象数据的元数据存储至目标存储地址；
所述基于所述更新请求的类型对所述待更新的对象数据的实际数据执行第二预定操作包括：将所述待复制对象数据的实际数据作为目标对象数据的实际数据存储到目标存储地址。
2.根据权利要求1所述的方法，其特征在于，将所述待复制对象数据的元数据作为目标对象数据的元数据存储至目标存储地址包括：
在所述待复制对象数据的元数据中，添加复制任务标识。
3.根据权利要求2所述的方法，其特征在于，所述待复制对象数据的元数据包括所述待复制对象数据的实际数据的当前分片信息；
在将所述待复制对象数据的实际数据复制到目标存储地址，生成目标对象数据的实际数据之后，所述方法还包括：
删除所述复制任务标识；以及
更新所述目标对象数据的元数据，使得所述目标对象数据的元数据包括所述目标对象数据的实际数据的当前分片信息。
4.根据权利要求1所述的方法，其特征在于，所述更新请求的类型包括删除请求，所述待更新的对象数据包括待删除对象数据；
所述待删除对象数据的元数据包括所述待删除对象数据的实际数据的当前分片信息以及所述待删除对象数据的实际数据的历史分片信息；
所述基于所述更新请求的类型对所述待更新的对象数据的元数据执行第一预定操作包括：删除所述待删除对象数据的实际数据的当前分片信息；
所述基于所述更新请求的类型对所述待更新的对象数据的实际数据执行第二预定操作包括：
删除所述待删除对象数据的实际数据。
5.根据权利要求4所述的方法，其特征在于，在所述删除所述待删除对象数据的实际数据之后，所述方法还包括：
删除所述待删除对象数据的元数据中的所述历史分片信息。
6.根据权利要求1所述的方法，其特征在于，所述对象数据更新请求包括用户身份信息；
所述接收用户的对象数据更新请求包括：基于所述用户身份信息确定用户的操作权限；
所述基于所述待更新的对象数据的身份信息获取所述待更新的对象数据的元数据包括：基于所述用户具有预定操作权限，获取所述待更新的对象数据的元数据；
所述基于所述待更新的对象数据的身份信息获取所述待更新的对象数据的实际数据包括：基于所述用户具有预定操作权限，获取所述待更新的对象数据的实际数据。
7.一种对象存储系统中的对象数据更新装置，其中，所述对象存储系统中存储有多个所述对象数据，每个所述对象数据包括元数据和分片存储的实际数据；其特征在于，所述装置包括：
接收模块，配置用于接收用户的对象数据更新请求，其中，所述对象数据更新请求包括更新请求的类型和待更新的对象数据的身份信息；
第一获取模块，配置用于基于所述待更新的对象数据的身份信息获取所述待更新的对象数据的元数据；
第一执行模块，配置用于基于所述更新请求的类型对所述待更新的对象数据的元数据执行第一预定操作；
第二获取模块，配置用于基于所述待更新的对象数据的身份信息获取所述待更新的对象数据的实际数据；以及
第二执行模块，配置用于基于所述更新请求的类型对所述待更新的对象数据的实际数据执行第二预定操作；所述更新请求的类型包括复制请求，所述待更新的对象数据包括待复制对象数据，所述待复制对象数据的身份信息包括所述待复制对象数据的存储地址信息和目标存储地址信息；
所述第一执行模块包括第一复制单元，配置用于将待复制对象数据的元数据作为所述目标对象数据的元数据存储至目标存储地址；
所述第二执行模块包括第二复制单元，配置用于将所述待复制对象数据的实际数据作为目标对象数据的实际数据存储到目标存储地址。
8.根据权利要求7所述的装置，其特征在于，所述第一复制单元进一步配置用于：
在所述待复制对象数据的元数据中，添加复制任务标识。
9.根据权利要求8所述的装置，其特征在于，所述待复制对象数据的元数据包括所述待复制对象数据的实际数据的当前分片信息；
所述装置还包括元数据更新模块，配置用于：
在所述第二复制单元将所述待复制对象数据的实际数据作为目标对象数据的实际数据存储到目标存储地址之后，删除所述复制任务标识，以及更新所述目标对象数据的元数据，使得所述目标对象数据的元数据包括所述目标对象数据的实际数据的当前分片信息。
10.根据权利要求7所述的装置，其特征在于，所述更新请求的类型包括删除请求，所述待更新的对象数据包括待删除对象数据；待删除对象数据的元数据包括所述待删除对象数据的实际数据的当前分片信息以及所述待删除对象数据的实际数据的历史分片信息；
所述第一执行模块包括第一删除单元，配置用于删除所述待删除对象数据的元数据中的当前分片信息；
所述第二执行模块包括第二删除单元，配置用于删除所述待删除对象数据的实际数据。
11.根据权利要求10所述的装置，其特征在于，所述第二删除单元进一步配置用于：
在删除所述待删除对象数据的实际数据之后，删除所述待删除对象数据的元数据中的所述历史分片信息。
12.根据权利要求7所述的装置，其特征在于，所述对象数据更新请求包括用户身份信息；
所述接收模块还包括权限确定单元，配置用于基于所述用户身份信息确定用户的操作权限；
所述第一执行模块进一步配置用于：基于所述权限确定单元确定的所述用户具有预定操作权限，获取所述待更新的对象数据的元数据；
所述第二执行模块进一步配置用于：基于所述权限确定单元确定的所述用户具有预定操作权限，获取所述待更新的对象数据的实际数据。
CN201610004530.2A 2016-01-04 2016-01-04 对象存储系统中的对象数据的更新方法和更新装置 Active CN105677250B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610004530.2A CN105677250B (zh) 2016-01-04 2016-01-04 对象存储系统中的对象数据的更新方法和更新装置
JP2016163008A JP6348937B2 (ja) 2016-01-04 2016-08-23 オブジェクト記憶システムにおけるオブジェクトデータの更新方法及び更新装置
KR1020160107726A KR101869156B1 (ko) 2016-01-04 2016-08-24 오브젝트 저장 시스템 중의 오브젝트 데이터를 업데이트하기 위한 방법 및 업데이트하기 위한 장치
US15/246,112 US10380103B2 (en) 2016-01-04 2016-08-24 Object data updating method and apparatus in an object storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610004530.2A CN105677250B (zh) 2016-01-04 2016-01-04 对象存储系统中的对象数据的更新方法和更新装置

Publications (2)

Publication Number Publication Date
CN105677250A CN105677250A (zh) 2016-06-15
CN105677250B true CN105677250B (zh) 2019-07-12

Family

ID=56298970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610004530.2A Active CN105677250B (zh) 2016-01-04 2016-01-04 对象存储系统中的对象数据的更新方法和更新装置

Country Status (4)

Country Link
US (1) US10380103B2 (zh)
JP (1) JP6348937B2 (zh)
KR (1) KR101869156B1 (zh)
CN (1) CN105677250B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106250386A (zh) * 2016-07-08 2016-12-21 乐视控股（北京）有限公司 对象存储中删除对象的方法和装置
CN106407465A (zh) * 2016-10-14 2017-02-15 郑州云海信息技术有限公司 一种基于分布式文件系统的文件删除方法和系统
CN108733674B (zh) * 2017-04-14 2021-10-08 宁德时代新能源科技股份有限公司 一种a2l文件合并方法及装置
CN107357808B (zh) * 2017-05-27 2020-11-10 北京五八信息技术有限公司 数据管理方法、装置及设备
CN107786638B (zh) * 2017-09-27 2020-04-14 华为技术有限公司 一种数据处理方法、装置及系统
CN108170372B (zh) * 2017-12-08 2021-02-19 厦门集微科技有限公司 基于云硬盘的数据处理方法和装置
CN109032509A (zh) * 2018-06-29 2018-12-18 郑州云海信息技术有限公司 一种分布式存储系统的数据删除方法及相关装置
CN110896408B (zh) * 2018-09-13 2021-08-13 华为技术有限公司 一种数据处理方法及服务器集群
CN111061721B (zh) * 2018-10-16 2023-07-25 成都鼎桥通信技术有限公司 数据处理方法及装置
JP7322161B2 (ja) * 2019-03-04 2023-08-07 ヒタチ ヴァンタラ エルエルシー 分散システムにおける非同期ストレージ管理
CN109976668A (zh) * 2019-03-14 2019-07-05 北京达佳互联信息技术有限公司 数据删除方法、数据删除装置和计算机可读存储介质
CN110333883B (zh) * 2019-05-31 2023-05-16 厦门网宿有限公司 一种更新持久化数据的方法及装置
CN110659299B (zh) * 2019-08-30 2020-11-10 珠海格力电器股份有限公司 数据更新的方法及装置、前端开发客户端
CN111597149B (zh) * 2020-04-27 2023-03-31 五八有限公司 一种数据库的数据清理方法及装置
CN114598714B (zh) * 2022-03-11 2023-08-18 上海凯翔信息科技有限公司 一种基于云端nas的数据存储系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929958A (zh) * 2012-10-10 2013-02-13 无锡江南计算技术研究所 元数据的处理方法，代理、转发设备，服务器及计算系统
CN103875229A (zh) * 2013-12-02 2014-06-18 华为技术有限公司 异步复制方法、装置与系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0744440A (ja) * 1993-08-04 1995-02-14 Nec Corp データ退避装置
US6058054A (en) * 1999-03-31 2000-05-02 International Business Machines Corporation Method and system for providing an instant backup in a RAID data storage system
US6874035B1 (en) * 2000-02-02 2005-03-29 Storage Technology Corporation System and methods for transforming data from a source to target platform using snapshot
JP2004038400A (ja) * 2002-07-01 2004-02-05 Nippon Hoso Kyokai <Nhk> 記録装置、ファイル管理装置、ファイル管理方法、およびファイル管理プログラム
US7047390B2 (en) * 2003-06-17 2006-05-16 International Business Machines Corporation Method, system, and program for managing a relationship between one target volume and one source volume
US8171101B2 (en) * 2005-09-30 2012-05-01 Cleversafe, Inc. Smart access to a dispersed data storage network
US8285878B2 (en) * 2007-10-09 2012-10-09 Cleversafe, Inc. Block based access to a dispersed data storage network
US8595435B2 (en) * 2009-07-30 2013-11-26 Cleversafe, Inc. Dispersed storage write process
US7574579B2 (en) * 2005-09-30 2009-08-11 Cleversafe, Inc. Metadata management system for an information dispersed storage system
US7464116B2 (en) * 2005-12-28 2008-12-09 Network Appliance, Inc. Method and apparatus for cloning filesystems across computing systems
US8151082B2 (en) * 2007-12-06 2012-04-03 Fusion-Io, Inc. Apparatus, system, and method for converting a storage request into an append data storage command
US8185614B2 (en) * 2007-10-09 2012-05-22 Cleversafe, Inc. Systems, methods, and apparatus for identifying accessible dispersed digital storage vaults utilizing a centralized registry
US8392682B2 (en) * 2008-12-17 2013-03-05 Unisys Corporation Storage security using cryptographic splitting
US8386798B2 (en) * 2008-12-23 2013-02-26 Unisys Corporation Block-level data storage using an outstanding write list
US8281181B2 (en) * 2009-09-30 2012-10-02 Cleversafe, Inc. Method and apparatus for selectively active dispersed storage memory device utilization
US8479078B2 (en) * 2009-10-30 2013-07-02 Cleversafe, Inc. Distributed storage network for modification of a data object
US8352501B2 (en) * 2010-01-28 2013-01-08 Cleversafe, Inc. Dispersed storage network utilizing revision snapshots
US8566354B2 (en) * 2010-04-26 2013-10-22 Cleversafe, Inc. Storage and retrieval of required slices in a dispersed storage network
US9231768B2 (en) * 2010-06-22 2016-01-05 International Business Machines Corporation Utilizing a deterministic all or nothing transformation in a dispersed storage network
JP5873187B2 (ja) * 2012-02-13 2016-03-01 株式会社日立製作所 階層化ストレージシステムの管理装置及び管理方法
US9311187B2 (en) * 2013-01-04 2016-04-12 Cleversafe, Inc. Achieving storage compliance in a dispersed storage network
WO2014203397A1 (ja) * 2013-06-21 2014-12-24 株式会社日立製作所 計算機システム、メタデータ管理方法及びプログラム
US9158472B2 (en) * 2013-06-25 2015-10-13 Google Inc. Hierarchical chunking of objects in a distributed storage system
US10620830B2 (en) * 2013-12-18 2020-04-14 Amazon Technologies, Inc. Reconciling volumelets in volume cohorts
US10079887B2 (en) * 2015-03-31 2018-09-18 International Business Machines Corporation Expanding storage capacity of a set of storage units in a distributed storage network
US10089176B1 (en) * 2015-07-01 2018-10-02 Amazon Technologies, Inc. Incremental updates of grid encoded data storage systems
US10078468B2 (en) * 2016-08-18 2018-09-18 International Business Machines Corporation Slice migration in a dispersed storage network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929958A (zh) * 2012-10-10 2013-02-13 无锡江南计算技术研究所 元数据的处理方法，代理、转发设备，服务器及计算系统
CN103875229A (zh) * 2013-12-02 2014-06-18 华为技术有限公司 异步复制方法、装置与系统

Also Published As

Publication number Publication date
KR20170081557A (ko) 2017-07-12
US10380103B2 (en) 2019-08-13
JP2017123140A (ja) 2017-07-13
CN105677250A (zh) 2016-06-15
KR101869156B1 (ko) 2018-06-19
JP6348937B2 (ja) 2018-06-27
US20170193034A1 (en) 2017-07-06

Similar Documents

Publication Publication Date Title
CN105677250B (zh) 对象存储系统中的对象数据的更新方法和更新装置
JP6629697B2 (ja) 仮想マシンイメージファイルを抽出する方法および装置
US11422898B2 (en) Efficient creation of multiple retention period based representations of a dataset backup
US10620834B2 (en) Managing storage space based on multiple dataset backup versions
US10489345B2 (en) Multiple retention period based representations of a dataset backup
JP6553822B2 (ja) 分散システムにおける範囲の分割および移動
CN107832406B (zh) 海量日志数据的去重入库方法、装置、设备及存储介质
US11294958B2 (en) Managing a distributed knowledge graph
JP2019517042A (ja) オフラインでのハイブリッドアプリケーションへのアクセスの提供
US10776505B2 (en) Data loss prevention for an online content management platform
CN103414759A (zh) 网盘文件传输方法和装置
US20230058148A1 (en) Detection and resolution of data synchronization conflicts
CN109144785A (zh) 用于备份数据的方法和装置
CN106021566A (zh) 一种提高单台数据库并发处理能力的方法、装置及系统
US11223528B2 (en) Management of cloud-based shared content using predictive cost modeling
CN107220248A (zh) 一种用于存储数据的方法和装置
CN103294794A (zh) 一种在线归档和访问文件的系统
US11809381B2 (en) Accessing network based content items by a mobile device while offline
CN105653566B (zh) 一种实现数据库写访问的方法及装置
CN109472540B (zh) 业务处理方法和装置
CN102867247B (zh) 快速部署文件安全外发的办公自动化系统及方法
CN111753141A (zh) 一种数据管理方法及相关设备
CN108008984A (zh) 一种资源文件下载更新方法及装置
CN108376104B (zh) 节点调度方法及装置、计算机可读存储介质
CN111552956A (zh) 一种用于后台管理的角色权限控制方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant