CN109144416A - 查询数据的方法和装置 - Google Patents

查询数据的方法和装置 Download PDF

Info

Publication number
CN109144416A
CN109144416A CN201810879580.4A CN201810879580A CN109144416A CN 109144416 A CN109144416 A CN 109144416A CN 201810879580 A CN201810879580 A CN 201810879580A CN 109144416 A CN109144416 A CN 109144416A
Authority
CN
China
Prior art keywords
snapshot
storage
timeslice
memory space
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810879580.4A
Other languages
English (en)
Other versions
CN109144416B (zh
Inventor
李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Cloud Computing Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810879580.4A priority Critical patent/CN109144416B/zh
Publication of CN109144416A publication Critical patent/CN109144416A/zh
Priority to EP19845149.4A priority patent/EP3822762A4/en
Priority to PCT/CN2019/095103 priority patent/WO2020024772A1/zh
Application granted granted Critical
Publication of CN109144416B publication Critical patent/CN109144416B/zh
Priority to US17/164,981 priority patent/US11579986B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1469—Backup restoration techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1415—Saving, restoring, recovering or retrying at system level
    • G06F11/1435—Saving, restoring, recovering or retrying at system level using file system or storage system metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2379—Updates performed during online database operations; commit processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/835—Timestamp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/84—Using snapshots, i.e. a logical point-in-time copy of the data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种查询数据的方法和装置，该方法包括：根据时间片将对象存储系统划分为多个存储空间，建立存储空间、时间片和操作记录的映射关系，生成快照后，并记录该快照对应的时间片信息，实现基于该快照的只读、快照回滚、对象变更等业务，能够在不增加额外存储开销的情况下提高查询性能；此外，可以实现针对桶进行只追加而不实际覆盖和删除的操作，从而对客户端的重大业务改造或者重要的桶，实现数据保护的目的。

Description

查询数据的方法和装置
技术领域
本申请涉及存储领域，并且更具体地，涉及一种查询数据的方法和装置。
背景技术
快照(snapshot)是某个数据集在某一特定时刻的镜像，也称为即时拷贝，它是这个数据集的一个完整可用的副本。存储网络行业协会(storage network industryassociation，SNIA)对快照的定义是：关于指定数据集合的一个完全可用拷贝，该拷贝包括相应数据在某个时间点的映像。快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。
现有的快照技术包括全量快照和增量快照两种类型，各自使用了不同的快照技术。其中，全量快照使用镜像分离(split mirror)快照技术在达到预设的快照时间点之前，首先为源数据卷创建并维护一个完整的镜像卷，每次写入数据时，都会往源数据卷和镜像卷同时写入，会占用大量的存储空间。增量快照可以跟踪数据卷和快照卷的变化，当一个新的增量快照生成之后，旧的快照数据将被刷新。
以上列举的都是针对对象的快照技术，例如块和文件等的快照技术，而目前并没有一种针对对象存储系统的快照技术，例如针对对象的容器—桶的快照技术。此外，对于海量数据存储系统，例如云存储等存储空间足够大的存储系统，没有一种快照技术能够使得不影响存储系统业务性能的同时，使得用户能够只读访问对象存储系统的内容。
发明内容
本申请提供一种查询数据的方法和装置，能够提供一种桶级别的快照方法，实现访问某个快照的所有对象内容，同时不影响业务性能。
第一方面，提供了一种查询数据的方法，包括：生成映射关系，该映射关系用于指示针对第一存储对应的N个操作与N个存储空间之间的一一对应关系，其中，该N个操作在不同时刻发生，该N个存储空间中的第一存储空间用于存储经过基于第一操作的处理后的第一存储对象，该第一操作与该第一存储空间对应，该第一存储空间是该N个存储空间中的任一存储空间；生成操作记录，该操作记录用于记录该N个操作的发生时刻；接收第一查询请求，该第一查询请求用于请求查询该第一存储对象在第一时刻的存储状态；根据该操作记录，从该N个操作中确定该第一时刻之前的第一操作；根据该映射关系，确定与该第一操作对应的存储空间中存储的第一存储对象。
通过本申请实施例提供的技术方案，通过时间片的划分，实现客户端在访问存储对象时，能够通过建立快照的方式只读访问该快照的所有对象内容。建立基于时间片的快照的方法，从第一个快照开始的后面每一个时间点都可以形成一个快照，并且不会带来额外的存储开销，并且打快照的过程完全不影响现有业务和读写性能。
结合第一方面，在第一方面的某些实现方式中，该操作记录被划分为N个时间片，且每个时间片中的操作记录包括该时间片的时间信息。
结合第一方面及上述实现方式，在第一方面的某些实现方式中，该生成操作记录，包括：根据该第一操作的时间片的时间信息和该第一存储对象对应的元数据生成新的元数据。
结合第一方面及上述实现方式，在第一方面的某些实现方式中，该第一存储在第一时间片建立第一快照，当该第一存储接收到客户端发送的针对该第一快照的读请求时，该方法还包括：根据该第一快照的快照名确定该第一时间片；根据该第一时间片确定该元数据和该第一存储对象。
结合第一方面及上述实现方式，在第一方面的某些实现方式中，该第一存储在第一时间片建立第一快照，当该第一存储接收到客户端发送的针对该第一快照的回滚请求时，该方法还包括：根据该回滚请求所在的时间片和该第一时间片确定第一时段；删除该第一时段内的所有该操作记录。
应理解，本申请提供的技术方案适合应用于云存储，因为云存储的存储空间足够大，当云存储的数据很重要时，对于删除和变更不是特别频繁的场景下，能够让整个桶快速回滚到某个快照，同时不影响本身的业务能力。
通过上述技术方案，当客户端进行重大业务改造或者有重要的桶，可以通过快照的方式进行保护，当出现意外时可以进行桶级别的整体回滚，达到数据保护的目的。
第二方面，提供了一种查询数据的装置，包括：生成单元，用于生成映射关系，该映射关系用于指示针对第一存储对应的N个操作与N个存储空间之间的一一对应关系，其中，该N个操作在不同时刻发生，该N个存储空间中的第一存储空间用于存储经过基于第一操作的处理后的第一存储对象，该第一操作与该第一存储空间对应，该第一存储空间是该N个存储空间中的任一存储空间；该生成单元，还用于生成操作记录，该操作记录用于记录该N个操作的发生时刻；接收单元，用于接收第一查询请求，该第一查询请求用于请求查询该第一存储对象在第一时刻的存储状态；确定单元，用于根据该操作记录，从该N个操作中确定该第一时刻之前的第一操作；该确定单元，还用于根据该映射关系，确定与该第一操作对应的存储空间中存储的第一存储对象。
结合第二方面，在第二方面的某些实现方式中，该操作记录被划分为N个时间片，且每个时间片中的操作记录包括该时间片的时间信息。
结合第二方面及上述实现方式，在第二方面的某些实现方式中，该生成单元还用于：根据该第一操作的时间片的时间信息和该第一存储对象对应的元数据生成新的元数据。
结合第二方面及上述实现方式，在第二方面的某些实现方式中，该第一存储在第一时间片建立第一快照，当该第一存储接收到客户端发送的针对该第一快照的读请求时，该确定单元还用于：根据该第一快照的快照名确定该第一时间片；根据该第一时间片确定该元数据和该第一存储对象。
结合第二方面及上述实现方式，在第二方面的某些实现方式中，该第一存储在第一时间片建立第一快照，当该第一存储接收到客户端发送的针对该第一快照的回滚请求时，该确定单元还用于：根据该回滚请求所在的时间片和该第一时间片确定第一时段；删除该第一时段内的所有该操作记录。
第三方面，提供了一种查询数据的装置，该快照处理装置包括处理器和通信接口，处理器用于执行程序。当处理器执行代码时，处理器和通信接口实现上述第一方面或第一方面中任意一项该查询数据的方法。
该处理器中可以集成有存储器，或者该处理装置可以包括处理器。
第四方面，本申请提供了一种计算机可读存储介质。该计算机可读存储介质中存储用于快照处理装置执行的程序代码。该程序代码包括用于执行第一方面或第一方面中任意一种可能的实现方式中的快照处理方法的指令。
第五方面，本申请提供了一种包含指令的计算机程序产品。当该计算机程序产品在快照处理装置上运行时，使得快照处理装置执行第一方面或第一方面中任意一种可能的实现方式中的查询数据的方法。
第六方面，本申请提供了一种芯片，该芯片系统包括处理器和通信接口。处理器用于执行程序。当处理器执行代码时，处理器和通信接口实现第一方面或第一方面中任意一种可能的实现方式中的查询数据的方法。
可选地，该芯片还可以包括存储器。进一步地，存储器和处理器可以集成在一起。
附图说明
图1是应用本申请实施例的对象存储系统和客户端之间数据读写过程的示意图。
图2是本申请实施例提供的一例查询数据的方法流程图。
图3是本申请实施例提供的一例桶的示意图。
图4示出了本申请实施例的查询数据的装置的示意性框图。
图5为本申请另一个实施例的查询数据的装置的示意性结构图。
具体实施方式
下面将结合附图，对本申请中的技术方案进行描述。
图1是对象存储系统和客户端之间数据读写过程的示意图。如图1所示，对象存储系统通常采用数据与元数据分离的方式，对象存储系统100可以包括对象语义接口和服务层、元数据存储系统、数据存储系统。其中，对象语义接口和服务层同时和元数据存储系统、数据存储系统连接。
当客户端和对象存储系统之间有正常业务运行时，例如当对象存储系统执行数据写请求过程时，其基本流程如图1所示，包括：对象语义接口和服务层接收到客户端的写请求，对象语义接口和服务层向数据存储系统下发写数据，并得到数据唯一标识或者数据组织形式，如图1中写1操作；对象语义接口和服务层将获得的数据唯一标识连同其他对象的属性合并成元数据一并写入元数据存储系统，如图1中写2操作，元数据存储系统可以通过对象标识唯一地索引到对象的元数据。
当对象存储系统执行数据读请求过程时，其基本流程如图1所示，包括：对象语义接口和服务层根据对象标识向元数据存储系统索引得到对象元数据，并得到数据唯一标识或者数据组织形式，如图1中读1操作；对象语义接口和服务层将获得的数据唯一标识向数据存储系统进行索引得到数据，如图1中读2操作，并连同元数据的其他属性返回给客户端。
随着存储应用需求的提高，用户需要在线方式进行数据保护，快照就是在线存储设备防范数据丢失的有效方法之一。快照是指关于指定的数据集合的一个完全可用拷贝，即快照可以是其所表示的数据的一个副本，也可以是数据的一个复制品。或者可以理解为，快照是一种保护文件系统的数据的技术，用于保护文件系统在某个时间(例如，启动数据备份的时间)所处的状态。具体地实现过程中，快照是指向保存在存储设备中的数据的引用标记或指针。此外，快照能够进行在线数据恢复，当存储设备发生应用故障或者文件破损时可以进行及时的数据恢复，将数据恢复成快照产生时间点的状态；或者，快照可以为存储用户提供另外一个数据访问通道，当元数据进行在线应用处理时，用户可以访问快照数据，还可以利用快照进行测试等工作。
下面简单介绍几种快照技术，按照存储网络行业协会(storage networkindustry association，SNIA)对快照的划分，快照包括全量快照和增量快照两种类型，各自使用了不同的快照技术。其中，全量快照又称为全拷贝快照或原样复制，使用镜像分离(split mirror)快照技术在达到预设的快照时间点之前，首先为源数据卷创建并维护一个完整的镜像卷，每次写入数据时，都会往源数据卷和镜像卷同时写入，这样保证了同一份数据的两个副本分别保存在源数据卷和镜像卷上，并且由两者组成的一个镜像对。在预设快照时间点到达时，镜像对的数据写入操作被停止，镜像卷快速脱离镜像对并转化为快照卷，这样就获得了一份数据快照。快照卷在完成数据快照/数据备份等应用后，将与源数据卷重新进行同步，成为一盒新的镜像卷。
镜像分离快照的好处在于数据隔离性好，使离线访问数据成为可能，并且简化了恢复、复制或存档一块硬盘上的所有数据的过程，最重要的是操作的时间非常短，仅仅是断开镜像卷对所需的时间，通常只有几毫秒，这样小的备份窗口几乎不会对上层应用造成影响。不存在快照卷和源数据卷的相互影响，但这种方式缺乏灵活性，无法在任意时间点为任意的数据卷建立快照。另外，它需要一个或者多个与源数据卷容量相同的镜像卷，占用了大量存储空间，而且写数据时同时写两份，对写入性能影响比较大，在同步镜像时还会降低存储系统的整体性能。
增量快照的特点是可以跟踪数据卷和快照卷的变化。当一个新的增量快照生成之后，旧的快照数据将被刷新。第一个快照和随后创建的每一个增量快照数据上都有时间戳标记，利用时间戳我们能够将快照数据回滚到任意的一个时间点。增量快照技术能够加快后续快照的生成速度，而且仅仅在名义上多消耗了一点空间而已。由此，我们可以提高创建快照的频率，也能让快照保留得更久一点。增量快照可以包括复制写快照(copy-on-write，COW)和重定向写快照(redirect-on-write，ROW)。
COW首先会为每个源数据都创建一张数据指针表用于保存源数据所有数据的物理指针，在创建快照时，存储系统会拷贝出一份源数据指针表的副本，该副本作为快照数据指针表。COW只有在创建快照时才会建立快照卷，该快照卷只占用了相对少量的存储空间，用于保存快照时间点之后源数据卷中被更新的数据。但是，因为创建快照后的每次写入操作都需要先将源数据中的原始数据拷贝到快照中才能开始写入源数据，所以会降低源数据卷的写性能。很显然，如果对同一源数据做了多次快照之后，写性能将会更加低下，因此COW不适合对象存储单桶海量数据下的写性能要求。
ROW源数据创建一个快照之后，对源数据的数据进行了更新操作的话，并不会像COW技术直接修改源数据原始数据，而是再开辟一个新的空间用于存放用于更新原始数据的新的数据。ROW的快照数据指针表保存的是源数据的原始副本，而源数据卷数据指针表保存的则是更新后的副本，这导致在删除快照卷之前需要将快照卷数据指针表指向的数据同步至源数据卷中。而且当创建了多个快照后，会产生一个快照链，使原始数据的访问、快照和源数据的追踪以及快照的删除将变得异常复杂。
目前没有针对整个桶级别的快照，即桶级别的访问某个时间点的办法，对象存储系统的数据复制技术可以实现针对桶级别的复制，但是复制到另外一个桶有一定滞后性，而且没有明确的回滚方法，需要用户自己进行恢复，并且只能按照对象级别回滚。
本申请将提供一种查询数据的方法，同时实现基于时间片的对象存储系统的桶级别的快照方法，提供一种适合对象存储海量数据的特征的实现方法。用户能够只读访问某个快照的所有对象内容，也能够让整个桶快速回滚到某个快照，同时不影响本身的业务性能。
图2是本申请实施例提供的一例查询数据的方法流程图。图3是本申请实施例提供的一例桶的示意图，下面，将结合图2和图3对本申请实施例提供的查询数据的方法进行详细的说明。如图2所示，方法200包括：
S210，生成映射关系，该映射关系用于指示针对第一存储对应的N个操作与N个存储空间之间的一一对应关系，其中，该N个操作在不同时刻发生，该N个存储空间中的第一存储空间用于存储经过基于第一操作的处理后的第一存储对象，该第一操作与该第一存储空间对应，该第一存储空间是该N个存储空间中的任一存储空间。
S220，生成操作记录，该操作记录用于记录该N个操作的发生时刻。
S230，接收第一查询请求，该第一查询请求用于请求查询该第一存储对象在第一时刻的存储状态。
S240，根据该操作记录，从该N个操作中确定该第一时刻之前的第一操作。
S250，根据该映射关系，确定与该第一操作对应的存储空间中存储的第一存储对象。
具体地，以图3为例，图3中最大的矩形框可以看做一个桶，桶可以是存储对象的容器，一个对象必须属于并且只属于一个桶。本申请中，将桶称为“第一存储”或“对象存储系统”。如图3所示，该第一存储可以划分为N个存储空间。即在现有技术的基础上，将该对象存储系统按照时间片进行划分，可以划分为N个存储空间，N为正整数。这里时间片的管理可以通过专门的模块进行维护，应理解，时间片为单调递增，如图3中从时间片1到时间片7的顺序递增。
以一个存储对象1为例，在时间片1所表示的第一存储空间中，存入存储对象1。到了时间片2所表示的第二存储空间，对存储对象1进行重写操作。在S210中所说的映射关系可以理解为存储空间和操作的对应关系，例如，对于存储对象1，第一存储空间对应的操作是新增写入存储对象1，对于第二存储空间，对应的操作是重写存储对象1。这里第二存储空间中重新写入的存储对象1是经过基于重写操作的处理后的第一存储对象，这里的操作记录就是“重写”，即对存储对象1进行变更，但是与现有技术不同的是，本申请的变更只是对存储对象的追加，而不进行实际的覆盖。
同理，对于删除操作，以存储对象2为例，在时间片1所表示的第一存储空间中，存入存储对象2。到了时间片2所表示的第二存储空间，对存储对象2没有任何操作，到了在时间片3所表示的第三存储空间中，对存储对象2进行删除写操作。但是，这里的指示标记了对存储对象2的删除行为，并不进行真正的删除。
当在时间片2所代表的时刻生成了快照A，因为在时间片3针对存储对象2进行了删除操作，则在时间片2之后，就不能访问存储对象2，但是因为该删除行为并不是真正的删除了存储对象2，因此，用户可以通过访问快照A来访问存储对象2。
可选地，该操作记录被划分为N个时间片，且每个时间片中的操作记录包括该时间片的时间信息。根据该第一操作的时间片的时间信息和该第一存储对象对应的元数据生成新的元数据。
当确定某个时间片为快照之后，针对存储对象和桶的所有操作，都不删除或者覆盖原有数据和元数据，而是根据基于时间片的内部版本号生成新的原数据，根据最新的时间片和版本号对桶进行访问。应理解，该访问操作是由客户端发送访问请求等方式来控制打开和关闭，而该对象存储系统不能自主打开。
前面介绍了在对象存储系统中，需要通过元数据和存储对象的映射关系来访问存储对象，在本申请实施例中，因为对对象存储系统增加了时间片的概念，那么为了提高元数据针对时间片的查找和列举，针对对象和桶的所有操作，都可以追加当时操作的时间片信息记录到存储对象元数据当中，同时元数据系统需要增加针对时间片的索引，则在存储对象的访问过程中，可以根据时间片的索引查询存储对象的元数据，再根据存储对象的元数据访问该存储对象。
可选地，该第一存储在第一时间片建立第一快照，当该第一存储接收到客户端发送的针对该第一快照的读请求时，该对象存储系统可以根据该第一快照的快照名确定该第一时间片；根据该第一时间片确定该元数据和该第一存储对象。
当客户端发送访问请求，决定访问某个快照的数据时，对象存储系统先根据快照名找到对应的时间片，再根据该时间片找到对应的元数据和数据进行访问。
在另一种可能的实施方式中，该第一存储在第一时间片建立第一快照，当该第一存储接收到客户端发送的针对该第一快照的回滚请求时，该方法还包括：根据该回滚请求所在的时间片和该第一时间片确定第一时段；删除该第一时段内的所有该操作记录。
当客户端发送访问请求，决定回滚到某个快照的数据时，系统后台根据回滚的时间片和快照的时间片，对两个时间片之间的所有变更进行真正的删除，同时前台访问时忽略次时间段内的所有变更记录。
具体地，以图3的桶为例，在时间片2对应的第二存储空间生成了快照A，当在时间片6对应的第六存储空间生成了快照A的回滚，则，从时间片2到时间片6之间的所有操作都进行删除，即回到时间片2的存储状态。
应理解，本申请提供的技术方案适合应用于云存储，因为云存储的存储空间足够大，当云存储的数据很重要时，对于删除和变更不是特别频繁的场景下，能够让整个桶快速回滚到某个快照，同时不影响本身的业务能力。
通过本申请实施例提供的技术方案，通过时间片的划分，实现客户端在访问存储对象时，能够通过建立快照的方式只读访问该快照的所有对象内容。建立基于时间片的快照的方法，从第一个快照开始的后面每一个时间点都可以形成一个快照，并且不会带来额外的存储开销，并且打快照的过程完全不影响现有业务和读写性能。此外，当客户端进行重大业务改造或者有重要的桶，可以通过快照的方式进行保护，当出现意外时可以进行桶级别的整体回滚，达到数据保护的目的。
以上结合图1至图3对本申请实施例的查询数据的方法做了详细说明。以下，结合图4至图5对本申请实施例的查询数据的装置进行详细说明。
图4示出了本申请实施例的查询数据的装置400的示意性框图，该装置400可以对应上述方法200中描述的对象存储系统，也可以是应用于该对象存储系统的芯片或组件，并且，该装置400中各模块或单元分别用于执行上述方法200中该对象存储系统的所执行的各动作或处理过程，如图4所示，该装置400可以包括：生成单元410、接收单元420和确定单元430。
生成单元410，用于生成映射关系，该映射关系用于指示针对第一存储对应的N个操作与N个存储空间之间的一一对应关系，其中，该N个操作在不同时刻发生，该N个存储空间中的第一存储空间用于存储经过基于第一操作的处理后的第一存储对象，该第一操作与该第一存储空间对应，该第一存储空间是该N个存储空间中的任一存储空间。
该生成单元410，还用于生成操作记录，该操作记录用于记录该N个操作的发生时刻。
接收单元420，用于接收第一查询请求，该第一查询请求用于请求查询该第一存储对象在第一时刻的存储状态。
确定单元430，用于根据该操作记录，从该N个操作中确定该第一时刻之前的第一操作。
该确定单元430，还用于根据该映射关系，确定与该第一操作对应的存储空间中存储的第一存储对象。
可选地，该操作记录被划分为N个时间片，且每个时间片中的操作记录包括该时间片的时间信息。
可选地，该生成单元410还用于：根据该第一操作的时间片的时间信息和该第一存储对象对应的元数据生成新的元数据。
在一种可能的实现方式中，该第一存储在第一时间片建立第一快照，当该第一存储接收到客户端发送的针对该第一快照的读请求时，该确定单元430还用于：根据该第一快照的快照名确定该第一时间片；根据该第一时间片确定该元数据和该第一存储对象。
在另一种可能的实现方式中，该第一存储在第一时间片建立第一快照，当该第一存储接收到客户端发送的针对该第一快照的回滚请求时，该确定单元还用于：根据该回滚请求所在的时间片和该第一时间片确定第一时段；删除该第一时段内的所有该操作记录。
图5为本申请另一个实施例的查询数据的装置的示意性结构图。应理解，图5所示的装置500仅是示例，本申请实施例的查询数据的装置还可以包括其他模块或单元，或者包括与图5中的各个模块的功能相似的模块，或者并非要包括图5中所有模块。
存储器510存储用于实现图2所示的各个模块的功能的程序代码。
处理器520用于执行存储器510中存储的程序代码。
通信接口530用于与存储设备或者存储介质进行通信，读取存储设备或存储介质中的数据，或者向存储设备或存储介质写入数据。
具体地，处理器执行存储器510中存储的程序代码时，处理器520可以调用通信接口530实现图2中查询数据的方法。为了简洁，此处不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种查询数据的方法，其特征在于，包括：
生成映射关系，所述映射关系用于指示针对第一存储对应的N个操作与N个存储空间之间的一一对应关系，其中，所述N个操作在不同时刻发生，所述N个存储空间中的第一存储空间用于存储经过基于第一操作的处理后的第一存储对象，所述第一操作与所述第一存储空间对应，所述第一存储空间是所述N个存储空间中的任一存储空间；
生成操作记录，所述操作记录用于记录所述N个操作的发生时刻；
接收第一查询请求，所述第一查询请求用于请求查询所述第一存储对象在第一时刻的存储状态；
根据所述操作记录，从所述N个操作中确定所述第一时刻之前的第一操作；
根据所述映射关系，确定与所述第一操作对应的存储空间中存储的第一存储对象。
2.根据权利要求1所述的方法，其特征在于，所述操作记录被划分为N个时间片，且每个时间片中的操作记录包括所述时间片的时间信息。
3.根据权利要求2所述的方法，其特征在于，所述生成操作记录，包括：
根据所述第一操作的时间片的时间信息和所述第一存储对象对应的元数据生成新的元数据。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第一存储在第一时间片建立第一快照，当所述第一存储接收到客户端发送的针对所述第一快照的读请求时，所述方法还包括：
根据所述第一快照的快照名确定所述第一时间片；
根据所述第一时间片确定所述元数据和所述第一存储对象。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述第一存储在第一时间片建立第一快照，当所述第一存储接收到客户端发送的针对所述第一快照的回滚请求时，所述方法还包括：
根据所述回滚请求所在的时间片和所述第一时间片确定第一时段；
删除所述第一时段内的所有所述操作记录。
6.一种查询数据的装置，其特征在于，包括：
生成单元，用于生成映射关系，所述映射关系用于指示针对第一存储对应的N个操作与N个存储空间之间的一一对应关系，其中，所述N个操作在不同时刻发生，所述N个存储空间中的第一存储空间用于存储经过基于第一操作的处理后的第一存储对象，所述第一操作与所述第一存储空间对应，所述第一存储空间是所述N个存储空间中的任一存储空间；
所述生成单元，还用于生成操作记录，所述操作记录用于记录所述N个操作的发生时刻；
接收单元，用于接收第一查询请求，所述第一查询请求用于请求查询所述第一存储对象在第一时刻的存储状态；
确定单元，用于根据所述操作记录，从所述N个操作中确定所述第一时刻之前的第一操作；
所述确定单元，还用于根据所述映射关系，确定与所述第一操作对应的存储空间中存储的第一存储对象。
7.根据权利要求6所述的装置，其特征在于，所述操作记录被划分为N个时间片，且每个时间片中的操作记录包括所述时间片的时间信息。
8.根据权利要求7所述的装置，其特征在于，所述生成单元还用于：
根据所述第一操作的时间片的时间信息和所述第一存储对象对应的元数据生成新的元数据。
9.根据权利要求6至8中任一项所述的装置，其特征在于，所述第一存储在第一时间片建立第一快照，当所述第一存储接收到客户端发送的针对所述第一快照的读请求时，所述确定单元还用于：
根据所述第一快照的快照名确定所述第一时间片；
根据所述第一时间片确定所述元数据和所述第一存储对象。
10.根据权利要求6至8中任一项所述的装置，其特征在于，所述第一存储在第一时间片建立第一快照，当所述第一存储接收到客户端发送的针对所述第一快照的回滚请求时，所述确定单元还用于：
根据所述回滚请求所在的时间片和所述第一时间片确定第一时段；
删除所述第一时段内的所有所述操作记录。
11.一种查询数据的装置，其特征在于，所述快照处理装置包括处理器和通信接口，处理器用于执行程序，当处理器执行代码时，所述处理器和所述通信接口用于实现权利要求1至5中任意一项所述的查询数据的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至5中任意一项查询数据的方法。
CN201810879580.4A 2018-08-03 2018-08-03 查询数据的方法和装置 Active CN109144416B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810879580.4A CN109144416B (zh) 2018-08-03 2018-08-03 查询数据的方法和装置
EP19845149.4A EP3822762A4 (en) 2018-08-03 2019-07-08 DATA INTERROGATION PROCESS AND APPARATUS
PCT/CN2019/095103 WO2020024772A1 (zh) 2018-08-03 2019-07-08 查询数据的方法和装置
US17/164,981 US11579986B2 (en) 2018-08-03 2021-02-02 Data query method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810879580.4A CN109144416B (zh) 2018-08-03 2018-08-03 查询数据的方法和装置

Publications (2)

Publication Number Publication Date
CN109144416A true CN109144416A (zh) 2019-01-04
CN109144416B CN109144416B (zh) 2020-04-28

Family

ID=64791418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810879580.4A Active CN109144416B (zh) 2018-08-03 2018-08-03 查询数据的方法和装置

Country Status (4)

Country Link
US (1) US11579986B2 (zh)
EP (1) EP3822762A4 (zh)
CN (1) CN109144416B (zh)
WO (1) WO2020024772A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109922490A (zh) * 2019-01-28 2019-06-21 行目数据科技有限公司 一种数据防中断持续传输管理系统
WO2020024772A1 (zh) * 2018-08-03 2020-02-06 华为技术有限公司 查询数据的方法和装置
CN111857602A (zh) * 2020-07-31 2020-10-30 重庆紫光华山智安科技有限公司 数据处理方法、装置、数据节点及存储介质
WO2021052230A1 (zh) * 2019-09-18 2021-03-25 华为技术有限公司 一种存储系统、存储节点和数据存储方法
CN112751895A (zh) * 2019-10-30 2021-05-04 千寻位置网络有限公司 通信连接保活方法及其系统
CN116521094A (zh) * 2023-07-03 2023-08-01 之江实验室 一种元数据存储方法、装置、计算机设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11422897B2 (en) * 2019-07-31 2022-08-23 Rubrik, Inc. Optimizing snapshot image processing

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1740981A (zh) * 2005-08-12 2006-03-01 西安三茗科技有限责任公司 一种计算机硬盘数据多时间点快速存储与恢复方法
CN101777016A (zh) * 2010-02-08 2010-07-14 北京同有飞骥科技有限公司 一种连续数据保护系统的快照存储和数据恢复方法
CN102084330A (zh) * 2008-04-06 2011-06-01 弗森-艾奥公司 用于有效地映射虚拟地址和物理地址的装置、系统和方法
CN103677834A (zh) * 2013-12-16 2014-03-26 北京经纬恒润科技有限公司 一种信号操作处理方法及装置
US20150193315A1 (en) * 2014-01-07 2015-07-09 Electronics And Telecommunications Research Institute Method and device for managing multiple snapshots of data strorage device
CN105677687A (zh) * 2014-11-21 2016-06-15 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN106897168A (zh) * 2017-01-11 2017-06-27 广东小天才科技有限公司 一种移动设备的系统恢复方法及装置
CN107203331A (zh) * 2016-03-17 2017-09-26 中兴通讯股份有限公司 写数据的方法及装置
CN107426605A (zh) * 2017-04-21 2017-12-01 北京疯景科技有限公司 数据处理方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206961B1 (en) * 2002-09-30 2007-04-17 Emc Corporation Preserving snapshots during disk-based restore
US7287133B2 (en) * 2004-08-24 2007-10-23 Symantec Operating Corporation Systems and methods for providing a modification history for a location within a data store
CN102843396B (zh) * 2011-06-22 2018-03-13 中兴通讯股份有限公司 一种分布式缓存系统中的数据写入及读取方法及装置
CN102541750A (zh) * 2011-12-31 2012-07-04 曙光信息产业股份有限公司 数据快照的实现方法和装置
US10509776B2 (en) * 2012-09-24 2019-12-17 Sandisk Technologies Llc Time sequence data management
CN104657362B (zh) * 2013-11-18 2018-07-10 深圳市腾讯计算机系统有限公司 数据存储、查询方法和装置
US9921769B2 (en) * 2014-06-19 2018-03-20 Cohesity, Inc. Making more active use of a secondary storage system
JP6708929B2 (ja) * 2016-08-15 2020-06-10 富士通株式会社 ストレージ制御装置、ストレージシステムおよびストレージ制御プログラム
CN109144416B (zh) * 2018-08-03 2020-04-28 华为技术有限公司 查询数据的方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1740981A (zh) * 2005-08-12 2006-03-01 西安三茗科技有限责任公司 一种计算机硬盘数据多时间点快速存储与恢复方法
CN102084330A (zh) * 2008-04-06 2011-06-01 弗森-艾奥公司 用于有效地映射虚拟地址和物理地址的装置、系统和方法
CN101777016A (zh) * 2010-02-08 2010-07-14 北京同有飞骥科技有限公司 一种连续数据保护系统的快照存储和数据恢复方法
CN103677834A (zh) * 2013-12-16 2014-03-26 北京经纬恒润科技有限公司 一种信号操作处理方法及装置
US20150193315A1 (en) * 2014-01-07 2015-07-09 Electronics And Telecommunications Research Institute Method and device for managing multiple snapshots of data strorage device
CN105677687A (zh) * 2014-11-21 2016-06-15 阿里巴巴集团控股有限公司 一种数据处理方法及装置
CN107203331A (zh) * 2016-03-17 2017-09-26 中兴通讯股份有限公司 写数据的方法及装置
CN106897168A (zh) * 2017-01-11 2017-06-27 广东小天才科技有限公司 一种移动设备的系统恢复方法及装置
CN107426605A (zh) * 2017-04-21 2017-12-01 北京疯景科技有限公司 数据处理方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020024772A1 (zh) * 2018-08-03 2020-02-06 华为技术有限公司 查询数据的方法和装置
US11579986B2 (en) 2018-08-03 2023-02-14 Huawei Cloud Computing Technologies Co., Ltd. Data query method and apparatus
CN109922490A (zh) * 2019-01-28 2019-06-21 行目数据科技有限公司 一种数据防中断持续传输管理系统
CN109922490B (zh) * 2019-01-28 2022-01-28 广东中视信息科技有限公司 一种数据防中断持续传输管理系统
WO2021052230A1 (zh) * 2019-09-18 2021-03-25 华为技术有限公司 一种存储系统、存储节点和数据存储方法
CN112751895A (zh) * 2019-10-30 2021-05-04 千寻位置网络有限公司 通信连接保活方法及其系统
CN111857602A (zh) * 2020-07-31 2020-10-30 重庆紫光华山智安科技有限公司 数据处理方法、装置、数据节点及存储介质
CN116521094A (zh) * 2023-07-03 2023-08-01 之江实验室 一种元数据存储方法、装置、计算机设备和存储介质
CN116521094B (zh) * 2023-07-03 2023-11-14 之江实验室 一种元数据存储方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN109144416B (zh) 2020-04-28
EP3822762A1 (en) 2021-05-19
US20210157685A1 (en) 2021-05-27
EP3822762A4 (en) 2021-09-01
US11579986B2 (en) 2023-02-14
WO2020024772A1 (zh) 2020-02-06

Similar Documents

Publication Publication Date Title
CN109144416A (zh) 查询数据的方法和装置
US10956364B2 (en) Efficient data synchronization for storage containers
US10997035B2 (en) Using a snapshot as a data source
CN111124301B (zh) 一种对象存储设备的数据一致性存储方法及系统
US10831614B2 (en) Visualizing restoration operation granularity for a database
JP6309103B2 (ja) スナップショットおよびクローンの複製
US9003374B2 (en) Systems and methods for continuous data replication
US6643671B2 (en) System and method for synchronizing a data copy using an accumulation remote copy trio consistency group
US10067722B2 (en) Storage system for provisioning and storing data to a virtual disk
US9864530B2 (en) Method for writing data to virtual disk using a controller virtual machine and different storage and communication protocols on a single storage platform
US20160004449A1 (en) Storage system with virtual disks
US20160004450A1 (en) Storage system with virtual disks
US20160004611A1 (en) Storage system with virtual disks
US20160004480A1 (en) Storage system with virtual disks
US20160004603A1 (en) Storage system with virtual disks
US20060047926A1 (en) Managing multiple snapshot copies of data
US20160004451A1 (en) Storage system with virtual disks
CN109725851A (zh) 智能快照分层
JP2005528684A5 (zh)
US9733869B1 (en) Provisioning a slave for data storage using metadata with updated references
JP2007241486A (ja) 記憶装置システム
CN102073739A (zh) 带有快照功能的分布式文件系统中的数据读与数据写方法
CN109933632A (zh) 一种数据库的数据迁移方法、装置及设备
CN106648993A (zh) 一致性组快照管理的方法及装置
US20220155962A1 (en) Efficient backup after a restore operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220210

Address after: 550025 Huawei cloud data center, jiaoxinggong Road, Qianzhong Avenue, Gui'an New District, Guiyang City, Guizhou Province

Patentee after: Huawei Cloud Computing Technology Co.,Ltd.

Address before: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Patentee before: HUAWEI TECHNOLOGIES Co.,Ltd.