CN113157209A - 一种文件系统到对象存储的数据重建方法及装置 - Google Patents

一种文件系统到对象存储的数据重建方法及装置 Download PDF

Info

Publication number
CN113157209A
CN113157209A CN202110384036.4A CN202110384036A CN113157209A CN 113157209 A CN113157209 A CN 113157209A CN 202110384036 A CN202110384036 A CN 202110384036A CN 113157209 A CN113157209 A CN 113157209A
Authority
CN
China
Prior art keywords
file system
target
index information
target file
object storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110384036.4A
Other languages
English (en)
Other versions
CN113157209B (zh
Inventor
王博然
冯龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Hualu Group Co Ltd
Beijing E Hualu Information Technology Co Ltd
Original Assignee
China Hualu Group Co Ltd
Beijing E Hualu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Hualu Group Co Ltd, Beijing E Hualu Information Technology Co Ltd filed Critical China Hualu Group Co Ltd
Priority to CN202110384036.4A priority Critical patent/CN113157209B/zh
Publication of CN113157209A publication Critical patent/CN113157209A/zh
Application granted granted Critical
Publication of CN113157209B publication Critical patent/CN113157209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/178—Techniques for file synchronisation in file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/1827—Management specifically adapted to NAS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0625—Power saving in storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065—Replication mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种文件系统到对象存储的数据重建方法及装置，其中，该数据重建方法，包括：将目标文件系统复制存储于对象存储系统；根据目标文件系统，确定目标文件系统的目录层级信息以及元数据索引信息；根据目标文件系统的目录层级信息，创建目标对象索引；将元数据索引信息分别写入对应的目标对象索引。通过实施本发明，解决了相关技术中存在的能耗较高、过程较为繁琐且存储性能较低的问题，结合复制目标文件系统以及目标对象索引的创建以及同步，可以在低能耗的条件下，高效、快速的进行对象存储系统的访问，认证过程简单且不受网络传输带宽的限制，还提高了纳管效率。

Description

一种文件系统到对象存储的数据重建方法及装置
技术领域
本发明涉及计算机技术领域，具体涉及一种文件系统到对象存储的数据重建方法及装置。
背景技术
在对象存储系统中，对对象的存取操作是采用RESTful API协议，上述协议对互联网应用而言较为友好，但是对直接使用的用户而言，并不友好且存在技术门槛。
现有技术中实现对象存储协议到网络附属存储(Network Attached Storage，NAS)协议的转换，一般是通过用户在操作系统访问映射后的NAS协议进而实现存取对象存储内容。然而，对象存储是扁平化存储，不存在目录层级的概念，传入NAS的文件在对象存储中的对象名中需要体现目录层级关系。例如，以Linux系统为例，/etc/目录下的profile文件可在对象存储中表示为"*/etc/profile"(*表示任意前缀)。对象存储的这种命名方式可实现对象存储API直接检索、访问及操作文件系统中文件。
相关技术中在面对对象存储纳管文件系统内大量文件且保留目录结构的需求时，通常有两种方法，一种是逐个读取文件，通过对象存储API接口上传，另一种是向协议转换后NAS中直接拷贝。但是，上述方法均存在一些问题，逐个读取文件在面对海量文件时会导致能耗较高、读取过程较为繁琐复杂；协议转换则会降低存储系统的存储性能。
发明内容
有鉴于此，本发明实施例提供了一种文件系统到对象存储的数据重建方法及装置，以解决相关技术中能耗较高、过程较为繁琐且存储性能较低的问题。
根据第一方面，本发明实施例提供了一种文件系统到对象存储的数据重建方法，包括：将目标文件系统复制存储于对象存储系统；根据所述目标文件系统，确定所述目标文件系统的目录层级信息以及元数据索引信息；根据所述目标文件系统的目录层级信息，创建目标对象索引；将所述元数据索引信息分别写入对应的目标对象索引。
可选地，所述元数据索引信息包括：文件类型、目录类型、文件大小、存储路径信息、创建时间信息中的一种或多种。
可选地，该数据重建方法还包括：当接收到用户访问请求时，根据所述用户访问请求，确定对应的元数据索引信息；根据所述元数据索引信息，在对象存储系统内部的目标文件系统中提取对应的目标数据。
可选地，所述根据所述用户访问请求，确定对应的元数据索引信息，包括：解析所述用户访问请求，确定用户的访问对象；根据所述访问对象，确定对应的元数据索引信息。
可选地，所述根据所述元数据索引信息，在对象存储系统内部的目标文件系统中提取对应的目标数据，包括：根据所述元数据索引信息，确定所述访问对象的存储路径信息；根据所述存储路径信息，在对象存储系统内部的目标文件系统中提取对应的目标数据。
可选地，所述访问请求为目标用户通过对象存储系统的预设对象存储接口发送的。
根据第二方面，本发明实施例提供了一种文件系统到对象存储的数据重建装置，包括：复制模块，用于将目标文件系统复制存储于对象存储系统；确定模块，用于根据所述目标文件系统，确定所述目标文件系统的目录层级信息以及元数据索引信息；创建模块，用于根据所述目标文件系统的目录层级信息，创建目标对象索引；写入模块，用于将所述元数据索引信息分别写入对应的目标对象索引。
可选地，该数据重建装置还包括：访问请求接收模块，用于当接收到用户访问请求时，根据所述用户访问请求，确定对应的元数据索引信息；提取模块，用于根据所述元数据索引信息，在对象存储系统内部的目标文件系统中提取对应的目标数据。
根据第三方面，本发明实施例提供了一种计算机设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面或者第一方面的任意一种实施方式中所述的文件系统到对象存储的数据重建方法的步骤。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或者第一方面的任意一种实施方式中所述的文件系统到对象存储的数据重建方法的步骤。
本发明技术方案，具有如下优点：
本发明提供的一种文件系统到对象存储的数据重建方法及装置，其中，该数据重建方法，包括：将目标文件系统复制存储于对象存储系统；根据目标文件系统，确定目标文件系统的目录层级信息以及元数据索引信息；根据目标文件系统的目录层级信息，创建目标对象索引；将元数据索引信息分别写入对应的目标对象索引。
通过实施本发明，解决了相关技术中存在的能耗较高、过程较为繁琐且存储性能较低的问题，结合复制目标文件系统以及目标对象索引的创建以及同步，可以在低能耗的条件下，高效、快速的进行对象存储系统的访问，认证过程简单且不受网络传输带宽的限制，还提高了纳管效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中文件系统到对象存储的数据重建方法的一个具体示例的流程图；
图2为本发明实施例中文件系统到对象存储的数据重建方法的一个示意图；
图3为本发明实施例中文件系统到对象存储的数据重建装置的一个具体示例的原理框图；
图4为本发明实施例中计算机设备的一个具体示例图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
用户需要直接通过HTTP/HTTPS协议进行数据访问，通常会通过curl命令、postman或其它可视化工具执行HTTP/HTTPS请求。但是以上方法，对用惯操作系统上的拖拽复制、右键复制粘贴的用户来讲并不友好。
对象存储是一种用于处理大量非结构化数据的一种海量、高性能、低成本的存储服务。现如今的网络通信数据基本上是非结构化的，其中包括电子邮件、视频、照片、网页、音频文件、传感器数据以及其他类型的媒体内容。
对象存储提供HTTP/HTTPS RESTful API供上层应用调用或用户直接访问，例如通过“GET”获取对象内容，“PUT/POST”上传对象，“DELETE”删除对象。
面对对象存储纳管文件系统内大量文件且保留目录结构的需求，通常有两种方法，方法1是逐个读取文件，通过对象存储API上传，方法2是向协议转换后NAS中直接拷贝。方法1在面对海量文件时的网络带宽会成为一个瓶颈。方法2在方法1的基础上又增加了一层协议转换，由于IO路径变长，还会导致存储效率下降。
本方案相较于方法1和方法2，优点在于将数据迁移和元数据同步分开执行，数据迁移可以使用通过压缩传输、物理拷贝、文件共享等方式实现高效传输，并不会像方法1和方法2一样走网络协议对文件进行逐个传输。
本发明实施例提供了一种文件系统到对象存储的数据重建方法，如图1所示，包括：
步骤S11：将目标文件系统复制存储于对象存储系统；在本实施例中，根据用户需求确定目标文件系统，目标文件系统可以是任意一种文件存储系统，通过压缩传输、物理拷贝、文件共享等等数据传输方式，将目标文件系统复制或者挂载于对象存储系统中，也就是将目标文件的所包含的全部数据信息以及标识信息均复制于对象存储系统内，此时，目标文件系统已经被对象存储系统纳管，也就是说，目标文件系统已经存储于对象存储系统内部。
具体地，可以根据实际应用场景的需求选取数据传输方式，将目标文件系统中的目标信息以及数据传输至对象存储系统中，也可以将目标文件系统挂载至对象存储系统中。
步骤S12：根据目标文件系统，确定目标文件系统的目录层级信息以及元数据索引信息；在本实施例中，确定目标文件系统的目录层级信息以及元数据索引信息。其中，目录层级信息可以表示目标文件系统的各个文件夹的层次关系，例如，目标文件系统包括文件夹1以及文件夹2，文件夹1包括文件夹A1以及文件夹A2，文件夹2包括文件夹B1以及文件夹B2，文件夹A1、文件夹A2、文件夹B1、文件夹B2均分别包括目标文件信息N1、N2、N3、N4，上述各个文件夹与文件之间的层次关系即为目录层级信息；元数据索引信息可以用于表征目标文件信息的存储位置信息、创建时间信息、文件名称信息等等。
步骤S13：根据目标文件系统的目录层级信息，创建目标对象索引；在本实施例中，在对象存储系统中创建与目标文件系统的目录层级信息相同的目标对象索引，也就是说，创建与目标文件系统中各文件夹、各文件相同名称的目标对象索引；例如，当目标文件系统如上述实施例所述时，所述目标对象索引可以为：*/1、*/2、*/1/A1、*/1/A2、*/2/B1、*/2/B2、*/1/A1/N1、*/1/A2/N2、*/2/B1/N3、*/2/B2/N4。
步骤S14：将元数据索引信息分别写入对应的目标对象索引。在本实施例中，将各文件夹以及各目标文件信息对应的元数据索引信息分别写入对应的相同名称的目标对象索引。例如，将文件N4的元数据索引信息写入至名称为*/2/B2/N4的目标对象索引中。
本发明提供的一种文件系统到对象存储的数据重建方法，包括：将目标文件系统复制存储于对象存储系统；根据目标文件系统，确定目标文件系统的目录层级信息以及元数据索引信息；根据目标文件系统的目录层级信息，创建目标对象索引；将元数据索引信息分别写入对应的目标对象索引。
通过实施本发明，解决了相关技术中存在的能耗较高、过程较为繁琐且存储性能较低的问题，结合复制目标文件系统以及目标对象索引的创建以及同步，可以在低能耗的条件下，高效、快速的进行对象存储系统的访问，认证过程简单且不受网络传输带宽的限制，还提高了纳管效率。
作为本发明的一个可选的实施方式，上述元数据索引信息包括：文件类型、目录类型、文件大小、存储路径信息、创建时间信息中的一种或多种。
具体地，文件类型用于表示文件的类别，例如可以是(.docx)，或者是(.pdf)；目标类型可以是用于表征是否为目录；文件大小表示文件的容量，或者是所占的存储系统的大小；存储路径信息是文件或目录在对象存储内文件系统中的存储位置，例如，文件N4的存储路径信息可以是{route_string}/2/B2/N4，其中，route_string为任意字符段；创建时间信息用于表征文件或文件夹生成的时间信息。
作为本发明的一个可选的实施方式，该数据重建方法，还包括：
首先，当接收到用户访问请求时，根据用户访问请求，确定对应的元数据索引信息；在本实施例中，用户访问请求可以是上层用户通过HTTP/HTTPS协议发送的访问请求，也可以上层应用通过HTTP/HTTPS协议发送的访问请求；访问请求可以是用于表征访问文件系统内的目录的请求，或者是访问目标文件系统内目标文件的请求。根据用户访问请求，确定用户访问请求对应的元数据索引信息，也就是确定文件或文件夹对应的元数据索引信息。
其次，根据元数据索引信息，在对象存储系统内部的目标文件系统中提取对应的目标数据。在本实施例中，根据元数据索引信息，在对象存储系统中的目标文件系统，提取对应的文件，即目标数据；具体地，可以是根据元数据索引信息中的存储路径信息提取对应的文件。
本发明实施例提供的一种文件系统到对象存储的数据重建方法，结合用户访问请求，确定索引信息，继而提取对应的目标数据，避免了现有技术的大量数据的网络传输，同时也避免了网络传输过程中的突发问题导致的重复上传问题。
作为本发明的一个可选的实施方式，上述步骤根据用户访问请求，确定对应的元数据索引信息，包括：
首先，解析用户访问请求，确定用户的访问对象；在本实施例中，根据HTTP/HTTPS协议解析用户访问请求，也就是确定用户或上层应用通过对象存储接口访问的对象索引，可以是表征目标文件系统中的文件，例如可以是文件N4。也就是说，根据用户访问请求中指明的对象索引，继而再获取其包含的元数据索引信息。
其次，根据访问对象，确定对应的元数据索引信息。
在本实施例中，根据用户访问请求中的对象的名称信息，确定对应的元数据索引信息，例如，对象存储系统的纳管的目标文件系统的目录层级信息是/mnt/fs/,其下/mnt/fs/user1/工作汇报.docx在对象存储内的对象索引名称为{prefix_string}/mnt/fs/user1/工作汇报.docx，其中，prefix_string为任意字符串，目的是避免冲突。在对象索引的元数据信息中记录存储路径，如{route_string}/fs/工作汇报.docx，其中route_string为对象存储内的文件系统路径，如/data/backup/。通过对象索引保存的存储路径信息，实现数据的访问。
作为本发明的一个可选的实施方式，上述步骤根据元数据索引信息，在对象存储系统内部的目标文件系统中提取对应的目标数据，包括：
根据元数据索引信息，确定访问对象的存储路径信息；根据存储路径信息，在对象存储系统内部的目标文件系统中提取对应的目标数据。
在本实施例中，当根据元数据索引信息确定访问对象在目标文件系统中的存储位置时，在已经被对象存储系统纳管的目标文件系统的对应位置，提取访问对象，也就是目标数据。
作为本发明的一个可选的实施方式，上述步骤中的访问请求为目标用户通过对象存储系统的预设对象存储接口发送的。
以下结合一示意图，详细描述上述实施例中的文件系统到对象存储的数据重建方法，如图2所示：
本方案中目标文件系统的目录及文件可通过压缩传输、物理拷贝、文件共享等传输方式传输至对象存储系统中已纳管的目标文件系统(文件系统)，也就是说，步骤1是将文件系统挂载或传输拷贝至对象存储系统中。步骤2为从文件系统中提取目录或文件的元数据索引信息，即为文件索引；步骤3为在对象存储系统中创建与目录或文件同名的对象索引，将提取到的文件元数据索引信息，写入对象存储内同名对象索引。步骤4为：对象存储系统收到上层用户或上层应用通过对象存储接口传输的访问请求，或者是通过HTTP/HTTPS传输的访问请求。当对象存储系统接收到用户访问请求时，根据用户访问请求在对象索引中提取元数据索引信息，继而根据检索到的元数据索引信息中的位置信息，读取目标文件内容。
本发明实施例提供一种文件系统到对象存储的数据重建装置，如图3所示，包括：
复制模块21，用于将目标文件系统复制存储于对象存储系统；详细实施内容可参见上述方法实施例中步骤S11的相关描述。
确定模块22，用于根据目标文件系统，确定目标文件系统的目录层级信息以及元数据索引信息；详细实施内容可参见上述方法实施例中步骤S12的相关描述。
创建模块23，用于根据目标文件系统的目录层级信息，创建目标对象索引；详细实施内容可参见上述方法实施例中步骤S13的相关描述。
写入模块24，用于将元数据索引信息分别写入对应的目标对象索引。详细实施内容可参见上述方法实施例中步骤S14的相关描述。
本发明提供的一种文件系统到对象存储的数据重建装置，包括：复制模块21，用于将目标文件系统复制存储于对象存储系统；确定模块22，用于根据目标文件系统，确定目标文件系统的目录层级信息以及元数据索引信息；创建模块23，用于根据目标文件系统的目录层级信息，创建目标对象索引；写入模块24，用于将元数据索引信息分别写入对应的目标对象索引。
通过实施本发明，解决了相关技术中存在的能耗较高、过程较为繁琐且存储性能较低的问题，结合复制目标文件系统以及目标对象索引的创建以及同步，可以在低能耗的条件下，高效、快速的进行对象存储系统的访问，认证过程简单且不受网络传输带宽的限制，还提高了纳管效率。
作为本发明的一个可选的实施方式，上述数据重建装置还包括：
访问请求接收模块，用于当接收到用户访问请求时，根据用户访问请求，确定对应的元数据索引信息；详细实施内容可参见上述方法实施例中步骤“当接收到用户访问请求时，根据用户访问请求，确定对应的元数据索引信息”的相关描述。
提取模块，用于根据元数据索引信息，在对象存储系统内部的目标文件系统中提取对应的目标数据。详细实施内容可参见上述方法实施例中步骤“根据元数据索引信息，在对象存储系统内部的目标文件系统中提取对应的目标数据”的相关描述。
本发明实施例还提供了一种计算机设备，如图4所示，该计算机设备可以包括处理器31和存储器32，其中处理器31和存储器32可以通过总线30或者其他方式连接，图4中以通过总线30连接为例。
处理器31可以为中央处理器(Central Processing Unit，CPU)。处理器31还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的文件系统到对象存储的数据重建方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的文件系统到对象存储的数据重建方法。
存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器31所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至处理器31。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器32中，当被所述处理器31执行时，执行如图1所示实施例中的文件系统到对象存储的数据重建方法。
上述计算机设备具体细节可以对应参阅图1所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
本发明实施例还提供了一种非暂态计算机可读介质，非暂态计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行如上述实施例中任意一项描述的文件系统到对象存储的数据重建方法，其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种文件系统到对象存储的数据重建方法，其特征在于，包括：
将目标文件系统复制存储于对象存储系统；
根据所述目标文件系统，确定所述目标文件系统的目录层级信息以及元数据索引信息；
根据所述目标文件系统的目录层级信息，创建目标对象索引；
将所述元数据索引信息分别写入对应的目标对象索引。
2.根据权利要求1所述的方法，其特征在于，所述元数据索引信息包括：文件类型、目录类型、文件大小、存储路径信息、创建时间信息中的一种或多种。
3.根据权利要求2所述的方法，其特征在于，还包括：
当接收到用户访问请求时，根据所述用户访问请求，确定对应的元数据索引信息；
根据所述元数据索引信息，在对象存储系统内部的目标文件系统中提取对应的目标数据。
4.根据权利要求3所述的方法，其特征在于，所述根据所述用户访问请求，确定对应的元数据索引信息，包括：
解析所述用户访问请求，确定用户的访问对象；
根据所述访问对象，确定对应的元数据索引信息。
5.根据权利要求3所述的方法，其特征在于，所述根据所述元数据索引信息，在对象存储系统内部的目标文件系统中提取对应的目标数据，包括：
根据所述元数据索引信息，确定所述访问对象的存储路径信息；
根据所述存储路径信息，在对象存储系统内部的目标文件系统中提取对应的目标数据。
6.根据权利要求3所述的方法，其特征在于，所述访问请求为目标用户通过对象存储系统的预设对象存储接口发送的。
7.一种文件系统到对象存储的数据重建装置，其特征在于，包括：
复制模块，用于将目标文件系统复制存储于对象存储系统；
确定模块，用于根据所述目标文件系统，确定所述目标文件系统的目录层级信息以及元数据索引信息；
创建模块，用于根据所述目标文件系统的目录层级信息，创建目标对象索引；
写入模块，用于将所述元数据索引信息分别写入对应的目标对象索引。
8.根据权利要求7所述的装置，其特征在于，包括：
访问请求接收模块，用于当接收到用户访问请求时，根据所述用户访问请求，确定对应的元数据索引信息；
提取模块，用于根据所述元数据索引信息，在对象存储系统内部的目标文件系统中提取对应的目标数据。
9.一种计算机设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-6中任一项所述的文件系统到对象存储的数据重建方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的文件系统到对象存储的数据重建方法的步骤。
CN202110384036.4A 2021-04-09 2021-04-09 一种文件系统到对象存储的数据重建方法及装置 Active CN113157209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110384036.4A CN113157209B (zh) 2021-04-09 2021-04-09 一种文件系统到对象存储的数据重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110384036.4A CN113157209B (zh) 2021-04-09 2021-04-09 一种文件系统到对象存储的数据重建方法及装置

Publications (2)

Publication Number Publication Date
CN113157209A true CN113157209A (zh) 2021-07-23
CN113157209B CN113157209B (zh) 2024-07-02

Family

ID=76889768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110384036.4A Active CN113157209B (zh) 2021-04-09 2021-04-09 一种文件系统到对象存储的数据重建方法及装置

Country Status (1)

Country Link
CN (1) CN113157209B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158546A (zh) * 2011-02-28 2011-08-17 中国科学院计算技术研究所 一种集群文件系统及其文件服务方法
US20120296944A1 (en) * 2011-05-18 2012-11-22 Greg Thelen Providing virtual files to store metadata
CN103150394A (zh) * 2013-03-25 2013-06-12 中国人民解放军国防科学技术大学 面向高性能计算的分布式文件系统元数据管理方法
CN103150402A (zh) * 2013-03-27 2013-06-12 网宿科技股份有限公司 基于索引编码的虚拟文件系统及建立方法、访问方法
US8924425B1 (en) * 2012-12-06 2014-12-30 Netapp, Inc. Migrating data from legacy storage systems to object storage systems
US9020994B1 (en) * 2012-09-26 2015-04-28 Emc Corporation Client-based migrating of data from content-addressed storage to file-based storage
CN105912710A (zh) * 2016-04-28 2016-08-31 深圳市金立通信设备有限公司 一种管理文件的方法和终端
US20170286707A1 (en) * 2016-03-30 2017-10-05 International Business Machines Corporation Unified file and object storage architecture for clustered file systems
CN109154881A (zh) * 2016-03-25 2019-01-04 Netapp股份有限公司 基于对象的存储复制和恢复
CN109918355A (zh) * 2019-03-05 2019-06-21 杭州前云数据技术有限公司 实现基于对象存储服务的nas的虚拟元数据映射系统和方法
CN110168491A (zh) * 2017-01-06 2019-08-23 甲骨文国际公司 云规模处的zfs块级去重
CN110275864A (zh) * 2019-06-11 2019-09-24 武汉深之度科技有限公司 索引建立方法、数据查询方法及计算设备
CN111949619A (zh) * 2020-07-21 2020-11-17 苏州元核云技术有限公司 动态目录生成方法、系统、电子设备及存储介质
CN112328571A (zh) * 2020-11-25 2021-02-05 创新奇智(重庆)科技有限公司 对象存储方法、装置及通信设备、存储介质
CN112597114A (zh) * 2020-12-23 2021-04-02 跬云(上海)信息科技有限公司 一种基于对象存储的olap预计算引擎优化方法及应用

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158546A (zh) * 2011-02-28 2011-08-17 中国科学院计算技术研究所 一种集群文件系统及其文件服务方法
US20120296944A1 (en) * 2011-05-18 2012-11-22 Greg Thelen Providing virtual files to store metadata
US9020994B1 (en) * 2012-09-26 2015-04-28 Emc Corporation Client-based migrating of data from content-addressed storage to file-based storage
US8924425B1 (en) * 2012-12-06 2014-12-30 Netapp, Inc. Migrating data from legacy storage systems to object storage systems
CN103150394A (zh) * 2013-03-25 2013-06-12 中国人民解放军国防科学技术大学 面向高性能计算的分布式文件系统元数据管理方法
CN103150402A (zh) * 2013-03-27 2013-06-12 网宿科技股份有限公司 基于索引编码的虚拟文件系统及建立方法、访问方法
CN109154881A (zh) * 2016-03-25 2019-01-04 Netapp股份有限公司 基于对象的存储复制和恢复
US20170286707A1 (en) * 2016-03-30 2017-10-05 International Business Machines Corporation Unified file and object storage architecture for clustered file systems
CN105912710A (zh) * 2016-04-28 2016-08-31 深圳市金立通信设备有限公司 一种管理文件的方法和终端
CN110168491A (zh) * 2017-01-06 2019-08-23 甲骨文国际公司 云规模处的zfs块级去重
CN110192176A (zh) * 2017-01-06 2019-08-30 甲骨文国际公司 云对象存储库中受保证的文件系统层次结构数据完整性
CN109918355A (zh) * 2019-03-05 2019-06-21 杭州前云数据技术有限公司 实现基于对象存储服务的nas的虚拟元数据映射系统和方法
CN110275864A (zh) * 2019-06-11 2019-09-24 武汉深之度科技有限公司 索引建立方法、数据查询方法及计算设备
CN111949619A (zh) * 2020-07-21 2020-11-17 苏州元核云技术有限公司 动态目录生成方法、系统、电子设备及存储介质
CN112328571A (zh) * 2020-11-25 2021-02-05 创新奇智(重庆)科技有限公司 对象存储方法、装置及通信设备、存储介质
CN112597114A (zh) * 2020-12-23 2021-04-02 跬云(上海)信息科技有限公司 一种基于对象存储的olap预计算引擎优化方法及应用

Also Published As

Publication number Publication date
CN113157209B (zh) 2024-07-02

Similar Documents

Publication Publication Date Title
US11734125B2 (en) Tiered cloud storage for different availability and performance requirements
US10264039B2 (en) Streaming content and placeholders
KR102128138B1 (ko) 플레이스홀더에 의한 하이드레이션 및 디하이드레이션 기법
EP3555771B1 (en) Systems and methods for list retrieval in a storage device
CN109804359A (zh) 用于将数据回写到存储设备的系统和方法
US20220350779A1 (en) File system cloning method and apparatus
CN107818111A (zh) 一种缓存文件数据的方法、服务器及终端
CN109885577A (zh) 数据处理方法、装置、终端及存储介质
CN114610679A (zh) 存储设备及其数据存储方法、云端存储系统
CN114428764A (zh) 文件写入方法、系统、电子设备及可读存储介质
CN113157209B (zh) 一种文件系统到对象存储的数据重建方法及装置
WO2023040305A1 (zh) 一种数据备份系统及装置
CN109101197A (zh) 一种文件存储和访问方法、装置、文件存储器及系统
US20230123921A1 (en) Facilitating the embedding of block references for reducing file access latency file systems
CN108279851B (zh) 网络存储装置及搭建方法
US8990265B1 (en) Context-aware durability of file variants
US11372816B2 (en) Accessing network based content items by a mobile device while offline
US12099886B2 (en) Techniques for performing clipboard-to-file paste operations
US20230101774A1 (en) Techniques for performing clipboard-to-file paste operations
WO2024082773A1 (zh) 一种迁移文件系统的方法和相关设备
TWI606350B (zh) Cloud file search system and method
CN115525219A (zh) 一种对象数据的存储方法、装置及介质
CN116909992A (zh) 一种通过ntfs符号链接实现系统与对象存储通信的方法
CN110413583A (zh) 一种基于flume系统的日志监控方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant