CN114466083A - 支持协议互通的数据存储系统 - Google Patents

支持协议互通的数据存储系统 Download PDF

Info

Publication number
CN114466083A
CN114466083A CN202210062667.9A CN202210062667A CN114466083A CN 114466083 A CN114466083 A CN 114466083A CN 202210062667 A CN202210062667 A CN 202210062667A CN 114466083 A CN114466083 A CN 114466083A
Authority
CN
China
Prior art keywords
data
protocol
storage
file
system supporting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210062667.9A
Other languages
English (en)
Other versions
CN114466083B (zh
Inventor
卢行
杨瑞峰
胥昕
王豪迈
张旭明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xingchen Tianhe Technology Co ltd
Original Assignee
Beijing Xingchen Tianhe Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xingchen Tianhe Technology Co ltd filed Critical Beijing Xingchen Tianhe Technology Co ltd
Priority to CN202210062667.9A priority Critical patent/CN114466083B/zh
Publication of CN114466083A publication Critical patent/CN114466083A/zh
Application granted granted Critical
Publication of CN114466083B publication Critical patent/CN114466083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08—Protocols for interworking; Protocol conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种支持协议互通的数据存储系统。该系统包括：协议层，用于接收访问请求，并对访问请求进行解析，得到解析结果，其中，协议层包括第一解析模块和第二解析模块，第一解析模块用于解析对象存储协议的访问请求，第二解析模块用于解析文件存储协议的访问请求，解析结果为数据读取请求或数据写入请求；存储端，用于存储数据写入请求所请求写入的数据，还用于输出数据读取请求所请求读取的数据，其中，存储端包括多个存储装置以及分布式数据库，多个存储装置用于存储数据，分布式数据库用于存储已存储数据的元数据。通过本申请，解决了相关技术中通过协议转换装置实现S3中的协议和NAS中的协议的转换，导致存储系统的性能下降的问题。

Description

支持协议互通的数据存储系统
技术领域
本申请涉及数据存储技术领域，具体而言，涉及一种支持协议互通的数据存储系统。
背景技术
随着大数据时代到来，数据呈爆发式增长，产生的海量数据中80％是非结构化数据，对传统存储带来严峻挑战。传统应用通常把数据存储在NAS(Network AttachedStorage，网络附属存储)上，而对象存储作为一种新兴的存储方式，提供了更为简单易用的S3接口，受到诸多应用的青睐，传统应用面临存储方式的切换。与此同时，在较多场景下需要在应用对接不同的业务需求，应用需要共同支持S3和NAS中的协议访问。
为了实现应用需要共同支持S3和NAS中的协议访问，相关技术中出现了以下方案：常借助一些协议转换应用，实现S3和NAS的相互转换，该方式虽然能够实现S3和NAS的相互转换，带来的问题是性能衰减和兼容性差。
针对相关技术中通过协议转换装置实现S3中的协议和NAS中的协议的转换，导致存储系统的性能下降的问题，目前尚未提出有效的解决方案。
发明内容
本申请提供一种支持协议互通的数据存储系统，以解决相关技术中通过协议转换装置实现S3中的协议和NAS中的协议的转换，导致存储系统的性能下降的问题。
根据本申请的一个方面，提供了一种支持协议互通的数据存储系统。该支持协议互通的数据存储系统包括：协议层，用于接收访问请求，并对访问请求进行解析，得到解析结果，其中，协议层包括第一解析模块和第二解析模块第一解析模块用于解析对象存储协议的访问请求，第二解析模块用于解析文件存储协议的访问请求，解析结果为数据读取请求或数据写入请求；存储端，用于存储数据写入请求所请求写入的数据，还用于输出数据读取请求所请求读取的数据，其中，存储端包括多个存储装置以及分布式数据库，多个存储装置用于存储数据，分布式数据库用于存储已存储数据的元数据。
可选地，在存储后端通过存储桶存储对象对应的元数据，通过文件夹存储文件对应的元数据，在协议层支持文件存储协议的访问请求的情况下，存储桶不支持预设特性，其中，预设特性至少包括以下之一：多版本存储特性、存储桶策略、加密、压缩。
可选地，通过索引节点存储文件夹对应的元数据，其中，在文件夹的名称发生变化的情况下，修改文件夹对应的索引节点的名称。
可选地，协议层支持通过软链接的接口访问存储端中的数据。
可选地，存储装置中的数据关联有对象权限和文件权限之间的映射关系，其中，对象权限为通过对象存储协议处理数据时确定的控制权限，文件权限为通过文件存储协议处理数据时确定的控制权限。
可选地，在通过对象存储协议处理由文件存储协议存储的数据的情况下，通过映射关系确定数据对应的对象权限，并在对象权限下处理数据。
可选地，在通过文件存储协议处理由对象存储协议存储的数据的情况下，通过映射关系确定数据对应的文件权限，并在文件权限下处理数据。
可选地，在通过文件存储协议向存储端分段上传数据时，将分段上传任务对应的数据写入创建的临时文件夹，并在分段上传任务对应的所有数据上传完成的情况下，将临时文件夹的命名格式修改为对象的命名格式。
可选地，在通过文件存储协议向存储端分段上传数据时，通过删除临时文件的方式取消分段上传任务。
可选地，在通过文件存储协议向存储端上传数据时，计算上传任务对应的MD5值，并通过对象存储协议返回上传任务对应的MD5值。
通过本申请，协议层，用于接收访问请求，并对访问请求进行解析，得到解析结果，其中，协议层包括第一解析模块和第二解析模块第一解析模块用于解析对象存储协议的访问请求，第二解析模块用于解析文件存储协议的访问请求，解析结果为数据读取请求或数据写入请求；存储端，用于存储数据写入请求所请求写入的数据，还用于输出数据读取请求所请求读取的数据，其中，存储端包括多个存储装置以及分布式数据库，多个存储装置用于存储数据，分布式数据库用于存储已存储数据的元数据，解决了相关技术中通过协议转换装置实现S3中的协议和NAS中的协议的转换，导致存储系统的性能下降的问题。通过协议层支持对象存储协议和文件存储协议的访问，并将数据和元数据存储至共同的存储端，进而达到了提高存储系统的性能的效果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例提供的支持协议互通的数据存储系统的示意图；
图2是根据本申请实施例提供的可选的支持协议互通的数据存储系统的示意图；
图3是根据相关技术中提供的对象存储场景的数据结构的示意图；
图4是根据本申请实施例提供的协议互通场景下的数据存储结构的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为了便于描述，以下对本申请实施例涉及的部分名词或术语进行说明：
RGW：Rados Gateway，对象存储网关；
S3：Simple Storage Service，简单存储服务；
NAS：Network Attached Storage，网络附属存储；
ACL：Access Control List，权限控制列表。
根据本申请的实施例，提供了一种支持协议互通的数据存储系统。
图1是根据本申请实施例的支持协议互通的数据存储系统的示意图。如图1所示，该系统包括：
协议层10，用于接收访问请求，并对访问请求进行解析，得到解析结果，其中，协议层包括第一解析模块和第二解析模块第一解析模块用于解析对象存储协议的访问请求，第二解析模块用于解析文件存储协议的访问请求，解析结果为数据读取请求或数据写入请求。
图2是可选的支持协议互通的数据存储系统的示意图,如图2所示，对象存储协议可以为简单存储服务(S3中的协议，Simple Storage Service)中的http协议。文件存储协议可以为网络附属服务(即为NAS，Network Attached Storage)中的NFS(即为网络文件系统，Network File System)、SMB(一种协议名，Server Message Block)、FTP(即为文件传输协议，File Transfer Protocol)协议。S3中的桶与NAS中的文件夹对应，S3中的对象与NAS中的文件对应。
由于对象是扁平化数据结构，在本申请实施例中，在创建对象时会遍历检查创建文件夹对象，从而实现对象存储与文件存储的兼容。例如，通过S3中的协议在写入“bucket/a/b/1.txt”时会检查创建“bucket/a/”和“bucket/a/b”，最终写入“bucket/a/b/1.txt”对象，以实现对象存储与文件存储的兼容。
具体地，在进行数据存储时，解析用户的请求，判断请求所采用的协议是S3中的协议还是NAS中的协议，经过协议解析后将数据统一存储至存储端20，在进行数据读取时，同样可以通过S3中的协议和NAS中的协议从存储端20读取所需的数据，也即，用户分别可以通过对象存储协议和文件存储协议访问支持协议互通的数据存储系统，从而实现了对象存储与文件存储的协议互通。
存储端20，用于存储数据写入请求所请求写入的数据，还用于输出数据读取请求所请求读取的数据，其中，存储端包括多个存储装置以及分布式数据库，多个存储装置用于存储数据，分布式数据库用于存储已存储数据的元数据。
具体地，存储端20存储数据和元数据，其中数据的存储支持多种存储装置存储，例如，存储桶(或NAS根文件夹)存储配置信息，数据写入过程根据配置信息自适应写入RGW(RADOS Gateway，对象存储网关)、S3(Simple Storage Service，简单存储服务)、NAS(Network Attached Storage，网络附属存储)和POSIX(Portable Operating SystemInterface，可移植操作系统接口)等存储装置，元数据的存储采用分布式数据库写入，例如，可以采用FDB数据库(FoundationDB)进行存储，本实施例不限定分布式数据库的形式。
本申请实施例提供的支持协议互通的数据存储系统，通过协议层10，用于接收访问请求，并对访问请求进行解析，得到解析结果，其中，协议层包括第一解析模块和第二解析模块第一解析模块用于解析对象存储协议的访问请求，第二解析模块用于解析文件存储协议的访问请求，解析结果为数据读取请求或数据写入请求；存储端20，用于存储数据写入请求所请求写入的数据，还用于输出数据读取请求所请求读取的数据，其中，存储端包括多个存储装置以及分布式数据库，多个存储装置用于存储数据，分布式数据库用于存储已存储数据的元数据，解决了相关技术中通过协议转换装置实现S3中的协议和NAS中的协议的转换，导致存储系统的性能下降的问题。通过协议层支持对象存储协议和文件存储协议的访问，并将数据和元数据存储至共同的存储端，进而达到了提高存储系统的性能的效果。
可选地，在本申请实施例提供的支持协议互通的数据存储系统中，在存储后端通过存储桶存储对象对应的元数据，通过文件夹存储文件对应的元数据，在协议层支持文件存储协议的访问请求的情况下，存储桶不支持预设特性，其中，预设特性至少包括以下之一：多版本存储特性、存储桶策略、加密、压缩。
需要说明的是，S3和NAS存在一些特性之间的差异，如S3中的协议支持存储桶的多版本存储、存储桶策略(policy)、加密、压缩等特性，而NAS中的协议不支持上述特性，因此，在创建存储桶的时候，若存储桶支持NAS中的协议访问，则需要创建指定flag禁用以上特性，从而支持协议互通；若存储桶不支持NAS中的协议访问，则存储桶支持多版本和policy等特性，不支持协议互通。因此，在创建存储桶时，先确定是否支持协议互通，若支持协议互通，则禁用用户多版本等相关特性，若不支持协议互通，则支持用户多版本等相关特性。
为了实现文件的重命名，可选地，在本申请实施例提供的支持协议互通的数据存储系统中，通过索引节点存储文件夹对应的元数据，其中，在文件夹的名称发生变化的情况下，修改文件夹对应的索引节点的名称。
需要说明的是，原有的对象存储是扁平化的数据结构存储方式，无目录树的概念，无法对文件夹进行重命名或者只能采用递归的方式进行重命名。而在存储桶支持协议互通场景中，能够实现文件的重命名。例如，如图3所示，可以采用“Inode”方式存储文件夹对应的元数据，从而支持S3文件夹重命名，如图4所示，协议互通后只会存储“/inode1”和“/at.pdf”对象，其他的对象存储在“Inode1”中，当文件夹名称变化后只需要修改“Inode”对应的名称，并修改桶的元数据索引列表，从而优化文件存储接口对文件夹进行重命名。
为了提高数据访问的便捷性，可选地，在本申请实施例提供的支持协议互通的数据存储系统中，协议层支持通过软链接的接口访问存储端中的数据。
需要说明的是，相关技术中针对文件存储支持软链接的接口(提供快捷方式访问存储端20内存储的数据)，针对对象存储不支持软链接，而在本实施例中，设置对象存储也支持软链接，从而实现协议互通。
为了实现文件存储和对象存储的权限转换，可选地，在本申请实施例提供的支持协议互通的数据存储系统中，存储装置中的数据关联有对象权限和文件权限之间的映射关系，其中，对象权限为通过对象存储协议处理数据时确定的控制权限，文件权限为通过文件存储协议处理数据时确定的控制权限。
需要说明的是，对象存储桶和对象分别有控制权限，文件也有对应的控制权限，通过ACL(Access Control List，权限控制列表)存款控制权限。其中，对象和存储桶的控制权限是一致的，文件夹和文件的权限是一致的。本实施例针对S3对象和NAS文件的权限控制和群组，提供一种控制方法实现转换，如表1和表2所示。
表1是对象和文件的权限控制对比，对象的读权限对应文件的读和可执行权限，对象的写权限对应文件的写权限，对象的全部权限对应文件的全部权限。如对象的读权限对应文件的读权限和可执行权限。
表1
对象权限 文件权限
读权限 读、可执行
写权限 写权限
全部权限 全部权限
对象和文件的权限组对应关系如表2所示，对象拥有者对应文件的拥有者，对象的其他用户对应文件的群组用户，对象的匿名用户对应文件的公共。
表2
对象权限组 文件权限组
拥有者 拥有者
其他用户 群组用户
匿名用户 公共
可选地，在本申请实施例提供的支持协议互通的数据存储系统中，在通过对象存储协议处理由文件存储协议存储的数据的情况下，通过映射关系确定数据对应的对象权限，并在对象权限下处理数据。
例如，若用户通过NAS中的协议存储数据，数据具有文件权限，用户需要通过S3中的协议读取由NAS中的协议存储的数据，则需要通过映射关系确定数据对应的对象权限，从而确定读取权限，并在权限下读取数据。
可选地，在本申请实施例提供的支持协议互通的数据存储系统中，在通过文件存储协议处理由对象存储协议存储的数据的情况下，通过映射关系确定数据对应的文件权限，并在文件权限下处理数据。
例如，若用户通过S3中的协议存储数据，数据具有文件权限，用户需要通过NAS中的协议读取由S3中的协议存储的数据，则需要通过映射关系确定数据对应的文件权限，从而确定读取权限，并在权限下读取数据。
为了实现文件的分段上传，可选地，在本申请实施例提供的支持协议互通的数据存储系统中，在通过文件存储协议向存储端分段上传数据时，将分段上传任务对应的数据写入创建的临时文件夹，并在分段上传任务对应的所有数据上传完成的情况下，将临时文件夹的命名格式修改为对象的命名格式。
可选地，在本申请实施例提供的支持协议互通的数据存储系统中，在通过文件存储协议向存储端分段上传数据时，通过删除临时文件的方式取消分段上传任务。
需要说明的是，考虑网络不稳定场景失败带来的操作重试，对象存储支持多段上传功能，具体地，针对超过5G对象需要采用多段上传方式，而文件存储不支持多段上传。为了使得文件上传支持多段上传，从而兼容NAS中的协议，实现协议互通，在初始化多段任务的时候创建一个临时文件夹，把上传的多段任务写入该文件夹；在多段任务上传完成后，通过重命名该文件夹为对象名称。例如，初始化“bucket/1.txt”对象时则创建一个临时文件夹“1.txt_temp”。本实施例通过创建临时文件夹，并结合重命名机制实现文件的分段上传，列举该对象的多段任务通过获取文件夹列表即可，分段上传的期间如果放弃该对象任务则对应删除该文件夹即可。
为了对文件存储的完整性进行校验，可选地，在本申请实施例提供的支持协议互通的数据存储系统中，在通过文件存储协议向存储端上传数据时，计算上传任务对应的MD5值，并通过对象存储协议返回上传任务对应的MD5值。
需要说明的是，对象存储会存储对象的md5值信息，由于NAS中存在修改写和追加写问题，当数据发生变化后数据的完整性会发生变化，对应的md5值也应该发生变化。在本实施例中，当文件发生变化后则异步生成任务计算对应的md5值，并通过S3获取MD5值返回用户一个标记，从而实现了对于NAS中内容变化也能进行完整性校验。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种支持协议互通的数据存储系统，其特征在于，包括：
协议层，用于接收访问请求，并对所述访问请求进行解析，得到解析结果，其中，所述协议层包括第一解析模块和第二解析模块所述第一解析模块用于解析对象存储协议的访问请求，所述第二解析模块用于解析文件存储协议的访问请求，所述解析结果为数据读取请求或数据写入请求；
存储端，用于存储所述数据写入请求所请求写入的数据，还用于输出所述数据读取请求所请求读取的数据，其中，所述存储端包括多个存储装置以及分布式数据库，所述多个存储装置用于存储数据，所述分布式数据库用于存储已存储数据的元数据。
2.根据权利要求1所述的支持协议互通的数据存储系统，其特征在于，在所述存储端通过存储桶存储对象对应的元数据，通过文件夹存储文件对应的元数据，在所述协议层支持所述文件存储协议的访问请求的情况下，所述存储桶不支持预设特性，其中，所述预设特性至少包括以下之一：多版本存储特性、存储桶策略、加密、压缩。
3.根据权利要求2所述的支持协议互通的数据存储系统，其特征在于，通过索引节点存储所述文件夹对应的元数据，其中，在所述文件夹的名称发生变化的情况下，修改所述文件夹对应的所述索引节点的名称。
4.根据权利要求1所述的支持协议互通的数据存储系统，其特征在于，所述协议层支持通过软链接的接口访问所述存储端中的数据。
5.根据权利要求1所述的支持协议互通的数据存储系统，其特征在于，所述存储装置中的数据关联有对象权限和文件权限之间的映射关系，其中，所述对象权限为通过所述对象存储协议处理数据时确定的控制权限，所述文件权限为通过所述文件存储协议处理数据时确定的控制权限。
6.根据权利要求5所述的支持协议互通的数据存储系统，其特征在于，在通过所述对象存储协议处理由所述文件存储协议存储的数据的情况下，通过所述映射关系确定所述数据对应的对象权限，并在所述对象权限下处理所述数据。
7.根据权利要求5所述的支持协议互通的数据存储系统，其特征在于，在通过所述文件存储协议处理由所述对象存储协议存储的数据的情况下，通过所述映射关系确定所述数据对应的文件权限，并在所述文件权限下处理所述数据。
8.根据权利要求1所述的支持协议互通的数据存储系统，其特征在于，在通过所述文件存储协议向所述存储端分段上传数据时，将分段上传任务对应的数据写入创建的临时文件夹，并在所述分段上传任务对应的所有数据上传完成的情况下，将所述临时文件夹的命名格式修改为对象的命名格式。
9.根据权利要求8所述的支持协议互通的数据存储系统，其特征在于，在通过所述文件存储协议向所述存储端分段上传数据时，通过删除所述临时文件的方式取消所述分段上传任务。
10.根据权利要求1所述的支持协议互通的数据存储系统，其特征在于，在通过所述文件存储协议向所述存储端上传数据时，计算上传任务对应的MD5值，并通过所述对象存储协议返回所述上传任务对应的MD5值。
CN202210062667.9A 2022-01-19 2022-01-19 支持协议互通的数据存储系统 Active CN114466083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210062667.9A CN114466083B (zh) 2022-01-19 2022-01-19 支持协议互通的数据存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210062667.9A CN114466083B (zh) 2022-01-19 2022-01-19 支持协议互通的数据存储系统

Publications (2)

Publication Number Publication Date
CN114466083A true CN114466083A (zh) 2022-05-10
CN114466083B CN114466083B (zh) 2023-11-17

Family

ID=81408990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210062667.9A Active CN114466083B (zh) 2022-01-19 2022-01-19 支持协议互通的数据存储系统

Country Status (1)

Country Link
CN (1) CN114466083B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117076413A (zh) * 2023-10-16 2023-11-17 创云融达信息技术(天津)股份有限公司 一种支持多协议互通的对象多版本存储系统
CN117708219A (zh) * 2024-02-06 2024-03-15 中科云谷科技有限公司 用于物联网数据的处理方法、处理装置及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259811A1 (en) * 2015-03-06 2016-09-08 Superna Business Consulting, Inc. Method and system for metadata synchronization
CN106980647A (zh) * 2017-02-24 2017-07-25 深圳市中博睿存信息技术有限公司 一种分布式文件系统数据分布方法及装置
CN109697020A (zh) * 2017-10-23 2019-04-30 中移(苏州)软件技术有限公司 一种数据存储方法、服务器及系统
CN110198334A (zh) * 2018-04-19 2019-09-03 腾讯科技（深圳）有限公司 基于对象存储服务的访问方法、装置和存储介质
US20190377490A1 (en) * 2018-06-07 2019-12-12 Vast Data Ltd. Distributed scalable storage
US10552072B1 (en) * 2017-07-31 2020-02-04 EMC IP Holding Company LLC Managing file system namespace in network attached storage (NAS) cluster
CN110781152A (zh) * 2019-10-09 2020-02-11 济南浪潮数据技术有限公司 一种多协议数据共享架构
CN111008185A (zh) * 2019-10-29 2020-04-14 厦门网宿有限公司 一种数据共享方法、系统及设备
CN111491037A (zh) * 2020-06-28 2020-08-04 四川新网银行股份有限公司 通过sftp数据流与对象存储服务器的通信方法
CN111565168A (zh) * 2020-03-02 2020-08-21 杭州云毅网络科技有限公司 一种对象存储方法、系统、存储介质及电子设备
US20210157521A1 (en) * 2019-11-27 2021-05-27 EMC IP Holding Company LLC Storing an entity as an object or a file in a hybrid storage system based on an accessing protocol
US20210176315A1 (en) * 2019-12-05 2021-06-10 Western Digital Technologies, Inc. Cross Storage Protocol Access Response for Object Data Stores
CN113849138A (zh) * 2021-12-01 2021-12-28 浙江齐安信息科技有限公司 安全管控装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160259811A1 (en) * 2015-03-06 2016-09-08 Superna Business Consulting, Inc. Method and system for metadata synchronization
CN106980647A (zh) * 2017-02-24 2017-07-25 深圳市中博睿存信息技术有限公司 一种分布式文件系统数据分布方法及装置
US10552072B1 (en) * 2017-07-31 2020-02-04 EMC IP Holding Company LLC Managing file system namespace in network attached storage (NAS) cluster
CN109697020A (zh) * 2017-10-23 2019-04-30 中移(苏州)软件技术有限公司 一种数据存储方法、服务器及系统
CN110198334A (zh) * 2018-04-19 2019-09-03 腾讯科技（深圳）有限公司 基于对象存储服务的访问方法、装置和存储介质
US20190377490A1 (en) * 2018-06-07 2019-12-12 Vast Data Ltd. Distributed scalable storage
CN110781152A (zh) * 2019-10-09 2020-02-11 济南浪潮数据技术有限公司 一种多协议数据共享架构
CN111008185A (zh) * 2019-10-29 2020-04-14 厦门网宿有限公司 一种数据共享方法、系统及设备
US20210157521A1 (en) * 2019-11-27 2021-05-27 EMC IP Holding Company LLC Storing an entity as an object or a file in a hybrid storage system based on an accessing protocol
US20210176315A1 (en) * 2019-12-05 2021-06-10 Western Digital Technologies, Inc. Cross Storage Protocol Access Response for Object Data Stores
CN111565168A (zh) * 2020-03-02 2020-08-21 杭州云毅网络科技有限公司 一种对象存储方法、系统、存储介质及电子设备
CN111491037A (zh) * 2020-06-28 2020-08-04 四川新网银行股份有限公司 通过sftp数据流与对象存储服务器的通信方法
CN113849138A (zh) * 2021-12-01 2021-12-28 浙江齐安信息科技有限公司 安全管控装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ALAA JAMAL等: ""Performance Comparison between S3, HDFS and RDS storage technologies for real-time big-data applications"", 《2021 IEEE 15TH INTERNATIONAL SYMPOSIUM ON APPLIED COMPUTATIONAL INTELLIGENCE AND INFORMATICS (SACI)》 *
周昶: ""基于对象分布式文件系统的存储缓存研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
张尧;姚永;徐驰;: "融合NAS和SAN的存储网络设计研究", 电子技术与软件工程, no. 15 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117076413A (zh) * 2023-10-16 2023-11-17 创云融达信息技术(天津)股份有限公司 一种支持多协议互通的对象多版本存储系统
CN117076413B (zh) * 2023-10-16 2024-01-26 创云融达信息技术(天津)股份有限公司 一种支持多协议互通的对象多版本存储系统
CN117708219A (zh) * 2024-02-06 2024-03-15 中科云谷科技有限公司 用于物联网数据的处理方法、处理装置及存储介质
CN117708219B (zh) * 2024-02-06 2024-05-07 中科云谷科技有限公司 用于物联网数据的处理方法、处理装置及存储介质

Also Published As

Publication number Publication date
CN114466083B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
US10949551B2 (en) Policy aware unified file system
US10430398B2 (en) Data storage system having mutable objects incorporating time
US8321487B1 (en) Recovery of directory information
US8914856B1 (en) Synchronization of networked storage systems and third party systems
US10628381B2 (en) Optimized content object storage service for large scale content
CN114466083B (zh) 支持协议互通的数据存储系统
US11093387B1 (en) Garbage collection based on transmission object models
CN103078898A (zh) 文件系统、接口服务装置和数据存储服务提供方法
CN112148678A (zh) 一种文件访问方法、系统、设备以及介质
CN105631010A (zh) 一种基于hdfs小文件存储的优化方法
US9626378B2 (en) Method for handling requests in a storage system and a storage node for a storage system
US8423585B2 (en) Variants of files in a file system
TWI571754B (zh) 用來進行檔案同步控制之方法與裝置
CN114201474A (zh) 数据服务方法及装置
US11386072B1 (en) Automatic consistency for database write forwarding
CN115525618A (zh) 存储集群、数据存储方法、系统及存储介质
CN113360095A (zh) 硬盘数据管理方法、装置、设备及介质
CN113312314A (zh) 一种用于安卓平台重复文件检索的方法、装置及设备
CN112749136B (zh) 一种基于GlusterFS的文件存储方法及系统
CN113553329B (zh) 数据集成系统和方法
CN116909992B (zh) 一种通过ntfs符号链接实现系统与对象存储通信的方法
US11829384B1 (en) Amortizing replication log updates for transactions
CN116541365B (zh) 文件存储方法、装置、存储介质及客户端
US11561864B1 (en) Creating database clones at a specified point-in-time
WO2022083267A1 (zh) 数据处理方法、装置、计算节点以及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100094 101, floors 1-5, building 7, courtyard 3, fengxiu Middle Road, Haidian District, Beijing

Applicant after: Beijing Xingchen Tianhe Technology Co.,Ltd.

Address before: 100097 room 806-1, block B, zone 2, Jinyuan times shopping center, indigo factory, Haidian District, Beijing

Applicant before: Beijing Xingchen Tianhe Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant