CN111131441A - 一种实时文件共享系统及方法 - Google Patents

一种实时文件共享系统及方法 Download PDF

Info

Publication number
CN111131441A
CN111131441A CN201911331301.1A CN201911331301A CN111131441A CN 111131441 A CN111131441 A CN 111131441A CN 201911331301 A CN201911331301 A CN 201911331301A CN 111131441 A CN111131441 A CN 111131441A
Authority
CN
China
Prior art keywords
client
object storage
file sharing
file
storage device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911331301.1A
Other languages
English (en)
Inventor
李亚娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Tianmutual Communication Co Ltd
Original Assignee
Xi'an Tianmutual Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Tianmutual Communication Co Ltd filed Critical Xi'an Tianmutual Communication Co Ltd
Priority to CN201911331301.1A priority Critical patent/CN111131441A/zh
Publication of CN111131441A publication Critical patent/CN111131441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

本发明涉及一种实时文件共享系统及方法，包括：多个对象存储设备，用于存储有多个共享数据文件、文件名列表及目录结构；元数据服务器，用于存储有多个对象存储设备的文件名列表及目录结构，提供指向多个对象存储设备的映射；对象存储服务器，用于响应客户端的文件共享请求，对客户端进行认证，更新所述对象存储设备的文件名列表及目录结构。本发明中设置了元数据服务器用于存储文件元数据，通过多个对象存储设备分布式存储数据，实现了并行请求和并发操作，加快了响应速度，有利于大量数据访问和操作执行。

Description

一种实时文件共享系统及方法
技术领域
本发明涉及网络信息技术领域，尤其涉及一种实时文件共享系统及方法。
背景技术
随着云计算、大数据技术不断发展，4K视频、虚拟现实(VR)、视频直播等互联网应用领域不断升级更新，企业网、数据中心规模持续扩大，企业拥有的数据急剧增长，海量文件随之产生。据IDC统计未来在10年间数据将增长44倍，到2020年全球数据将增加到35ZB，其中80％是非结构化数据，且大部分是非活跃数据。
存储局域网(SAN)和网络附加存储(NAS)是目前两种主流网络存储架构，而对象存储(Object-based Storage)是一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备(Object-based Storage Device)简称OSD。总体上来讲，对象存储(Object-BasedStorage,OBS)综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的分布式数据共享等优势，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。
但是，目前对象存储只能通过接口进行相关文件操作，不能如本地磁盘那样直接使用，以及存在权限对应问题，为用户操作带来不便。
发明内容
本发明所要解决的技术问题是提供一种支持并发请求且可跨平台进行安全数据共享的实时文件共享系统及方法。
为解决上述技术问题，本发明的技术方案是：一种实时文件共享系统，包括：
多个对象存储设备，存储有多个共享数据文件、文件名列表及目录结构，响应客户端的文件共享请求，读取或创建共享数据文件；
元数据服务器，存储有多个对象存储设备的文件名列表及目录结构，提供指向多个对象存储设备的映射，响应客户端的文件共享请求，向客户端提供所请求的共享数据文件所在的对象存储设备；
对象存储服务器，响应客户端的文件共享请求，对客户端进行认证，与所述对象存储设备和元数据服务器进行通信，更新所述对象存储设备的文件名列表及目录结构。
作为优选的技术方案，所述对象存储设备包括与网络连接的具有存储介质的电子设备。
一种实时文件共享方法，包括以下步骤：
元数据服务器响应客户端发出的文件共享请求，向所述客户端提供所述共享数据文件所在的对象存储设备及其映射；
对象存储服务器接收客户端发出的文件共享请求，对客户端进行认证，授权认证通过的客户端对相应的对象存储设备的文件共享权限；其中，客户端发出的文件共享请求包含文件共享对象和文件共享操作；
客户端获取文件共享权限，对对象存储设备中文件共享对象执行文件共享操作。
作为优选的技术方案，文件共享请求包括对共享文件进行读取或写入的请求，文件共享操作包括对相应对象存储设备进行共享文件读取和写入的操作。
作为优选的技术方案，在客户端共享文件操作执行完毕，同步更新对象存储设备的文件名列表和目录结构至对象存储服务器和元数据服务器。
作为优选的技术方案，对象存储服务器对客户端进行认证的步骤是：判断客户端发送的文件共享对象是否包含在对应的对象存储设备文件名列表及目录中，若是，根据文件共享对象的认证方式对客户端进行认证；对认证通过的客户端授权文件共享权限；否则，拒绝客户端访问。
由于采用了上述技术方案，本发明的有益效果是：本发明中设置了元数据服务器用于存储文件元数据，通过多个对象存储设备分布式存储数据，实现了并行请求和并发操作，加快了响应速度，有利于大量数据访问和操作执行。
本发明将操作对象当作ftp服务器目录或者文件夹方式存储各类图片、文本、视频等进行操作，简单方便，不再需要考虑复杂的接口方式上传文件。支持并发请求、分块上传下载等功能且可以保证充分的性能，将常规的单个文件存在的多级探测改为并发执行，响应速度快。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的系统拓扑图。
具体实施方式
如图1所示，一种实时文件共享系统，包括：
多个对象存储设备，存储有多个共享数据文件、文件名列表及目录结构，响应客户端的文件共享请求，读取或创建共享数据文件；
元数据服务器，存储有多个对象存储设备的文件名列表及目录结构，提供指向多个对象存储设备的映射，响应客户端的文件共享请求，向客户端提供所请求的共享数据文件所在的对象存储设备；
对象存储服务器，响应客户端的文件共享请求，对客户端进行认证，与所述对象存储设备和元数据服务器进行通信，更新所述对象存储设备的文件名列表及目录结构。
对象存储设备包括与网络连接的具有存储介质的电子设备，如自身具备存数介质的设备，如磁盘或磁带，具有管理内部存储文件的功能。
一种实时文件共享方法，包括以下步骤：
步骤s1：元数据服务器响应客户端发出的文件共享请求，向客户端提供共享数据文件所在的对象存储设备及其映射；
步骤s2：对象存储服务器接收客户端发出的文件共享请求，对客户端进行认证，授权认证通过的客户端对相应的对象存储设备的文件共享权限，其步骤是：判断客户端发送的文件共享对象是否包含在对应的对象存储设备文件名列表及目录中，若是，根据文件共享对象的认证方式对客户端进行认证；对认证通过的客户端授权文件共享权限；否则，拒绝客户端访问；
其中，客户端发出的文件共享请求包含文件共享对象和文件共享操作；
步骤s3：客户端获取文件共享权限，对对象存储设备中文件共享对象执行文件共享操作。
文件共享请求包括对共享文件进行读取或写入的请求，文件共享操作包括对相应对象存储设备进行共享文件读取和写入的操作，还包括文件的创建和恢复，以及查询文件状态等操作。
步骤s4：在客户端共享文件操作执行完毕，同步更新对象存储设备的文件名列表和目录结构至对象存储服务器和元数据服务器。
本发明基于FUSE实现，通过自动化脚本完成部署。
与常规的对象存储方式相比，本发明将文件逻辑从主机端移出来，将其存储在网络上一台服务器上，该服务器就成为MDS元数据服务器，多个对象存储设备也分别映射到网络上。客户端首先向MDS元数据服务器发送请求，获取请求对象的元数据信息，MDS元数据服务器回应客户端的请求，并且将该请求对象所在的对象存储设备返回客户端，客户端获取该信息之后，可直接发送访问请求至真实的存储数据的对象存储服务器。
以客户端发送文件读取请求为例说明本发明的工作原理：
对象存储服务器收到客户端请求后，判断要读取的对象，若该对象包含在文件名列表和目录中，则访问路径正确，并根据此对象的认证方式，对客户端进行认证，认证通过，客户端得到授权，客户允许访问对象存储设备，对象存储设备根据用户的请求对象，将该请求对象的数据返回给客户端；对象存储服务器收到对象存储设备返回的数据以后，读取操作完成。
本发明中，为数据交互提供一个存储数据的逻辑视图(Virtual File System，VFS层)，MDS元数据服务器中所存储的文件名列表及目录结构。提供了一个组织物理存储介质的数据分布(inode层)，即对象存储服务器和对象存储服设备，将存储数据的逻辑视图与物理视图分开，形成了分布式的数据存储结构，避免元数据服务器引起的瓶颈(如NAS系统)。元数据的VFS部分通常是承担了系统10％的负载，剩下的90％工作(inode部分)是在存储介质块的数据物理分布上完成的，也就是由对象存储设备来承担。由于构成了分布式的对象存储结构，inode工作分布到每个智能化的能够对文件进行管理的对象存储设备OSD中，每个OSD负责管理各自的数据分布和检索，使90％的系统工作分布到智能的对象存储设备，从而提高了系统元数据管理的性能。另外，分布式的元数据管理结构，在增加更多的对象存储设备OSD到系统中时，有利于增加元数据的性能和系统存储容量。
此外，本发明便于并发数据访问，由于系统中采用了分布式对象存储设备OSD。对象存储设备OSD是与网络连接的设备，它自身包含存储介质，如磁盘或磁带，并具有足够的智能可以管理本地存储的数据。计算结点直接与OSD通信，访问它存储的数据，不需要文件服务器的介入。本发明中将文件系统的数据分布在多个OSD上，则聚合I/O速率和数据吞吐率将线性增长。
本发明在以下方面具有显著的优势：
1、文件数量级，对于对象存储可以支持到百亿级别文件数量。
2、性能更高，对于海量小文件，在检索的速度，对象存储相对于NAS存储能搞出上百倍的速度，通过元数据搜索功能，可以搜索元数据，在海量数据中快速找到相应的对象。
3.适用于多场景应用，例如视频监控场景、企业云盘(网盘)、视频点播、归档备份等等。
以上显示和描述了本发明的基本原理、主要特征及本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种实时文件共享系统，其特征在于，包括：
多个对象存储设备，存储有多个共享数据文件、文件名列表及目录结构，响应客户端的文件共享请求，读取或创建共享数据文件；
元数据服务器，存储有多个对象存储设备的文件名列表及目录结构，提供指向多个对象存储设备的映射，响应客户端的文件共享请求，向客户端提供所请求的共享数据文件所在的对象存储设备；
对象存储服务器，响应客户端的文件共享请求，对客户端进行认证，与所述对象存储设备和元数据服务器进行通信，更新所述对象存储设备的文件名列表及目录结构。
2.如权利要求1所述的一种实时文件共享系统，其特征在于：所述对象存储设备包括与网络连接的具有存储介质的电子设备。
3.一种实时文件共享方法，其特征在于，包括以下步骤：
元数据服务器响应客户端发出的文件共享请求，向所述客户端提供所述共享数据文件所在的对象存储设备及其映射；
对象存储服务器接收客户端发出的文件共享请求，对客户端进行认证，授权认证通过的客户端对相应的对象存储设备的文件共享权限；
其中，客户端发出的文件共享请求包含文件共享对象和文件共享操作；
客户端获取文件共享权限，对对象存储设备中文件共享对象执行文件共享操作。
4.如权利要求3所述的一种实时文件共享方法，其特征在于：文件共享请求包括对共享文件进行读取或写入的请求，文件共享操作包括对相应对象存储设备进行共享文件读取和写入的操作。
5.如权利要求3所述的一种实时文件共享方法，其特征在于：在客户端共享文件操作执行完毕，同步更新对象存储设备的文件名列表和目录结构至对象存储服务器和元数据服务器。
6.如权利要求3所述的一种实时文件共享方法，其特征在于：对象存储服务器对客户端进行认证的步骤是：判断客户端发送的文件共享对象是否包含在对应的对象存储设备文件名列表及目录中，若是，根据文件共享对象的认证方式对客户端进行认证；对认证通过的客户端授权文件共享权限；否则，拒绝客户端访问。
CN201911331301.1A 2019-12-21 2019-12-21 一种实时文件共享系统及方法 Pending CN111131441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911331301.1A CN111131441A (zh) 2019-12-21 2019-12-21 一种实时文件共享系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911331301.1A CN111131441A (zh) 2019-12-21 2019-12-21 一种实时文件共享系统及方法

Publications (1)

Publication Number Publication Date
CN111131441A true CN111131441A (zh) 2020-05-08

Family

ID=70500869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911331301.1A Pending CN111131441A (zh) 2019-12-21 2019-12-21 一种实时文件共享系统及方法

Country Status (1)

Country Link
CN (1) CN111131441A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233115A (zh) * 2023-02-14 2023-06-06 中国科学院计算机网络信息中心 一种海量数据文件高效持续受控共享分发方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605137A (zh) * 2009-07-10 2009-12-16 中国科学技术大学 安全分布式文件系统
US20120166403A1 (en) * 2010-12-24 2012-06-28 Kim Mi-Jeom Distributed storage system having content-based deduplication function and object storing method
CN105468295A (zh) * 2015-11-14 2016-04-06 华中科技大学 一种实现对象存储的安全防护访问方法及系统
WO2017113280A1 (zh) * 2015-12-31 2017-07-06 华为技术有限公司 分布式存储系统及管理元数据的方法
CN109218100A (zh) * 2018-09-21 2019-01-15 郑州云海信息技术有限公司 分布式对象存储集群及其请求响应方法、系统和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605137A (zh) * 2009-07-10 2009-12-16 中国科学技术大学 安全分布式文件系统
US20120166403A1 (en) * 2010-12-24 2012-06-28 Kim Mi-Jeom Distributed storage system having content-based deduplication function and object storing method
CN105468295A (zh) * 2015-11-14 2016-04-06 华中科技大学 一种实现对象存储的安全防护访问方法及系统
WO2017113280A1 (zh) * 2015-12-31 2017-07-06 华为技术有限公司 分布式存储系统及管理元数据的方法
CN109218100A (zh) * 2018-09-21 2019-01-15 郑州云海信息技术有限公司 分布式对象存储集群及其请求响应方法、系统和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116233115A (zh) * 2023-02-14 2023-06-06 中国科学院计算机网络信息中心 一种海量数据文件高效持续受控共享分发方法及系统
CN116233115B (zh) * 2023-02-14 2023-09-19 中国科学院计算机网络信息中心 一种海量数据文件高效持续受控共享分发方法及系统

Similar Documents

Publication Publication Date Title
US10430397B2 (en) Peer to peer ownership negotiation
US9672267B2 (en) Hybrid data management system and method for managing large, varying datasets
Gibson et al. Network attached storage architecture
CA2910211C (en) Object storage using multiple dimensions of object information
US9535630B1 (en) Leveraging array operations at virtualized storage processor level
CN110647497A (zh) 一种基于hdfs的高性能文件存储与管理系统
US20140280187A1 (en) Data storage system having mutable objects incorporating time
US10521401B2 (en) Data object lockdown
CN107832423B (zh) 一种用于分布式文件系统的文件读写方法
US9110820B1 (en) Hybrid data storage system in an HPC exascale environment
US8701113B2 (en) Switch-aware parallel file system
CN103944958A (zh) 一种广域文件系统及实现方法
CN111984191A (zh) 一种支持分布式存储的多客户端缓存方法及系统
Merceedi et al. A comprehensive survey for hadoop distributed file system
US9177034B2 (en) Searchable data in an object storage system
CN111131441A (zh) 一种实时文件共享系统及方法
Avilés-González et al. Scalable metadata management through OSD+ devices
Elomari et al. The main characteristics of five distributed file systems required for big data: A comparative study
US9529812B1 (en) Timestamp handling for partitioned directories
Mondal et al. Comparative Analysis of Object-Based Big Data Storage Systems on Architectures and Services: A Recent Survey
Huawei Technologies Co., Ltd. Storage Basics in Cloud Computing
US11102323B1 (en) Network-integrated storage data cache
US11899685B1 (en) Dividing authorization between a control plane and a data plane for sharing database data
US11644998B2 (en) Server and method for managing distributed storage
Wang et al. An Efficient Big Data Storage Service Architecture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200508