CN111930706A - 基于远程调用的分布式网络文件存储系统和方法 - Google Patents
基于远程调用的分布式网络文件存储系统和方法 Download PDFInfo
- Publication number
- CN111930706A CN111930706A CN202010652938.7A CN202010652938A CN111930706A CN 111930706 A CN111930706 A CN 111930706A CN 202010652938 A CN202010652938 A CN 202010652938A CN 111930706 A CN111930706 A CN 111930706A
- Authority
- CN
- China
- Prior art keywords
- file
- service
- file system
- interface
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012544 monitoring process Methods 0.000 claims abstract description 47
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 238000012423 maintenance Methods 0.000 claims abstract description 28
- 238000007726 management method Methods 0.000 claims description 42
- 238000013500 data storage Methods 0.000 claims description 23
- 238000012217 deletion Methods 0.000 claims description 14
- 230000037430 deletion Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 7
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000007792 addition Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 5
- 230000006399 behavior Effects 0.000 description 15
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/547—Remote procedure calls [RPC]; Web services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于远程调用的分布式网络文件存储系统和方法，通过文件统一访问接口发送文件操作请求至虚拟文件系统，接收文件操作请求的操作结果，并将操作结果通过远程调用发送；监听客户端的文件操作请求，实现文件元数据和数据操作，完成文件系统数据服务；实现文件操作的日志记录，监控文件系统中的文件操作行为；通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件系统挂载；提供网络文件系统的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件系统服务的可视化运维管控。采用高效Protobuf序列化消息方式，有效降低网络数据负载，在网络带宽有限的情况下提供稳定的文件系统服务。
Description
技术领域
本发明涉及大数据分布式数据存储技术领域，具体地，涉及一种基于远程调用的分布式网络文件存储系统和方法。
背景技术
大数据时代，随着存储与计算集群规模的不断扩大，大部分数据业务系统已经构建在分布式环境中。在数据存储方面，目前，通过文件接口实现数据操作是业务系统最通用的模式。
ceph系统是一种分布式存储系统，支持对象、文件和块的统一存储。然而ceph分布式存储的文件系统和其对象存储耦合性高，对文件系统功能改进存在很大的难度，同时在生产环境中其自身提供的文件服务稳定性不够，会出现文件查询不到的问题。例如专利文件CN110491478A，公开了一种基于ceph的影像文件分布式储存系统及其实现方法，涉及医疗影像数据分布式存储技术领域，包括ceph分布式文件系统、接收缓存模块、作业调度模块和元数据存储模块。方法流程为：1、部署ceph分布式存储集群，在服务器中配置用于临时存放接收到的影像文件的临时文件目录，并使作业调度模块能读取接收缓存模块中的数据；2、接收缓存模块接收并存储客户端发送的影像文件；3、启动文件读取处理任务和文件清除任务，文件读取处理任务用于周期性读取并处理临时文件目录中的影像文件，文件清除任务用于周期性删除已处理过的影像文件。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于远程调用的分布式网络文件存储系统和方法。
根据本发明提供的一种基于远程调用的分布式网络文件存储系统，包括：
文件客户端模块：构建文件统一访问接口，通过文件统一访问接口发送文件操作请求至操作系统内核的虚拟文件系统，待虚拟文件系统响应后，接收文件操作请求的操作结果，并将操作结果通过远程调用发送以实现数据处理；
文件服务端模块：建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件系统数据服务；
文件监控模块：在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件系统中的文件操作行为；
分布式存储模块：通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件系统挂载；
可视化运维模块：提供网络文件系统的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件系统服务的可视化运维管控。
优选地，所述文件客户端模块包括：
接口模块：提供文件操作接口，所述文件操作接口属于继承fuse虚拟文件接口，文件操作接口的接口类型包括文件查询接口、文件拷贝接口和文件删除接口；
文件操作解析模块：根据接口类型解析文件操作请求，所述文件操作请求包括文件元数据操作请求、文件内容操作请求、文件权限操作请求和文件属性操作请求中的任一项或任多项；
文件操作转发模块：对解析后的文件操作请求进行转发。
优选地，所述文件服务端模块包括：
文件操作接收模块：在服务端建立远程调用服务，监听和接收客户端的文件操作请求；
文件操作服务模块：服务端根据文件操作请求，实现文件操作服务，所述文件操作服务包括文件和文件夹的增加、删除、修改和查询中任一种或任多种；
文件系统挂载模块：根据配置文件实现ceph分布式存储文件挂载，文件操作服务针对挂载的文件系统进行请求服务。
优选地，所述分布式存储模块中，通过ceph构建文件系统的底层数据存储，通过分布式数据存储，以文件系统形态，通过块、文件、对象多种方式支持上层文件系统的数据存储。
优选地，所述可视化运维模块包括：
用户管理模块：实现网络文件系统的访问控制，只有合法授权的用户才能构建网络文件系统服务；
服务管理模块：实现网络文件系统的服务构建、配置、启停和状态展示，提供用户可视化的服务管理能力；
文件行为监控模块：实现网络文件系统的日志可视化收集，方便用户查看系统日志。同时，提供日志基本的监控规则，一旦发现异常具备告警通知功能；
数据挂载模块：实现网络文件系统服务端可视化文件系统操作，方便用户切换服务端存储，提供灵活的、多样的文件系统形态。
根据本发明提供的一种基于远程调用的分布式网络文件存储方法，包括：
文件客户端步骤：构建文件统一访问接口，通过文件统一访问接口发送文件操作请求至操作系统内核的虚拟文件系统，待虚拟文件系统响应后，接收文件操作请求的操作结果，并将操作结果通过远程调用发送以实现数据处理；
文件服务端步骤：建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件系统数据服务；
文件监控步骤：在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件系统中的文件操作行为；
分布式存储步骤：通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件系统挂载；
可视化运维步骤：提供网络文件系统的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件系统服务的可视化运维管控。
优选地，所述文件客户端步骤包括：
接口步骤：提供文件操作接口，所述文件操作接口属于继承fuse虚拟文件接口，文件操作接口的接口类型包括文件查询接口、文件拷贝接口和文件删除接口；
文件操作解析步骤：根据接口类型解析文件操作请求，所述文件操作请求包括文件元数据操作请求、文件内容操作请求、文件权限操作请求和文件属性操作请求中的任一项或任多项；
文件操作转发步骤：对解析后的文件操作请求进行转发。
优选地，所述文件服务端步骤包括：
文件操作接收步骤：在服务端建立远程调用服务，监听和接收客户端的文件操作请求；
文件操作服务步骤：服务端根据文件操作请求，实现文件操作服务，所述文件操作服务包括文件和文件夹的增加、删除、修改和查询中任一种或任多种；
文件系统挂载步骤：根据配置文件实现ceph分布式存储文件挂载，文件操作服务针对挂载的文件系统进行请求服务。
优选地，所述分布式存储步骤中，通过ceph构建文件系统的底层数据存储，通过分布式数据存储，以文件系统形态，通过块、文件、对象多种方式支持上层文件系统的数据存储。
优选地，所述可视化运维步骤包括：
用户管理步骤：实现网络文件系统的访问控制，只有合法授权的用户才能构建网络文件系统服务；
服务管理步骤：实现网络文件系统的服务构建、配置、启停和状态展示，提供用户可视化的服务管理能力；
文件行为监控步骤：实现网络文件系统的日志可视化收集，方便用户查看系统日志。同时，提供日志基本的监控规则，一旦发现异常具备告警通知功能；
数据挂载步骤：实现网络文件系统服务端可视化文件系统操作，方便用户切换服务端存储，提供灵活的、多样的文件系统形态。
与现有技术相比，本发明具有如下的有益效果：
1、提供了一种网络文件系统实现方式，系统通过gRPC框架构建，采用高效Protobuf序列化消息方式，有效降低网络数据负载，在网络带宽有限的情况下提供稳定的文件系统服务。
2、完备的用户态下的文件操作接口，系统构建在fuse框架之上，提供了文件创建、读写、更新和删除以及完备的元数据信息操作，fuse是用户态下文件系统框架，操作接口标准、完备。
3、具备分布式存储特性，服务端采用ceph分布式数据存储默认实现提供文件服务，相对于集中存储，文件系统具备了高可靠、高可扩展性能力，同时方便ceph存储系统数据共享。
4、强大的文件系统运维管理，系统提供了一套可视化的管理运维平台，通过可视化交互操作降低文件系统的维护难度，实现文件系统用户、服务、监控等功能管理。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的系统框架示意图；
图2为本发明的文件操作流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明针对数据存储最通用的文件接口，采用基于远程调用的方法，在ceph对象存储之上提供一个基于远程调用的分布式网络文件系统。可以像NFS一样提供网络文件服务，提供文件系统功能实现，同时支持文件系统的读写行为监控，以轻量级的方式提供更易操作、更高效、灵活的文件服务，具备灵活的文件操作扩展功能，可以方便地监控和改进文件读写行为。由于构建在分布式存储ceph之上，具备分布式系统可靠、资源弹性可扩展等特点，很方便地和ceph原有存储服务进行数据共享，同时实现原生的文件服务，具有易操作性和内部数据共享性等优点。
实施例1
本发明采用以下技术方案，通过高效的远程调用框架实现高效网络数据传输，支持文件系统中的文件读写功能；通过标准的文件访问接口模块实现文件的统一操作，包括文件的增加、删除、更新和读取等；通过数据分布式存储支持文件数据的高可靠存储.
如图1所示，整个网络文件系统主要由文件系统客户端、文件系统服务端、文件系统监控模块、文件系统数据分布式存储模块和可视化文件系统运维管控模块组成，向外部提供高效的网络文件统一访问接口。
1.文件系统客户端
文件系统客户端基于fuse构建文件系统统一访问接口，fuse是一个在用户空间实现的文件系统框架，通过fuse内核模块对接系统虚拟文件系统。基于fuse提供的接口，当用户在文件系统中进行文件操作时如ls、cp、mv、rm等，用户的文件操作请求会发送到系统内核中的虚拟文件系统，然后所有的文件操作请求再从系统虚拟文件系统转发到/dev/fuse中，文件系统客户端只需要从/dev/fuse中读取请求并通过远程调用发送给文件系统服务端进行数据处理，文件操作流程参照后面附图。
文件系统客户端支持用户的文件、文件夹的操作，主要包括以下主要几点：
·文件元数据操作，包括文件、文件夹的创建、删除和重命名等；
·文件操作，包括文件读取、写入和更新等；
·文件权限管理，包括更新文件访问权限和所有者等；
·文件属性操作，包括文件属性的获取、更新和删除等；
·链接管理，包括链接对象的创建、删除等；
2.文件系统服务端
文件系统服务端建立在google的gRPC上实现文件接口的远程调用。服务端会建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件系统数据服务。
文件系统服务端提供了文件系统各类操作消息实现服务，文件操作经过客户端定义，通过Protocol Buffers数据序列化工具形成消息。通过服务器和客户端之间共享.proto文件定义，服务端实现HTTP/2监听到客户端的文件操作流并提供服务响应。
在文件系统服务端，系统通过挂载分布式存储并格式化用户类型的文件系统，在收到具体客户端文件操作请求，实现本地文件系统操作，完成文件操作的远程调用服务。
3.文件系统监控模块
在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件系统中的文件操作行为。
由于系统通过fuse框架，重新实现了文件系统的各类操作，因此在操作过程中，系统记录了操作过程，形成具体的操作日志，为文件系统操作行为监控提供服务。
文件系统监控模型通过实时解析操作日志，对文件系统中读、写状态进行统计，发生数据异常读写时，提供告警功能。
4.文件系统数据分布式存储模块
在文件系统服务端，承载网络文件系统的具体实现是通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件系统挂载。
系统通过ceph构建文件系统的底层数据存储，系统通过分布式数据存储，以文件系统形态，通过块、文件、对象等多种方式支持上层文件系统的数据存储。同时，文件系统构建在分布式数据存储中，具备高可靠性和高可扩展性。
5.可视化文件系统运维管控模块
系统提供网络文件系统的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件系统服务的可视化运维管控。
用户管理实现网络文件系统的访问控制，只有合法授权的用户才能构建网络文件系统服务。
服务管理实现网络文件系统的服务构建、配置、启停和状态展示，提供用户可视化的服务管理能力。
文件行为监控实现了网络文件系统的日志可视化收集，方便用户查看系统日志。同时，提供日志基本的监控规则，一旦发现异常具备告警通知功能。
数据挂载实现了网络文件系统服务端可视化文件系统操作，方便用户切换服务端存储，提供灵活的、多样的文件系统形态。
实施例2
实施例2可以视为是实施例1的优选例。实施例2说明的基于远程调用的分布式网络文件存储方法，利用了实施例1说明的基于远程调用的分布式网络文件存储系统。
基于远程调用的分布式网络文件方法，包括：
文件客户端步骤：构建文件统一访问接口，通过文件统一访问接口发送文件操作请求至操作系统内核的虚拟文件系统，待虚拟文件系统响应后，接收文件操作请求的操作结果，并将操作结果通过远程调用发送以实现数据处理；
文件服务端步骤：建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件系统数据服务；
文件监控步骤：在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件系统中的文件操作行为；
分布式存储步骤：通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件系统挂载；
可视化运维步骤：提供网络文件系统的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件系统服务的可视化运维管控。
所述文件客户端步骤包括：
接口步骤提供文件操作接口，所述文件操作接口属于继承fuse虚拟文件接口，文件操作接口的接口类型包括文件查询接口、文件拷贝接口和文件删除接口；文件系统支持的文件操作类型，如文件查询、拷贝和删除等操作。文件操作接口主要继承fuse虚拟文件接口，是通用的、标准的文件操作接口。
文件操作解析步骤根据接口类型解析文件操作请求，所述文件操作请求包括文件元数据操作请求、文件内容操作请求、文件权限操作请求和文件属性操作请求中的任一项或任多项；文件系统根据接口类型进行文件信息的解析，包括文件元数据操作、文件内容操作、文件权限操作和文件属性操作等。
文件操作转发步骤：对解析后的文件操作请求进行转发。文件方法客户端发生的文件操作需要通过该步骤进行操作请求转发。
所述文件服务端步骤包括：
文件操作接收步骤：在服务端建立远程调用服务，监听和接收客户端的文件操作请求；文件系统服务端建立远程调用服务，监听和接收客户端的文件操作请求。
文件操作服务步骤：服务端根据文件操作请求，实现文件操作服务，所述文件操作服务包括文件和文件夹的增加、删除、修改和查询中任一种或任多种；服务端根据请求实现文件操作服务，主要包括文件系统中文件、文件夹的增删改查服务。
文件方法挂载步骤：根据配置文件实现ceph分布式存储文件挂载，文件操作服务针对挂载的文件系统进行请求服务。根据配置文件实现Ceph分布式存储文件挂载，文件操作服务都针对挂载的文件方法进行请求服务。
所述分布式存储步骤中，通过ceph构建文件系统的底层数据存储，通过分布式数据存储，以文件系统形态，通过块、文件、对象多种方式支持上层文件系统的数据存储。
所述可视化运维步骤包括：
用户管理步骤：实现网络文件系统的访问控制，只有合法授权的用户才能构建网络文件系统服务；
服务管理步骤：实现网络文件系统的服务构建、配置、启停和状态展示，提供用户可视化的服务管理能力；
文件行为监控步骤：实现网络文件系统的日志可视化收集，方便用户查看系统日志。同时，提供日志基本的监控规则，一旦发现异常具备告警通知功能；
数据挂载步骤：实现网络文件系统服务端可视化文件系统操作，方便用户切换服务端存储，提供灵活的、多样的文件系统形态。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于远程调用的分布式网络文件存储系统，其特征在于，包括：
文件客户端模块：构建文件统一访问接口，通过文件统一访问接口发送文件操作请求至操作系统内核的虚拟文件系统，待虚拟文件系统响应后，接收文件操作请求的操作结果，并将操作结果通过远程调用发送以实现数据处理；
文件服务端模块：建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件系统数据服务；
文件监控模块：在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件系统中的文件操作行为；
分布式存储模块：通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件系统挂载；
可视化运维模块：提供网络文件系统的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件系统服务的可视化运维管控。
2.根据权利要求1所述的基于远程调用的分布式网络文件存储系统，其特征在于，所述文件客户端模块包括：
接口模块：提供文件操作接口，所述文件操作接口属于继承fuse虚拟文件接口，文件操作接口的接口类型包括文件查询接口、文件拷贝接口和文件删除接口；
文件操作解析模块：根据接口类型解析文件操作请求，所述文件操作请求包括文件元数据操作请求、文件内容操作请求、文件权限操作请求和文件属性操作请求中的任一项或任多项；
文件操作转发模块：对解析后的文件操作请求进行转发。
3.根据权利要求1所述的基于远程调用的分布式网络文件存储系统，其特征在于，所述文件服务端模块包括：
文件操作接收模块：在服务端建立远程调用服务，监听和接收客户端的文件操作请求；
文件操作服务模块：服务端根据文件操作请求，实现文件操作服务，所述文件操作服务包括文件和文件夹的增加、删除、修改和查询中任一种或任多种；
文件系统挂载模块：根据配置文件实现ceph分布式存储文件挂载，文件操作服务针对挂载的文件系统进行请求服务。
4.根据权利要求1所述的基于远程调用的分布式网络文件存储系统，其特征在于，所述分布式存储模块中，通过ceph构建文件系统的底层数据存储，通过分布式数据存储，以文件系统形态，通过块、文件、对象多种方式支持上层文件系统的数据存储。
5.根据权利要求1所述的基于远程调用的分布式网络文件存储系统，其特征在于，所述可视化运维模块包括：
用户管理模块：实现网络文件系统的访问控制，只有合法授权的用户才能构建网络文件系统服务；
服务管理模块：实现网络文件系统的服务构建、配置、启停和状态展示，提供用户可视化的服务管理能力；
文件行为监控模块：实现网络文件系统的日志可视化收集，方便用户查看系统日志。同时，提供日志基本的监控规则，一旦发现异常具备告警通知功能；
数据挂载模块：实现网络文件系统服务端可视化文件系统操作，方便用户切换服务端存储，提供灵活的、多样的文件系统形态。
6.一种基于远程调用的分布式网络文件存储方法，其特征在于，包括：
文件客户端步骤：构建文件统一访问接口，通过文件统一访问接口发送文件操作请求至操作系统内核的虚拟文件系统，待虚拟文件系统响应后，接收文件操作请求的操作结果，并将操作结果通过远程调用发送以实现数据处理；
文件服务端步骤：建立gRPC的远程调用服务，监听客户端的文件操作请求，在收到客户端文件操作请求后，实现文件元数据和数据操作，完成文件系统数据服务；
文件监控步骤：在服务端进行文件操作的过程中，实现文件操作的日志记录，监控文件系统中的文件操作行为；
分布式存储步骤：通过构建ceph分布式存储，并通过ceph的统一存储接口进行文件系统挂载；
可视化运维步骤：提供网络文件系统的运维管控功能，提供用户管理、服务管理、文件行为监控和数据挂载模式管理，实现文件系统服务的可视化运维管控。
7.根据权利要求6所述的基于远程调用的分布式网络文件存储方法，其特征在于，所述文件客户端步骤包括：
接口步骤：提供文件操作接口，所述文件操作接口属于继承fuse虚拟文件接口，文件操作接口的接口类型包括文件查询接口、文件拷贝接口和文件删除接口；
文件操作解析步骤：根据接口类型解析文件操作请求，所述文件操作请求包括文件元数据操作请求、文件内容操作请求、文件权限操作请求和文件属性操作请求中的任一项或任多项；
文件操作转发步骤：对解析后的文件操作请求进行转发。
8.根据权利要求6所述的基于远程调用的分布式网络文件存储方法，其特征在于，所述文件服务端步骤包括：
文件操作接收步骤：在服务端建立远程调用服务，监听和接收客户端的文件操作请求；
文件操作服务步骤：服务端根据文件操作请求，实现文件操作服务，所述文件操作服务包括文件和文件夹的增加、删除、修改和查询中任一种或任多种；
文件系统挂载步骤：根据配置文件实现ceph分布式存储文件挂载，文件操作服务针对挂载的文件系统进行请求服务。
9.根据权利要求6所述的基于远程调用的分布式网络文件存储方法，其特征在于，所述分布式存储步骤中，通过ceph构建文件系统的底层数据存储，通过分布式数据存储，以文件系统形态，通过块、文件、对象多种方式支持上层文件系统的数据存储。
10.根据权利要求6所述的基于远程调用的分布式网络文件存储方法，其特征在于，所述可视化运维步骤包括：
用户管理步骤：实现网络文件系统的访问控制，只有合法授权的用户才能构建网络文件系统服务；
服务管理步骤：实现网络文件系统的服务构建、配置、启停和状态展示，提供用户可视化的服务管理能力；
文件行为监控步骤：实现网络文件系统的日志可视化收集，方便用户查看系统日志。同时，提供日志基本的监控规则，一旦发现异常具备告警通知功能；
数据挂载步骤：实现网络文件系统服务端可视化文件系统操作，方便用户切换服务端存储，提供灵活的、多样的文件系统形态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010652938.7A CN111930706B (zh) | 2020-07-08 | 2020-07-08 | 基于远程调用的分布式网络文件存储系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010652938.7A CN111930706B (zh) | 2020-07-08 | 2020-07-08 | 基于远程调用的分布式网络文件存储系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111930706A true CN111930706A (zh) | 2020-11-13 |
| CN111930706B CN111930706B (zh) | 2024-04-09 |
Family
ID=73313599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010652938.7A Active CN111930706B (zh) | 2020-07-08 | 2020-07-08 | 基于远程调用的分布式网络文件存储系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111930706B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328571A (zh) * | 2020-11-25 | 2021-02-05 | 创新奇智(重庆)科技有限公司 | 对象存储方法、装置及通信设备、存储介质 |
| CN112883025A (zh) * | 2021-01-25 | 2021-06-01 | 北京云思畅想科技有限公司 | 一种可视化ceph内部数据结构映射关系的系统和方法 |
| CN113760829A (zh) * | 2021-08-23 | 2021-12-07 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 基于fuse文件接口的安全存储系统及操作系统 |
| CN114221767A (zh) * | 2021-11-02 | 2022-03-22 | 北京中合谷投资有限公司 | 一种分布式网络的文件监控方法 |
| CN115687168A (zh) * | 2023-01-05 | 2023-02-03 | 北京志翔科技股份有限公司 | 文件操作通知系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107070972A (zh) * | 2016-12-30 | 2017-08-18 | 中国银联股份有限公司 | 一种分布式文件处理方法及装置 |
| CN107818027A (zh) * | 2017-10-17 | 2018-03-20 | 北京京东尚科信息技术有限公司 | 名字节点主备切换的方法、装置和分布式系统 |
| CN108965468A (zh) * | 2018-08-16 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 区块链网络服务平台及其链码安装方法、存储介质 |
| CN109783438A (zh) * | 2018-12-05 | 2019-05-21 | 南京华讯方舟通信设备有限公司 | 基于librados的分布式NFS系统及其构建方法 |
| CN110290180A (zh) * | 2019-05-31 | 2019-09-27 | 北京大米科技有限公司 | 分布式任务调度方法、装置、计算机设备和存储介质 |
| EP3588292A1 (en) * | 2018-06-29 | 2020-01-01 | Juniper Networks, Inc. | Monitoring and policy control of distributed data and control planes for virtual nodes |
-
2020
- 2020-07-08 CN CN202010652938.7A patent/CN111930706B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107070972A (zh) * | 2016-12-30 | 2017-08-18 | 中国银联股份有限公司 | 一种分布式文件处理方法及装置 |
| CN107818027A (zh) * | 2017-10-17 | 2018-03-20 | 北京京东尚科信息技术有限公司 | 名字节点主备切换的方法、装置和分布式系统 |
| EP3588292A1 (en) * | 2018-06-29 | 2020-01-01 | Juniper Networks, Inc. | Monitoring and policy control of distributed data and control planes for virtual nodes |
| CN108965468A (zh) * | 2018-08-16 | 2018-12-07 | 北京京东尚科信息技术有限公司 | 区块链网络服务平台及其链码安装方法、存储介质 |
| CN109783438A (zh) * | 2018-12-05 | 2019-05-21 | 南京华讯方舟通信设备有限公司 | 基于librados的分布式NFS系统及其构建方法 |
| CN110290180A (zh) * | 2019-05-31 | 2019-09-27 | 北京大米科技有限公司 | 分布式任务调度方法、装置、计算机设备和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| SERGIO RIVERA等: "expressing and managing network policies for emerging HPC Systems", PROCEEDINGS OF THE PRACTICE AND EXPERIENCE IN ADVANCED RESEARCH COMPUTING ON RISE OF THE MACHINES, 31 July 2019 (2019-07-31), pages 1 - 7, XP058872848, DOI: 10.1145/3332186.3333045 * |
| 李宁波等: "基于主动防御的高安全分布式存储系统研究", 信息技术与信息化, no. 8, 25 August 2018 (2018-08-25), pages 185 - 188 * |
| 熊肖磊;韩雄飞;赵炯;周奇才;: "微服务在大型设备监控管理系统中的应用探究", 现代机械, no. 06, 28 December 2019 (2019-12-28), pages 88 - 93 * |
| 罗晟皓: "基于Docker和Kubernetes的深度学习容器云平台的设计与实现", 中国优秀硕士学位论文全文数据库, no. 1, 15 January 2020 (2020-01-15), pages 139 - 136 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112328571A (zh) * | 2020-11-25 | 2021-02-05 | 创新奇智(重庆)科技有限公司 | 对象存储方法、装置及通信设备、存储介质 |
| CN112883025A (zh) * | 2021-01-25 | 2021-06-01 | 北京云思畅想科技有限公司 | 一种可视化ceph内部数据结构映射关系的系统和方法 |
| CN113760829A (zh) * | 2021-08-23 | 2021-12-07 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 基于fuse文件接口的安全存储系统及操作系统 |
| CN113760829B (zh) * | 2021-08-23 | 2023-01-24 | 华东计算技术研究所（中国电子科技集团公司第三十二研究所） | 基于fuse文件接口的安全存储系统及操作系统 |
| CN114221767A (zh) * | 2021-11-02 | 2022-03-22 | 北京中合谷投资有限公司 | 一种分布式网络的文件监控方法 |
| CN115687168A (zh) * | 2023-01-05 | 2023-02-03 | 北京志翔科技股份有限公司 | 文件操作通知系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111930706B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111930706B (zh) | 基于远程调用的分布式网络文件存储系统和方法 | |
| US11941017B2 (en) | Event driven extract, transform, load (ETL) processing | |
| KR101224721B1 (ko) | 컨텍스트-인식 플랫폼을 위한 시스템 및 방법 | |
| JP6553822B2 (ja) | 分散システムにおける範囲の分割および移動 | |
| US10684990B2 (en) | Reconstructing distributed cached data for retrieval | |
| Peek et al. | EnsemBlue: Integrating distributed storage and consumer electronics | |
| CN111475483B (zh) | 数据库迁移方法、装置及计算设备 | |
| CN112506870B (zh) | 数据仓库增量更新方法、装置及计算机设备 | |
| CN107577510B (zh) | 一种无盘环境下硬件驱动自动快速预装方法及系统 | |
| US20100115061A1 (en) | Server system, server apparatus, program and method | |
| CN111177159A (zh) | 一种数据处理的系统、方法和数据更新设备 | |
| CN113486095A (zh) | 一种民航空管跨网安全数据交换管理平台 | |
| CN111767284B (zh) | 数据处理方法、装置、存储介质和服务器 | |
| WO2021087990A1 (zh) | 标签更新方法、装置、电子设备及存储介质 | |
| CN111984723A (zh) | 数据同步方法、装置及终端设备 | |
| CN108566293B (zh) | 电子装置、zk节点信息通知方法及存储介质 | |
| US20150112955A1 (en) | Mechanism for communication in a distributed database | |
| WO2012144214A1 (ja) | クライアント機器、サーバ装置、コンテンツ取得方法および集積回路 | |
| US20240193141A1 (en) | Parameter-Based Versioning For Log-Based Block Devices | |
| CN116980475A (zh) | 一种基于binlog与双环形缓冲区的数据推送系统 | |
| WO2024123539A2 (en) | Parameter-based versioning for log-based block devices | |
| CN113296892A (zh) | 开发环境的休眠方法、装置、电子设备及存储介质 | |
| CN117938956A (zh) | 云计算数据缓存策略的优化方法、装置、设备及存储介质 | |
| CN115905391A (zh) | 应用于Kubernetes的配置管理数据采集方法、系统、设备和介质 | |
| JP4586043B2 (ja) | ネットワーク管理システム、ネットワーク管理用プログラム及び通信端末 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |