CN116414798A - 基于集群文件系统的分布式一致性实现方法、装置及介质 - Google Patents

基于集群文件系统的分布式一致性实现方法、装置及介质 Download PDF

Info

Publication number
CN116414798A
CN116414798A CN202310092699.8A CN202310092699A CN116414798A CN 116414798 A CN116414798 A CN 116414798A CN 202310092699 A CN202310092699 A CN 202310092699A CN 116414798 A CN116414798 A CN 116414798A
Authority
CN
China
Prior art keywords
file
lock
user
request
distributed consistency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310092699.8A
Other languages
English (en)
Inventor
贾江龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN202310092699.8A priority Critical patent/CN116414798A/zh
Publication of CN116414798A publication Critical patent/CN116414798A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G06F16/1767—Concurrency control, e.g. optimistic or pessimistic approaches
    • G06F16/1774—Locking methods, e.g. locking methods for file systems allowing shared and concurrent access to files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2365—Ensuring data consistency and integrity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
    • G06F9/5022—Mechanisms to release resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种基于集群文件系统的分布式一致性实现方法、装置及介质，涉及计算机技术领域，提供一种不需要其他服务组件同意的分布式一致性实现方法，本申请接收请求用户发送的文件访问请求；根据文件访问请求创建文件锁；将文件锁分配至请求用户持有，向请求用户返回加锁成功消息；当请求用户业务执行完成后，释放文件锁。在共享存储上配置集群文件系统，通过集群文件系统的文件锁来实现分布式锁机制。集群中的物理主机(进程)通过文件锁来获取分布式锁，只有加锁成功的物理主机(进程)才能执行下某些操作，在操作完成之后解锁，保障云平台的业务连续性数与数据安全性，以及实现云平台不同的工作负载的负载均衡。

Description

基于集群文件系统的分布式一致性实现方法、装置及介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于集群文件系统的分布式一致性实现方法、装置及介质。
背景技术
随着业务的发展以及数据的膨胀，单节点服务器已经无法满足人们日益增长的需求。因此必须将服务器池化，组成服务器集群系统或者分布式系统，成为主流的技术手段与解决方案。在集群系统或者分布式系统中，多个物理主机(进程)可能会并行的访问读写相同的数据副本，如何保证数据副本的分布式一致性，为客户提供安全完备的服务，就成为了难点与重点。
针对分布式一致性问题，业界提出了很多分布式一致性算法以及相应的技术实现，例如基于paxos协议的zookeeper实现，基于raft协议的etcd实现，基于共享存储的sanlock实现等。分布式一致性算法以及技术实现的核心在于分布式锁的实现，在进程访问数据副本之前必须首先获取分布式锁，访问结束后释放分布式锁。但这些分布式协议算法复杂，每次更新操作，需要经过半数以上服务组件同意，才可以认为一次更新操作成功。当更新操作非常频繁时，没有固有的办法能够简单有效地提高系统的服务能力，实现难度很高，而且不便于使用以及维护，往往需要专业的研发与运维。
由此可见，提供一种不需要其他服务组件同意的分布式一致性实现方法，是本领域人员亟待解决的技术问题。
发明内容
本申请的目的是提供一种不需要其他服务组件同意的基于集群文件系统的分布式一致性实现方法。
为解决上述技术问题，本申请提供一种基于集群文件系统的分布式一致性实现方法，包括：
接收请求用户发送的文件访问请求；
根据文件访问请求创建文件锁；
将文件锁分配至请求用户持有，向请求用户返回加锁成功消息；
当请求用户业务执行完成后，释放文件锁。
优选地，上述基于集群文件系统的分布式一致性实现方法中，接收请求用户发送的文件访问请求之后，根据文件访问请求创建文件锁之前，还包括；
判断是否存在文件访问请求对应的文件锁；
若是，等待文件锁释放；
若否，进入根据文件访问请求创建文件锁的步骤。
优选地，上述基于集群文件系统的分布式一致性实现方法中，将文件锁分配至请求用户持有，向请求用户返回加锁成功消息之后，包括：
设置加锁定时器；
当达到预设时间文件锁未释放，释放文件锁。
优选地，上述基于集群文件系统的分布式一致性实现方法中，接收请求用户发送的文件访问请求，包括：
接收到多个请求用户发送的文件访问请求；
根据预设逻辑，确定请求用户的优先级；
根据优先级将请求用户加入待执行队列；
对应地，将文件锁分配至请求用户持有，向请求用户返回加锁成功消息，包括：
根据待执行队列顺序将文件锁分配至请求用户持有，向请求用户返回加锁成功消息。
优选地，上述基于集群文件系统的分布式一致性实现方法中，等待文件锁释放之前，还包括：
向占用文件锁的用户发送释放文件锁请求。
优选地，上述基于集群文件系统的分布式一致性实现方法中，接收请求用户发送的文件访问请求，包括：
通过应用程序编程接口接收请求用户发送的文件访问请求。
对应地，请求用户通过应用程序编程接口访问文件访问请求对应的文件。
优选地，上述基于集群文件系统的分布式一致性实现方法中，当请求用户业务执行完成后，释放文件锁之后，还包括：
根据待执行队列将文件锁分配至下一请求用户持有。
为解决上述技术问题，本申请还提供一种基于集群文件系统的分布式一致性实现装置，包括：
接收模块，用于接收请求用户发送的文件访问请求；
创建模块，用于根据文件访问请求创建文件锁；
分配模块，用于将文件锁分配至请求用户持有，向请求用户返回加锁成功消息；
释放模块，用于当请求用户业务执行完成后，释放文件锁。
判断模块，用于判断是否存在文件访问请求对应的文件锁；
若是，触发等待模块，用于等待文件锁释放；
若否，触发创建模块，根据文件访问请求创建文件锁。
设置模块，用于设置加锁定时器；
强制释放模块，用于当达到预设时间文件锁未释放，释放文件锁。
接收子单元，用于接收到多个请求用户发送的文件访问请求；
确定子单元，用于根据预设逻辑，确定请求用户的优先级；
加入子单元，用于根据优先级将请求用户加入待执行队列；
分配子单元，用于根据待执行队列顺序将文件锁分配至请求用户持有，向请求用户返回加锁成功消息。
释放请求子单元，用于向占用文件锁的用户发送释放文件锁请求。
通过应用程序编程接口接收请求用户发送的文件访问请求。
为解决上述技术问题，本申请还提供一种基于集群文件系统的分布式一致性实现装置，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现上述的基于集群文件系统的分布式一致性实现方法的步骤。
为解决上述技术问题，本申请还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的基于集群文件系统的分布式一致性实现方法的步骤。
本申请所提供的基于集群文件系统的分布式一致性实现方法，包括：接收请求用户发送的文件访问请求；根据文件访问请求创建文件锁；将文件锁分配至请求用户持有，向请求用户返回加锁成功消息；当请求用户业务执行完成后，释放文件锁。在共享存储上配置集群文件系统，通过集群文件系统的文件锁来实现分布式锁机制。集群中的物理主机(进程)通过文件锁来获取分布式锁，只有加锁成功的物理主机(进程)才能执行下某些操作，在操作完成之后解锁，保障云平台的业务连续性数与数据安全性，以及实现云平台不同的工作负载的负载均衡。
另外，本申请还提供一种装置及介质，与上述方法对应，效果同上。
附图说明
为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种基于集群文件系统的分布式一致性实现方法的流程图；
图2为本申请实施例提供的一种基于集群文件系统的分布式一致性实现装置的结构图；
图3为本申请实施例提供的另一种基于集群文件系统的分布式一致性实现装置的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本申请保护范围。
本申请的核心是提供一种基于集群文件系统的分布式一致性实现。
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。
随着业务的发展以及数据的膨胀，单节点服务器已经无法满足人们日益增长的需求。因此必须将服务器池化，组成服务器集群系统或者分布式系统，成为主流的技术手段与解决方案。在集群系统或者分布式系统中，多个物理主机(进程)可能会并行的访问读写相同的数据副本，如何保证数据副本的分布式一致性，为客户提供安全完备的服务，就成为了难点与重点。
针对分布式一致性问题，业界提出了很多分布式一致性算法以及相应的技术实现，例如基于paxos协议的zookeeper实现，基于raft协议的etcd实现，基于共享存储的sanlock实现等。分布式一致性算法以及技术实现的核心在于分布式锁的实现，在进程访问数据副本之前必须首先获取分布式锁，访问结束后释放分布式锁。但这些分布式协议算法复杂，Sanlock的实现方案是依赖于disk paxos算法，但是disk paxos算法依赖于存储空间，sanlock设定了固定的2048个块大小来实现disk paxos算法，即一个资源对应的空间是1M，sanlock通过delta lease来维护节点存活状态，通过disk paxos算法来实现资源锁。Sanlock的disk paxos算法是通过读取资源空间所有的数据来判断对方是否在获取资源，同时判断资源是否被获取，disk paxos算法过程中至少要进行六次I/O来完成算法，其中每一次读取读取时候都是全部读取，即读取当前资源的所有的内容，即1M空间内容，当磁盘性能比较差时候一个disk paxos算法需要读取三次磁盘，每一次读取1M空间的内容，严重影响sanlock算法时效性，同时，一般使用分布式锁的时候规模并没有达到2000节点个数，基本上都是个位数或者是十位数的节点个数使用，因此在小规模使用sanlock时候，需要优化sanlock的paxos算法，减小disk paxos算法的I/O大小，提高sanlock disk paxos算法的效率。每次更新操作，需要经过半数以上服务组件同意，才可以认为一次更新操作成功。当更新操作非常频繁时，没有固有的办法能够简单有效地提高系统的服务能力，实现难度很高，而且不便于使用以及维护，往往需要专业的研发与运维。
为解决上述技术问题，本申请提供一种基于集群文件系统的分布式一致性实现方法，图1为本申请实施例提供的一种基于集群文件系统的分布式一致性实现方法的流程图；如图1所示，包括：
S11：接收请求用户发送的文件访问请求；
S12：根据文件访问请求创建文件锁；
S13：将文件锁分配至请求用户持有，向请求用户返回加锁成功消息；
S14：当请求用户业务执行完成后，释放文件锁。
本发明的提出了一种基于集群文件系统(Oracle Cluster File System，OCFS)的分布式一致性实现方法，应用于物理主机集群装置，共享存储装置，集群文件系统装置，分布式锁装置构成的物理环境中。
物理主机集群装置：在云平台中，多个物理主机共同组成一套物理主机集群，由管理平台进行管理，可以实现主机的添加，主机的删除，主机的配置等操作，进而实现云平台集群规模的弹性伸缩。
共享存储装置：在现在的存储架构中，物理主机组成集群，通过网络访问后端的存储设备，一般是共享存储装置中，如存储区域网络(Storage Area Network，SAN)或者网络附属存储(Network Attached Storage，NAS)，SAN为主机集群提供共享的块存储，而SAN为主机集群提供共享的文件存储，SAN的性能比较好，因为本方案采用SAN的共享存储装置。
集群文件系统装置：集群中所有物理主机共享相同的后端存储SAN，所有的物理主机上挂载集群文件系统OCFS，这样集群中所有的物理主机看到相同的文件系统视图，进而可以访问同一个OCFS文件系统。
分布式锁装置：尽管集群中所有的物理主机可以访问相同的文件系统，但并发或者并行访问相同的文件或者数据，仍然会有数据不一致的风险。因此在访问文件数据之前，可以先获取OCFS文件系统的文件锁，访问文件数据之后，再释放OCFS文件系统的文件锁，通过文件锁实现不同进程串行的数据访问，或者其他业务逻辑。
在本实施例中，当接收到接收请求用户发送的文件访问请求后，根据文件访问请求创建文件锁；将文件锁分配至请求用户持有，并向请求用户返回加锁成功消息；当请求用户业务执行完成后，释放文件锁。文件锁可被下一请求用户获取，以对对应的文件进行访问。本实施例提到的请求用户可以是主机也可以是进程，本实施例不作具体限制。
本实施例不限制请求用户执行的业务操作，可以是查询、读、写等操作，根据实际需要设置即可。
在集群中所有主机的不同进程在进行数据访问或者业务操作时，放置在基于文件锁实现的分布式锁的环境中，保证数据和业务的准确性与安全性。
本申请提供的基于集群文件系统的分布式一致性实现方法，包括：接收请求用户发送的文件访问请求；根据文件访问请求创建文件锁；将文件锁分配至请求用户持有，向请求用户返回加锁成功消息；当请求用户业务执行完成后，释放文件锁。在共享存储上配置集群文件系统，通过集群文件系统的文件锁来实现分布式锁机制。集群中的物理主机(进程)通过文件锁来获取分布式锁，只有加锁成功的物理主机(进程)才能执行下某些操作，在操作完成之后解锁，保障云平台的业务连续性数与数据安全性，以及实现云平台不同的工作负载的负载均衡。
根据上述实施例，基于集群文件系统的分布式一致性实现方法，接收请求用户发送的文件访问请求之后，根据文件访问请求创建文件锁之前，还包括；
判断是否存在文件访问请求对应的文件锁；
若是，等待文件锁释放；
若否，进入根据文件访问请求创建文件锁的步骤。
当接收到文件访问请求后，先判断是否存在文件访问请求对应的文件锁，即判断文件访问请求对应的文件是否正在被其他用户或进程占用，若没有其他用户使用，则进入步骤S12根据文件访问请求创建文件锁，若存在，则需等待其他用户使用完毕后，释放文件锁。
为了提高效率，本实施例提供一种优选方案，等待文件锁释放之前，还包括：
向占用文件锁的用户发送释放文件锁请求。
本实施例向占用文件锁的用户发送释放文件锁请求，以及时释放文件锁。
根据上述实施例，为了防止某个物理主机(进程)因异常导致长时间不释放锁，导致其他主机(进程)不能获取锁，本实施例提供一种优选方案，基于集群文件系统的分布式一致性实现方法，将文件锁分配至请求用户持有，向请求用户返回加锁成功消息之后，包括：
设置加锁定时器；
当达到预设时间文件锁未释放，释放文件锁。
当向某一请求用户分配文件锁加锁成功后，设置加锁定时器；当达到预设时间文件锁未释放，释放文件锁。防止某个物理主机(进程)因异常导致长时间不释放锁，导致其他主机(进程)不能获取锁，物理主机(进程)在加锁之后增加超时机制，待超时后自动释放锁。
根据上述实施例，为了提高业务执行效率，避免紧急任务的长时间等待，本实施例提供一种优选方案，基于集群文件系统的分布式一致性实现方法，接收请求用户发送的文件访问请求，包括：
接收到多个请求用户发送的文件访问请求；
根据预设逻辑，确定请求用户的优先级；
根据优先级将请求用户加入待执行队列；
对应地，将文件锁分配至请求用户持有，向请求用户返回加锁成功消息，包括：
根据待执行队列顺序将文件锁分配至请求用户持有，向请求用户返回加锁成功消息。
根据预设逻辑，可对请求用户的优先级进行划分，本实施例不限制具体优先级划分方法，根据实际需要设置即可。根据优先级将请求用户加入待执行队列；根据待执行队列顺序将文件锁分配至请求用户持有，向请求用户返回加锁成功消息。
当请求用户业务执行完成后，释放文件锁之后，还包括：
根据待执行队列将文件锁分配至下一请求用户持有。
根据上述实施例，为了数据的安全性，避免紧急任务的长时间等待，本实施例提供一种优选方案，基于集群文件系统的分布式一致性实现方法，接收请求用户发送的文件访问请求，包括：
通过应用程序编程接口接收请求用户发送的文件访问请求。
对应地，请求用户通过应用程序编程接口访问文件访问请求对应的文件。
应用程序编程接口(Application Programming Interface，API)是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码或理解内部工作机制的细节。通过简单的API来实现业务的连续性，数据的安全性。
在上述实施例中，对于基于集群文件系统的分布式一致性实现方法进行了详细描述，本申请还提供基于集群文件系统的分布式一致性实现装置对应的实施例。需要说明的是，本申请从两个角度对装置部分的实施例进行描述，一种是基于功能模块的角度，另一种是基于硬件的角度。
基于功能模块的角度，图2为本申请实施例提供的一种基于集群文件系统的分布式一致性实现装置的结构图，如图2所示，基于集群文件系统的分布式一致性实现装置，包括：
接收模块21，用于接收请求用户发送的文件访问请求；
创建模块22，用于根据文件访问请求创建文件锁；
分配模块23，用于将文件锁分配至请求用户持有，向请求用户返回加锁成功消息；
释放模块24，用于当请求用户业务执行完成后，释放文件锁。
具体的，接收模块21，用于接收请求用户发送的文件访问请求；创建模块22，用于根据文件访问请求创建文件锁；分配模块23，用于将文件锁分配至请求用户持有，向请求用户返回加锁成功消息；释放模块24，用于当请求用户业务执行完成后，释放文件锁。在共享存储上配置集群文件系统，通过集群文件系统的文件锁来实现分布式锁机制。集群中的物理主机(进程)通过文件锁来获取分布式锁，只有加锁成功的物理主机(进程)才能执行下某些操作，在操作完成之后解锁，保障云平台的业务连续性数与数据安全性，以及实现云平台不同的工作负载的负载均衡。
装置还包括：
判断模块，用于判断是否存在文件访问请求对应的文件锁；
若是，触发等待模块，用于等待文件锁释放；
若否，触发创建模块22，根据文件访问请求创建文件锁。
设置模块，用于设置加锁定时器；
强制释放模块，用于当达到预设时间文件锁未释放，释放文件锁。
接收子单元，用于接收到多个请求用户发送的文件访问请求；
确定子单元，用于根据预设逻辑，确定请求用户的优先级；
加入子单元，用于根据优先级将请求用户加入待执行队列；
分配子单元，用于根据待执行队列顺序将文件锁分配至请求用户持有，向请求用户返回加锁成功消息。
释放请求子单元，用于向占用文件锁的用户发送释放文件锁请求。
通过应用程序编程接口接收请求用户发送的文件访问请求。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
图3为本申请实施例提供的另一种基于集群文件系统的分布式一致性实现装置的结构图，如图3所示，基于集群文件系统的分布式一致性实现装置包括：存储器30，用于存储计算机程序；
处理器31，用于执行计算机程序时实现如上述实施例(基于集群文件系统的分布式一致性实现方法)获取用户操作习惯信息的方法的步骤。
本实施例提供的基于集群文件系统的分布式一致性实现装置可以包括但不限于智能手机、平板电脑、笔记本电脑或台式电脑等。
其中，处理器31可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器31可以采用数字信号处理器(Digital Signal Processor，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器31也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称中央处理器(CentralProcessing Unit，CPU)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器31可以在集成有图像处理器(Graphics Processing Unit，GPU)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器31还可以包括人工智能(Artificial Intelligence，AI)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器30可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器30还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器30至少用于存储以下计算机程序301，其中，该计算机程序被处理器31加载并执行之后，能够实现前述任一实施例公开的基于集群文件系统的分布式一致性实现方法的相关步骤。另外，存储器30所存储的资源还可以包括操作系统302和数据303等，存储方式可以是短暂存储或者永久存储。其中，操作系统302可以包括Windows、Unix、Linux等。数据303可以包括但不限于实现基于集群文件系统的分布式一致性实现方法所涉及到的数据等。
在一些实施例中，基于集群文件系统的分布式一致性实现装置还可包括有显示屏32、输入输出接口33、通信接口34、电源35以及通信总线36。
本领域技术人员可以理解，图3中示出的结构并不构成对基于集群文件系统的分布式一致性实现装置的限定，可以包括比图示更多或更少的组件。
本申请实施例提供的基于集群文件系统的分布式一致性实现装置，包括存储器和处理器，处理器在执行存储器存储的程序时，能够实现如下方法：基于集群文件系统的分布式一致性实现方法，包括：接收请求用户发送的文件访问请求；根据文件访问请求创建文件锁；将文件锁分配至请求用户持有，向请求用户返回加锁成功消息；当请求用户业务执行完成后，释放文件锁。在共享存储上配置集群文件系统，通过集群文件系统的文件锁来实现分布式锁机制。集群中的物理主机(进程)通过文件锁来获取分布式锁，只有加锁成功的物理主机(进程)才能执行下某些操作，在操作完成之后解锁，保障云平台的业务连续性数与数据安全性，以及实现云平台不同的工作负载的负载均衡。
最后，本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述基于集群文件系统的分布式一致性实现方法实施例中记载的步骤。
可以理解的是，如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的计算机可读存储介质，其上存储有计算机程序，当处理器执行该程序时，可实现以下方法：基于集群文件系统的分布式一致性实现方法，包括：接收请求用户发送的文件访问请求；根据文件访问请求创建文件锁；将文件锁分配至请求用户持有，向请求用户返回加锁成功消息；当请求用户业务执行完成后，释放文件锁。在共享存储上配置集群文件系统，通过集群文件系统的文件锁来实现分布式锁机制。集群中的物理主机(进程)通过文件锁来获取分布式锁，只有加锁成功的物理主机(进程)才能执行下某些操作，在操作完成之后解锁，保障云平台的业务连续性数与数据安全性，以及实现云平台不同的工作负载的负载均衡。
以上对本申请所提供的基于集群文件系统的分布式一致性实现方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种基于集群文件系统的分布式一致性实现方法，其特征在于，包括：
接收请求用户发送的文件访问请求；
根据所述文件访问请求创建文件锁；
将所述文件锁分配至所述请求用户持有，向所述请求用户返回加锁成功消息；
当所述请求用户业务执行完成后，释放所述文件锁。
2.根据权利要求1所述的基于集群文件系统的分布式一致性实现方法，其特征在于，所述接收请求用户发送的文件访问请求之后，所述根据所述文件访问请求创建文件锁之前，还包括；
判断是否存在所述文件访问请求对应的文件锁；
若是，等待所述文件锁释放；
若否，进入所述根据所述文件访问请求创建文件锁的步骤。
3.根据权利要求2所述的基于集群文件系统的分布式一致性实现方法，其特征在于，所述将所述文件锁分配至所述请求用户持有，向所述请求用户返回加锁成功消息之后，包括：
设置加锁定时器；
当达到预设时间所述文件锁未释放，释放所述文件锁。
4.根据权利要求1所述的基于集群文件系统的分布式一致性实现方法，其特征在于，所述接收请求用户发送的文件访问请求，包括：
接收到多个所述请求用户发送的所述文件访问请求；
根据预设逻辑，确定所述请求用户的优先级；
根据所述优先级将所述请求用户加入待执行队列；
对应地，所述将所述文件锁分配至所述请求用户持有，向所述请求用户返回加锁成功消息，包括：
根据所述待执行队列顺序将所述文件锁分配至所述请求用户持有，向所述请求用户返回加锁成功消息。
5.根据权利要求2所述的基于集群文件系统的分布式一致性实现方法，其特征在于，所述等待所述文件锁释放之前，还包括：
向占用所述文件锁的用户发送释放文件锁请求。
6.根据权利要求1所述的基于集群文件系统的分布式一致性实现方法，其特征在于，所述接收请求用户发送的文件访问请求，包括：
通过应用程序编程接口接收请求用户发送的文件访问请求；
对应地，所述请求用户通过所述应用程序编程接口访问所述文件访问请求对应的文件。
7.根据权利要求4所述的基于集群文件系统的分布式一致性实现方法，其特征在于，所述当所述请求用户业务执行完成后，释放所述文件锁之后，还包括：
根据所述待执行队列将所述文件锁分配至下一所述请求用户持有。
8.一种基于集群文件系统的分布式一致性实现装置，其特征在于，包括：
接收模块，用于接收请求用户发送的文件访问请求；
创建模块，用于根据所述文件访问请求创建文件锁；
分配模块，用于将所述文件锁分配至所述请求用户持有，向所述请求用户返回加锁成功消息；
释放模块，用于当所述请求用户业务执行完成后，释放所述文件锁。
9.一种基于集群文件系统的分布式一致性实现装置，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的基于集群文件系统的分布式一致性实现方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于集群文件系统的分布式一致性实现方法的步骤。
CN202310092699.8A 2023-02-03 2023-02-03 基于集群文件系统的分布式一致性实现方法、装置及介质 Pending CN116414798A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310092699.8A CN116414798A (zh) 2023-02-03 2023-02-03 基于集群文件系统的分布式一致性实现方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310092699.8A CN116414798A (zh) 2023-02-03 2023-02-03 基于集群文件系统的分布式一致性实现方法、装置及介质

Publications (1)

Publication Number Publication Date
CN116414798A true CN116414798A (zh) 2023-07-11

Family

ID=87048781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310092699.8A Pending CN116414798A (zh) 2023-02-03 2023-02-03 基于集群文件系统的分布式一致性实现方法、装置及介质

Country Status (1)

Country Link
CN (1) CN116414798A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117370310A (zh) * 2023-10-19 2024-01-09 中电云计算技术有限公司 一种分布式文件系统跨集群数据增量迁移的方法
CN118550890A (zh) * 2024-07-26 2024-08-27 天翼云科技有限公司 一种多进程文件分发的方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117370310A (zh) * 2023-10-19 2024-01-09 中电云计算技术有限公司 一种分布式文件系统跨集群数据增量迁移的方法
CN117370310B (zh) * 2023-10-19 2024-05-28 中电云计算技术有限公司 一种分布式文件系统跨集群数据增量迁移的方法
CN118550890A (zh) * 2024-07-26 2024-08-27 天翼云科技有限公司 一种多进程文件分发的方法及装置
CN118550890B (zh) * 2024-07-26 2024-09-27 天翼云科技有限公司 一种多进程文件分发的方法及装置

Similar Documents

Publication Publication Date Title
US11157457B2 (en) File management in thin provisioning storage environments
US11163728B2 (en) Sharing container images utilizing a shared storage system
US9483540B2 (en) Cloud based data migration and replication
JP5510556B2 (ja) 仮想マシンのストレージスペースおよび物理ホストを管理するための方法およびシステム
CN116414798A (zh) 基于集群文件系统的分布式一致性实现方法、装置及介质
US9448901B1 (en) Remote direct memory access for high availability nodes using a coherent accelerator processor interface
US8949430B2 (en) Clustered computer environment partition resolution
US10346220B2 (en) Method and system for locking storage area in storage system
US10318475B2 (en) System and method for persistence of application data using replication over remote direct memory access
US9697224B1 (en) Data deduplication for an eventually consistent system
US9063918B2 (en) Determining a virtual interrupt source number from a physical interrupt source number
US10361995B2 (en) Management of clustered and replicated systems in dynamic computing environments
WO2018120810A1 (zh) 一种解决数据冲突的方法和系统
US11243980B2 (en) Monotonic transactions in a multi-master database with loosely coupled nodes
US9747323B1 (en) Method for reconstruction of a distributed lock state after a node addition or removal using a consistent hash
WO2021086693A1 (en) Management of multiple physical function non-volatile memory devices
CN106936931A (zh) 分布式锁的实现方法、相关设备及系统
CN108345496B (zh) 一种运行应用程序的方法及装置
US20230055511A1 (en) Optimizing clustered filesystem lock ordering in multi-gateway supported hybrid cloud environment
WO2017041650A1 (zh) 用于扩展分布式一致性服务的方法和设备
CN114281765A (zh) 分布式文件系统中的元数据处理方法及设备
US10423348B1 (en) Increasing serial read performance
US20230214265A1 (en) High availability scheduler event tracking
US11121981B1 (en) Optimistically granting permission to host computing resources
WO2023274014A1 (zh) 容器集群的存储资源管理方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination