CN104702655A - 云存储资源分配方法及其系统 - Google Patents

Abstract

本发明涉及云存储领域，公开一种云存储资源分配方法及其系统。本发明方法包括步骤：当收到客户端对共享资源的加锁请求时，在同步存储空间中创建共享资源的锁节点和客户端锁标识节点；如果不存在锁节点，则锁节点创建成功，客户端独占使用共享资源；如果已存在锁节点，则创建锁节点失败，创建自己的客户端锁标识节点并对最近创建的其它客户端锁标识节点注册观察；当共享资源解锁时，删除相应的锁节点和客户端锁标识节点，通知对该客户端锁标识节点注册观察的客户端。本发明中，分布式服务节点死机不会导致死锁，解决单点故障问题，可靠性高，锁资源释放时及时通知注册观察的客户端，各客户端无需轮询锁状态，节约系统开销，提高锁资源的分配效率。

Description

云存储资源分配方法及其系统

技术领域

本发明涉及云存储领域，特别涉及云存储资源分配方法及其系统。

背景技术

单机系统进程间加锁可以采用信号量或者条件变量的方式，操作非常容易。但是集群系统中，多客户端对共享资源的并发访问，普通加锁的方式很难适用于对共享资源的保护。

视频云存储系统采用集群技术解决单点故障，各服务器节点通过负载调度均分客户端服务请求，通过数据处理模块共享数据库资源。其中对于集群管理（主节点的选择/管理节点操作命令的下发）、对于共享数据库资源的保护等，必须使用分布式锁技术加以保护，否则会带来意想不到的结果。

对于锁资源的申请方式：传统的方式为在集群中选取主服务器，所有加锁和解锁申请必须通过主服务器，在主服务器中维护一个锁资源申请的优先队列，所有锁资源的申请由主服务器来判断锁资源的归属。这种方式对主服务器的压力比较大，而且一旦主服务器出现问题，势必会造成单点故障。

对于等待队列中的客户端获取锁的方式，常规的做法有两种：a.客户端处理模式，以一定的时间间隔轮询，当前锁资源是否被占用。这种处理方式，在整个分布式锁的竞争中，大量重复运行，对系统资源的消耗无疑是巨大的。b.服务器端处理模式，客户端申请的锁使用完之后，向主服务器申请释放锁资源，主服务器得到消息后，从锁等待队列中根据一定的优先级决定锁资源的分配，处理流程非常繁琐，且如果释放锁的客户端和主服务器发生通信故障，容易造成死锁。

死锁是由于客户端进程崩溃、或者由于使用者的误操作(只加锁，不解锁)，使锁资源一直被占，导致其他客户端一直无法获取锁资源。

发明内容

本发明的目的在于提供一种云存储资源分配方法及其系统，当一个分布式服务节点死机时不会导致死锁，锁的申请和释放不依赖于任何服务节点，解决了单点故障问题，系统可靠性高，通过注册观察机制确保锁资源释放时及时通知给注册观察的客户端，各客户端无需轮询锁状态，节约了系统开销，提高了锁资源的分配效率。

为解决上述技术问题，本发明的实施方式公开了一种云存储资源分配方法，分布式系统的各分布式服务节点中分别设置有同步存储空间，各分布式服务节点通过一致性算法保证各同步存储空间数据的一致性，方法包括以下步骤：

当收到来自客户端对共享资源的加锁请求时，在各分布式服务节点的同步存储空间中创建该共享资源的锁节点和该客户端的客户端锁标识节点；

如果同步存储空间中不存在该共享资源的锁节点，则该共享资源的锁节点创建成功，允许该客户端独占使用该共享资源；

如果同步存储空间中已存在该共享资源的锁节点，则该共享资源的锁节点创建失败，同步创建该客户端的锁标识节点，并为该客户端对最近创建的其它客户端锁标识节点注册观察；

当该共享资源解锁时，从同步存储空间删除该共享资源的锁节点和解锁前独占使用该共享资源的客户端的客户端锁标识节点，通知对该被删除的客户端锁标识节点注册观察的客户端。

本发明的实施方式还公开了一种云存储资源分配系统，包括以下模块：

加锁模块，用于当收到来自客户端对共享资源的加锁请求时，在各分布式服务节点的同步存储空间中创建该共享资源的锁节点和该客户端的客户端锁标识节点；

解锁模块，用于当共享资源解锁时，从同步存储空间删除共享资源的锁节点和解锁前独占使用该共享资源的客户端的客户端锁标识节点，通知对该被删除的客户端锁标识节点注册观察的客户端。

本发明实施方式与现有技术相比，主要区别及其效果在于：

一个分布式服务节点死机不会导致死锁，锁的申请和释放不依赖于任何服务节点，解决了单点故障问题，系统可靠性高，通过注册观察机制，确保锁资源释放时及时通知给注册观察的客户端，各客户端无需轮询锁状态，节约了系统开销，提高了锁资源的分配效率。

进一步地，本方案加锁流程简单，将目录树结构应用在分布式锁中，以文件夹的方式来标识锁资源的分配情况，只需要在分布式系统中创建文件夹即可，不需要集群中各服务器节点间的多次交互，在确保加锁准确性的前提下，极大地节省系统资源的开销。

进一步地，父目录的观察用于动态维护和更新全局的客户端的锁标识节点计数，客户端锁标识节点的观察用于监控锁资源的释放情况，采用两级观察的模式能够高效监控客户端锁标识节点的变化情况。

进一步地，对于有多个共享资源的情况，通过在目录树结构下设置多级子节点的形式，将共享资源作为一级子节点，使其与作为二级子节点的共享资源的锁节点和客户端锁标识节点一一对应起来，能够有序的管理多个共享资源的分配。

进一步地，同步存储空间由各分布式服务节点的内存实现，能够有效防止某一分布式服务节点死机后对其它分布式服务节点产生影响。

附图说明

图1是本发明第一实施方式中一种云存储资源分配方法的流程示意图；

图2是本发明第一实施方式中一种云存储资源分配方法加锁处理流程图；

图3是本发明第一实施方式中一种云存储资源分配方法解锁处理流程图；

图4是本发明第二实施方式中一种云存储资源分配系统的结构示意图。

具体实施方式

在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求分配的技术方案。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。

术语解释：

分布式文件系统：文件系统管理的物理存储资源通过计算机网络与节点相连。

视频云存储：通过集群应用、网格技术和分布式文件系统等，将网络中大量的存储设备通过应用软件集合起来协同工作，共同对外提供视频数据存储和业务访问功能的系统。

分布式锁：为分布式集群系统中相互独立的进程提供一种并行访问共享资源的机制。

节点：分布式文件系统客户端API在服务器端创建的一个文件（含相关数据）。

临时节点：节点的生命周期跟创建节点的会话（session）的生命周期一致，即session失效临时节点被同步删除。

锁节点：系统中的一个文件夹，标识锁资源的分配情况。

客户端锁标识节点：每一次加锁的申请，都会创建一个客户端锁标识节点，用于锁资源申请的标识和观察的注册。

观察：一种注册回调处理机制，观察的事件发生后，发消息给观察事件的注册者。

Paxos算法：一种基于消息传递的一致性算法，在一个分布系统中，如果各节点的初始状态一致，每个节点都执行相同的操作序列，那么他们最后能得到一个一致的状态。

本发明第一实施方式涉及一种云存储资源分配方法，图1是该云存储资源分配方法的流程示意图。

该云存储资源分配方法分布式系统的各分布式服务节点中分别设置有同步存储空间，各分布式服务节点通过一致性算法保证各同步存储空间数据的一致性，具体地说，如图1所示，该云存储资源分配方法包括以下步骤：

在步骤101中，当收到来自客户端对共享资源的加锁请求时，在各分布式服务节点的同步存储空间中创建该共享资源的锁节点和该客户端的客户端锁标识节点。

如果同步存储空间中不存在共享资源的锁节点，则该共享资源的锁节点创建成功，允许该客户端独占使用该共享资源。

如果同步存储空间中已存在共享资源的锁节点，则该共享资源的锁节点创建失败，同步创建该客户端的锁标识节点，并为该客户端对最近创建的其它客户端锁标识节点注册观察。

观察是一种注册回调处理机制，观察的事件发生后，发消息给观察事件的注册者。

客户端锁标识节点用于标识锁资源的申请，并用于通过对客户端锁标识节点进行注册观察来监控锁资源的释放情况。如果对最近创建的客户端锁标识节点注册观察未成功，则删除所创建的客户端锁标识节点，加锁失败。

此外，可以理解，同步存储空间是指在每个分布式服务节点中分别设置一块私有空间，该私有空间只能被对应的一个分布式服务节点访问，但这些分布式服务节点之间执行某种基于消息传递的一致性算法从而保证各同步存储空间中的数据是一致的。该一致性算法可以做到：如果各节点的初始状态一致，每个节点都执行相同的操作序列，那么它们最后能得到一个一致的状态。基于消息传递的一致性算法是现有技术，如Paxos算法等。

优选地，同步存储空间由各分布式服务节点的内存实现。

同步存储空间由各分布式服务节点的内存实现，能够有效防止某一分布式服务节点死机后对其它分布式服务节点产生影响。

此外，可以理解，在本发明的其它实施方式中，同步存储空间也可以由各分布式服务节点的其它组件实现，而不局限于由内存实现。

优选地，同步存储空间为目录树结构，该目录树结构包含父节点以及连接于该父节点的子节点，共享资源的锁节点和客户端锁标识节点是该目录树结构中的子节点。相应地，在步骤101之前，还包括步骤：

创建锁节点的父节点，并对父节点注册观察，维护并更新一个管理子节点的数据结构。

此外，可以理解，客户端的锁标识节点创建或者删除时，都能够触发对父节点的观察，并自动更新管理子节点的数据结构的计数。

将目录树结构应用在分布式锁中，以文件夹的方式来标识锁资源的分配情况，只需要在分布式系统中创建文件夹即可，不需要集群中各服务器节点间的多次交互，在确保加锁准确性的前提下，极大地节省系统资源的开销。

同时，父目录的观察用于动态维护和更新全局的客户端的锁标识节点计数，客户端锁标识节点的观察用于监控锁资源的释放情况，采用两级观察的模式能够高效监控客户端锁标识节点的变化情况。

优选地，如果共享资源的锁节点创建失败，为客户端对最近创建的其它客户端锁标识节点注册观察的步骤之后，对客户端锁标识节点的观察包括以下步骤：

判断所注册观察的客户端锁标识节点是否被删除；

若该客户端锁标识节点未删除，则继续观察，保持锁等待状态；

若该客户端锁标识节点被删除，判断共享资源的锁节点是否存在；

若锁节点存在，则相应地更新所注册观察的客户端锁标识节点，对被删除的客户端锁标识节点之前的客户端锁标识节点注册观察；

若锁节点不存在，则成功创建共享资源的锁节点，加锁成功。

在上述步骤中，当所注册观察的客户端锁标识节点被删除，而锁节点存在，说明所注册观察的客户端锁标识节点并不是当前拥有锁资源的节点，则需要相应地更新所注册观察的客户端锁标识节点，重新对删除节点之前的节点注册观察，继续等待。这种更新注册观察的机制是通过采用上述两级观察的模式来实现的。

优选地，共享资源存在至少一个，每个共享资源对应一个锁节点和至少一个客户端锁标识节点。

各共享资源为目录树结构的一级子节点。共享资源的锁节点和客户端锁标识节点为目录树结构的二级子节点。

对于有多个共享资源的情况，通过在目录树结构下设置多级子节点的形式，将共享资源作为一级子节点，使其与作为二级子节点的共享资源的锁节点和客户端锁标识节点一一对应起来，能够有序的管理多个共享资源的分配。

在步骤102中，当该共享资源解锁时，从同步存储空间删除该共享资源的锁节点和解锁前独占使用该共享资源的客户端的客户端锁标识节点，通知对该被删除的客户端锁标识节点注册观察的客户端。

优选地，在共享资源解锁的步骤102之前，还包括步骤：

如果通过心跳检测发现客户端和服务节点的会话失效，则从同步存储空间删除共享资源的锁节点和独占使用该共享资源的客户端的客户端锁标识节点，通知对该被删除的客户端锁标识节点注册观察的客户端。

此外，可以理解，客户端和集群服务器的会话是通过心跳机制来维持的，在一定的时间之内，如果服务器端收不到心跳，则判断为会话超时。

本发明在申请加锁时创建的锁节点和客户端锁标识节点，均为临时节点，节点的生命周期跟会话的生命周期保持一致。会话超时后临时节点被主动删除，自动解锁。

例如，当死锁是由客户端进程崩溃造成时，判定客户端和服务器的会话失效，临时的锁节点和客户端锁标识节点被主动删除，自动解锁。

优选地，在共享资源解锁的步骤102之前，还包括步骤：

如果客户端独占使用共享资源的时间超过锁定时长，则从同步存储空间删除该共享资源的锁节点和该客户端的客户端锁标识节点，通知对该被删除的客户端锁标识节点注册观察的客户端。

此外，可以理解，当死锁是由客户端未释放锁资源造成超过锁定时长时，云存储组件自动释放分布式锁。

一个分布式服务节点死机不会导致死锁，锁的申请和释放不依赖于任何服务节点，解决了单点故障问题，系统可靠性高，通过注册观察机制，确保锁资源释放时及时通知给注册观察的客户端，各客户端无需轮询锁状态，节约了系统开销，提高了锁资源的分配效率。

作为本实施方式的优选例，加锁处理流程图和解锁处理流程图分别如图2和3所示。以下详细说明加锁处理设计方法、解锁处理设计方法以及死锁处理。

本优选例的分布式锁是一种协调工作的锁，系统只提供加锁以及是否加锁的检测接口，本身不参与锁的协调和控制。这种锁提供给访问资源的用户进行协调的一种手段，所有资源的访问控制由用户自己处理。

视频云存储系统，主要由录像索引服务器和存储服务器组成，分布式锁的应用主要在索引服务器集群中。索引服务器集群的分布式文件系统主要包括以下模块：

节点管理，类似于linux系统的树形目录结构，如“/AAA/bbb”。目录结构对集群中所有服务器可见，数据的强一致性由文件系统底层的Paxos算法保证，客户端无论连接到哪个服务器，展示的数据视图唯一。

会话管理，每个客户端和集群服务器对应的关系，会话通过心跳机制维持。

客户端管理，客户端与服务器会话建立后，将得到一个独一无二的句柄，并且以后所有的操作都通过这一句柄来完成。客户端对外提供的接口类似于普通文件系统层的目录操作，例如createLockNode（）、removeLockNode（）、existsLockNode（）。

createLockNode（）用于创建锁节点，removeLockNode（）用于删除锁节点、existsLockNode（）用于判断是否存在锁节点。

具体的操作示例如下所示：

createLockNode（nodeDataMutex），参数nodeDataMutex为nodeData类型的数据，其中，nodeData的结构包含节点名称、节点拥有者、节点创建时间和锁对象的时间，详细说明见下表1中的描述；

removeLockNode（“/lock_factory/globe_mutex”），参数为节点名称；

existsLockNode（“/lock_factory/globe_mutex”），参数为节点名称。

观察事件管理，记录客户端注册的观察事件，系统维护一个事件到回调函数列表的映射，如果某一个事件发生了，则会通知列表里面记录的注册观察的客户端。

快照管理，将视频云存储系统中的数据结构序列化到磁盘，即保存到磁盘，在服务器端崩溃后恢复时使用。

日志管理，服务器的每个节点进行更新前，视频云存储系统会确认代表更新的事务已经写入硬盘中。每次进行快照的时候，都会开始使用一个新的日志文件。

1）加锁处理设计方法

本方案分布式锁的设计方法，采用两级观察的模式高效监控客户端锁标识节点的变化情况：父目录的观察用于维护和更新一个全局的节点计数；客户端锁标识的观察用于监控客户端锁标识的释放情况。

对于加锁的处理，摒弃常用的排队或者优先级的概念：加锁时，除了客户端锁标识节点外，创建一个锁节点，必须要拥有这个独一无二的锁节点才能获取锁，极大限度的保证分布式系统加锁的准确性。

加锁处理的核心逻辑在于：能够成功创建锁节点（/lock_factory/globe_mutex），否则等待观察通知锁资源的释放；除此之外，每一次锁申请，都会同时创建客户端锁标识节点（/lock_factory/clinet-nodeX）用于观察事件管理模块对注册事件的管理。加锁处理如图2所示，其设计思想如下：

首先，锁节点监控模块对锁节点的父目录（/lock_factory）注册观察，并在内存中维护一个vector<nodeData>NodeManage的数据结构，客户端的锁标识节点创建或者删除时，都会触发父节点的观察，更新内存中NodeManage的计数。其中，nodeData的结构包含节点名称、节点拥有者、节点创建时间和锁对象的时间，如表1所示。其中节点拥有者可以是IP或者主机名，也可以是客户端的编号。

表1

其次，加锁申请时，锁节点管理模块创建锁节点/lock_factory/globe_mutex，若创建成功，则说明当前没有锁存在，之后同步创建客户端的锁标识，比如：/lock_factory/clinet-nodeX，至此加锁成功；若锁节点/lock_factory/globe_mutex存在，则只创建锁客户端标识节点，比如：/lock_factory/clinet-nodeY，并对vector中最后一个客户端锁标识节点NodeManage[N-1]注册观察，进入锁等待状态。(N为子节点个数，即N=NodeManage.size())如果对客户端锁标识节点注册观察失败，则删除创建的客户端锁标识节点，加锁失败。

最后，等待锁资源的各客户端锁标识节点只需等待自己注册观察的客户端锁标识节点的通知即可。若收到所注册观察的客户端锁标识节点删除的通知，则判断锁节点/lock_factory/globe_mutex是否存在，若不存在且能够成功创建该锁节点，则注册观察的节点获取锁；若锁节点存在，说明自己注册观察的客户端锁标识节点并不是当前拥有锁资源的节点，则重新对所删除节点之前的节点注册观察，继续等待（有节点删除时，会触发父节点观察，更新NodeManage计数）。

2）本实施例的解锁过程非常简单，解锁处理流程图如图3所示，解锁分为主动解锁和被动解锁：

主动解锁，首先判断锁的拥有权限，然后删除锁节点/lock_factory/globe_mutex和客户端锁标识节点，比如：/lock_factory/clinet-nodeX。

被动解锁，由客户端崩溃或者锁定时长超时导致的解锁，同样只需要删除锁节点和当前客户端锁标识节点即可。

3）死锁处理

在分布式系统中，锁的处理非常复杂，因为集群环境通信状态通常是不确定的、进程可能随时会崩溃，死锁的情况时常发生。造成死锁的原因主要表现在两个方面：

客户端进程在事务提交阶段崩溃了，锁没有被释放，这样后续的客户端访问就会被阻止，这种情况称之为锁冲突；

加锁和解锁本来应该是成对存在的，由于用户使用不当造成加锁后一直没有解锁，导致后续客户端的访问被阻塞，这种情况称他为锁阻塞。

本实施例的设计方法，可以很好的解决上述两种死锁的情况：

对于客户端进程崩溃造成锁冲突的情况：

客户端和集群服务器的会话通过心跳机制来维持，在一定的时间之内(比如：9s=3s*3)，如果服务器端收不到心跳，则判断会话超时。

本方案在申请加锁时创建的锁节点和客户端锁标识节点，均为临时节点，节点的生命周期跟会话的生命周期保持一致，会话超时后临时节点被主动删除，自动解锁。对于当前客户端锁标识节点的删除，如果有其他锁标识节点对其注册了观察，则会收到此删除通知。

对于用户使用不当造成的锁阻塞的情况：

加锁过程中，每个临时节点创建时，节点中均记录锁对象的锁定时长(ltime，从占有锁开始计时)。超过这个锁定时长，即使客户端程序没有释放锁资源，视频云存储组件自动释放，以保障其他锁申请能够正常访问共享资源。

视频云存储系统中锁定时长参数默认配置为500ms，当然，客户端在使用时，也可以参数的形式传递到节点创建的API接口中，或者在对分布式锁的使用比较有把握的情况下不考虑锁定时长的问题。本方案对此都提供灵活的使用接口。

本发明的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中（例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等）。同样，存储器可以例如是可编程阵列逻辑（Programmable Array Logic，简称“PAL”）、随机存取存储器（Random Access Memory，简称“RAM”）、可编程只读存储器（Programmable Read Only Memory，简称“PROM”）、只读存储器（Read-Only Memory，简称“ROM”）、电可擦除可编程只读存储器（Electrically Erasable Programmable ROM，简称“EEPROM”）、磁盘、光盘、数字通用光盘（Digital Versatile Disc，简称“DVD”）等等。

本发明第二实施方式涉及一种云存储资源分配系统。图4是该云存储资源分配系统的结构示意图。

具体地说，如图4所示，该云存储资源分配系统包括以下模块：

加锁模块，用于当收到来自客户端对共享资源的加锁请求时，在各分布式服务节点的同步存储空间中创建该共享资源的锁节点和该客户端的客户端锁标识节点。

解锁模块，用于当共享资源解锁时，从同步存储空间删除共享资源的锁节点和解锁前独占使用该共享资源的客户端的客户端锁标识节点，通知对该被删除的客户端锁标识节点注册观察的客户端。

优选地，加锁模块包括以下子模块：

锁标识节点创建模块，用于创建客户端锁标识节点。

第一判断模块，用于判断同步存储空间中是否存在共享资源的锁节点。

锁节点创建模块，用于在第一判断模块判断共享资源的锁节点不存在时，创建锁节点。

子节点注册观察模块，用于在第一判断模块判断共享资源的锁节点存在时或者锁节点创建模块创建锁节点失败时，为客户端对最近创建的其它客户端锁标识节点注册观察。

优选地，同步存储空间为目录树结构，该目录树结构包含父节点以及连接于该父节点的子节点，共享资源的锁节点和客户端锁标识节点是该目录树结构中的子节点。加锁模块还包括子模块：

父节点创建与观察模块，用于在目录树结构中创建锁节点的父节点，并用于对父节点注册观察，维护并更新一个管理子节点的数据结构。

此外，可以理解，客户端的锁标识节点创建或者删除时，都能够触发对父节点的观察，并自动更新管理子节点的数据结构的计数。

父目录的观察用于动态维护和更新全局的客户端的锁标识节点计数，客户端锁标识节点的观察用于监控锁资源的释放情况，采用两级观察的模式能够高效监控客户端锁标识节点的变化情况。

优选地，加锁模块还包括子节点观察模块，用于对所注册观察的客户端锁标识节点进行观察。子节点观察模块包括以下子模块：

第二判断模块，用于判断所注册观察的客户端锁标识节点是否被删除；

若该客户端锁标识节点未删除，则子节点观察模块继续观察，保持锁等待状态；

若该客户端锁标识节点被删除，则由第一判断模块判断共享资源的锁节点是否存在；

若锁节点存在，则由所述子节点注册观察模块为所述客户端相应地更新所注册观察的客户端锁标识节点，对被删除的客户端锁标识节点之前的客户端锁标识节点注册观察；

若锁节点不存在，则由锁节点创建模块创建锁节点，加锁成功。

优选地，解锁模块还包括：

会话失效处理模块，用于通过心跳检测发现客户端和服务节点的会话是否失效，并在会话失效时从同步存储空间删除共享资源的锁节点和独占使用该共享资源的客户端的客户端锁标识节点，并通知对该被删除的客户端锁标识节点注册观察的客户端。

优选地，解锁模块还包括：

超锁定时长处理模块，用于判断客户端独占使用共享资源的时间是否超过锁定时长，并在超过锁定时长时从同步存储空间删除该共享资源的锁节点和该客户端的客户端锁标识节点，通知对该被删除的客户端锁标识节点注册观察的客户端。

第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。

本发明涉及一种视频云存储系统中分布式锁的设计方法，属于分布式文件系统领域。

本发明能够很好的解决前文中提到的缺陷，为云存储系统中相互独立的进程提供资源协调的方法。

分布式锁的申请和释放不依赖于任何服务器节点，无单点故障，提高分布式系统的可靠性。

本方案加锁的流程非常简单，只需要在分布式系统中创建文件夹即可，不需要集群中各服务器节点间的多次交互，在确保加锁准确性的前提下，极大地节省系统资源的开销；

解锁时只需要删除锁节点和客户端锁标识节点即可完成，独特的注册观察（回调函数）机制，能够确保锁释放时，及时通知给等待的客户端，锁资源的分配效率非常高；

对于死锁的处理，针对系统异常和用户误操作导致死锁的情况，给出了两种自动解锁的处理方法。

并且采用两级观察模式：

父目录观察用于维护和更新一个全局的客户端锁标识节点计数；

客户端锁标识节点的观察-监控客户端锁标识的释放情况。

对于死锁采用两种处理方式：

临时节点跟会话(session)生命周期一致，session失效，节点自动删除；

锁节点可以自由设定锁定时长，锁定超时的话，节点自动删除。

需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (13)

1.一种云存储资源分配方法，其特征在于，分布式系统的各分布式服务节点中分别设置有同步存储空间，各分布式服务节点通过一致性算法保证各同步存储空间数据的一致性，所述方法包括以下步骤：

当收到来自客户端对共享资源的加锁请求时，在各分布式服务节点的同步存储空间中创建该共享资源的锁节点和该客户端的客户端锁标识节点；

如果所述同步存储空间中不存在该共享资源的锁节点，则该共享资源的锁节点创建成功，允许该客户端独占使用该共享资源；

如果所述同步存储空间中已存在该共享资源的锁节点，则该共享资源的锁节点创建失败，同步创建该客户端的锁标识节点，并为该客户端对最近创建的其它客户端锁标识节点注册观察；

当该共享资源解锁时，从所述同步存储空间删除该共享资源的锁节点和解锁前独占使用该共享资源的客户端的客户端锁标识节点，通知对该被删除的客户端锁标识节点注册观察的客户端。

2.根据权利要求1所述的云存储资源分配方法，其特征在于，所述同步存储空间为目录树结构，该目录树结构包含父节点以及连接于该父节点的子节点，所述共享资源的锁节点和客户端锁标识节点是该目录树结构中的子节点；

在所述在各分布式服务节点的同步存储空间中创建共享资源的锁节点和客户端的客户端锁标识节点的步骤之前，还包括步骤：

创建锁节点的父节点，并对所述父节点注册观察，维护并更新一个管理子节点的数据结构。

3.根据权利要求2所述的云存储资源分配方法，其特征在于，所述共享资源存在至少一个，每个共享资源对应一个锁节点和至少一个客户端锁标识节点；

各共享资源为所述目录树结构的一级子节点；所述共享资源的锁节点和客户端锁标识节点为所述目录树结构的二级子节点。

4.根据权利要求1所述的云存储资源分配方法，其特征在于，如果所述同步存储空间中已存在共享资源的锁节点，则该共享资源的锁节点创建失败，同步创建该客户端的锁标识节点，并为该客户端对最近创建的其它客户端锁标识节点注册观察的步骤之后，

对所述客户端锁标识节点的观察包括以下步骤：

判断所注册观察的客户端锁标识节点是否被删除；

若该客户端锁标识节点未删除，则继续观察，保持锁等待状态；

若该客户端锁标识节点被删除，判断共享资源的锁节点是否存在；

若锁节点存在，则相应地更新所注册观察的客户端锁标识节点，对被删除的客户端锁标识节点之前的客户端锁标识节点注册观察；

若锁节点不存在，则成功创建共享资源的锁节点，加锁成功。

5.根据权利要求1所述的云存储资源分配方法，其特征在于，在所述共享资源解锁的步骤之前，还包括步骤：

如果通过心跳检测发现客户端和服务节点的会话失效，则从所述同步存储空间删除共享资源的锁节点和独占使用该共享资源的客户端的客户端锁标识节点，通知对该被删除的客户端锁标识节点注册观察的客户端。

6.根据权利要求1所述的云存储资源分配方法，其特征在于，在所述共享资源解锁的步骤之前，还包括步骤：

如果客户端独占使用共享资源的时间超过锁定时长，则从所述同步存储空间删除该共享资源的锁节点和该客户端的客户端锁标识节点，通知对该被删除的客户端锁标识节点注册观察的客户端。

7.根据权利要求1至6中任一项所述的云存储资源分配方法，其特征在于，所述同步存储空间由各分布式服务节点的内存实现。

8.一种云存储资源分配系统，其特征在于，包括以下模块：

加锁模块，用于当收到来自客户端对共享资源的加锁请求时，在各分布式服务节点的同步存储空间中创建该共享资源的锁节点和该客户端的客户端锁标识节点；

解锁模块，用于当共享资源解锁时，从所述同步存储空间删除所述共享资源的锁节点和解锁前独占使用该共享资源的客户端的客户端锁标识节点，通知对该被删除的客户端锁标识节点注册观察的客户端。

9.根据权利要求8所述的云存储资源分配系统，其特征在于，所述加锁模块包括以下子模块：

锁标识节点创建模块，用于创建客户端锁标识节点；

第一判断模块，用于判断同步存储空间中是否存在共享资源的锁节点；

锁节点创建模块，用于在第一判断模块判断共享资源的锁节点不存在时，创建锁节点；

子节点注册观察模块，用于在第一判断模块判断共享资源的锁节点存在时或者锁节点创建模块创建锁节点失败时，为所述客户端对最近创建的其它客户端锁标识节点注册观察。

10.根据权利要求9所述的云存储资源分配系统，其特征在于，所述同步存储空间为目录树结构，该目录树结构包含父节点以及连接于该父节点的子节点，所述共享资源的锁节点和客户端锁标识节点是该目录树结构中的子节点；

所述加锁模块还包括子模块：

父节点创建与观察模块，用于在目录树结构中创建锁节点的父节点，并用于对所述父节点注册观察，维护并更新一个管理子节点的数据结构。

11.根据权利要求8所述的云存储资源分配系统，其特征在于，所述加锁模块还包括子节点观察模块，用于对所注册观察的客户端锁标识节点进行观察；

所述子节点观察模块包括以下子模块：

第二判断模块，用于判断所注册观察的客户端锁标识节点是否被删除；

若该客户端锁标识节点未删除，则子节点观察模块继续观察，保持锁等待状态；

若该客户端锁标识节点被删除，则由第一判断模块判断共享资源的锁节点是否存在；

若锁节点存在，则由所述子节点注册观察模块为所述客户端相应地更新所注册观察的客户端锁标识节点，对被删除的客户端锁标识节点之前的客户端锁标识节点注册观察；

若锁节点不存在，则由锁节点创建模块创建锁节点，加锁成功。

12.根据权利要求8所述的云存储资源分配系统，其特征在于，所述解锁模块还包括：

会话失效处理模块，用于通过心跳检测发现客户端和服务节点的会话是否失效，并在会话失效时从所述同步存储空间删除共享资源的锁节点和独占使用该共享资源的客户端的客户端锁标识节点，并通知对该被删除的客户端锁标识节点注册观察的客户端。

13.根据权利要求8所述的云存储资源分配系统，其特征在于，所述解锁模块还包括：

超锁定时长处理模块，用于判断客户端独占使用共享资源的时间是否超过锁定时长，并在超过锁定时长时从所述同步存储空间删除该共享资源的锁节点和该客户端的客户端锁标识节点，通知对该被删除的客户端锁标识节点注册观察的客户端。