CN116155594B - 一种网络异常节点的隔离方法及系统 - Google Patents

Abstract

本发明涉及网络异常节点隔离技术领域，提供了一种网络异常节点的隔离方法，包括：接入端隔离，对于通过NVMF协议接入的客户端，提供了一种虚拟卷节点白名单和节点ANA优先级的动态生成算法，通过该算法尽可能减少节点被隔离后对客户端造成的影响。存储端隔离，对异常节点上副本的写入延迟与正常副本的差异进行比较，综合虚拟卷负载、集群健康状态信息，判断是否需要在以后的虚拟卷的写入流程中，屏蔽异常节点上的副本，并把异常节点上的副本迁移到正常节点，保证虚拟卷的副本数足够，解决节点进入隔离池之后，已有副本访问缓慢的问题，也避免一些隔离手段中可能会导致的大量无效副本的迁移。隔离节点恢复，当隔离节点的网络异常被修复后，解除隔离。

Description

一种网络异常节点的隔离方法及系统

技术领域

本发明涉及网络异常节点隔离的技术领域，具体为应用于分布式存储系统中的一种网络异常节点的隔离方法及系统。

背景技术

分布式存储系统是一种将多台服务器上的存储资源进行整合及池化的系统，用户可以根据自身需求，动态的从分布式存储系统中分配、归还存储资源。用户的数据会分散到多个节点和存储设备上并冗余存储，使用户获得一个高性能、高可用性的虚拟存储设备。

分布式存储系统的功能通常可以划分为接入层和存储层，接入层通过NVMF、iSCSI、NFS等接入层协议，将虚拟卷设备暴露给用户使用，并负责处理用户通过接入层协议发来的IO。存储层则负责节点间的通信和物理存储设备的池化，实现数据的副本、一致性、快照等。

分布式存储系统对节点间的网络健康度有较高的要求，节点的网络异常可能会导致虚拟机的IO性能受损、延迟增加，严重影响用户体验。但是数据中心的网络异常不可避免，错误的网络配置，交换机、网线、网卡故障等，都有可能导致节点间网络通信异常。较为常见的一种网络异常是个别节点的异常，表现为异常节点与其他节点通信丢包率高，但是健康节点间通信则是正常的。在一般的分布式存储系统中，若集群中出现网络异常节点，影响范围会比较大。一方面，基于NVMF、iSCSI等协议接入的客户端会由于接入点异常而出现IO延迟升高甚至失败；另一方面，如果该节点保存了用户数据的副本，通过其他接入点使用存储系统的客户端在访问虚拟卷副本的数据时，IO质量也会受到该节点网络异常的影响。

目前业界针对部分节点网络异常的处理通常分为识别和隔离两部分。识别指通过节点间的周期性嗅探、或是统计客户端访问各节点的失败率延迟等数据，挑选出集群中处于异常状态的节点。隔离则是将识别出异常节点排出集群的可服务节点列表，放入隔离池中，尽量避免用户的IO被异常节点服务。本专利聚焦于网络异常节点的隔离。

目前业界其他分布式存储系统对异常节点使用的隔离方法如下：

对于接入层，通常采用把连接到异常节点上的客户端全部断开，再重定向到正常节点上的方式，来避免客户端受到异常节点的影响。这种方式带来的IO抖动非常大。

对于存储层，通常会让处于隔离池中的节点不再用于副本存储。系统通常通过限制存储池中节点数占总数的比例，来保证集群的可用性。但是目前已知的方法中，只是避免新的数据副本被放入隔离池中的节点，若客户端要访问的数据已经存在于隔离池中的节点，则依然会受到影响。也有分布式存储系统会将被隔离节点上的数据全部迁移到健康节点上，这个会导致集群可用空间的下降，且大量迁移操作会耗费较多的时间和带宽，对用户影响比较大。迁移过程也可能依然需要异常节点的参与，迁移的成功率不高。

现有的网络异常节点隔离的手段存在的主要问题是：

(1)将异常节点上接入的客户端直接断开会对用户产生较大影响，接入端链接被断开后，客户端需要经历断链感知、重新获取新接入点、重连并重放IO等几个步骤才可以完全恢复。

(2)现有的隔离方法仅能确保新分配的副本不位于异常节点上，若数据已存在于被隔离节点上，对该数据的访问仍然会受到网络异常的影响。比如对于三副本的虚拟卷，如果其中一个副本位于被隔离节点上，当卷发生写入时，为了保证副本的一致性，异常节点也需要参与副本的写入。考虑到虚拟卷IO的延迟是所有副本的读写延迟的最大值，异常节点会对IO产生较大影响。当卷发生读写时，需从其中一个副本读取，也有一定概率受到异常节点的影响。

(3)系统将被隔离节点上的数据全部迁移走，会导致集群可用空间的下降，整个系统的可用空间的减少量为被隔离节点的已用空间与剩余空间之和。考虑到异常节点有如下特征：a:数据里会有较多的短期不会被访问的冷数据；b：客户端偶尔一两个IO的访问可能并不会有较高的延迟；c：修复异常节点的耗时不会很长。因此迁移全部异常节点数据会导致不必要的带宽占用和空间占用。

发明内容

针对上述问题，本发明的目的在于提供一种网络异常节点的隔离方法及系统，对接入端的隔离方法进行优化，降低接入端隔离是对客户端的影响，实现服务零中断，对存储端的隔离方法进行优化，解决节点进入隔离池后，已有副本访问慢的问题，也避免了一些隔离手段中可能会导致的大量无效副本的迁移。

本发明的上述发明目的是通过以下技术方案得以实现的：

一种网络异常节点的隔离方法，包括：

(1)接入端隔离，具体为：

基于每一个虚拟卷设置虚拟卷白名单，同时为所述虚拟卷白名单中的每一个接入端节点设置ANA优先级状态，并在检测到集群存储服务中存在节点被隔离后，对每个所述虚拟卷的所述虚拟卷白名单和所述虚拟卷白名单中的所述接入端节点的所述ANA优先级状态按照更新算法进行更新；

当有客户端需要访问所述集群存储服务中的所述虚拟卷时，在所述虚拟卷白名单中按照所述接入端节点的所述ANA优先级状态选择一个所述接入端节点访问所述虚拟卷；

其中，所述虚拟卷白名单是为每一个所述虚拟卷设置的将所述虚拟卷暴露给所述客户端的所述接入端节点的名单，不在所述虚拟卷白名单中的所述接入端节点则隐藏所述虚拟卷，所述ANA优先级状态是为所述虚拟卷白名单中的所述接入端节点配置的所述客户端的接入优先级，所述客户端发送的IO会由优先级较高的所述接入端节点进行处理。

在所述接入端隔离中，根据所述集群存储服务中各个节点的隔离状态，为每个所述虚拟卷重新设置所述虚拟卷白名单，同时为所述虚拟卷白名单中的每一个所述接入端节点设置所述ANA优先级状态，具体为：

在所述客户端接入所述集群存储服务之前，所述集群存储服务中的元数据节点，为每一个所述虚拟卷预设置所述虚拟卷白名单，其中，所述虚拟卷白名单中包含至少两个所述接入端节点；

所述元数据节点为每一个所述虚拟卷设置了所述虚拟卷白名单之后，为所述虚拟卷白名单中的每一个所述接入端节点预设置所述ANA优先级状态，其中，所述ANA优先级状态采用NVMF协议定义包括OP和NON-OP在内的两个优先级，在NVMF协议中设置了OP的所述接入端节点的访问优先级高于设置了NON-OP的所述接入端节点。

在所述接入端隔离中，在检测到所述集群存储服务中存在节点被隔离后，对每个所述虚拟卷的所述虚拟卷白名单和所述虚拟卷白名单中的所述接入端节点的所述ANA优先级状态进行更新，具体为：

针对每一个所述接入端节点都遍历所有的所述虚拟卷，对所述虚拟卷的所述虚拟卷白名单和所述虚拟卷白名单中的所述接入端节点的所述ANA优先级状态进行更新，具体为：

S101：判断当前所述虚拟卷是否在当前所述接入端节点的白名单中，若是跳转步骤S102，若否跳转步骤S104；

S102：判断当前所述接入端节点是否为当前所述虚拟卷的OP路径，若是跳转步骤S103，若否跳转步骤S104；

S103：判断当前所述虚拟卷是否存在NON-OP状态的其他所述接入端节点，若是跳转步骤S105，若否跳转步骤S107；

S104：跳出当前所述虚拟卷；

S105：判断当前所述虚拟卷的NON-OP状态的其他所述接入端节点是否健康，若是跳转步骤S106，若否跳转步骤S107；

S106：将当前所述接入端节点从当前所述虚拟卷的所述虚拟卷白名单中剔除，跳出当前所述虚拟卷；

S107：为当前所述虚拟卷重新选取一组健康节点作为所述虚拟卷的新的所述虚拟卷白名单，并重新设置所述虚拟卷白名单中所述接入端节点的所述ANA优先级状态。

(2)存储端隔离，具体为：

当在存储端读取所述虚拟卷的副本时，选择未隔离的存储端节点获取所述虚拟卷的副本；

当在所述存储端写入所述虚拟卷的副本时，对异常节点上副本的写入延迟与正常副本的差异进行分析比较，同时综合包括虚拟卷负载、集群健康状态在内的信息，来判断是否需要在以后的所述虚拟卷的写入流程中，屏蔽所述异常节点上的副本，并把所述异常节点上的副本迁移到其他正常节点，保证所述虚拟卷的副本数足够。

在所述存储端隔离中，当在所述存储端读取所述虚拟卷的副本时，选择未隔离的所述存储端节点获取所述虚拟卷的副本，具体为：

S211：判断是否有所述虚拟卷的副本位于本地节点，若是则读取本地副本，若读取所述本地副本失败或不存在所述本地副本进入步骤S212；

S212：判断是否有所述虚拟卷的副本位于健康节点，若是则读取健康副本，若读取所述健康副本失败或不存在所述健康副本进入步骤S213；

S213：读取其他副本。

在所述存储端隔离中，还包括：在所述存储端写入所述虚拟卷的副本，对所述异常节点上副本的写入延迟与正常副本的差异进行分析比较，同时综合包括虚拟卷负载、集群健康状态在内的信息，来判断是否需要在以后的所述虚拟卷的写入流程中，屏蔽所述异常节点上的副本，并把所述异常节点上的副本迁移到其他正常节点，保证所述虚拟卷的副本数足够，具体为：

S221：执行所述虚拟卷的副本的写入操作，判断所有副本是否写入成功，若是跳转步骤S222，若否跳转步骤S223；

S222：统计过去一预设统计时间内的的所述虚拟卷的所述平均利用率，若所述平均利用率大于预设平均利用率阈值，则执行步骤S224；

S223：判断是否有副本写入成功，若是删除失败副本，若否重新执行步骤S221；

S224：令X为健康副本的最高延迟，若有健康非本地副本，则阈值赋值为max(X，A)*3，否则所述阈值赋值为max(X，B)*3，其中，A为访问健康非本地副本的延迟最大值，B为可容忍的非本地异常副本的最大写入延迟；

S225：判断已写入的异常副本的延迟是否大于所述阈值或大于C，若是迁移所述异常副本，其中,C为可容忍的虚拟卷最大写入延迟。

在所述存储端隔离中，还包括迁移所述异常副本，具体为：

S231：选取健康节点的副本作为源副本，若无健康副本则使用其他副本；

S232：选取健康节点作为目的副本；

S233：选取健康节点作为迁移执行者；

S234：所述迁移执行者从所述源副本读取数据，写入所述目的副本；虚拟卷模块与迁移执行者协同工作，若所述客户端在副本迁移期间需要写入新数据，虚拟卷模块需要将所述客户端的写入数据写入所述虚拟卷的包括所述目的副本在内的所有副本。

(3)隔离节点恢复，具体为：

S300：当隔离节点的网络异常被修复后，解除隔离，具体为：

S301：将隔离节点上的NVMF接入点的ANA状态恢复正常，并重新分配所述虚拟卷白名单，做到节点间的负载均衡；

S302：停止对隔离节点上的副本的读写做隔离相关统计；

S303：在健康节点间重新对副本进行迁移使节点的空间使用率均衡。

本发明还提供了一种用于执行如上述的网络异常节点的隔离方法的网络异常节点的隔离系统，包括：

元数据管理模块，用于为每一个虚拟卷设置虚拟卷白名单，同时为所述虚拟卷白名单中的每一个接入端节点设置ANA优先级状态；并在检测到集群存储服务中存在节点被隔离后，对每个所述虚拟卷的所述虚拟卷白名单和所述虚拟卷白名单中的所述接入端节点的所述ANA优先级状态进行更新；并在有必要时，编排并调度副本迁移任务，指挥存储模块把所述异常节点上的副本迁移到其他正常节点，保证所述虚拟卷的副本数足够；

接入模块，用于当有客户端需要访问所述集群存储服务中的所述虚拟卷时，在所述虚拟卷白名单中按照所述接入端节点的所述ANA优先级状态选择一个所述接入端节点访问所述虚拟卷；

存储模块，用于当在存储端读取所述虚拟卷的副本时，选择未隔离的存储端节点获取所述虚拟卷的副本、在所述存储端写入所述虚拟卷副本时，对异常节点副本的写入延迟与正常副本的差异进行分析比较，同时分析虚拟卷负载、集群健康状态等信息，来判断是否需要在以后的写入流程中屏蔽异常副本，以及当检测到异常副本需要迁移时迁移所述异常副本。

与现有技术相比，本发明包括以下至少一种有益效果是：

(1)在接入端通过基于每一个虚拟卷设置虚拟卷白名单，同时为所述虚拟卷白名单中的每一个接入端节点设置ANA优先级状态，并在检测到集群存储服务中存在节点被隔离后，对每个所述虚拟卷的所述虚拟卷白名单和所述虚拟卷白名单中的所述接入端节点的所述ANA优先级状态按照更新算法进行更新；当有客户端需要访问所述集群存储服务中的所述虚拟卷时，在所述虚拟卷白名单中按照所述接入端节点的所述ANA优先级状态选择一个所述接入端节点访问所述虚拟卷。首先由于非对称ANA状态可以在不断开客户端链接的情况下进行变更，客户端可以迅速感知到节点的变化并将后续的IO访问发送到健康节点；此外，还会判断非对称ANA状态的变更是否可以达到隔离效果，如果无法达到才会重新分配接入点的方式，极大的降低了对客户端的影响，实现服务零中断。同时减少接入点的重新分配也有利于解除隔离之后的恢复。

(2)在存储端通过当在存储端读取所述虚拟卷的副本时，选择未隔离的存储端节点获取所述虚拟卷的副本；当在所述存储端写入所述虚拟卷的副本时，对异常节点上副本的写入延迟与正常副本的差异进行分析比较，同时综合包括虚拟卷负载、集群健康状态在内的信息，来判断是否需要在以后的所述虚拟卷的写入流程中，屏蔽所述异常节点上的副本，并把所述异常节点上的副本迁移到其他正常节点，保证所述虚拟卷的副本数足够。上述技术方案，对于存储端，利用虚拟卷负载和集群的各项指标数据进行综合判断，决定是否要迁移被隔离节点上的副本，使得未来有较多访问，且网络异常对IO确实造成较大影响的副本才会被迁移。解决了节点进入隔离池之后，已有副本访问缓慢的问题，也避免了一些隔离手段中可能会导致的大量无效副本的迁移。

(3)对于异常副本的迁移，允许源副本和替换副本使用不同的副本，由迁移执行节点和虚拟卷模块共同保证副本一致性。全流程避免了异常节点参与副本迁移流程，提高了迁移效率和成功率。

附图说明

图1为本发明大部分分布式存储系统的逻辑架构示意图；

图2为本发明网络异常节点的隔离方法的整体示意图；

图3为本发明接入端节点示意图；

图4为本发明节点被隔离后遍历虚拟卷的流程图；

图5为本发明读IO流程图；

图6为本发明写IO流程图；

图7为本发明迁移异常副本的流程图；

图8为本发明隔离节点恢复流程图；

图9为本发明网络异常节点的隔离系统的整体结构图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。

如图1所示，为本发明涉及的分布式存储系统的结构，大部分分布式存储系统都可以按此划分逻辑架构。在本发明中假设集群中已经部署了一个异常节点探测服务，可以周期性的探测每个节点间的网络质量，当某个节点被其他大多数节点认为出现网络异常时，探测服务会认为该节点为异常节点，并通过元数据服务将异常节点的信息广播到整个集群。元数据服务、接入端和存储端都可以感知到集群中哪些节点出现了网络异常。

以下通过具体实施例对本发明的发明点进行说明：

第一实施例

如图2所示，本实施例提供了一种网络异常节点的隔离方法，包括：

(1)接入端隔离

基本概念：

基于每一个虚拟卷设置虚拟卷白名单，同时为所述虚拟卷白名单中的每一个接入端节点设置ANA优先级状态，并在检测到集群存储服务中存在节点被隔离后，对每个所述虚拟卷的所述虚拟卷白名单和所述虚拟卷白名单中的所述接入端节点的所述ANA优先级状态按照更新算法进行更新；当有客户端需要访问所述集群存储服务中的所述虚拟卷时，在所述虚拟卷白名单中按照所述接入端节点的所述ANA优先级状态选择一个所述接入端节点访问所述虚拟卷；其中，所述虚拟卷白名单是为每一个所述虚拟卷设置的将所述虚拟卷暴露给所述客户端的所述接入端节点的名单，不在所述虚拟卷白名单中的所述接入端节点则隐藏所述虚拟卷，所述ANA优先级状态是为所述虚拟卷白名单中的所述接入端节点配置的所述客户端的接入优先级，所述客户端发送的IO会由优先级较高的所述接入端节点进行处理。

具体的，对于接入端，会根据不同的接入协议选择不同的隔离手段。本实施例中不涉及iSCSI客户端的隔离，而是使用一种创新手段对NVMF客户端做隔离，尽可能减少隔离操作对客户端的影响。

本实施例中利用了NVMF协议的Multipath特性，客户端可以同时连接到多个接入端节点来访问某一个虚拟卷，虚拟卷的读写IO会由客户端发送到任意一个已连接的接入端节点上进行处理。客户端根据接入端节点上报的ANA优先级状态(AsymmetricNamespaceAccess)设定不同的接入端节点的优先级，IO会发给优先级最高的接入端节点进行处理。在所述非对称ANA状态中指定OP和NON-OP两个优先级，对于同一个虚拟卷设置了OP的所述接入端节点的访问优先级高于设置了NON-OP的所述接入端节点。此外，为了避免数据路径Path数量过多，只有部分的接入端节点会将虚拟卷暴露给客户端，即为虚拟卷白名单，其他接入端则会影藏该虚拟卷。具体概念如图3所示。

参考图3，在NVMF协议中，称呼虚拟卷为NVME设备。简单来说，每个客户端，通过接入协议连入存储系统，来使用一个虚拟卷。对于本发明来说，NVMF客户端，通过NVMF协议来使用虚拟卷，用户通过NVMF客户端看到的虚拟卷就是NVME设备。

虚拟卷白名单设置：

在所述接入端隔离中，根据所述集群存储服务中各个节点的隔离状态，为每个所述虚拟卷重新设置所述虚拟卷白名单，同时为所述虚拟卷白名单中的每一个所述接入端节点设置所述ANA优先级状态，具体为：在所述客户端接入所述集群存储服务之前，所述集群存储服务中的元数据节点，为每一个所述虚拟卷预设置所述虚拟卷白名单，其中，所述虚拟卷白名单中包含至少两个所述接入端节点；所述元数据节点为每一个所述虚拟卷设置了所述虚拟卷白名单之后，为所述虚拟卷白名单中的每一个所述接入端节点预设置所述ANA优先级状态，其中，所述ANA优先级状态采用NVMF协议定义包括OP和NON-OP在内的两个优先级，在NVMF协议中设置了OP的所述接入端节点的访问优先级高于设置了NON-OP的所述接入端节点。

在本实施例中，一种优选的方案是为每个虚拟卷白名单设置三个接入端节点，确保客户端能够正常访问。当所述客户端通过所述NVMF协议接入所述集群存储服务时，所述客户端与所述集群存储服务中的所有的所述接入端节点建立链接；对于每一个所述虚拟卷，所述集群存储服务中的元数据服务在集群中挑选三个所述接入端节点作为所述虚拟卷的所述虚拟卷白名单，仅允许所述虚拟卷白名单中的三个所述接入端节点将所述虚拟卷暴露给所述客户端；将所述虚拟卷白名单中的一个所述接入端节点的所述非对称ANA状态设置为OP，其他两个所述接入端节点的所述非对称ANA状态设置为NON-OP。

虚拟卷白名单更新：

在所述接入端隔离中，在检测到所述集群存储服务中存在节点被隔离后，对每个所述虚拟卷的所述虚拟卷白名单和所述虚拟卷白名单中的所述接入端节点的所述ANA优先级状态进行更新，具体为：如图4所示，针对每一个所述接入端节点都遍历所有的所述虚拟卷，对所述虚拟卷的所述虚拟卷白名单和所述虚拟卷白名单中的所述接入端节点的所述ANA优先级状态进行更新，具体为：

S101：判断当前所述虚拟卷是否在当前所述接入端节点的白名单中，若是跳转步骤S102，若否跳转步骤S104；

S102：判断当前所述接入端节点是否为当前所述虚拟卷的OP路径，若是跳转步骤S103，若否跳转步骤S104；

S103：判断当前所述虚拟卷是否存在NON-OP状态的其他所述接入端节点，若是跳转步骤S105，若否跳转步骤S107；

S104：跳出当前所述虚拟卷；

S105：判断当前所述虚拟卷的NON-OP状态的其他所述接入端节点是否健康，若是跳转步骤S106，若否跳转步骤S107；

S106：将当前所述接入端节点从当前所述虚拟卷的所述虚拟卷白名单中剔除，跳出当前所述虚拟卷；

S107：为当前所述虚拟卷重新选取一组健康节点作为所述虚拟卷的新的所述虚拟卷白名单，并重新设置所述虚拟卷白名单中所述接入端节点的所述ANA优先级状态。

进一步地，为了对节点正常运行和被隔离后的状态了解得更加透彻。以图3中的接入端节点1为例对节点正常运行和被隔离后的状态进行举例说明。具体如下：

每个接入端节点，可以感知到集群中存在所有虚拟卷设备，并且知道每一个虚拟卷的OP、NON-OP节点分别是哪一个节点。

当系统正常运行时：

接入端节点1遍历所有虚拟卷设备(NVME1、NVME2、NVME3)，发现a：自己是NVME1的OP节点，将NVME1的ANA状态设置为OP；b：自己不在NVM E2设备的白名单中，则隐藏NVME2设备；c：自己是NVME3的NON-OP节点，将NVME3的ANA状态设置为NON-OP。

当系统中仅有接入端节点1被隔离后：

接入端节点1遍历所有虚拟卷设备(NVME1、NVME2、NVME3)，发现a：自己是NVME1的OP节点，由于自己被隔离，进一步判断到其他的NON-OP节点(接入端节点2和接入端节点3)都是健康的，因此将NVME1设备隐藏；b：自己不在NVME2设备的白名单中，隐藏NVME2设备；c：自己是NVME3的NON-OP节点，由于并非OP节点，不做有关隔离相关的判断。将NVME3的ANA状态设置为NON-OP。

需要说明的是，上述遍历过程，每一个节点都需要执行，以上仅以接入端节点1进行举例说明。此外，对于被隔离的物理节点，一个物理节点既可以部署存储端模块，也可以部署接入端模块，也可以两个模块都部署。如果一个物理节点上部署了接入端模块，那这个物理节点也就是一个接入端节点。

通过上述流程进行接入端的隔离可以实现如下效果：

a:单个节点被隔离，只会触发接入端节点ANA状态的变化，客户端可以非常顺滑的完成IO路径的切换，IO抖动极小。另外也不需要元数据服务重新选取虚拟卷的接入白名单，避免破坏集群的负载均衡。

b:两个以上的节点被隔离时，只有OP节点和一个NON-OP节点被隔离时才会触发虚拟卷白名单的重新挑选和接入点的变化，概率较低，尽可能减少了影响范围。

(2)存储端隔离

基本概念：

当在存储端读取所述虚拟卷的副本时，选择未隔离的存储端节点获取所述虚拟卷的副本；当在所述存储端写入所述虚拟卷的副本时，对异常节点上副本的写入延迟与正常副本的差异进行分析比较，同时综合包括虚拟卷负载、集群健康状态在内的信息，来判断是否需要在以后的所述虚拟卷的写入流程中，屏蔽所述异常节点上的副本，并把所述异常节点上的副本迁移到其他正常节点，保证所述虚拟卷的副本数足够。

具体的，对于新创建的虚拟卷，副本会优先放置于健康节点上，当健康节点无可用空间时，才会将副本放置于被隔离节点上。本发明则聚焦于已创建的虚拟卷的副本的隔离操作。本发明使用了一种新创的算法，尽可能的减少了异常节点上需要迁移的副本的数量，避免了迁移流量对IO服务质量的影响，尽可能保障副本数和数据安全性不降低。

读IO：

在所述存储端隔离中，当在所述存储端读取所述虚拟卷的副本时，仅需从其中一个副本读取即可成功返回，如图5所示，为本发明采用的读IO的流程图，选择未隔离的所述存储端节点获取所述虚拟卷的副本，具体为：

S211：判断是否有所述虚拟卷的副本位于本地节点，若是则读取本地副本，若读取所述本地副本失败或不存在所述本地副本进入步骤S212；

S212：判断是否有所述虚拟卷的副本位于健康节点，若是则读取健康副本，若读取所述健康副本失败或不存在所述健康副本进入步骤S213；

S213：读取其他副本。

通过上述流程，会挑选最优的副本进行读取，避开异常节点的影响。

写IO：

在所述存储端隔离中，还包括：在所述存储端写入所述虚拟卷的副本，对所述异常节点上副本的写入延迟与正常副本的差异进行分析比较，同时综合包括虚拟卷负载、集群健康状态在内的信息，来判断是否需要在以后的所述虚拟卷的写入流程中，屏蔽所述异常节点上的副本，并把所述异常节点上的副本迁移到其他正常节点，保证所述虚拟卷的副本数足够。

根据所述虚拟卷的平均利用率判断虚拟卷负载，其中，平均利用率为所述虚拟卷存在IO处理的时间占比。系统会统计一秒内虚拟卷有IO正在处理的时间占比，比如一秒内，有800毫秒的时间该虚拟卷有未完成的IO，则该虚拟卷在这一秒的利用率为80％。取过去10秒内每秒的利用率的平均值作为虚拟卷的负载指标。该指标可以反应出客户端使用虚拟卷的频率，使用频率越高，则之后越有可能受到网络异常的影响，越有必要尽早的迁移走。

将在存储端写入所述虚拟卷的副本的延迟的最大值作为虚拟卷的副本写入延迟。副本的延迟可以由虚拟卷模块在一次IO完成时获得，比如对于三副本的虚拟卷，虚拟卷模块需要将该IO发送到三个副本，通过记录每个副本开始处理IO和完成IO的时间，可以获取每个副本的延迟。除了副本所处节点的健康状态，每个副本与虚拟卷模块的位置关系同样可能影响副本的延迟：如果虚拟卷模块与副本位于同一节点，无论节点是否有网络异常，延迟都最低；若副本位于另外一个双活集群，则延迟相对较高。考虑到虚拟卷IO延迟是所有副本延迟的最大值，仅当异常节点的副本延迟相比其他副本的延迟有显著差异时，才需要迁移该副本。

判断所述集群健康状态为判断集群的健康节点是否有富余的存储资源。

综上，仅当虚拟卷负载较高、写入延迟相对大且集群的健康节点有富余的存储资源时，才会对副本进行迁移。

涉及被隔离副本的写IO的具体流程如图6所示，具体为：

S221：执行所述虚拟卷的副本的写入操作，判断所有副本是否写入成功，若是跳转步骤S222，若否跳转步骤S223；

S222：统计过去一预设统计时间(如10S)内的的所述虚拟卷的所述平均利用率，若所述平均利用率大于预设平均利用率阈值(如10％)，则执行步骤S224；

S223：判断是否有副本写入成功，若是删除失败副本，若否重新执行步骤S221；

S224：令X为健康副本的最高延迟，若有健康非本地副本，则阈值赋值为max(X，A)*3，否则所述阈值赋值为max(X，B)*3，其中，A为访问健康非本地副本的延迟最大值(如45ms)，B为可容忍的非本地异常副本的最大写入延迟(如75ms)；

S225：判断已写入的异常副本的延迟是否大于所述阈值或大于C，若是迁移所述异常副本，其中,C为可容忍的虚拟卷最大写入延迟(如150ms)。

异常副本迁移：

对于异常副本的迁移，如果直接复制异常节点的副本到健康节点，由于异常节点网络状态不佳，复制的过程会很慢，本专利使用了一种方法，可以在迁移异常节点的副本时，不会有流量经过异常节点。本专利将异常节点副本迁移涉及的角色做如下分类。

源副本：被迁移副本数据的来源。

替换副本：异常节点上的副本，在完成副本迁移后，虚拟卷中的副本不再包含此副本；

目的副本：位于健康节点的新副本；

迁移执行节点：负责执行副本迁移操作，将数据从源副本中读取，并写入到目的副本中；

虚拟卷模块：负责处理用户由接入端发来的虚拟卷的读写IO；

本专利使用的核心方法是，允许替换副本和源副本不同，尽量使用健康副本作为源副本；选取健康节点作为迁移执行节点；另外，迁移执行节点和虚拟卷模块同时向目的副本写入，保证目的副本与其他副本的数据一致性。使用此方法，数据流不会经过异常节点，可以快速的完成异常副本的迁移。

如图7所示，迁移所述异常副本，具体为：

S231：选取健康节点的副本作为源副本，若无健康副本则使用其他副本；

S232：选取健康节点作为目的副本；

S233：选取健康节点作为迁移执行者；

S234：所述迁移执行者从所述源副本读取数据，写入所述目的副本；虚拟卷模块与迁移执行者协同工作，若所述客户端在副本迁移期间需要写入新数据，虚拟卷模块需要将所述客户端的写入数据写入所述虚拟卷的包括所述目的副本在内的所有副本。

(3)隔离节点恢复

本实施例的网络异常节点的隔离方法，还包括隔离节点的恢复。

S300：当隔离节点的网络异常被修复后，被会探测为健康节点，解除隔离，如图8所示，解除隔离的流程具体为：

S301：将隔离节点上的NVMF接入点的ANA状态恢复正常，并重新分配所述虚拟卷白名单，做到节点间的负载均衡；

S302：停止对隔离节点上的副本的读写做隔离相关统计；

S303：在健康节点间重新对副本进行迁移使节点的空间使用率均衡。

第二实施例

如图9所示，本实施例提供了一种用于执行如第一实施例中的网络异常节点的隔离方法的网络异常节点的隔离系统，包括：

元数据管理模块1，用于为每一个虚拟卷设置虚拟卷白名单，同时为所述虚拟卷白名单中的每一个接入端节点设置ANA优先级状态；并在检测到集群存储服务中存在节点被隔离后，对每个所述虚拟卷的所述虚拟卷白名单和所述虚拟卷白名单中的所述接入端节点的所述ANA优先级状态进行更新；并在有必要时，编排并调度副本迁移任务，指挥存储模块把所述异常节点上的副本迁移到其他正常节点，保证所述虚拟卷的副本数足够；

接入模块2，用于当有客户端需要访问所述集群存储服务中的所述虚拟卷时，在所述虚拟卷白名单中按照所述接入端节点的所述ANA优先级状态选择一个所述接入端节点访问所述虚拟卷；

存储模块3，用于当在存储端读取所述虚拟卷的副本时，选择未隔离的存储端节点获取所述虚拟卷的副本、在所述存储端写入所述虚拟卷副本时，对异常节点副本的写入延迟与正常副本的差异进行分析比较，同时分析虚拟卷负载、集群健康状态等信息，来判断是否需要在以后的写入流程中屏蔽异常副本，以及当检测到异常副本需要迁移时迁移所述异常副本。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种网络异常节点的隔离方法，其特征在于，包括：接入端隔离，具体为：

基于每一个虚拟卷设置虚拟卷白名单，同时为所述虚拟卷白名单中的每一个接入端节点设置ANA优先级状态，并在检测到集群存储服务中存在节点被隔离后，对每个所述虚拟卷的所述虚拟卷白名单和所述虚拟卷白名单中的所述接入端节点的所述ANA优先级状态按照更新算法进行更新；

当有客户端需要访问所述集群存储服务中的所述虚拟卷时，在所述虚拟卷白名单中按照所述接入端节点的所述ANA优先级状态选择一个所述接入端节点访问所述虚拟卷；

其中，所述虚拟卷白名单是为每一个所述虚拟卷设置的将所述虚拟卷暴露给所述客户端的所述接入端节点的名单，不在所述虚拟卷白名单中的所述接入端节点则隐藏所述虚拟卷，所述ANA优先级状态是为所述虚拟卷白名单中的所述接入端节点配置的所述客户端的接入优先级，所述客户端发送的IO会由优先级较高的所述接入端节点进行处理。

2.根据权利要求1所述的网络异常节点的隔离方法，其特征在于，还包括：存储端隔离，具体为：

当在存储端读取所述虚拟卷的副本时，选择未隔离的存储端节点获取所述虚拟卷的副本；

当在所述存储端写入所述虚拟卷的副本时，对异常节点上副本的写入延迟与正常副本的差异进行分析比较，同时综合包括虚拟卷负载、集群健康状态在内的信息，来判断是否需要在以后的所述虚拟卷的写入流程中，屏蔽所述异常节点上的副本，并把所述异常节点上的副本迁移到其他正常节点，保证所述虚拟卷的副本数足够。

3.根据权利要求1所述的网络异常节点的隔离方法，其特征在于，还包括：在所述接入端隔离中，根据所述集群存储服务中各个节点的隔离状态，为每个所述虚拟卷重新设置所述虚拟卷白名单，同时为所述虚拟卷白名单中的每一个所述接入端节点设置所述ANA优先级状态，具体为：

在所述客户端接入所述集群存储服务之前，所述集群存储服务中的元数据节点，为每一个所述虚拟卷预设置所述虚拟卷白名单，其中，所述虚拟卷白名单中包含至少两个所述接入端节点；

所述元数据节点为每一个所述虚拟卷设置了所述虚拟卷白名单之后，为所述虚拟卷白名单中的每一个所述接入端节点预设置所述ANA优先级状态，其中，所述ANA优先级状态采用NVMF协议定义包括OP和NON-OP在内的两个优先级，在NVMF协议中设置了OP的所述接入端节点的访问优先级高于设置了NON-OP的所述接入端节点。

4.根据权利要求3所述的网络异常节点的隔离方法，其特征在于，在所述接入端隔离中，在检测到所述集群存储服务中存在节点被隔离后，对每个所述虚拟卷的所述虚拟卷白名单和所述虚拟卷白名单中的所述接入端节点的所述ANA优先级状态进行更新，具体为：

针对每一个所述接入端节点都遍历所有的所述虚拟卷，对所述虚拟卷的所述虚拟卷白名单和所述虚拟卷白名单中的所述接入端节点的所述ANA优先级状态进行更新，具体为：

S101：判断当前所述虚拟卷是否在当前所述接入端节点的白名单中，若是跳转步骤S102，若否跳转步骤S104；

S102：判断当前所述接入端节点是否为当前所述虚拟卷的OP路径，若是跳转步骤S103，若否跳转步骤S104；

S103：判断当前所述虚拟卷是否存在NON-OP状态的其他所述接入端节点，若是跳转步骤S105，若否跳转步骤S107；

S104：跳出当前所述虚拟卷；

S105：判断当前所述虚拟卷的NON-OP状态的其他所述接入端节点是否健康，若是跳转步骤S106，若否跳转步骤S107；

S106：将当前所述接入端节点从当前所述虚拟卷的所述虚拟卷白名单中剔除，跳出当前所述虚拟卷；

S107：为当前所述虚拟卷重新选取一组健康节点作为所述虚拟卷的新的所述虚拟卷白名单，并重新设置所述虚拟卷白名单中所述接入端节点的所述ANA优先级状态。

5.根据权利要求2所述的网络异常节点的隔离方法，其特征在于，在所述存储端隔离中，当在所述存储端读取所述虚拟卷的副本时，选择未隔离的所述存储端节点获取所述虚拟卷的副本，具体为：

S211：判断是否有所述虚拟卷的副本位于本地节点，若是则读取本地副本，若读取所述本地副本失败或不存在所述本地副本进入步骤S212；

S212：判断是否有所述虚拟卷的副本位于健康节点，若是则读取健康副本，若读取所述健康副本失败或不存在所述健康副本进入步骤S213；

S213：读取其他副本。

6.根据权利要求2所述网络异常节点的隔离方法，其特征在于，在所述存储端隔离中，还包括：在所述存储端写入所述虚拟卷的副本，对所述异常节点上副本的写入延迟与正常副本的差异进行分析比较，同时综合包括虚拟卷负载、集群健康状态在内的信息，来判断是否需要在以后的所述虚拟卷的写入流程中，屏蔽所述异常节点上的副本，并把所述异常节点上的副本迁移到其他正常节点，保证所述虚拟卷的副本数足够，具体为：

S221：执行所述虚拟卷的副本的写入操作，判断所有副本是否写入成功，若是跳转步骤S222，若否跳转步骤S223；

S222：统计过去一预设统计时间内的的所述虚拟卷的平均利用率，若所述平均利用率大于预设平均利用率阈值，则执行步骤S224；

S223：判断是否有副本写入成功，若是删除失败副本，若否重新执行步骤S221；

S224：令X为健康副本的最高延迟，若有健康非本地副本，则阈值赋值为max(X，A)*3，否则所述阈值赋值为max(X，B)*3，其中，A为访问健康非本地副本的延迟最大值，B为可容忍的非本地异常副本的最大写入延迟；

S225：判断已写入的异常副本的延迟是否大于所述阈值或大于C，若是迁移所述异常副本，其中,C为可容忍的虚拟卷最大写入延迟。

7.根据权利要求2所述的网络异常节点的隔离方法，其特征在于，在所述存储端隔离中，还包括迁移异常副本，具体为：

S231：选取健康节点的副本作为源副本，若无健康副本则使用其他副本；

S232：选取健康节点作为目的副本；

S233：选取健康节点作为迁移执行者；

S234：所述迁移执行者从所述源副本读取数据，写入所述目的副本；虚拟卷模块与迁移执行者协同工作，若所述客户端在副本迁移期间需要写入新数据，虚拟卷模块需要将所述客户端的写入数据写入所述虚拟卷的包括所述目的副本在内的所有副本。

8.根据权利要求2所述的网络异常节点的隔离方法，其特征在于，还包括：隔离节点恢复，具体为：

S300：当隔离节点的网络异常被修复后，解除隔离，具体为：

S301：将隔离节点上的NVMF接入点的ANA状态恢复正常，并重新分配所述虚拟卷白名单，做到节点间的负载均衡；

S302：停止对隔离节点上的副本的读写做隔离相关统计；

S303：在健康节点间重新对副本进行迁移使节点的空间使用率均衡。

9.一种用于执行如权利要求1-8任意一项所述的网络异常节点的隔离方法的网络异常节点的隔离系统，其特征在于，包括：

元数据管理模块，用于为每一个虚拟卷设置虚拟卷白名单，同时为所述虚拟卷白名单中的每一个接入端节点设置ANA优先级状态；并在检测到集群存储服务中存在节点被隔离后，对每个所述虚拟卷的所述虚拟卷白名单和所述虚拟卷白名单中的所述接入端节点的所述ANA优先级状态进行更新；并在有必要时，编排并调度副本迁移任务，指挥存储模块把所述异常节点上的副本迁移到其他正常节点，保证所述虚拟卷的副本数足够；

接入模块，用于当有客户端需要访问所述集群存储服务中的所述虚拟卷时，在所述虚拟卷白名单中按照所述接入端节点的所述ANA优先级状态选择一个所述接入端节点访问所述虚拟卷；

存储模块，用于当在存储端读取所述虚拟卷的副本时，选择未隔离的存储端节点获取所述虚拟卷的副本、在所述存储端写入所述虚拟卷副本时，对异常节点副本的写入延迟与正常副本的差异进行分析比较，同时分析虚拟卷负载、集群健康状态等信息，来判断是否需要在以后的写入流程中屏蔽异常副本，以及当检测到异常副本需要迁移时迁移所述异常副本。

Images