CN111324453A - 用于区块链平台资源调度的方法 - Google Patents

Abstract

本发明涉及云计算与区块链技术相结合的技术领域，为实现对Kubernetes默认资源调度算法缺少面向BaaS的调度逻辑进行补充，降低加入相同通道下的Peer Pod之间的耦合度，提高BaaS的资源利用率。为此，本发明，用于区块链平台资源调度的方法，步骤如下：1)使用谱聚类算法作为改进面向BaaS平台资源调度的算法部分；(Ⅰ)构建表示样本集的矩阵Z；(Ⅱ)通过计算Z的前k个特征值与特征向量，构建特征向量空间；(Ⅲ)利用聚类算法对特征向量空间中特征向量进行聚类；2)将基于谱聚类资源调度算法写入shell脚本作为自定义的调度程序使用。本发明主要应用于区块链应用场合。

Description

用于区块链平台资源调度的方法

技术领域

本发明涉及云计算与区块链技术相结合的技术领域，尤其涉及以Kubernetes平台部署超级账本(Fabric)整合为区块链即服务(Blockchain as a Service,BaaS)平台的资源调度方法。

背景技术

Linux基金会于2015年发起了超级账本项目组(Hyperledger)，该项目目标实现基于区块链的企业级分布式账本技术(DLT)，构建涵盖各种行业的商业应用平台。超级账本项目是一个拥有着多个子项目的项目组，包括Fabric、Swatooth、Iroha、BlockchainExplorer、Cello等九个正式项目，Fabric作为核心项目与其他区块链平台有着重要的区别：1)成员的加入需要授权；2)模块化的设计，可插拔的共识机制；3)提供创建通道(Channel)的能力；4)通过链码(Chaincode)与后台交互，功能强大。Fabric中的Peer节点(以下简称Peer)为核心模块，通过Docker(容器)运行负责维护网络中的账本(Ledger)，交易需要经过Peer的背书才能生效，在多通道的设计下多个Peer可以加入同一个通道来共享账本，这在很大程度上解决了系统扩展性和交易隐私性的问题。

Kubernetes平台默认提供的调度算法主要有：LeastRequestedPriority(最少请求算法)、BalancedResourceAllocation(资源均衡分配算法)、ImageLocality(节点镜像评分)等。LeastRequestedPriority将该Pod(一个或多个容器的组合)请求的CPU和内存作为输入参数，遍历可调度子节点，从可支配的计算资源中分别减去上述参数计算百分比并相加求均值作为总分。BalancedResourceAllocation强调资源使用率的均衡程度，使用的CPU百分比和内存百分比越进接近，分数越高。ImageLocality依据子节点是否存在Pod所需镜像及镜像大小进行打分排序。用户可以调整加载的调度算法甚至可以编写代码片段或插入脚本进行自定义调度。本方案将Pod中有且仅有一个Peer(不限于其他模块的个数)的基本调度单元称为Peer Pod，当前版本在面向BaaS的资源调度时没有考虑Peer所加入的通道，这可能导致相同通道的Peer Pod部署在了同一个子节点上。这种情况下将会产生两点不利因素：1)如果该机器宕机，则会大大降低区块链系统的可用性，并将对账本的安全性造成极大的威胁；2)Peer Pod将在相同时间点占用子节点的计算，这势必增加了子节点处理高负荷业务的负担，容易造成子节点的宕机或触发Kubernetes平台的OOM killer(Out OfMemory killer)机制,不利于平台计算资源的高效利用。

发明内容

为克服现有技术的不足，本发明旨在对Kubernetes默认资源调度算法缺少面向BaaS的调度逻辑进行补充，提出一种基于谱聚类的资源调度算法，降低加入相同通道下的Peer Pod之间的耦合度，提高BaaS的资源利用率。为此，本发明采取的技术方案是，用于区块链平台资源调度的方法，步骤如下：

1)使用谱聚类算法作为改进面向BaaS平台资源调度的算法部分

(Ⅰ)构建表示样本集的矩阵Z；

(Ⅱ)通过计算Z的前k个特征值与特征向量，构建特征向量空间；

(Ⅲ)利用聚类算法对特征向量空间中特征向量进行聚类；

2)将基于谱聚类资源调度算法写入shell脚本作为自定义的调度程序使用，该脚本部署于Master机器操作用户访问集群的接口Kubernetes api实现对一个或多个容器的组合Pod的增、删、改、查功能，应为调度器设置独有的名字来调用该调度器从而完成PeerPod的调度分配工作，对于Peer Pod的部署，运维人员应事先准备通道规划的表单，该表单描述每个Peer与通道之间的对应关系，作为调度器的输入并以此来构造相似矩阵，将peer分散布置到不同的子节点，其中，Peer表示区块链中的节点，BaaS语义下的Pod表示区块链中一个或多个容器的组合。

(Ⅰ)构建表示样本集的矩阵Z具体指：

样本集即为具有不同通道属性值的Peer Pod，加入了某一通道则对应通道属性下的值为1，否则为0，将Peer Pod按个数编号，基于杰卡德Jaccard距离计算所给方案中任意两个Peer Pod的样本相似度，Jaccard距离越大，两者的相似度越高，反之越低，由此构建表示样本集的相似矩阵Z；

(Ⅱ)通过计算D-Z的前k个特征值与特征向量，构建特征向量空间；

将Z的每行元素相加，得到该顶点的度，以所有度为对角元素构成度矩阵D，使用Python的可求矩阵特征值、解行列式numpy.linalg模块计算矩阵D-Z，按升序输出前k个特征值及其对应的特征向量，依据谱聚类的基本原理，前k个特征向量将指示样本集的k个分类。

步骤1)中，矩阵Z又称为相似矩阵，描述样本空间中各样本之间的相似度，定义如下式：

构造矩阵Z的问题就是选择描述样本间的距离函数d(s_i,s_j)的问题，使用Jaccard距离作为描述样本之间的相似度，Jaccard相似度、Jaccard距离定义如式(2)(3)：

由Jaccard距离构造的相似矩阵记为

步骤2)中，具体流程如下：

步骤1：利用Jaccard距离构造合适的相似矩阵

对于即将部署的Peer Pod，假设每一个Pod只运行有且只有一个Peer容器，将PeerPod进行编号(p₁,p₂,...,p_n)并将Peer Pod与通道之间的对应关系作为输入，从编号1(p₁)开始遍历Peer Pod，逐个对比编号为(p₂,p₃,...,p_n)的Peer Pod与其加入共同通道的数量|X₁∩X_a|(X_a∈p₂,p₃,...,p_n)作为分子，记录二者一共加入的不同种类的通道数量|X₁∪X_a|(X_a∈p₂,p₃,...,p_n)作为分母，如式(3)完成p₁对其他Peer Pod的Jaccard距离计算，加入相同通道数量越多的两个Peer Pod的Jaccard距离越小，从以该距离构造的相似矩阵的角度来说，二者的相似度越小，最终的聚类结果也将倾向于划分到不同的类别，实现通道间的解耦；

步骤2：根据相似矩阵计算度矩阵

将相似矩阵的每行元素相加，得到该顶点的度，以所有度为对角元素构成度矩阵，度矩阵常用D来表示；

步骤3：根据相似矩阵、度矩阵计算拉普拉斯矩阵

相似矩阵中各样本间相似度的计算如式(3)所示，按上述步骤1完成相似矩阵D_J(X,Y)的构造。拉普拉斯矩阵分为非规范拉普拉斯矩阵和规范拉普拉斯矩阵，非规范拉普拉斯矩阵表示如式(4)：

L＝D-W (4)

规范拉普拉斯矩阵有两种形式，分别如式(5)(6)：

L_rw＝D^-1L＝I-D^-1W (6)

选取式(4)作为拉普拉斯矩阵在本环境下的应用形式，因此，使用步骤2中的度矩阵的对应元素减去步骤1中相似矩阵的对应元素得到拉普拉斯矩阵；

步骤4：求拉普拉斯矩阵前k个特征值及对应的特征向量，k为聚类数目

设置聚类数目为k，对步骤3中得到的拉普拉斯矩阵求取前k个特征值及其对应的特征向量；

步骤5：使用k-means算法对特征向量聚类，以簇为单位对Peer Pod完成调度

其中，在k-means迭代过程中增加平衡因子P以提高各簇之间的均匀程度，即检查分配的簇类样本数量是否大于n/C，若大于，则到该簇类的目标函数同乘P，否则不变。

本发明的特点及有益效果是：

本发明提供了一种基于Kubernetes平台面向BaaS的资源调度算法，通过使用基于谱聚类的资源调度算法实现平台下Peer Pod的调度。在调度将Peer Pod视为无向带权图中的节点，用Jaccard距离描述节点间带权的边，首先构造相似矩阵，然后依次构造度矩阵、拉普拉斯矩阵，求取拉普拉斯矩阵的前k(人为设定簇的数量)个特征向量，采用传统的k-means聚类算法加以聚类。使用该调度算法将产生能够降低同类Peer Pod耦合度的全局最优可行调度方案。从而有效的提高了平台的资源利用率、增强通道下相同账本之间的物理容灾特性。

附图说明：

图1步骤流程图。

具体实施方式

针对现有技术问题，为了提高基于Kubernetes平台的BaaS资源利用率，本发明提出一种基于谱聚类的资源调度算法，使用Jaccard距离构造相似矩阵并完成聚类后实现资源调度。

本发明技术方案如下：

1)使用谱聚类算法作为改进面向BaaS平台资源调度的算法部分。在默认提供的调度算法中，Kubernetes提供了两类调度算法：预选调度算法和优选调度算法。预选调度算法根据机架的分布、磁盘的承受能力、机器是否具有污点(Taint)的标记等决定工作负载是否进入下一轮的优选环节；优选调度算法依据不同的算法逻辑对预选算法得到的工作负载进行打分排序，包括筛选计算资源充沛的、工作负载均衡的、镜像(Image)储量足够等的工作负载作为最终的调度目的地。传统的(默认的)优选调度算法只适用于通用性的业务逻辑，在保证系统具有较高的可用性与可靠性的条件下，提供更为可观的吞吐量、I/O流、网络访问等的性能提升。但对于基于其打造的专业性的平台系统，传统调度算法具有不确定性，甚至无法较好的与次生平台耦合，不能针对性地解决由于本身的业务模式带来的风格不同的资源使用。为了实现对BaaS平台的调度可控，因此采用基于谱聚类的资源调度算法来对传统的调度算法进行改进。谱聚类算法(Spectral Clustering Algorithm)是聚类算法的一个分支，适合求解高维度、样本空间非凸容易陷入局部最优的聚类问题，该算法将聚类问题转化为谱图理论中的图分割问题，在构造合理的相似矩阵的情况下，能够求得全局最优解。本文提出的面向BaaS的谱聚类算法可以归纳为下面三个主要步骤：

(Ⅰ)构建表示样本集的矩阵Z；

样本集即为具有不同通道属性值的Peer Pod，加入了某一通道则对应通道属性下的值为1，否则为0。将Peer Pod按个数编号，基于Jaccard距离计算所给方案中任意两个Peer Pod的样本相似度，Jaccard距离越大，两者的相似度越高，反之越低。构建表示样本集的相似矩阵Z；

(Ⅱ)通过计算D-Z的前k个特征值与特征向量，构建特征向量空间；

将Z的每行元素相加，得到该顶点的度，以所有度为对角元素构成度矩阵D，使用Python的numpy.linalg模块计算矩阵D-Z，按升序输出前k个特征值及其对应的特征向量。依据谱聚类的基本原理，前k个特征向量将指示样本集的k个分类；

(Ⅲ)利用k-means或其他经典聚类算法对特征向量空间中特征向量进行聚类。

矩阵Z又称为相似矩阵，描述样本空间中各样本之间的相似度，定义如下式：

如何构造合适的矩阵Z是谱聚类算法要解决的核心问题，因为随着Z的不同聚类的结果将极大的不同。实际上，构造矩阵Z的问题就是选择描述样本间的距离函数d(s_i,s_j)的问题，通常情况下，该距离使用欧式距离、马氏距离、余弦距离等距离函数直接进行计算，由于Peer Pod可表示为加入了多个通道的集合，属于集合型数据，无法很好的用式(1)计算出相似度，考虑使用Jaccard距离作为描述样本之间的相似度，Jaccard相似度、Jaccard距离定义如式(2)(3)：

由Jaccard距离构造的相似矩阵记为

2)将基于谱聚类资源调度算法写入shell脚本作为自定义的调度程序使用，该脚本部署于Master机器操作Kubernetes api实现对Pod的增、删、改、查功能，应为调度器设置独有的名字来调用该调度器从而完成Peer Pod的调度分配工作。对于Peer Pod的部署，运维人员应事先准备通道规划的表单，该表单描述每个Peer与通道之间的对应关系，作为调度器的输入并以此来构造相似矩阵，将peer分散布置到不同的子节点。

步骤1：利用Jaccard距离构造合适的相似矩阵

对于即将部署的Peer Pod，假设每一个Pod只运行有且只有一个Peer容器，将PeerPod进行编号(p₁,p₂,...,p_n)并将Peer Pod与通道之间的对应关系作为输入。从编号1(p₁)开始遍历Peer Pod，逐个对比编号为(p₂,p₃,...,p_n)的Peer Pod与其加入共同通道的数量|X₁∩X_a|(X_a∈p₂,p₃,...,p_n)作为分子，记录二者一共加入的不同种类的通道数量|X₁∪X_a|(X_a∈p₂,p₃,...,p_n)作为分母，如式(3)完成p₁对其他Peer Pod的Jaccard距离计算。加入相同通道数量越多的两个Peer Pod的Jaccard距离越小，从以该距离构造的相似矩阵的角度来说，二者的相似度越小，最终的聚类结果也将倾向于划分到不同的类别，实现通道间的解耦；

步骤2：根据相似矩阵计算度矩阵

将相似矩阵的每行元素相加，得到该顶点的度，以所有度为对角元素构成度矩阵；

步骤3：根据相似矩阵、度矩阵计算拉普拉斯矩阵

相似矩阵中各样本间相似度的计算如式(3)所示，按上述步骤1完成相似矩阵D_J(X,Y)的构造。拉普拉斯矩阵分为非规范拉普拉斯矩阵和规范拉普拉斯矩阵，非规范拉普拉斯矩阵表示如式(4)：

L＝D-W (4)

规范拉普拉斯矩阵有两种形式，分别如式(5)(6)：

L_rw＝D^-1L＝I-D^-1W (6)

由于以上三种形式的拉普拉斯矩阵的具体应用环境没有得到彻底解决，本发明选取较为简单且容易实现的式(4)作为拉普拉斯矩阵在本环境下的应用形式。因此，使用步骤2中的度矩阵的对应元素减去步骤1中相似矩阵的对应元素即可得到拉普拉斯矩阵；

步骤4：求拉普拉斯矩阵前k(k为聚类数目)个特征值及对应的特征向量

设置聚类数目为k，为了使Peer Pod尽可能均衡地分布在各个计算节点上，本发明在一般情况下选取平台下计算节点的数量作为k值，该操作简化了聚类复杂度，在一般情境下确定聚类数目k实际上并不容易。因此，对步骤3中得到的拉普拉斯矩阵求取前k个特征值及其对应的特征向量；

步骤5：使用k-means算法对特征向量聚类，以簇为单位对Peer Pod完成调度

使用传统的k-means算法对步骤4求取的特征向量进行聚类，k-means算法的优点在于实现简单、不断地迭代优化从而接近理想的聚类目标。k-means终止条件设置为聚类中心点不再变动或达到最大循环次数，使用k-means算法按行聚类成k类；由于该结果易产生仅包含几个顶点的较小簇，这将使机器抗风险能力降低，在类内相似度大、类间相似度小的前提下，考虑使类别间数量均衡，因此在k-means迭代过程中增加平衡因子P以提高各簇之间的均匀程度，即检查分配的簇类样本数量是否大于n/C，若大于，则到该簇类的目标函数同乘P，否则不变；

下面结合附图和具体实例进一步详细说明本发明。

实验中使用Heapster(用于收集集群信息)采集工作节点计算资源信息，每隔15s采集一次数据，使用Influxdb(时序数据库)存储Heapster采集的时序信息，使用Grafana(用于监控指标展示)连接Influxdb实现对数据的实时监控，并以不同的标记值导出监控数据进行数据分析与数据绘制。实验采用的多通道Peer Pod的规划方案如表1所示，Peer_i(i＝1,2,...,9)代表应部署的Peer Pod，C₁,C₂,C₃代表通道名字。

表1多通道Peer Pod的规划方案

使用Jaccard距离对表1所示的规划方案构造相似矩阵，如表2所示。

表2使用Jaccard距离构造的相似矩阵D_J

由表2可知，Peer Pod之间的相似度有4种取值：0，1/3，2/3，1。相继对表2得到的相似矩阵D_J计算度矩阵与非规范的拉普拉斯矩阵，对于空间的坐标点来说，容易通过邻接矩阵并利用KNN(K Nearest Neighbors,K最近邻)构造合适的相似矩阵，但由于规划中的PeerPod属于非空间点，使用KNN方法构造相似矩阵将具有不确定性，近邻取值的多了将削弱本点的固有属性，近邻取值的少了将容易做陷入局部最优，因此本发明采用经典的谱聚类算法的处理流程，直接构造相似矩阵，而不再附加其他约束方法。由于本实验具备4个工作节点且性能相同，配置均为intel i7-7700HQ的双核CPU和DDR4 2GB内存，其正在处理的业务不影响实验的结果。因此将聚类数目k标记为4。计算非规范的拉普拉斯矩阵的前4个特征值对应的特征向量。采用k-means算法对特征向量进行迭代聚类，设置的截止条件如步骤4。随机选择两种调度算法的调度结果如表3所示，Spectral Clustering表示使用基于Jaccard距离构造相似矩阵的面向BaaS的经典谱聚类调度算法，Default表示Kubernetes中默认使用的调度算法，是一系列优选算法的加权组合。。

表3两种调度算法的调度方案

通过使用Fabric Nodejs SDK搭建可接收处理转账服务invoke的服务器，分别发起吞吐量(Transaction Per Second，TPS)为5、10、15、20、40的转账请求，定义BaaS负载均衡度如式(7)：

其中V_i为第i个工作节点的资源利用率，对所有V_i相加求平均值得到

如式(8)、式(9)：

V_i＝αV_ic+βV_im(α+β＝1) (8)

两种调度算法下记录得到的负载均衡度如表4所示，使用Scheduling Algorithm表示实验使用的调度算法。

表4两种调度算法下的负载均衡度(每次实验取最低值)

可以看出当通道接近空载(TPS＝5，T5)，默认调度算法的负载均衡值更大，但随着处理量的增大，默认调度算法下的平台负载均衡值不断减小，甚至产生10倍以上的产生差距，这将降低用户响应时间，增大单点故障概率，若Pod因资源不足而迁移将产生额外的资源损耗，影响服务质量。基于谱聚类的调度算法在10到20的TPS范围具有较高资源负载均衡水平。根据表4计算两种算法下不同TPS作为输入的平均负载均衡值分别为160.02和76.86。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种用于区块链平台资源调度的方法，其特征是，步骤如下：

1)使用谱聚类算法作为改进面向BaaS平台资源调度的算法部分

(Ⅰ)构建表示样本集的矩阵Z；

(Ⅱ)通过计算Z的前k个特征值与特征向量，构建特征向量空间；

(Ⅲ)利用聚类算法对特征向量空间中特征向量进行聚类；

2)将基于谱聚类资源调度算法写入shell脚本作为自定义的调度程序使用，该脚本部署于Master机器操作用户访问集群的接口Kubernetes api实现对一个或多个容器的组合Pod的增、删、改、查功能，应为调度器设置独有的名字来调用该调度器从而完成Peer Pod的调度分配工作，对于Peer Pod的部署，运维人员应事先准备通道规划的表单，该表单描述每个Peer与通道之间的对应关系，作为调度器的输入并以此来构造相似矩阵，将peer分散布置到不同的子节点，其中，Peer表示区块链中的节点，BaaS语义下的Pod表示区块链中一个或多个容器的组合。

2.如权利要求1所述的用于区块链平台资源调度的方法，其特征是，(Ⅰ)构建表示样本集的矩阵Z具体指：

样本集即为具有不同通道属性值的Peer Pod，加入了某一通道则对应通道属性下的值为1，否则为0，将Peer Pod按个数编号，基于杰卡德Jaccard距离计算所给方案中任意两个Peer Pod的样本相似度，Jaccard距离越大，两者的相似度越高，反之越低，由此构建表示样本集的相似矩阵Z；

(Ⅱ)通过计算D-Z的前k个特征值与特征向量，构建特征向量空间；

将Z的每行元素相加，得到该顶点的度，以所有度为对角元素构成度矩阵D，使用Python的可求矩阵特征值、解行列式numpy.linalg模块计算矩阵D-Z，按升序输出前k个特征值及其对应的特征向量，依据谱聚类的基本原理，前k个特征向量将指示样本集的k个分类。

3.如权利要求1所述的用于区块链平台资源调度的方法，其特征是，步骤1)中，矩阵Z又称为相似矩阵，描述样本空间中各样本之间的相似度，定义如下式：

构造矩阵Z的问题就是选择描述样本间的距离函数d(s_i,s_j)的问题，使用Jaccard距离作为描述样本之间的相似度，Jaccard相似度、Jaccard距离定义如式(2)(3)：

由Jaccard距离构造的相似矩阵记为

4.如权利要求1所述的用于区块链平台资源调度的方法，其特征是，步骤2)中，具体流程如下：

步骤1：利用Jaccard距离构造合适的相似矩阵

对于即将部署的Peer Pod，假设每一个Pod只运行有且只有一个Peer容器，将Peer Pod进行编号(p₁,p₂,...,p_n)并将Peer Pod与通道之间的对应关系作为输入，从编号1(p₁)开始遍历Peer Pod，逐个对比编号为(p₂,p₃,...,p_n)的Peer Pod与其加入共同通道的数量|X₁∩X_a|(X_a∈p₂,p₃,...,p_n)作为分子，记录二者一共加入的不同种类的通道数量|X₁∪X_a|(X_a∈p₂,p₃,...,p_n)作为分母，如式(3)完成p₁对其他Peer Pod的Jaccard距离计算，加入相同通道数量越多的两个Peer Pod的Jaccard距离越小，从以该距离构造的相似矩阵的角度来说，二者的相似度越小，最终的聚类结果也将倾向于划分到不同的类别，实现通道间的解耦；

步骤2：根据相似矩阵计算度矩阵

将相似矩阵的每行元素相加，得到该顶点的度，以所有度为对角元素构成度矩阵，度矩阵常用D来表示；

步骤3：根据相似矩阵、度矩阵计算拉普拉斯矩阵

相似矩阵中各样本间相似度的计算如式(3)所示，按上述步骤1完成相似矩阵D_J(X,Y)的构造。拉普拉斯矩阵分为非规范拉普拉斯矩阵和规范拉普拉斯矩阵，非规范拉普拉斯矩阵表示如式(4)：

L＝D-W (4)

规范拉普拉斯矩阵有两种形式，分别如式(5)(6)：

L_rw＝D^-1L＝I-D^-1W (6)

选取式(4)作为拉普拉斯矩阵在本环境下的应用形式，因此，使用步骤2中的度矩阵的对应元素减去步骤1中相似矩阵的对应元素得到拉普拉斯矩阵；

步骤4：求拉普拉斯矩阵前k个特征值及对应的特征向量，k为聚类数目

设置聚类数目为k，对步骤3中得到的拉普拉斯矩阵求取前k个特征值及其对应的特征向量；

步骤5：使用k-means算法对特征向量聚类，以簇为单位对Peer Pod完成调度

其中，在k-means迭代过程中增加平衡因子P以提高各簇之间的均匀程度，即检查分配的簇类样本数量是否大于n/C，若大于，则到该簇类的目标函数同乘P，否则不变。

Images