CN113778620A - 基于多sdn控制器与软硬件协同的大规模集群存储系统架构 - Google Patents

基于多sdn控制器与软硬件协同的大规模集群存储系统架构 Download PDF

Info

Publication number
CN113778620A
CN113778620A CN202110924708.6A CN202110924708A CN113778620A CN 113778620 A CN113778620 A CN 113778620A CN 202110924708 A CN202110924708 A CN 202110924708A CN 113778620 A CN113778620 A CN 113778620A
Authority
CN
China
Prior art keywords
controller
controllers
sdn
storage system
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110924708.6A
Other languages
English (en)
Inventor
王勇
柯文龙
陈俊彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202110924708.6A priority Critical patent/CN113778620A/zh
Publication of CN113778620A publication Critical patent/CN113778620A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45595—Network integration; Enabling network access in virtual machine instances

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及集群存储技术领域，具体涉及一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，通过存储层中设置的多个存储服务器对海量的数据进行存储，然后通过多个SDN交换机和存储服务器连接以进行数据交换，其中多个所述SDN交换机可以周期性地进行交换域的划分，使得所述控制器可以更好地控制，所述控制器在系统运行的不同时期负载也不同，因此可以周期性的进行主控器和从控制器的划分以利用较为限制的控制器作为主控器使用，可以提高管控能力，所述FPGA硬件加速器基于FPGA硬件加速器支撑，可以在多副本、纠删码场景下对不同业务流的调度效率和数据存取速度，提升大规模存储系统的性能。

Description

基于多SDN控制器与软硬件协同的大规模集群存储系统架构
技术领域
本发明涉及集群存储技术领域，尤其涉及一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构。
背景技术
传统集群存储系统易受到磁盘数量、所连接物理服务器数量、内存大小等物理因素限制，形成存储系统的瓶颈。其扩容方式往往采用纵向扩展，即采用硬件方式加强单个存储模块的性能，这种处理方式不仅费用高昂，且难以避免单点故障所带来的服务中断。同时由于缺乏统筹的管理模式，难以进行全局的数据分布与负载均衡，严重影响了存储系统的服务质量。
以云存储为代表的新兴集群存储技术的兴起与发展，为海量数据的存储和管理提供了一个良好的解决方案。云存储采用虚拟化技术，可通过横向扩展多台低端小容量存储设备组成存储集群，统一对外提供存储服务。然而，云存储系统的复杂程度会随着系统规模的增加呈指数型增长，系统需要将成千上万个节点集成在一起，网络链路及网络拓扑等基础设施的管理更加复杂，简单地扩展存储节点和交换机等硬件设备则难以满足海量数据的存取性能要求。
发明内容
本发明的目的在于提供一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，旨在提高集群存储系统在多副本、纠删码场景下对不同业务流的调度效率和数据存取速度，提升大规模存储系统的性能。
为实现上述目的，本发明提供了一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，包括存储层，所述存储层和多个SDN交换机连接，多个所述SDN交换机经过划分形成多个交换域，多个所述交换域分别和多个软硬件协同控制层连接，所述软硬件协同控制层包括控制器和FPGA硬件加速器，多个所述控制器周期性进行主控制器和从控制器划分；
所述存储层，用于存储数据；
所述SDN交换机，用于进行数据交换；
所述控制器，用于管理所连接的交换域中的所述SDN交换机和存储层；
所述FPGA硬件加速器，用于对不同场景下的流调度效率进行优化。
其中，所述多个所述控制器周期性进行主控制器和从控制器划分的具体步骤是：
主控制器向所有从控制器发送控制器负载信息请求；
所有从控制器向主控制器返回负载信息；
主控制器根据接收的控制器负载信息进行排序，选出负载最小的从控制器为下一时刻的主控制器；
主控制器数据迁移，并启动新的主控制器。
其中，所述负载信息包括控制器计算能力、所在域交换机和主机数量、接收包数量。
其中，所述多个所述SDN交换机经过划分形成多个交换域的具体步骤包括：
参数初始化；
计算节点游走的概率分布，得出节点序列，以网络中每一个节点作为初始点，然后根据概率分布和节点序列长度得出一个节点序列，迭代预设次数后得到最终节点序列；
将得到的最终节点序列训练得出节点向量；
通过聚类算法对节点向量进行聚类，得出交换机归属的控制器；
若交换机归属的控制器发生改变，则进行交换机迁移。
其中，所述FPGA硬件加速器，用于对不同场景下的流调度效率进行优化具体包括：提高集群存储系统在多副本写入场景下的流调度效率；提高集群存储系统在多副本读取场景下的流调度效率；提高集群存储系统在纠删码节点修复场景下的流调度效率。
其中，所述提高集群存储系统在多副本写入场景下的流调度效率的具体步骤是：
根据组播业务流对网络性能的需求对其进行优先级区分；
利用软件定义网络技术实时监控获取网络状态信息，并将网络状态信息存入链路信息表中；
SDN控制器在收到组播路径计算任务时，将路径的计算参数上传至FPGA硬件加速器；
FPGA硬件加速器将计算好的组播路径发回SDN控制器，SDN控制器根据计算好的路径信息向各SDN交换机下发流表。
其中，所述上传参数包括当前的网络状态信息、组播业务流的类型、业务流的源节点与目的节点集合。
本发明的一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，通过存储层中设置的多个存储服务器对海量的数据进行存储，然后通过多个SDN交换机和存储服务器连接以进行数据交换，其中多个所述SDN交换机可以周期性地进行交换域的划分，使得所述控制器可以更好地控制，所述控制器在系统运行的不同时期负载也不同，因此可以周期性的进行主控器和从控制器的划分以利用负载较低的控制器作为主控器使用，可以提高管控能力，所述FPGA硬件加速器基于FPGA硬件加速器支撑，可以在多副本、纠删码场景下对不同业务流的调度效率和数据存取速度，提升大规模存储系统的性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构的结构图；
图2是本发明的主从结构的多控制器集群化管理模型图；
图3是本发明的二阶随机游走策略图；
图4是本发明的多个所述控制器周期性进行主控制器和从控制器划分的流程图；
图5是本发明的多个所述SDN交换机经过划分形成多个交换域的流程图；
图6是本发明的提高集群存储系统在多副本写入场景下的流调度效率的流程图。
1-存储层、2-SDN交换机、3-软硬件协同控制层、31-控制器、32-FPGA硬件加速器。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1～图5，本发明提供一种基于多SDN控制器31与软硬件协同的大规模集群存储系统架构：包括存储层1，所述存储层1和多个SDN交换机2连接，多个所述SDN交换机2经过划分形成多个交换域，多个所述交换域分别和多个软硬件协同控制层3连接，所述软硬件协同控制层3包括控制器31和FPGA硬件加速器32，多个所述控制器31周期性进行主控制器31和从控制器31划分；
所述存储层1，用于存储数据；
所述SDN交换机2，用于进行数据交换；
所述控制器31，用于管理所连接的交换域中的所述SDN交换机2和存储层1；
所述FPGA硬件加速器32，用于对不同场景下的流调度效率进行优化。
在本实施方式中，通过存储层1中设置的多个存储服务器对海量的数据进行存储，然后通过多个SDN交换机2和存储服务器连接以进行数据交换，其中多个所述SDN交换机2可以周期性地进行交换域的划分，使得所述控制器31可以更好地控制，所述控制器31在系统运行的不同时期负载也不同，因此可以周期性的进行主控器和从控制器31的划分以利用较为限制的控制器31作为主控器使用，可以提高管控能力，所述FPGA硬件加速器32基于FPGA硬件加速器32支撑，可以在多副本、纠删码场景下对不同业务流的调度效率和数据存取速度，提升大规模存储系统的性能。
进一步的，所述多个所述控制器31周期性进行主控制器31和从控制器31划分的具体步骤是：
S101主控制器31向所有从控制器31发送控制器31负载信息请求；
S102所有从控制器31向主控制器31返回负载信息；
所述负载信息包括控制器31计算能力、所在域交换机和主机数量、接收包数量。
S103主控制器31根据接收的控制器31负载信息进行排序，选出负载最小的从控制器31为下一时刻的主控制器31；
S104主控制器31数据迁移，并启动新的主控制器31。
进一步的，所述多个所述SDN交换机2经过划分形成多个交换域的具体步骤包括：
S201参数初始化；
在网络中，周期性采集节点和链路之间状态信息，通过图神经网络node2vec算法生成节点的向量表示，随后通过聚类算法对生成的向量进行聚类，得出交换机归属的控制器31。若交换机归属的控制器31发生改变，则进行交换机迁移。
本发明将网络拓扑抽象为无向有权图G＝(V，E)，其中V表示拓扑图中所有节点的集合，即网络中所有交换机的集合，E表示拓扑图中所有交换机和交换机之间物理链路的集合，即网络中所有链路的集合。假设整个网络需要部署K个控制器31，即需要用聚类算法将拓扑图聚类为K类，每一个类由一个控制器31进行管理，类中所有交换机受这一个控制器31的调度和分配。若网络中交换机数量为N，控制器31数量为K。则相关数学表示如下：
交换机的集合表示：
V＝{v1，v2，...，vN|vi∈R，i＝1，2，...，N} 式1
控制器31的集合表示：
C＝{c1，c2，...，cK|cj∈R，j＝1，2，...，K} 式2
控制器31部署的节点集合表示：
M＝{cj|cj∈V，j∈C} 式3
控制器31j所管理的交换机表示：
Cj＝{v|v∈V，v由控制器j管理} 式4
交换机之间的物理链路表示：
d(m，n)，m∈V，n∈V 式5
其中(m，n)表示交换机m到交换机n的时延。
拓扑图存在权重，权重表示链路时延，权重越大表明链路时延越大，数据经过此链路所要经过的时间越长，转发速率越低，进而影响网络性能，本专利通过时延和来判断聚类结果的优劣，时延和越小，实际网络中的性能越好。计算公式如下：
Figure BDA0003208829230000061
参数包括p和q、节点序列长度、窗口大小、向量维度、迭代次数等，其中，参数p和q是node2vec算法的参数。
参数p：控制节点回溯的概率。当参数p设置值大于1且大于q，则1/p小，节点回溯概率降低。这种情况下，节点遍历时会向外游走，可避免过多的重复采样；当参数p设置值小于1且小于q，则1/p大，节点回溯概率增大，节点遍历时会更多探索相邻近的节点，更能表现出节点局部的信息。
参数q：控制节点游走偏向邻近的节点或较远的节点。当参数q设置值大于1，则1/q小，节点遍历向外延伸的概率小，倾向于遍历上一节点的邻近节点，更能体现同质性；当参数q的设置值小于1，则1/q大，节点遍历向外延伸的概率大，倾向于遍历距离较远的节点，更能体现结构性。
窗口大小和向量维度用于产生节点向量的过程。设当前节点为v，上一跳节点为t，此时在节点v，如图3所示，所要便利的下一个节点在x1、x2、x3中产生，由α决定，而α的大小由状态转移概率公式决定，如式7所示：
Figure BDA0003208829230000062
由公式可得，α主要由dtx决定，dtx为下一跳节点到上一节点的距离，如节点x1与节点t有边相连，则其距离d为1，节点x2到节点t中间要经过节点v，经过两跳，则其距离d为2，节点t到自身距离为0，由此得出转移到各个节点的概率。
最后，进行规范化得到式8：
Figure BDA0003208829230000063
其中，πvx为节点v到节点x的转移概率，Z为常数。
S202计算节点游走的概率分布，得出节点序列，以网络中每一个节点作为初始点，然后根据概率分布和节点序列长度得出一个节点序列，迭代预设次数后得到最终节点序列；
S203将得到的最终节点序列训练得出节点向量；
S204通过聚类算法对节点向量进行聚类，得出交换机归属的控制器31；
通过聚类算法对生成的向量进行聚类，使式6的时延和收敛至最小，得出交换机归属的控制器31。
S205若交换机归属的控制器31发生改变，则进行交换机迁移。
进一步的，所述FPGA硬件加速器32，用于对不同场景下的流调度效率进行优化具体包括：提高集群存储系统在多副本写入场景下的流调度效率；提高集群存储系统在多副本读取场景下的流调度效率；提高集群存储系统在纠删码节点修复场景下的流调度效率。
所述提高集群存储系统在多副本写入场景下的流调度效率的具体步骤是：
S301根据组播业务流对网络性能的需求对其进行优先级区分；
具体按业务流的发送端端口号判定其业务优先级，分为以下三个级别的业务流：
最高级：心跳数据流，对时延敏感度最高，需要的传输带宽小，拥有最高传输优先级，用于判断云存储网络各个存储节点是否正常。
次高级：用户业务数据流，对时延敏感度比较高，需要的传输带宽较多，拥有较高的传输优先级，主要由用户进行网络活动时产生，用户业务数据流的完成时间对用户体验影响较大。
最低级：系统迁移数据流，对时延没有太大要求，但是需要的网络带宽比较大，传输优先级最低，由云存储网络负载均衡机制产生，不会影响用户体验。
S302利用软件定义网络技术实时监控获取网络状态信息，并将网络状态信息存入链路信息表中；
利用软件定义网络技术实时监控获取网络状态信息，包括剩余带宽和平均传输时延等信息，并将网络状态信息存入链路信息表中，用于后续进行最优路径计算。
S303SDN控制器31在收到组播路径计算任务时，将路径的计算参数上传至FPGA硬件加速器32
SDN控制器31在收到组播路径计算任务时，将路径的计算需求上传至FPGA硬件加速器32，上传的参数包括当前的网络状态信息、组播业务流的类型、业务流的源节点与目的节点集合。组播路径的计算在FPGA硬件加速器32中进行，计算的具体流程如下：
在为组播业务流选择组播路径时，将此组播路径选择任务分解为多个单播路径选择任务，即若一个组播路径选择任务包含m个目的节点，则将其分解为m个点对点的单播路径选择任务。
在应对每个单播路径选择任务时，FPGA硬件加速器32遍历每一条可行的单播路径，根据每条路径的平均传输时延以及剩余带宽信息，综合评价出前k条最优单播路径，构成一个最优单播路径集best_k_path。此处的评价标准根据当前任务流的类别决定：针对最高级流，选择时延最低的路径；针对次高级流，综合考虑选择时延较低且剩余带宽较多的路径；针对最低级流，选择剩余带宽最多的路径。此时针对m个单播任务，共得到m个best_k_path。
使用遗传算法搜索最佳的组播路径，搜索方法为依次从m个best_k_path中各选出一个单播路径，最后构成一个具有m条单播路径的组播路径。此处使用遗传算法搜索的评价指标为：针对最高级流，选择时延最低的组播路径；针对次高级流，综合考虑选择时延较低且剩余带宽较多的组播路径；针对最低级流，选择剩余带宽最多的组播路径。
S304FPGA硬件加速器32将计算好的组播路径发回SDN控制器31，SDN控制器31根据计算好的路径信息向各SDN交换机2下发流表。
进一步的，提高集群存储系统在多副本读取场景下的流调度效率的具体步骤为：
集群存储系统在多副本读取场景下的数据流为多对一的汇聚数据流，本发明应对这种数据流的调度步骤如下：
根据组播业务流对网络性能的需求对其进行优先级区分，具体按业务流的发送端端口号判定其业务优先级，分为以下三个级别的业务流：
最高级：心跳数据流，对时延敏感度最高，需要的传输带宽小，拥有最高传输优先级，用于判断云存储网络各个存储节点是否正常。
次高级：用户业务数据流，对时延敏感度比较高，需要的传输带宽较多，拥有较高的传输优先级，主要由用户进行网络活动时产生，用户业务数据流的完成时间对用户体验影响较大。
最低级：系统迁移数据流，对时延没有太大要求，但是需要的网络带宽比较大，传输优先级最低，由云存储网络负载均衡机制产生，不会影响用户体验。
利用软件定义网络技术实时监控获取网络状态信息，包括剩余带宽和平均传输时延等信息，并将网络状态信息存入链路信息表中，用于后续进行最优路径计算。
根据存储服务器的当前状态选择出若干个存储服务器作为数据的发送节点，此处节点选择的评价指标为：在存有对应数据副本的服务器中选择CPU、内存、磁盘I/O剩余容量尽量大的服务器。
确定发送节点集合后，SDN控制器31将计算传输路径的相关参数上传至FPGA硬件加速器32，上传的参数包括当前的网络状态信息、汇集数据流的类型、业务流的源节点集合以及目的节点。汇聚数据流路径的计算在FPGA硬件加速器32中进行，计算的具体流程如下：
在为汇聚数据流计算路径时，FPGA硬件加速器32将此路径选择任务分解为多个点对点的单播路径选择任务。如数据的发送节点包括m个节点，则分解为m个单播路径选择任务；
在应对每个单播路径选择任务时，FPGA硬件加速器32遍历每一条可行的路径，并根据业务流的类型选择出一条最优的传输路径。这里路径选择的评价标准为：针对最高级流，选择时延最低的路径；针对次高级流，综合考虑选择时延较低且剩余带宽较多的路径；针对最低级流，选择剩余带宽最多的路径。此时共计算得到m条依次从各发送节点建立的传输路径；
FPGA硬件加速器32将计算得出的m条计算路径合并发送至SDN控制器31，SDN控制器31根据计算好的路径信息向各SDN交换机2下发流表。
进一步的，提高集群存储系统在纠删码节点修复场景下的流调度效率的具体步骤如下：
利用软件定义网络技术实时监控获取网络状态信息，包括剩余带宽和平均传输时延等信息，并将网络状态信息存入链路信息表中，用于后续进行最优路径计算；
根据存储服务器的当前状态选择出若干个存储服务器作为数据的发送节点，此处节点选择的评价指标为：在存有对应数据条带的服务器中选择CPU、内存、磁盘I/O剩余容量尽量大的服务器；
确定发送节点集合后，SDN控制器31将计算传输路径的相关参数上传至FPGA硬件加速器32，上传的参数包括当前的网络状态信息、汇集数据流的类型、业务流的源节点集合以及目的节点。汇聚数据流路径的计算在FPGA硬件加速器32中进行，计算的具体流程如下：
在为汇聚数据流计算路径时，FPGA硬件加速器32将此路径选择任务分解为多个点对点的单播路径选择任务。如数据的发送节点包括m个节点，则分解为m个单播路径选择任务。
在应对每个单播路径选择任务时，FPGA硬件加速器32遍历每一条可行的路径，选出前k个剩余带宽尽量大的路径，构成一个最优单播路径集best_k_path。
使用遗传算法搜索最佳的汇聚路径，搜索方法为依次从m个best_k_path中各选出一个单播路径，最后构成一个具有m条单播路径的组播路径。此处使用遗传算法搜索的评价指标为：选择出使用累积带宽最少的汇聚路径。
FPGA硬件加速器32将计算好的汇聚路径发回SDN控制器31，SDN控制器31根据计算好的路径信息向各SDN交换机2下发流表。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (7)

1.一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，其特征在于，
包括存储层，所述存储层和多个SDN交换机连接，多个所述SDN交换机经过划分形成多个交换域，多个所述交换域分别和多个软硬件协同控制层连接，所述软硬件协同控制层包括控制器和FPGA硬件加速器，多个所述控制器周期性进行主控制器和从控制器划分；
所述存储层，用于存储数据；
所述SDN交换机，用于进行数据交换；
所述控制器，用于管理所连接的交换域中的所述SDN交换机和存储层；
所述FPGA硬件加速器，用于对不同场景下的流调度效率进行优化。
2.如权利要求1所述的一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，其特征在于，
所述多个所述控制器周期性进行主控制器和从控制器划分的具体步骤是：
主控制器向所有从控制器发送控制器负载信息请求；
所有从控制器向主控制器返回负载信息；
主控制器根据接收的控制器负载信息进行排序，选出负载最小的从控制器为下一时刻的主控制器；
主控制器数据迁移，并启动新的主控制器。
3.如权利要求2所述的一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，其特征在于，
所述负载信息包括控制器计算能力、所在域交换机和主机数量、接收包数量。
4.如权利要求3所述的一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，其特征在于，
所述多个所述SDN交换机经过划分形成多个交换域的具体步骤包括：
参数初始化；
计算节点游走的概率分布，得出节点序列，以网络中每一个节点作为初始点，然后根据概率分布和节点序列长度得出一个节点序列，迭代预设次数后得到最终节点序列；
将得到的最终节点序列训练得出节点向量；
通过聚类算法对节点向量进行聚类，得出交换机归属的控制器；
若交换机归属的控制器发生改变，则进行交换机迁移。
5.如权利要求1所述的一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，其特征在于，
所述FPGA硬件加速器，用于对不同场景下的流调度效率进行优化具体包括：提高集群存储系统在多副本写入场景下的流调度效率；提高集群存储系统在多副本读取场景下的流调度效率；提高集群存储系统在纠删码节点修复场景下的流调度效率。
6.如权利要求1所述的一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，其特征在于，
所述提高集群存储系统在多副本写入场景下的流调度效率的具体步骤是：
根据组播业务流对网络性能的需求对其进行优先级区分；
利用软件定义网络技术实时监控获取网络状态信息，并将网络状态信息存入链路信息表中；
SDN控制器在收到组播路径计算任务时，将路径的计算参数上传至FPGA硬件加速器；
FPGA硬件加速器将计算好的组播路径发回SDN控制器，SDN控制器根据计算好的路径信息向各SDN交换机下发流表。
7.如权利要求6所述的一种基于多SDN控制器与软硬件协同的大规模集群存储系统架构，其特征在于，
所述上传参数包括当前的网络状态信息、组播业务流的类型、业务流的源节点与目的节点集合。
CN202110924708.6A 2021-08-12 2021-08-12 基于多sdn控制器与软硬件协同的大规模集群存储系统架构 Pending CN113778620A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110924708.6A CN113778620A (zh) 2021-08-12 2021-08-12 基于多sdn控制器与软硬件协同的大规模集群存储系统架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110924708.6A CN113778620A (zh) 2021-08-12 2021-08-12 基于多sdn控制器与软硬件协同的大规模集群存储系统架构

Publications (1)

Publication Number Publication Date
CN113778620A true CN113778620A (zh) 2021-12-10

Family

ID=78837477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110924708.6A Pending CN113778620A (zh) 2021-08-12 2021-08-12 基于多sdn控制器与软硬件协同的大规模集群存储系统架构

Country Status (1)

Country Link
CN (1) CN113778620A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130329601A1 (en) * 2012-06-11 2013-12-12 Futurewei Technologies, Inc. Defining Data Flow Paths in Software-Defined Networks with Application-Layer Traffic Optimization
CN105706074A (zh) * 2013-09-30 2016-06-22 慧与发展有限责任合伙企业 软件定义网络应用部署
CN107102824A (zh) * 2017-05-26 2017-08-29 华中科技大学 一种基于存储和加速优化的Hadoop异构方法和系统
CN107453887A (zh) * 2016-05-31 2017-12-08 中兴通讯股份有限公司 设备处理方法、装置及控制器
CN109150604A (zh) * 2018-08-20 2019-01-04 南瑞集团有限公司 一种基于sdn的电力通信网络系统及跨域切片方法
US20190372914A1 (en) * 2019-08-14 2019-12-05 Intel Corporation Technologies for managing disaggregated accelerator networks based on remote direct memory access
CN111164952A (zh) * 2017-11-16 2020-05-15 英特尔公司 分布式软件定义的工业系统
CN111868676A (zh) * 2018-03-15 2020-10-30 净睿存储股份有限公司 在基于云的存储系统中服务i/o操作
CN112260950A (zh) * 2020-10-19 2021-01-22 桂林电子科技大学 一种基于业务优先级区分的云存储网络组播流调度方法
CN112929299A (zh) * 2021-01-27 2021-06-08 广州市品高软件股份有限公司 基于fpga加速卡的sdn云网络实现方法、装置及设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130329601A1 (en) * 2012-06-11 2013-12-12 Futurewei Technologies, Inc. Defining Data Flow Paths in Software-Defined Networks with Application-Layer Traffic Optimization
CN105706074A (zh) * 2013-09-30 2016-06-22 慧与发展有限责任合伙企业 软件定义网络应用部署
CN107453887A (zh) * 2016-05-31 2017-12-08 中兴通讯股份有限公司 设备处理方法、装置及控制器
CN107102824A (zh) * 2017-05-26 2017-08-29 华中科技大学 一种基于存储和加速优化的Hadoop异构方法和系统
CN111164952A (zh) * 2017-11-16 2020-05-15 英特尔公司 分布式软件定义的工业系统
CN111868676A (zh) * 2018-03-15 2020-10-30 净睿存储股份有限公司 在基于云的存储系统中服务i/o操作
CN109150604A (zh) * 2018-08-20 2019-01-04 南瑞集团有限公司 一种基于sdn的电力通信网络系统及跨域切片方法
US20190372914A1 (en) * 2019-08-14 2019-12-05 Intel Corporation Technologies for managing disaggregated accelerator networks based on remote direct memory access
CN112260950A (zh) * 2020-10-19 2021-01-22 桂林电子科技大学 一种基于业务优先级区分的云存储网络组播流调度方法
CN112929299A (zh) * 2021-01-27 2021-06-08 广州市品高软件股份有限公司 基于fpga加速卡的sdn云网络实现方法、装置及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
段通;兰巨龙;胡宇翔;范宏伟;: "面向SDN/NFV架构的VNF硬件加速资源编排机制", 通信学报, no. 06, pages 98 - 106 *
秦济龙;李庆华;王恩东;公维锋;张峰;牛;乌力吉;张向民;: "一种路由交换阵列节点芯片及其系统的设计与实现", 计算机工程与科学, no. 12 *
范宏伟;胡宇翔;兰巨龙;: "两段式虚拟网络功能硬件加速资源部署机制", 计算机应用, no. 09 *

Similar Documents

Publication Publication Date Title
CN111027736B (zh) 多目标优化下的微服务组合部署与调度方法
CN108566659B (zh) 一种基于可靠性的5g网络切片在线映射方法
CN109818786B (zh) 一种云数据中心应用可感知的分布式多资源组合路径最优选取方法
Zhang et al. Forecast-assisted service function chain dynamic deployment for SDN/NFV-enabled cloud management systems
CN110461018B (zh) 基于可计算ap的机会网络路由转发方法
CN112020103A (zh) 一种移动边缘云中的内容缓存部署方法
CN113194034A (zh) 基于图神经网络和深度强化学习的路由优化方法及系统
CN103179052A (zh) 一种基于接近度中心性的虚拟资源分配方法及系统
CN113341712B (zh) 无人机自主控制系统智能分层递阶控制选择方法
CN110119399B (zh) 基于机器学习的业务流程优化方法
CN111181792A (zh) 基于网络拓扑的sdn控制器部署方法、装置及电子设备
CN111324429B (zh) 一种基于多代血统参考距离的微服务组合调度方法
Sapkota et al. Multi-controller placement optimization using naked mole-rat algorithm over software-defined networking environment
CN112883526B (zh) 一种任务延迟和可靠性约束下的工作负载分配方法
Hu et al. A mobility-aware service function chain migration strategy based on deep reinforcement learning
Tokuda et al. Network slice reconfiguration with deep reinforcement learning under variable number of service function chains
CN106658638B (zh) 一种基于hh-vbf的时间序列预测方法
El Gaily et al. Constrained quantum optimization for resource distribution management
CN112055394B (zh) 快速包含排除的无线传感器网络分簇路由方法及系统
Dandachi et al. A robust monte-carlo-based deep learning strategy for virtual network embedding
Yujie et al. An effective controller placement algorithm based on clustering in SDN
CN113778620A (zh) 基于多sdn控制器与软硬件协同的大规模集群存储系统架构
CN110086654B (zh) 软件定义数据中心下基于可靠性的主备控制器部署方法
CN117707795B (zh) 基于图的模型划分的边端协同推理方法及系统
Wu et al. An intelligent fuzzy-based routing algorithm for video conferencing service provisioning in software defined networking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination