CN114338661B - 一种基于光分组交换的分布式边缘数据中心系统及应用 - Google Patents
一种基于光分组交换的分布式边缘数据中心系统及应用 Download PDFInfo
- Publication number
- CN114338661B CN114338661B CN202111244110.9A CN202111244110A CN114338661B CN 114338661 B CN114338661 B CN 114338661B CN 202111244110 A CN202111244110 A CN 202111244110A CN 114338661 B CN114338661 B CN 114338661B
- Authority
- CN
- China
- Prior art keywords
- edge
- node
- edge computing
- optical
- computing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 158
- 238000004364 calculation method Methods 0.000 claims abstract description 66
- 238000003860 storage Methods 0.000 claims abstract description 27
- 230000005540 biological transmission Effects 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 22
- WLWIMKWZMGJRBS-UHFFFAOYSA-N primin Chemical compound CCCCCC1=CC(=O)C=C(OC)C1=O WLWIMKWZMGJRBS-UHFFFAOYSA-N 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 15
- 238000000354 decomposition reaction Methods 0.000 claims description 14
- 239000013307 optical fiber Substances 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 9
- 230000002068 genetic effect Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 5
- 239000000835 fiber Substances 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 210000001503 joint Anatomy 0.000 claims description 3
- 230000035772 mutation Effects 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 9
- 230000003993 interaction Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000012940 design transfer Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Optical Communication System (AREA)
Abstract
本发明涉及一种基于光分组交换的分布式边缘数据中心系统,包括主计算节点ECN‑M、以及至少两个边缘计算中心,各个边缘计算中心分别包括边缘计算主节点ECN‑M边、以及至少一个从节点;各个从节点分别包括一个边缘光交换单元OSU边、以及至少两个边缘计算节点,各个从节点的结构中:各个边缘计算节点分别与对应边缘光交换单元OSU边相对接;并基于此系统设计了具体应用,能够减小电信号对高速数据的传输瓶颈,减小控制层及管理层的存储及计算压力,可扩展性高,支持边缘计算场景下分布式、海量、易构、突发业务的交互、存储、计算需求。
Description
技术领域
本发明涉及一种基于光分组交换的分布式边缘数据中心系统及应用,属于边缘计算技术领域。
背景技术
云计算中的数据中心通常远离大多数用户,其聚合式服务模式因长距离网络传输会造成大量传播时延,因此不适用于海量与时延敏感类业务。边缘计算改善了云计算的聚合式高时延服务模型,具有实时性高、稳定性高、数据安全性高等优点。
在互联网应用趋于宽带化的今天,光纤通信网络在基于大型数据中心的云计算系统中越发重要。支持异步光分组交换的光通信,具有支持突发性业务、延迟低、带宽利用率高、吞吐量大等优点,契合边缘计算大数据量、低延迟的特性。在网络边缘放置小型边缘数据中心,可以将光传送网的时延敏感流量转移到边缘网络,在分担云数据中心计算、存储及网络传输带宽压力的同时,可为用户提供近距离的服务资源,从而减少远程传输至云数据中心的传播时延。
然而现有的边缘计算设备之间的互连与数据交互,多依靠无线或有线电交换方式,稳定性、吞吐量、传输速度、延迟、安全性等均难以满足海量、异构数据的实时互连互通的要求。
发明内容
本发明所要解决的技术问题是提供一种基于光分组交换的分布式边缘数据中心系统,能够减小电信号对高速数据的传输瓶颈,减小控制层及管理层的存储及计算压力,可扩展性高,支持边缘计算场景下分布式、海量、易构、突发业务的交互、存储、计算需求。
本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种基于光分组交换的分布式边缘数据中心系统,用于处理来自用户侧设备及应用的计算任务,并将任务结果上传至云数据中心,分布式边缘数据系统包括主计算节点ECN-M、以及至少两个边缘计算中心,其中,各个边缘计算中心分别包括边缘计算主节点ECN-M边、以及至少一个从节点;各个从节点分别包括一个边缘光交换单元OSU边、以及至少两个边缘计算节点,各个从节点的结构中:各个边缘计算节点分别与对应边缘光交换单元OSU边相对接;
各边缘计算中心的结构中:若从节点的个数为1个,则该边缘计算中心结构中,该从节点中的边缘光交换单元OSU边与对应边缘计算主节点ECN-M边相对接;若从节点的个数为至少2个,则该边缘计算中心还包括中级光交换单元OSU中,该边缘计算中心结构中,该各从节点中的边缘光交换单元OSU边分别与该中级光交换单元OSU中相连接,该中级光交换单元OSU中与对应边缘计算主节点ECN-M边相对接;
以各边缘计算中心的边缘计算主节点ECN-M边为叶子节点,应用各个中级光交换单元OSU中作为非叶子节点,构建树形结构,且树形结构中作为根节点的中级光交换单元OSU中与主计算节点ECN-M相对接;
主计算节点ECN-M与云数据中心相连接通信,各边缘计算中心内的各个从节点与用户侧设备及应用相连接。
作为本发明的一种优选技术方案:基于所述各边缘计算中心中从节点的个数为至少2个,则各个从节点的结构如下:
边缘光交换单元OSU边包括阵列波导光栅AWG、1×2分路器、全光分组头提取模块HEM、循环光纤延时线REC-FDL、分路器、以及/>个高速光开关OS,边缘计算节点的数量等于/>1≤q≤Q,Q表示边缘计算中心的数量,1≤nq≤Nq,Nq表示第q个边缘计算中心中从节点的数量,/>表示第q个边缘计算中心中第n个从节点中边缘计算节点的数量;各边缘计算节点的数据上行输出端TX分别对接对应边缘光交换单元OSU边中阵列波导光栅AWG的各输入端,阵列波导光栅AWG的输出端对接1×2分路器的单路输入端,1×2分路器上的其中一路输出端对接对应全光分组头提取模块HEM的输入端,该全光分组头提取模块HEM的输出端对接对应各边缘计算节点的反馈输入端,1×2分路器上的另一路输出端对接对应循环光纤延时线REC-FDL的输入端,循环光纤延时线REC-FDL的输出端对接分路器的单路输入端,/>分路器上的各输出端分别一一对应连接各高速光开关OS,各边缘计算节点上的控制端分别均与各高速光开关OS相连接,对各高速光开关OS的状态实现控制,其中/>个高速光开关OS分别进一步一一对应对接各边缘计算节点的数据下行输入端RX;剩余1个高速光开关OS进一步对接所属边缘计算中心内的中级光交换单元OSU中,且该中级光交换单元OSU中的反馈端对接该从节点中阵列波导光栅AWG的输入端。
作为本发明的一种优选技术方案:所述各从节点中边缘光交换单元OSU边内的循环光纤延时线REC-FDL分别均包括第一可调谐滤波器TF1、第二可调谐滤波器TF2、第三可调谐滤波器TF3、第四可调谐滤波器TF4、第一耦合器A1、第二耦合器A2、第三耦合器A3、第四耦合器A4,其中,第一耦合器A1的单路侧端部构成循环光纤延时线REC-FDL的输入端,第一耦合器A1上两路侧的其中一路端部经第三可调谐滤波器TF3对接第四耦合器A4上两路侧的其中一路端部,第一耦合器A1上两路侧的另一路端部经第四可调谐滤波器TF4对接第二耦合器A2上两路侧的其中一路端部,第三耦合器A3上两路侧的其中一路端部经第一可调谐滤波器TF1对接第四耦合器A4上两路侧的另一路端部,第四耦合器A4上单路侧端部对接第三耦合器A3上单路侧端部,第三耦合器A3上两路侧的另一路端部经第二可调谐滤波器TF2对接第二耦合器A2上两路侧的另一路端部,第二耦合器A2上单路侧端部对接构成循环光纤延时线REC-FDL的输出端。
作为本发明的一种优选技术方案:所述各边缘计算中心内中级光交换单元OSU中分别包括阵列波导光栅AWG、1×2分路器、全光分组头提取模块HEM、1×Nq分路器、以及Nq个可调谐波长转换器TWC、Nq个信号反馈路,各个中级光交换单元OSU中的结构如下:
Nq个可调谐波长转换器TWC分别与中级光交换单元OSU中所属边缘计算中心中各从节点的边缘光交换单元OSU边一一对应,各可调谐波长转换器TWC的输入端分别对接对应边缘光交换单元OSU边中用于连接中级光交换单元OSU中的高速光开关OS,各可调谐波长转换器TWC的输出端对接对应阵列波导光栅AWG的输入端,阵列波导光栅AWG的输出端对接对应1×2分路器的单路输入端,该1×2分路器上的其中一路输出端对接对应全光分组头提取模块HEM的输入端,该全光分组头提取模块HEM的输出端对接中级光交换单元OSU中所属边缘计算中心中的边缘计算主节点ECN-M边,该1×2分路器上的另一路输出端对接对应1×Nq分路器的单路输入端,该1×Nq分路器上的各输出端分别一一对应对接各信号反馈路的输入端,各信号反馈路的结构彼此相同,各信号反馈路分别均包括可调谐滤波器TF与可调谐波长转换器TWC,各信号反馈路中可调谐滤波器TF的输入端构成对应信号反馈路的输入端,可调谐滤波器TF的输出端对接对应可调谐波长转换器TWC的输入端,中级光交换单元OSU中所属边缘计算中心中的边缘计算主节点ECN-M边的控制端分别对接该各信号反馈路中的可调谐滤波器TF进行控制,可调谐波长转换器TWC的输出端构成对应信号反馈路的输出端,各个信号反馈路的输出端分别与中级光交换单元OSU中所属边缘计算中心内各从节点的边缘光交换单元OSU边一一对应,各个信号反馈路的输出端分别与对应边缘光交换单元OSU边中阵列波导光栅AWG的输入端相连。
作为本发明的一种优选技术方案:所述各边缘计算节点的结构彼此相同,各边缘计算节点分别均包括多协议接口、存储模块、数据组装模块、分析计算模块、光收发模块、无线收发模块,各边缘计算节点的结构中,多协议接口与存储模块相连通信,存储模块与分析计算模块相连通信,分析计算模块与数据组装模块相连通信,数据组装模块分别与光收发模块、无线收发模块相连通信,光收发模块用于实现边缘计算节点的数据上行输出端TX、数据下行输出端RX。
作为本发明的一种优选技术方案:所述分布式边缘数据系统中各模块之间的连接通信基于光交换网络实现,所述用户侧设备及应用与所述各边缘计算中心内各从节点之间的连接通信基于光接入网实现,所述主计算节点ECN-M与所述云数据中心之间的连接通信基于光传送网实现。
与上述相对应,本发明还要解决的技术问题是提供一种基于光分组交换的分布式边缘数据中心系统的应用,设计全新数据调度逻辑,应用于分布式边缘数据系统,能够减小电信号对高速数据的传输瓶颈,减小控制层及管理层的存储及计算压力,可扩展性高,支持边缘计算场景下分布式、海量、易构、突发业务的交互、存储、计算需求。
本发明为了解决上述技术问题采用以下技术方案:本发明设计了一种基于光分组交换的分布式边缘数据中心系统的应用,用于处理来自用户侧设备及应用的计算任务,包括如下步骤:
步骤A.用户侧设备及应用将计算任务进行划分,获得计算任务所对应的各个计算子任务、以及各计算子任务分别所对应的优先级,然后进入步骤B;
步骤B.用户侧设备及应用按各计算子任务分别所对应优先级顺序,将各个计算子任务分别一一对应推给各个边缘计算中心,然后进入步骤C;
步骤C.分别针对各个计算子任务,执行如下步骤C1至步骤C3;
步骤C1.接收计算子任务的边缘计算中心内的边缘计算主节点ECN-M边作为任务节点,由该任务节点向其所连各从节点发出服务响应,该各从节点接到服务响应后,分别将自身状态信息返回至该任务节点,并进入步骤C2;
步骤C2.该任务节点根据其所连各从节点自身状态对应的计算能力,以及该计算子任务对应预设各数据属性的值,判断其所连各从节点是否能执行该计算子任务,是则由该任务节点制定任务分配策略,按动态资源调度方法下发执行指令,该任务节点及其所连各从节点按指令分配、执行该计算子任务;否则进入步骤C3;
步骤C3.该任务节点将该计算子任务发送至上级树形结构中的主计算节点ECN-M,由该主计算节点ECN-M针对该计算子任务进行调度分配,并返回步骤C1。
作为本发明的一种优选技术方案:所述步骤C2中的动态资源调度方法中,根据边缘计算中心内各从节点中各个边缘计算节点的计算、存储资源、以及网络状况,针对计算子任务进行业务的均衡分配,其中,采用Pri-Min算法或者遗传算法实现,Pri-Min算法应用过程中,从计算子任务的分解任务数、任务相关度、以及边缘计算中心内边缘计算节点传输处理速度比、权重四个方面评估对调度效果的影响;Pri-Min算法的求解过程为从优先级最高的分解任务开始分配边缘计算节点,遍历所有当前可用边缘计算节点,搜索目标函数值最小的那个边缘计算节点,将分解任务分配给该边缘计算节点,以此类推,直到所有分解任务分配完毕;
遗传算法应用过程中,计算子任务的分解任务按优先级值从小到大进行排序,首先初始化种群,计算初始种群的适应度值,如果没有达到终止条件,则进行选择、交叉、变异操作更新种群,并在这个过程中向最优解方向靠拢,以此类推,直到达到终止条件,输出最优解。
本发明所述一种基于光分组交换的分布式边缘数据中心系统及应用,采用以上技术方案与现有技术相比,具有以下技术效果:
(1)本发明所设计一种基于光分组交换的分布式边缘数据中心系统及应用,采用支持异步光分组交换的光通信实现分布式边缘数据系统,利用光分组交换技术支持突发性业务、延迟低、带宽利用率高、吞吐量大等优点,可满足边缘计算大数据量、低延迟的应用需求,相比于现有的依靠无线或有线电交换方式实现边缘计算系统,本发明具有交换灵活、带宽利用率高、吞吐量大、可配置的优点;相比于基于光网络的云计算系统实现海量及时延敏感类业务,本发明具有实时性高、稳定性高、数据安全性高等优点;相比于单级边缘计算系统架构,本发明可减小控制层及管理层的存储及计算压力,提高整个系统的可扩展性,实现大批量、分布式数据的实时交互与共享需求;
(2)本发明所设计一种基于光分组交换的分布式边缘数据中心系统及应用,把大量的交换业务转移到光域,减小电信号对高速数据的传输瓶颈,可实现交换容量与波分复用的传输容量相匹配,并通过与新型光交叉连接、多协议标签交换等技术的结合,能够实现网络系统的优化与资源的合理利用;基于面向数据中心边缘侧设备海量、突发业务特性,设计了分布式边缘数据中心的动态资源调度算法,根据系统中各个边缘计算节点的计算、存储资源以及网络状况进行业务的均衡分配,保证各边缘计算节点的利用率均衡;
(3)本发明所设计一种基于光分组交换的分布式边缘数据中心系统及应用,是集成计算、存储、应用核心能力为一体的开放平台,可就近提供最近端服务。应用在靠近用户侧的网络边缘发起,能产生更快的网络服务响应,满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。
附图说明
图1是本发明所设计基于光分组交换的分布式边缘数据中心系统的架构图;
图2是本发明所设计基于光分组交换的分布式边缘数据中心系统中边缘计算中心的架构图;
图3是本发明所设计基于光分组交换的分布式边缘数据中心系统中拓扑示意图;
图4是本发明所设计基于光分组交换的分布式边缘数据中心系统的动态资源调度流程图;
图5是Pri-Min算法求解流程图;
图6是遗传算法求解流程图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种基于光分组交换的分布式边缘数据中心系统及应用,用于处理来自用户侧设备及应用的计算任务,并将任务结果上传至云数据中心,如图1所示,分布式边缘数据系统包括主计算节点ECN-M、以及至少两个边缘计算中心,其中,各个边缘计算中心分别包括边缘计算主节点ECN-M边、以及至少一个从节点;各个从节点分别包括一个边缘光交换单元OSU边、以及至少两个边缘计算节点,各个从节点的结构中:各个边缘计算节点分别与对应边缘光交换单元OSU边相对接。
各边缘计算中心的结构中:若从节点的个数为1个,则该边缘计算中心结构中,该从节点中的边缘光交换单元OSU边与对应边缘计算主节点ECN-M边相对接;若从节点的个数为至少2个,则该边缘计算中心还包括中级光交换单元OSU中,该边缘计算中心结构中,该各从节点中的边缘光交换单元OSU边分别与该中级光交换单元OSU中相连接,该中级光交换单元OSU中与对应边缘计算主节点ECN-M边相对接。
以各边缘计算中心的边缘计算主节点ECN-M边为叶子节点,应用各个中级光交换单元OSU中作为非叶子节点,构建树形结构,且树形结构中作为根节点的中级光交换单元OSU中与主计算节点ECN-M相对接。
主计算节点ECN-M与云数据中心相连接通信,各边缘计算中心内的各个从节点与用户侧设备及应用相连接。
实际应用中,具体设计各边缘计算节点的结构彼此相同,如图2所示,各边缘计算节点分别均包括多协议接口、存储模块、数据组装模块、分析计算模块、光收发模块、无线收发模块,各边缘计算节点的结构中,多协议接口支持多种通信协议,提供灵活的数据接入能力,可实现用户侧应用的数据上传及下发;多协议接口与存储模块相连通信,存储模块与分析计算模块相连通信,存储模块和分析计算模块具有智能解读数据和实时数据分析能力,能提供差异化易用的开发套件和库,支持数据中心应用快速开发;分析计算模块与数据组装模块相连通信,数据组装模块分别与光收发模块、无线收发模块相连通信,光收发模块用于实现边缘计算节点的数据上行输出端TX、数据下行输出端RX。应用中,净荷储存在分组头当中,而分组头中则带有任务所需的存储容量,计算能力等信息,若有明确的目的地,还应带有地址信息。
并且基于所述各边缘计算中心中从节点的个数为至少2个,如图2所示,则各个从节点的结构如下:
边缘光交换单元OSU边包括阵列波导光栅AWG、1×2分路器、全光分组头提取模块HEM、循环光纤延时线REC-FDL、分路器、以及/>个高速光开关OS,边缘计算节点的数量等于/>1≤q≤Q,Q表示边缘计算中心的数量,1≤nq≤Nq,Nq表示第q个边缘计算中心中从节点的数量,/>表示第q个边缘计算中心中第n个从节点中边缘计算节点的数量;各边缘计算节点的数据上行输出端TX分别对接对应边缘光交换单元OSU边中阵列波导光栅AWG的各输入端,阵列波导光栅AWG的输出端对接1×2分路器的单路输入端,1×2分路器上的其中一路输出端对接对应全光分组头提取模块HEM的输入端,该全光分组头提取模块HEM的输出端对接对应各边缘计算节点的反馈输入端,1×2分路器上的另一路输出端对接对应循环光纤延时线REC-FDL的输入端,循环光纤延时线REC-FDL的输出端对接分路器的单路输入端,/>分路器上的各输出端分别一一对应连接各高速光开关OS,各边缘计算节点上的控制端分别均与各高速光开关OS相连接,对各高速光开关OS的状态实现控制,其中/>个高速光开关OS分别进一步一一对应对接各边缘计算节点的数据下行输入端RX;剩余1个高速光开关OS进一步对接所属边缘计算中心内的中级光交换单元OSU中,且该中级光交换单元OSU中的反馈端对接该从节点中阵列波导光栅AWG的输入端。
并且对于各从节点中边缘光交换单元OSU边内的循环光纤延时线REC-FDL来说,如图2所示,各个循环光纤延时线REC-FDL分别均包括第一可调谐滤波器TF1、第二可调谐滤波器TF2、第三可调谐滤波器TF3、第四可调谐滤波器TF4、第一耦合器A1、第二耦合器A2、第三耦合器A3、第四耦合器A4,其中,第一耦合器A1的单路侧端部构成循环光纤延时线REC-FDL的输入端,第一耦合器A1上两路侧的其中一路端部经第三可调谐滤波器TF3对接第四耦合器A4上两路侧的其中一路端部,第一耦合器A1上两路侧的另一路端部经第四可调谐滤波器TF4对接第二耦合器A2上两路侧的其中一路端部,第三耦合器A3上两路侧的其中一路端部经第一可调谐滤波器TF1对接第四耦合器A4上两路侧的另一路端部,第四耦合器A4上单路侧端部对接第三耦合器A3上单路侧端部,第三耦合器A3上两路侧的另一路端部经第二可调谐滤波器TF2对接第二耦合器A2上两路侧的另一路端部,第二耦合器A2上单路侧端部对接构成循环光纤延时线REC-FDL的输出端。
实际应用中,所涉及各边缘计算中心内的中级光交换单元OSU中,如图2所示,设计分别包括阵列波导光栅AWG、1×2分路器、全光分组头提取模块HEM、1×Nq分路器、以及Nq个可调谐波长转换器TWC、Nq个信号反馈路,各个中级光交换单元OSU中的结构如下:
Nq个可调谐波长转换器TWC分别与中级光交换单元OSU中所属边缘计算中心中各从节点的边缘光交换单元OSU边一一对应,各可调谐波长转换器TWC的输入端分别对接对应边缘光交换单元OSU边中用于连接中级光交换单元OSU中的高速光开关OS,各可调谐波长转换器TWC的输出端对接对应阵列波导光栅AWG的输入端,阵列波导光栅AWG的输出端对接对应1×2分路器的单路输入端,该1×2分路器上的其中一路输出端对接对应全光分组头提取模块HEM的输入端,该全光分组头提取模块HEM的输出端对接中级光交换单元OSU中所属边缘计算中心中的边缘计算主节点ECN-M边,该1×2分路器上的另一路输出端对接对应1×Nq分路器的单路输入端,该1×Nq分路器上的各输出端分别一一对应对接各信号反馈路的输入端,各信号反馈路的结构彼此相同,各信号反馈路分别均包括可调谐滤波器TF与可调谐波长转换器TWC,各信号反馈路中可调谐滤波器TF的输入端构成对应信号反馈路的输入端,可调谐滤波器TF的输出端对接对应可调谐波长转换器TWC的输入端,中级光交换单元OSU中所属边缘计算中心中的边缘计算主节点ECN-M边的控制端分别对接该各信号反馈路中的可调谐滤波器TF进行控制,可调谐波长转换器TWC的输出端构成对应信号反馈路的输出端,各个信号反馈路的输出端分别与中级光交换单元OSU中所属边缘计算中心内各从节点的边缘光交换单元OSU边一一对应,各个信号反馈路的输出端分别与对应边缘光交换单元OSU边中阵列波导光栅AWG的输入端相连。
将上述所设计基于光分组交换的分布式边缘数据中心系统,应用于实际当中,所述分布式边缘数据系统中各模块之间的连接通信基于光交换网络实现,所述用户侧设备及应用与所述各边缘计算中心内各从节点之间的连接通信基于光接入网实现,所述主计算节点ECN-M与所述云数据中心之间的连接通信基于光传送网实现。
在数据中心应用中,单个边缘计算节点的计算能力有限,有时无法单独执行计算量较大的任务,因此边缘计算层以边缘计算集群的形式存在,合理安排任务卸载和动态分配边缘计算节点的计算资源,可以有效缓解单个边缘计算节点的计算压力,最高效地利用边缘计算层的计算资源,从而降低任务的完成时间、通信负载、使用费用等指标,实现边缘计算层的负载均衡。
分布式边缘数据中心网络拓扑如图3所示。边缘计算层的边缘数据中心集群采用分级的分布式架构,大的边缘计算中心集群由多级小的边缘计算中心集群组成,如边缘计算节点E7、E1、E2组成一个两级的小边缘计算集群,E7为主节点,E1、E2为从节点,这个小边缘计算集群又与其他小边缘集群连通,组成了以E8为主节点的大边缘计算集群。边缘计算集群中所有边缘计算节点都有一定的计算能力和任务处理能力,可以获取下级节点状态信息并控制下级节点执行指定命令。
即本发明进一步设计了基于光分组交换的分布式边缘数据中心系统的应用,用于处理来自用户侧设备及应用的计算任务,实际应用中,如图4所示,具体执行如下步骤A至步骤C。
步骤A.用户侧设备及应用将计算任务进行划分,获得计算任务所对应的各个计算子任务、以及各计算子任务分别所对应的优先级,然后进入步骤B。
步骤B.用户侧设备及应用按各计算子任务分别所对应优先级顺序,将各个计算子任务分别一一对应推给各个边缘计算中心,然后进入步骤C。
步骤C.分别针对各个计算子任务,执行如下步骤C1至步骤C3。
步骤C1.接收计算子任务的边缘计算中心内的边缘计算主节点ECN-M边作为任务节点,由该任务节点向其所连各从节点发出服务响应,该各从节点接到服务响应后,分别将自身状态信息返回至该任务节点,并进入步骤C2。
步骤C2.该任务节点根据其所连各从节点自身状态对应的计算能力,以及该计算子任务对应预设各数据属性的值,判断其所连各从节点是否能执行该计算子任务,是则由该任务节点制定任务分配策略,按动态资源调度方法下发执行指令,该任务节点及其所连各从节点按指令分配、执行该计算子任务;否则进入步骤C3。
如图3所示,边缘计算节点E7接收到计算任务后,会根据任务信息及其管控的E7、E1、E2集群信息,判断该集群是否可独立执行任务。
如E7判断其管控的E7、E1、E2集群能够独立执行时,就会制定方案,将任务分割,在集群中进行分配处理。
步骤C3.该任务节点将该计算子任务发送至上级树形结构中的主计算节点ECN-M,由该主计算节点ECN-M针对该计算子任务进行调度分配,并返回步骤C1。
其中上述步骤C2中的动态资源调度方法中,根据边缘计算中心内各从节点中各个边缘计算节点的计算、存储资源、以及网络状况,针对计算子任务进行业务的均衡分配,其中,采用Pri-Min算法或者遗传算法实现,如图5所示,Pri-Min算法应用过程中,从计算子任务的分解任务数、任务相关度、以及边缘计算中心内边缘计算节点传输处理速度比、权重四个方面评估对调度效果的影响;Pri-Min算法的求解过程为从优先级最高的分解任务开始分配边缘计算节点,遍历所有当前可用边缘计算节点,搜索目标函数值最小的那个边缘计算节点,将分解任务分配给该边缘计算节点,以此类推,直到所有分解任务分配完毕。
如图6所示,遗传算法应用过程中,计算子任务的分解任务按优先级值从小到大进行排序,首先初始化种群,计算初始种群的适应度值,如果没有达到终止条件,则进行选择、交叉、变异操作更新种群,并在这个过程中向最优解方向靠拢,以此类推,直到达到终止条件,输出最优解。
上述技术方案所设计基于光分组交换的分布式边缘数据中心系统及应用,采用支持异步光分组交换的光通信实现分布式边缘数据系统,利用光分组交换技术支持突发性业务、延迟低、带宽利用率高、吞吐量大等优点,可满足边缘计算大数据量、低延迟的应用需求,相比于现有的依靠无线或有线电交换方式实现边缘计算系统,本发明具有交换灵活、带宽利用率高、吞吐量大、可配置的优点;相比于基于光网络的云计算系统实现海量及时延敏感类业务,本发明具有实时性高、稳定性高、数据安全性高等优点;相比于单级边缘计算系统架构,本发明可减小控制层及管理层的存储及计算压力,提高整个系统的可扩展性,实现大批量、分布式数据的实时交互与共享需求。
设计把大量的交换业务转移到光域,减小电信号对高速数据的传输瓶颈,可实现交换容量与波分复用的传输容量相匹配,并通过与新型光交叉连接、多协议标签交换等技术的结合,能够实现网络系统的优化与资源的合理利用;基于面向数据中心边缘侧设备海量、突发业务特性,设计了分布式边缘数据中心的动态资源调度算法,根据系统中各个边缘计算节点的计算、存储资源以及网络状况进行业务的均衡分配,保证各边缘计算节点的利用率均衡;
因此,本发明设计是集成计算、存储、应用核心能力为一体的开放平台,可就近提供最近端服务。应用在靠近用户侧的网络边缘发起,能产生更快的网络服务响应,满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。
下面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (7)
1.一种基于光分组交换的分布式边缘数据中心系统,用于处理来自用户侧设备及应用的计算任务,并将任务结果上传至云数据中心,其特征在于:分布式边缘数据系统包括主计算节点ECN-M、以及至少两个边缘计算中心,其中,各个边缘计算中心分别包括边缘计算主节点ECN-M边、以及至少一个从节点;各个从节点分别包括一个边缘光交换单元OSU边、以及至少两个边缘计算节点,各个从节点的结构中:各个边缘计算节点分别与对应边缘光交换单元OSU边相对接;
各边缘计算中心的结构中:若从节点的个数为1个,则该边缘计算中心结构中,该从节点中的边缘光交换单元OSU边与对应边缘计算主节点ECN-M边相对接;若从节点的个数为至少2个,则该边缘计算中心还包括中级光交换单元OSU中,该边缘计算中心结构中,该各从节点中的边缘光交换单元OSU边分别与该中级光交换单元OSU中相连接,该中级光交换单元OSU中与对应边缘计算主节点ECN-M边相对接;
以各边缘计算中心的边缘计算主节点ECN-M边为叶子节点,应用各个中级光交换单元OSU中作为非叶子节点,构建树形结构,且树形结构中作为根节点的中级光交换单元OSU中与主计算节点ECN-M相对接;
主计算节点ECN-M与云数据中心相连接通信,各边缘计算中心内的各个从节点与用户侧设备及应用相连接;
基于所述各边缘计算中心中从节点的个数为至少2个,则各个从节点的结构如下:
边缘光交换单元OSU边包括阵列波导光栅AWG、1×2分路器、全光分组头提取模块HEM、循环光纤延时线REC-FDL、分路器、以及/>个高速光开关OS,边缘计算节点的数量等于/>Q表示边缘计算中心的数量,1≤nq≤Nq,Nq表示第q个边缘计算中心中从节点的数量,/>表示第q个边缘计算中心中第n个从节点中边缘计算节点的数量;各边缘计算节点的数据上行输出端TX分别对接对应边缘光交换单元OSU边中阵列波导光栅AWG的各输入端,阵列波导光栅AWG的输出端对接1×2分路器的单路输入端,1×2分路器上的其中一路输出端对接对应全光分组头提取模块HEM的输入端,该全光分组头提取模块HEM的输出端对接对应各边缘计算节点的反馈输入端,1×2分路器上的另一路输出端对接对应循环光纤延时线REC-FDL的输入端,循环光纤延时线REC-FDL的输出端对接/>分路器的单路输入端,/>分路器上的各输出端分别一一对应连接各高速光开关OS,各边缘计算节点上的控制端分别均与各高速光开关OS相连接,对各高速光开关OS的状态实现控制,其中/>个高速光开关OS分别进一步一一对应对接各边缘计算节点的数据下行输入端RX;剩余1个高速光开关OS进一步对接所属边缘计算中心内的中级光交换单元OSU中,且该中级光交换单元OSU中的反馈端对接该从节点中阵列波导光栅AWG的输入端。
2.根据权利要求1所述一种基于光分组交换的分布式边缘数据中心系统,其特征在于:所述各从节点中边缘光交换单元OSU边内的循环光纤延时线REC-FDL分别均包括第一可调谐滤波器TF1、第二可调谐滤波器TF2、第三可调谐滤波器TF3、第四可调谐滤波器TF4、第一耦合器A1、第二耦合器A2、第三耦合器A3、第四耦合器A4,其中,第一耦合器A1的单路侧端部构成循环光纤延时线REC-FDL的输入端,第一耦合器A1上两路侧的其中一路端部经第三可调谐滤波器TF3对接第四耦合器A4上两路侧的其中一路端部,第一耦合器A1上两路侧的另一路端部经第四可调谐滤波器TF4对接第二耦合器A2上两路侧的其中一路端部,第三耦合器A3上两路侧的其中一路端部经第一可调谐滤波器TF1对接第四耦合器A4上两路侧的另一路端部,第四耦合器A4上单路侧端部对接第三耦合器A3上单路侧端部,第三耦合器A3上两路侧的另一路端部经第二可调谐滤波器TF2对接第二耦合器A2上两路侧的另一路端部,第二耦合器A2上单路侧端部对接构成循环光纤延时线REC-FDL的输出端。
3.根据权利要求2所述一种基于光分组交换的分布式边缘数据中心系统,其特征在于:所述各边缘计算中心内中级光交换单元OSU中分别包括阵列波导光栅AWG、1×2分路器、全光分组头提取模块HEM、1×Nq分路器、以及Nq个可调谐波长转换器TWC、Nq个信号反馈路,各个中级光交换单元OSU中的结构如下:
Nq个可调谐波长转换器TWC分别与中级光交换单元OSU中所属边缘计算中心中各从节点的边缘光交换单元OSU边一一对应,各可调谐波长转换器TWC的输入端分别对接对应边缘光交换单元OSU边中用于连接中级光交换单元OSU中的高速光开关OS,各可调谐波长转换器TWC的输出端对接对应阵列波导光栅AWG的输入端,阵列波导光栅AWG的输出端对接对应1×2分路器的单路输入端,该1×2分路器上的其中一路输出端对接对应全光分组头提取模块HEM的输入端,该全光分组头提取模块HEM的输出端对接中级光交换单元OSU中所属边缘计算中心中的边缘计算主节点ECN-M边,该1×2分路器上的另一路输出端对接对应1×Nq分路器的单路输入端,该1×Nq分路器上的各输出端分别一一对应对接各信号反馈路的输入端,各信号反馈路的结构彼此相同,各信号反馈路分别均包括可调谐滤波器TF与可调谐波长转换器TWC,各信号反馈路中可调谐滤波器TF的输入端构成对应信号反馈路的输入端,可调谐滤波器TF的输出端对接对应可调谐波长转换器TWC的输入端,中级光交换单元OSU中所属边缘计算中心中的边缘计算主节点ECN-M边的控制端分别对接该各信号反馈路中的可调谐滤波器TF进行控制,可调谐波长转换器TWC的输出端构成对应信号反馈路的输出端,各个信号反馈路的输出端分别与中级光交换单元OSU中所属边缘计算中心内各从节点的边缘光交换单元OSU边一一对应,各个信号反馈路的输出端分别与对应边缘光交换单元OSU边中阵列波导光栅AWG的输入端相连。
4.根据权利要求1至3中任意一项所述一种基于光分组交换的分布式边缘数据中心系统,其特征在于:所述各边缘计算节点的结构彼此相同,各边缘计算节点分别均包括多协议接口、存储模块、数据组装模块、分析计算模块、光收发模块、无线收发模块,各边缘计算节点的结构中,多协议接口与存储模块相连通信,存储模块与分析计算模块相连通信,分析计算模块与数据组装模块相连通信,数据组装模块分别与光收发模块、无线收发模块相连通信,光收发模块用于实现边缘计算节点的数据上行输出端TX、数据下行输出端RX。
5.根据权利要求1至3中任意一项所述一种基于光分组交换的分布式边缘数据中心系统,其特征在于:所述分布式边缘数据系统中各模块之间的连接通信基于光交换网络实现,所述用户侧设备及应用与所述各边缘计算中心内各从节点之间的连接通信基于光接入网实现,所述主计算节点ECN-M与所述云数据中心之间的连接通信基于光传送网实现。
6.一种基于权利要求1至2中任意一项所述基于光分组交换的分布式边缘数据中心系统的应用,用于处理来自用户侧设备及应用的计算任务,其特征在于,包括如下步骤:
步骤A.用户侧设备及应用将计算任务进行划分,获得计算任务所对应的各个计算子任务、以及各计算子任务分别所对应的优先级,然后进入步骤B;
步骤B.用户侧设备及应用按各计算子任务分别所对应优先级顺序,将各个计算子任务分别一一对应推给各个边缘计算中心,然后进入步骤C;
步骤C.分别针对各个计算子任务,执行如下步骤C1至步骤C3;
步骤C1.接收计算子任务的边缘计算中心内的边缘计算主节点ECN-M边作为任务节点,由该任务节点向其所连各从节点发出服务响应,该各从节点接到服务响应后,分别将自身状态信息返回至该任务节点,并进入步骤C2;
步骤C2.该任务节点根据其所连各从节点自身状态对应的计算能力,以及该计算子任务对应预设各数据属性的值,判断其所连各从节点是否能执行该计算子任务,是则由该任务节点制定任务分配策略,按动态资源调度方法下发执行指令,该任务节点及其所连各从节点按指令分配、执行该计算子任务;否则进入步骤C3;
步骤C3.该任务节点将该计算子任务发送至上级树形结构中的主计算节点ECN-M,由该主计算节点ECN-M针对该计算子任务进行调度分配,并返回步骤C1。
7.根据权利要求6所述一种基于光分组交换的分布式边缘数据中心系统的应用,其特征在于:所述步骤C2中的动态资源调度方法中,根据边缘计算中心内各从节点中各个边缘计算节点的计算、存储资源、以及网络状况,针对计算子任务进行业务的均衡分配,其中,采用Pri-Min算法或者遗传算法实现,Pri-Min算法应用过程中,从计算子任务的分解任务数、任务相关度、以及边缘计算中心内边缘计算节点传输处理速度比、权重四个方面评估对调度效果的影响;Pri-Min算法的求解过程为从优先级最高的分解任务开始分配边缘计算节点,遍历所有当前可用边缘计算节点,搜索目标函数值最小的那个边缘计算节点,将分解任务分配给该边缘计算节点,以此类推,直到所有分解任务分配完毕;
遗传算法应用过程中,计算子任务的分解任务按优先级值从小到大进行排序,首先初始化种群,计算初始种群的适应度值,如果没有达到终止条件,则进行选择、交叉、变异操作更新种群,并在这个过程中向最优解方向靠拢,以此类推,直到达到终止条件,输出最优解。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110992368 | 2021-08-27 | ||
CN2021109923680 | 2021-08-27 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114338661A CN114338661A (zh) | 2022-04-12 |
CN114338661B true CN114338661B (zh) | 2024-05-03 |
Family
ID=81044831
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111244110.9A Active CN114338661B (zh) | 2021-08-27 | 2021-10-26 | 一种基于光分组交换的分布式边缘数据中心系统及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114338661B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117093161B (zh) * | 2023-10-19 | 2024-01-26 | 之江实验室 | 一种基于光收发芯片的内存管理系统、方法、介质及设备 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1642061A (zh) * | 2004-01-14 | 2005-07-20 | 电子科技大学 | 一种具有内部加速的光突发交换节点 |
US7082132B1 (en) * | 2001-12-26 | 2006-07-25 | Nortel Networks Limited | Universal edge node |
CN101156337A (zh) * | 2005-12-07 | 2008-04-02 | 华为技术有限公司 | 一种光传送网节点结构、设备及业务调度方法 |
EP1993239A1 (en) * | 2007-05-14 | 2008-11-19 | Intune Technologies Limited | A Distributed Packet Switch for use in a Network |
CN102917287A (zh) * | 2012-11-21 | 2013-02-06 | 北京邮电大学 | 一种面向内容中心的智能光网络交换装置和边缘缓存方法 |
CN111446988A (zh) * | 2020-03-18 | 2020-07-24 | 南京万形电气有限公司 | 基于hplc载波通信的低压台区变线户拓扑识别边缘计算方法 |
CN111459665A (zh) * | 2020-03-27 | 2020-07-28 | 重庆电政信息科技有限公司 | 一种分布式边缘计算系统及分布式边缘计算方法 |
CN111641891A (zh) * | 2020-04-16 | 2020-09-08 | 北京邮电大学 | 一种多接入边缘计算系统中的任务对等卸载方法和装置 |
CN112040353A (zh) * | 2020-09-08 | 2020-12-04 | 东南大学 | 一种基于光分组交换的分布式边缘计算系统 |
CN112383846A (zh) * | 2020-11-13 | 2021-02-19 | 国网河南省电力公司信息通信公司 | 面向云-雾弹性光网络提前预留请求的频谱资源分配方法 |
CN112650585A (zh) * | 2020-12-24 | 2021-04-13 | 山东大学 | 一种新型边缘-云协同边缘计算平台、方法及存储介质 |
US11012501B1 (en) * | 2018-04-03 | 2021-05-18 | Amdocs Development Limited | System, method, and computer program for performing distributed outsourced computing |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3478218B2 (ja) * | 1999-12-27 | 2003-12-15 | 日本電気株式会社 | エッジノード交換機と交換機 |
DE502005001390D1 (de) * | 2005-07-14 | 2007-10-11 | Konrad Zuse Zentrum Fuer Infor | Vorrichtung und Verfahren zum Abrufen/Speichern von elektronischen Daten in einem System mit mehreren Datenverarbeitungseinheiten |
EP2923455A4 (en) * | 2012-11-26 | 2016-08-31 | Viscore Technologies Inc | METHOD AND SYSTEMS FOR PASSIVE OPTICAL SWITCHING |
US9609402B2 (en) * | 2015-03-26 | 2017-03-28 | Amazon Technologies, Inc. | Optical transmittal storage networks |
-
2021
- 2021-10-26 CN CN202111244110.9A patent/CN114338661B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7082132B1 (en) * | 2001-12-26 | 2006-07-25 | Nortel Networks Limited | Universal edge node |
CN1642061A (zh) * | 2004-01-14 | 2005-07-20 | 电子科技大学 | 一种具有内部加速的光突发交换节点 |
CN101156337A (zh) * | 2005-12-07 | 2008-04-02 | 华为技术有限公司 | 一种光传送网节点结构、设备及业务调度方法 |
EP1993239A1 (en) * | 2007-05-14 | 2008-11-19 | Intune Technologies Limited | A Distributed Packet Switch for use in a Network |
CN102917287A (zh) * | 2012-11-21 | 2013-02-06 | 北京邮电大学 | 一种面向内容中心的智能光网络交换装置和边缘缓存方法 |
US11012501B1 (en) * | 2018-04-03 | 2021-05-18 | Amdocs Development Limited | System, method, and computer program for performing distributed outsourced computing |
CN111446988A (zh) * | 2020-03-18 | 2020-07-24 | 南京万形电气有限公司 | 基于hplc载波通信的低压台区变线户拓扑识别边缘计算方法 |
CN111459665A (zh) * | 2020-03-27 | 2020-07-28 | 重庆电政信息科技有限公司 | 一种分布式边缘计算系统及分布式边缘计算方法 |
CN111641891A (zh) * | 2020-04-16 | 2020-09-08 | 北京邮电大学 | 一种多接入边缘计算系统中的任务对等卸载方法和装置 |
CN112040353A (zh) * | 2020-09-08 | 2020-12-04 | 东南大学 | 一种基于光分组交换的分布式边缘计算系统 |
CN112383846A (zh) * | 2020-11-13 | 2021-02-19 | 国网河南省电力公司信息通信公司 | 面向云-雾弹性光网络提前预留请求的频谱资源分配方法 |
CN112650585A (zh) * | 2020-12-24 | 2021-04-13 | 山东大学 | 一种新型边缘-云协同边缘计算平台、方法及存储介质 |
Non-Patent Citations (3)
Title |
---|
Asynchronous optical packet switching based interconnection network node suitable for cloud computing;zhan jun等;《 Application Research of Computers》;20130429;全文 * |
基于光分组交换的高性能计算机系统分析;赵俊;孙小菡;;东南大学学报(自然科学版);20070920(第05期);全文 * |
面向边缘计算的Storm边缘节点调度优化方法;简琤峰;平靖;张美玉;;计算机科学;20200515(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114338661A (zh) | 2022-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Performance analysis of optical burst switched node with deflection routing | |
Yuan et al. | A RMSA algorithm for elastic optical network with a tradeoff between consumed resources and distance to boundary | |
US11791926B2 (en) | Efficiently interconnecting a plurality of computing nodes to form a circuit-switched network | |
CN114338661B (zh) | 一种基于光分组交换的分布式边缘数据中心系统及应用 | |
Rashed | Optical network management and its performance evaluation for both future cost planning and triple play solutions | |
CN111010295A (zh) | 一种基于sdn-mec的配用电通信网任务迁移方法 | |
CN111698583B (zh) | 波长-模式混合复用的片上光交换网络架构及路由算法 | |
CN102711125A (zh) | 一种提高无线mesh网络传输能力的方法 | |
CN111092779B (zh) | 网络资源配置方法、装置、计算机设备及可读存储介质 | |
Cheng | Backtrack routing and priority-based wavelength assignment in WDM networks | |
Shu et al. | Programmable OPS/OCS hybrid data centre network | |
CN108347378A (zh) | 一种用于大电网的控制专用网络及动态路由方法 | |
Lin et al. | Performance and cost of upstream resource allocation for inter-edge-datacenter bulk transfers | |
CN115514764A (zh) | 一种基于光互连的边缘数据中心任务调度方法 | |
Wang et al. | Research on optical code assignment algorithm based on PCE domain | |
Yang et al. | Joint RMSSA scheme and link load balancing for static SD-SCNs from model building to algorithm design | |
WO2019080744A1 (zh) | 控制通道实现方法、装置、设备、存储介质和处理方法 | |
Gomathi et al. | Fuzzy queue based switch efficiency measures for optical network | |
Wu et al. | A maximum-efficiency-first multi-path route selection strategy for optical burst switching networks | |
Zhang et al. | Pas de deux: Shape the Circuits, and Shape the Apps too! | |
CN117221212B (zh) | 片上光网络低拥塞路由方法及相关设备 | |
CN111615022B (zh) | 空分复用弹性光网络全光节点的冲突解决方法 | |
Xiao et al. | A network flow approach for static and dynamic traffic grooming in WDM networks | |
Geresu et al. | ODRAD: An optical wireless DCN dynamic-bandwidth reconfiguration with AWGR and deep reinforcement learning | |
Sahoo et al. | A novel hybrid data center architecture employing optically-switched WDM LANs over electrical fat trees |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |