CN103001869A - 一种基于端口偏射的云路由数据处理方法及系统 - Google Patents
一种基于端口偏射的云路由数据处理方法及系统 Download PDFInfo
- Publication number
- CN103001869A CN103001869A CN2012105305810A CN201210530581A CN103001869A CN 103001869 A CN103001869 A CN 103001869A CN 2012105305810 A CN2012105305810 A CN 2012105305810A CN 201210530581 A CN201210530581 A CN 201210530581A CN 103001869 A CN103001869 A CN 103001869A
- Authority
- CN
- China
- Prior art keywords
- port
- cloud
- data
- node
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明提供了一种基于端口偏射的云路由数据处理方法及系统,该方法包括:步骤1,将云路由节点的端口分离成转发端口和处理端口;步骤2,所述云路由节点基于所述转发端口和处理端口创建云路径,对转发端口的数据进行转发,对处理端口的数据进行处理;步骤3,所述云路由节点对转发的未处理的数据进行周期统计,并根据统计结果和所述云路由节点位置动态更新云路径;步骤4,所述云路由节点对转发的未处理数据进行处理。在本发明解决了现有的光突发交换中的交换粒度和传输数据缓存等障碍和问题,消除了网络单点性能瓶颈的问题,充分利用了网络节点的处理资源,消除了“短板”效应,有效缩短了单节点处理与传输能力间的差距。
Description
技术领域
本发明涉及互联网信息服务领域,特别是涉及一种基于端口偏射的云路由数据处理方法及系统。
背景技术
云服务是下一代互联网信息服务的主流模式,是现代服务业的核心,随着互联网用户以数千万到数亿规模的日益增长,互联网的物理规模也不断扩大,其计算能力不断增强,数据路由传输量呈超线性增长,但以电互联技术为基础的传统互联网络在数据交换规模、交换容量、交换速度方面已逐渐难以满足大数据业务对传输带宽的指数增长需求。上世纪90年代出现的密集波分复用(DWDM)技术,使得光网络迅速成为互联网物理层的主流传输技术,其几乎无限的带宽拓展潜力,使传统电子交换系统承受的压力日趋增大。因此,引入与大容量传输速度相匹配的高速交换技术如全光交换技术显得迫在眉睫。然而,由于光交换需要高速的光开关和光逻辑器件来完成复杂的交换处理功能,而这一技术迄今为止仍没有取得大的突破,所以现有的互联网采用的是电控光交换,即在电域上识别光信头,由电信号来控制光开关的动作。由于电控光交换存在固有的电子“瓶颈”限制,这种网络结构就使得网络的交换能力远远落后于网络的传输能力,成为系统的关键性能瓶颈。
为了解决这一瓶颈,研究人员先后提出路由器级联方案、光突发交换网络、集中式并行路由等方法。路由器级联不是一个很好的、长期的升级解决方案,因为随着交换机级联数目的增多,互联链路将占用大量端口,同时多个路由器连在一起时,其时延和抖动迅速增加,大大降低了网络性能;光突发交换网络使用电域控制、光域交换的处理方式,如附图1所示,虽然它可以大大提升交换容量,但仍然受制于光器件技术的发展,需要对大量IP包进行汇聚,以适应现有的光开关及波长转换器件的响应速度,因而导致其交换粒度过大,同时,在核心节点进行交换时如发生端口竞争时也缺少相应的解决方案,这些因素都会给网络整体效率造成影响。而集中式并行路由通过将大量交换单元进行交叉连接来提升单个节点的交换和路由处理能力,但随着规模的进一步扩大,能耗、散热和线路串扰成为影响其扩展性的严重问题,如附图2所示。
总体而言,由于光通信技术的长足发展,网络数据传输能力已经大大超越了网络数据的处理能力,造成了传输与处理的失配现象,并且由于量子效应的存在,单点电域数据处理能力即将面临技术瓶颈,而光域数据处理的技术尚远不成熟,因此这一失配现象在未来会变得更为严重,单点数据处理能力将成为制约网络系统效率提升的主要因素。
发明内容
本发明的发明目的是消除现有技术中存在的网络单点性瓶颈的问题,消除网络传输数据中的处理机制存在的“短板”效应,本发明充分利用了网络节点的处理资源,有效缩短了单节点处理与传输能力的差距。
为实现上述目的,本发明提供了一种基于端口偏射的云路由数据处理方法,包括:
步骤1,将云路由节点的端口分离成转发端口和处理端口;
步骤2,所述云路由节点基于所述转发端口和处理端口创建云路径,对转发端口的数据进行转发,对处理端口的数据进行处理;
步骤3,所述云路由节点对转发的未处理的数据进行周期统计,并根据统计结果和所述云路由节点位置动态更新云路径;
步骤4,所述云路由节点对转发的未处理数据进行处理。
进一步的,所述步骤1中:
分离方法包括物理分离、逻辑分离;
其中所述物理分离是采用双端口接入方式,与系统的数据处理能力匹配的,是处理端口;与系统的传输能力匹配,对数据不进行分析处理而直接发出的,是转发端口;
所述逻辑分离是对从同一端口进入的数据按时分或空分划为转发数据和处理数据,该转发数据与系统的传输能力相匹配,由转发端口转发,该处理数据与系统的处理能力相匹配,经云路由处理后由处理端口转发。
进一步的,所述步骤2如下:
其中该转发端口包括转发入端口和转发出端口,该处理端口包括处理入端口和处理出端口;
任何进入转发入端口的数据,若不进行路由处理,均按预先配置的云路径从其转发出端口发出,该云路径与所述转发入端口存在唯一对应关系;
任何一条云路径至少包含一个前端节点和一个末端节点,该前端节点将其处理入端口的部分数据转移至其转发出端口发出,或将转发入端口的部分或全部数据经云路由处理后从其处理出端口发出;
该末端节点的转发端口不具有转发出端口,从转发入端口进入的数据,如果超出了末端节点的处理能力,则全部丢弃。
进一步的,所述步骤3包括:
步骤31,所述云路由节点向所有邻居云路由节点请求云路径创建,每条云路径包含前端节点和末端节点,且节点数目不超出设定的阈值规定;
步骤32,若所述云路由节点位置不满足其前端节点要求,则向邻居节点通告其为末端节点,并创建k条以其自己为起始点的云路径,其中k≤n,n为节点总端口对数,在其运行期间不再响应其他云路由节点的云路径请求;
若所述云路由节点位置满足其前端节点要求,则直接创建云路径,在其运行期间需响应其他路由节点的云路径请求,如果接收到云路径分割消息,且其处于某条云路径的分割点,则对其云路径进行定向分割更新;
步骤33,统计该云路径中的节点数是否超出了门限阈值,如没有超出,则建立转发映射关系,将所有转发入端口进入的数据转至转发出端口发出;
如超出了门限阈值,则将该云路径一分为二,带末端节点的云路径保持不变,不带末端节点的云路径由路径最后一个前端节点寻找包含末端节点的更短的云路径进行链接合并,如不能找到该云路径,则其为末端节点。
进一步的,所述步骤4包括:
步骤41,云路由节点对转发的未处理数据队列进行监测,定义两个数据阈值L1、L2,其中L1≥L2,如果当前数据队列长度L超出L1,则检查所述当前数据的优先级标识,如果具有优先级标识,则进行路由处理后将其转入处理出端口发出,如果不具有优先级标识,则不做路由处理,而是将其转入相应的转发出端口发出;
步骤42,若发出的当前数据队列长度L仍然超出所述L1,则所述云路由节点丢弃超负荷的部分数据,直到满足所述L小于所述L1;
若发出的当前数据队列长度L满足L1≥L≥L2,则云路由节点不做优先级标识检查,从转发入端口进口进入的数据直接从其转发出端口发出,从处理入端口进入的数据直接进行路由处理后将从其处理出端口发出;
若发出的当前数据队列长度L满足L小于L2,则云路由节点对从转发入端口和处理入端口的数据均进行路由处理,并在对转发端口的数据进行处理时,对不具有优先级标识的数据进行优先级标识。
为实现上述目的,本发明还提供了一种基于端口偏射的云路由数据处理系统,包括:
分离模块,将云路由节点的端口分离成转发端口和处理端口;
第一处理模块,所述云路由节点基于所述转发端口和处理端口创建云路径,对转发端口的数据进行转发,对处理端口的数据进行处理;
更新模块,所述云路由节点对转发的未处理的数据进行周期统计,并根据统计结果和所述云路由节点位置动态更新云路径;
第二处理模块,所述云路由节点对转发的未处理数据进行处理。
进一步的,所述分离模块中:
分离方法包括物理分离、逻辑分离;
其中所述物理分离是采用双端口接入方式,与系统的数据处理能力匹配的,是处理端口;与系统的传输能力匹配,对数据不进行分析处理而直接发出的,是转发端口;
所述逻辑分离是对从同一端口进入的数据按时分或空分划为转发数据和处理数据,该转发数据与系统的传输能力相匹配,由转发端口转发,该处理数据与系统的处理能力相匹配,经云路由处理后由处理端口转发。
进一步的,所述第一处理模块如下:
其中该转发端口包括转发入端口和转发出端口,该处理端口包括处理入端口和处理出端口;
任何进入转发入端口的数据,若不进行路由处理,均按预先配置的云路径从其转发出端口发出,该云路径与所述转发入端口存在唯一对应关系;
任何一条云路径至少包含一个前端节点和一个末端节点,该前端节点将其处理入端口的部分数据转移至其转发出端口发出,或将转发入端口的部分或全部数据经云路由处理后从其处理出端口发出;
该末端节点的转发端口不具有转发出端口,从转发入端口进入的数据,如果超出了末端节点的处理能力,则全部丢弃。
进一步的,所述更新模块包括:
创建请求模块,所述云路由节点向所有邻居云路由节点请求云路径创建,每条云路径包含前端节点和末端节点,且节点数目不超出设定的阈值规定;
创建模块,若所述云路由节点位置不满足其前端节点要求,则向邻居节点通告其为末端节点,并创建k条以其自己为起始点的云路径,其中k≤n,n为节点总端口对数,在其运行期间不再响应其他云路由节点的云路径请求;
若所述云路由节点位置满足其前端节点要求,则直接创建云路径,在其运行期间需响应其他路由节点的云路径请求,如果接收到云路径分割消息,且其处于某条云路径的分割点,则对其云路径进行定向分割更新;
判断分割模块,统计该云路径中的节点数是否超出了门限阈值,如没有超出,则建立转发映射关系,将所有转发入端口进入的数据转至转发出端口发出;
如超出了门限阈值,则将该云路径一分为二,带末端节点的云路径保持不变,不带末端节点的云路径由路径最后一个前端节点寻找包含末端节点的更短的云路径进行链接合并,如不能找到该云路径,则其为末端节点。
进一步的,所述第二处理模块包括:
判断处理模块,云路由节点对转发的未处理数据队列进行监测,定义两个数据阈值L1、L2,其中L1≥L2,如果当前数据队列长度L超出L1,则检查所述当前数据的优先级标识,如果具有优先级标识,则进行路由处理后将其转入处理出端口发出,如果不具有优先级标识,则不做路由处理,而是将其转入相应的转发出端口发出;
丢弃处理模块,若发出的当前数据队列长度L仍然超出所述L1,则所述云路由节点丢弃超负荷的部分数据,直到满足所述L小于所述L1;
若发出的当前数据队列长度L满足L1≥L≥L2,则云路由节点不做优先级标识检查,从转发入端口进口进入的数据直接从其转发出端口发出,从处理入端口进入的数据直接进行路由处理后将从其处理出端口发出;
若发出的当前数据队列长度L满足L小于L2,则云路由节点对从转发入端口和处理入端口的数据均进行路由处理,并在对转发端口的数据进行处理时,对不具有优先级标识的数据进行优先级标识。
技术效果:
1.在本发明所提出的处理策略中,网络单点性能瓶颈不再存在,云路由技术将网络流区分为处理和转发两种类型,并建立云路由转发路径和映射机制,这使得单点处理性能较差的节点可将本地数据迁移至处理能力强大的节点进行重路由处理,其实质是对云路径中的一组路由器进行了处理资源共享,这种处理机制消除了“短板”效应,充分利用了网络节点的处理资源,显然可有效缩短单节点处理与传输能力间的差距,是一种性价比很高的解决方案。
2.本发明中的云路由技术采取的是电域处理/转发、或电域处理/光域转发的方式,因此,不存在光突发交换中的交换粒度和传输数据缓存等障碍和问题。
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
附图说明
图1是光突发交换网络架构图;
图2是集中式路由交换处理结构示意图;
图3是本发明的基于端口偏射的云路由数据处理方法流程图;
图4是本发明的云路径生成示意图;
图5是本发明的云路由节点工作原理示意图;
图6是本发明的基于端口偏射的云路由数据处理系统示意图。
具体实施方式
下面结合附图和具体实施例对本发明技术方案进行详细的描述,以更进一步了解本发明的目的、方案及功效,但并非作为本发明所附权利要求保护范围的限制。
图3是本发明的基于端口偏射的云路由数据处理方法流程图。如图3所示,本发明的基于端口偏射的云路由数据处理方法,包括如下步骤:
步骤1,将云路由节点的端口分离成转发端口和处理端口;
步骤2,所述云路由节点基于所述转发端口和处理端口创建云路径,对转发端口的数据进行转发,对处理端口的数据进行处理;
步骤3,所述云路由节点对转发的未处理的数据进行周期统计,并根据统计结果和所述云路由节点位置动态更新云路径;
步骤4,所述云路由节点对转发的未处理数据进行处理。
在本发明中,所涉及的基于端口偏射机制的云路由技术不仅可以应用在光电混合网络的路由策略中,也适用于全光传输网络或单一的电交换路由网络。网络的规模可以是运营商级别也可以是云计算网络或集群数据服务中心级别,只要网络中的传输与处理能力存在失配现象,原则上应用本发明均能有效改善网络整体性能。因此,在下面的具体实例中,所涉及的处理策略不限于该实例中所描述的网络拓扑结构和网络节点类型。
所述步骤1中:分离方法包括物理分离、逻辑分离;
传统网络路由或交换对数据的处理和转发功能一般未做严格划分。数据流的处理与接收端口往往在物理和逻辑上均为重合,即所有从某个物理端口进入的数据,节点系统均会进行相应的分析处理后,依据其携带的地址信息,从正确的出口进行转发。处理和转发端口的重叠使得系统对网络数据的吞吐量受限于其自身的最大处理能力。而本发明对这两个重叠的端口进行物理或逻辑分离。物理分离是采用双端口接入方式,低速端口与系统的数据处理能力匹配,高速端口与系统的传输能力匹配,经高速端口进入的数据,可不进行传统的分析处理,而是按照给定的端口映射方案从相应的高速端口不经处理直接发出;而逻辑分离是系统对从同一端口进入的数据按时分或空分划为转发数据和处理数据,时分分离是指将转发数据和处理数据通过同一信道的不同时隙进行传输,而空分分离是指转发数据和处理数据通过同一物理链路的不同载波频段信道进行传输。转发数据与系统的传输能力相匹配,处理数据与系统的处理能力相匹配。
进行处理和转发功能分离后,单个节点系统的网络吞吐量不再受限于本地节点的处理能力,数据可通过转发端口进入云网络中其余性能更强的路由节点或空闲路由节点中进行重路由处理,网络中的处理资源得以充分共享利用,可最大限度提高网络的整体性能。
所述步骤2中该转发端口包括转发入端口和转发出端口,该处理端口包括处理入端口和处理出端口;
任何进入转发入端口的数据,若不进行路由处理,均按预先配置的云路径从其转发出端口发出,该云路径与所述转发入端口存在唯一对应关系;
任何一条云路径至少包含一个前端节点和一个末端节点,该前端节点将其处理入端口的部分数据转移至其转发出端口发出,或将转发入端口的部分或全部数据经云路由处理后从其处理出端口发出;
该末端节点的转发端口不具有转发出端口,从转发入端口进入的数据,如果超出了末端节点的处理能力,则全部丢弃。
所述步骤3包括:
步骤31,所述云路由节点向所有邻居云路由节点请求云路径创建,每条云路径包含前端节点和末端节点,且节点数目不超出设定的阈值规定。
步骤32,若所述云路由节点位置不满足其前端节点要求,则向邻居节点通告其为末端节点,并创建k条以其自己为起始点的云路径,其中k≤n,,n为节点总端口对数,在其运行期间不再响应其他云路由节点的云路径请求;
若所述云路由节点位置满足其前端节点要求,则直接创建云路径,在其运行期间需响应其他路由节点的云路径请求,如果接收到云路径分割消息,且其处于某条云路径的分割点,则对其云路径进行定向分割更新;
步骤33,统计该云路径中的节点数是否超出了门限阈值,如没有超出,则建立转发映射关系,将所有转发入端口进入的数据转至转发出端口发出;
如超出了门限阈值,则将该云路径一分为二,带末端节点的云路径保持不变,不带末端节点的云路径由路径最后一个前端节点寻找包含末端节点的更短的云路径进行链接合并,如不能找到该云路径,则其为末端节点。
步骤2和步骤3的具体内容描述如下:
一个典型的云路由共享网络域由云路径前端节点、云路径末端节点和云路径集组成,其中一个云路径前端节点在逻辑上包含四组端口集合,分别为:处理入端口、处理出端口、转发入端口、转发出端口。而末端节点实际上只有不包含转发入端口的三组端口集合。云路径为有向路径,任意一条云路径一定包含一个末端节点。我们以图4中所示的抽象拓扑结构为例,对云路径的生成和演变规则做具体的说明:
图4是本发明的云路径生成示意图,如图4所示,图中示出了A→B→D→f、A→J→I→G→F→c、a→J→A→b、G→C→E→D→f、B→I→H→e等5条云路径,其中m类型节点即为云路径中的前端节点,而s类型节点为末端节点,5条路径的最后一个节点均为s类型节点。首先,某个节点所维护的云路径数目,不会超过其节点的数据输入端口数量,如节点A与B、J、b三个节点相连,图中已经示出了A节点最多需维护的全部云路径数。其次,不同节点维护的云路径可能存在包含关系,如对于A节点而言,它维护A→B→D→f、A→b、A→J→I→G→F→c三条云路径,并且将其对应的转发出端口和相应的转发入端口之间建立映射关系。而其中后一路径即为末端节点a维护的唯一云路径。
假定A节点为一个新的云路由节点,在接入图中抽象拓扑所示的云网络后,其本地云路径集的动态生成流程可概述为:
1)节点A首先对端口矩阵进行初始化配置如下:
同时对m1、m2、m3进入的数据流向进行统计,假定:
m′1+m″1=m1,m′1∈p2,m″1∈p3,且m′1≥m″1
m′2+m″2=m2,m′2∈p3,m″2∈p1,且m′2≥m″2
m′3+m″3=m3,m′3∈p1,m″3∈p2,且m′3≥m″3
2)节点A向B、J、b三个邻居发起云路径表获取请求,并获得相应的云路径为B→D→f、J→I→G→F→c,由于b为末端节点,因此将拒绝A的获取请求,并向节点A反馈其节点类型。按前述假设,节点A维护的云路径表最终生成为l1:A→B→D→f,l2:A→J→I→G→F→c,同时节点A自己创建一条路径l3:A→b。其中l1对应的转发端口对为(M2→P3),l2对应的转发端口对为(M3→P1),l3对应的转发端口对为(M1→P2)。
3)统计各条云路径中的节点数是否满足阈值要求,如云路径节点数阈值设定为5,则步骤2中生成的l2显然不满足阈值要求,此时需进行路径分裂请求,将路径lj一分为二以满足阈值设定,该请求由节点A发送至中间节点I,节点I在邻居节点中选择包含末端节点的更短的云路径如I→H→e,进行更新,并通告给上游的节点A和节点J,如无法找到更短云路径,则可将自身宣告为末端节点,并进行端口映射处理,不再转发该云路径所对应的转发入端口进入的数据,同时将变更信息通告给上游节点A、J。
完成云路径的创建和更新处理后,我们以附图5所示的网络场景为例,对本发明中基于偏射机制的云路由技术的具体实施流程进行说明。
所述步骤4包括:
步骤41,云路由节点对转发的未处理数据队列进行监测,定义两个数据阈值L1、L2,其中L1≥L2,如果当前数据队列长度L超出L1,则检查所述当前数据的优先级标识,如果具有优先级标识,则进行路由处理后将其转入处理出端口发出,如果不具有优先级标识,则不做路由处理,而是将其转入相应的转发出端口发出;
步骤42,若发出的当前数据队列长度L仍然超出所述L1,则所述云路由节点丢弃超负荷的部分数据,直到满足所述L小于所述L1;
若发出的当前数据队列长度L满足L1≥L≥L2,则云路由节点不做优先级标识检查,从转发入端口进口进入的数据直接从其转发出端口发出,从处理入端口进入的数据直接进行路由处理后将从其处理出端口发出;
若发出的当前数据队列长度L满足L小于L2,则云路由节点对从转发入端口和处理入端口的数据均进行路由处理,并在对转发端口的数据进行处理时,对不具有优先级标识的数据进行优先级标识。
步骤4的具体内容介绍如下:
图5是本发明的云路由节点工作原理示意图。在附图5的云网络中,包括4个末端节点a、b、c、d,和9个前端节点A~I。其中网络域2所产生的数据经末端节点c发送至另一末端节点b,同时末端节点d所在网络产生的数据也需路由至b所在网络。两组网络数据均需通过H节点进行路由,H节点对自身的处理队列进行监测,并定义两个队列长度阈值L1、L2,其中L1≥L2。如果进入H的数据2、数据3超出了H的处理能力,使得队列长度L≥L1,此时系统已发生较严重的拥塞,H节点将对所有进入处理端口的数据进行优先级标识检查,假定数据3的数据具有高优先级标识,H节点将优先对其进行路由处理,并通过处理端出口路由至下一节点G,而数据2的数据不具有优先级标识,则不做路由处理,而是将其转入本节点相应的云路由转发接口发出,这里假设其云路径的端口映射关系是指向节点G,则数据3也将通过转发路径发送至G,转发路径既可以是一条独立的物理链路,也可以是同一链路的不同信道或波段,甚至不同的时隙,附图5中不同的连线仅表示了两者逻辑上的独立性。
如按上述流程进行处理,队列长度仍然超出L1,则H节点将启动拥塞控制机制,随机丢弃部分数据包直至L≤L1。进入此状态后,H节点对通过的数据2和数据3便不再做优先级标识检查,而是通过处理出端口路由全部入端口数据。
数据2和数据3中的数据通过不同路径到达G节点后,假定G节点的处理能力强于H节点,而数据负荷也小于H节点,通过对其处理队列的监测,G节点在发现将数据3进行路由处理的过程中,其队列L≤L2(这里的L2与H节点的L2不一定相等,而由各个节点依据自身参数进行设定),则G节点将转发端口进入的数据2也并发进行路由处理,在处理过程中,G节点还将检查数据2的数据头部是否具有优先级标识,并对没有优先级标识的数据在可选项等空闲字段中加入这一标识,以保证在下一跳处理时获得与数据3相同的处理优先级。
通过G节点处理端口发出的混合数据与末端节点a发出的网络数据1在C节点交汇,同样造成了该节点的处理拥塞,C节点通过与H节点类似的方法,将超出其处理能力的数据1调度至转发端口发出,与混合数据一起到达E节点。E节点所处网络位置较为边缘,数据接入负荷低,它同时处理了转发端口进入的数据1和处理端口进入的混合数据,最终将末端节点a、c、d发出的三组数据正确送达b节点所处的目的网络,完成了一个完整的云路由处理过程。
从上述处理过程可以发现,按传统的逐跳路由处理方式,由于节点C和节点H存在的处理瓶颈,网络数据2和网络数据1都会被阻塞丢弃,最终到达b网络的只有数据3。而引入基于多端口偏射转发的云路由技术后,通过合理的云路径生成与更新算法,可以高概率的将3组数据同时送达目的网络,并无需对瓶颈节点的处理能力做任何提升。因此,本发明可彻底解决传统路由和交换技术中存在的单点“短板效应”,大大提升网络的整体性能和效率。
图6是本发明的基于端口偏射的云路由数据处理系统流程图。如图6所示,本发明的基于端口偏射的云路由数据处理系统,包括:
分离模块100,将云路由节点的端口分离成转发端口和处理端口;
第一处理模块200,所述云路由节点基于所述转发端口和处理端口创建云路径,对转发端口的数据进行转发,对处理端口的数据进行处理;
更新模块300,所述云路由节点对转发的未处理的数据进行周期统计,并根据统计结果和所述云路由节点位置动态更新云路径;
第二处理模块400,所述云路由节点对转发的未处理数据进行处理。
在本发明中,所涉及的基于端口偏射机制的云路由技术不仅可以应用在光电混合网络的路由策略中,也适用于全光传输网络或单一的电交换路由网络。网络的规模可以是运营商级别也可以是云计算网络或集群数据服务中心级别,只要网络中的传输与处理能力存在失配现象,原则上应用本发明均能有效改善网络整体性能。因此,在下面的具体实例中,所涉及的处理策略不限于该实例中所描述的网络拓扑结构和网络节点类型。
所述分离模块100中:分离方法包括物理分离、逻辑分离。
传统网络路由或交换对数据的处理和转发功能一般未做严格划分。数据流的处理与接收端口往往在物理和逻辑上均为重合,即所有从某个物理端口进入的数据,节点系统均会进行相应的分析处理后,依据其携带的地址信息,从正确的出口进行转发。处理和转发端口的重叠使得系统对网络数据的吞吐量受限于其自身的最大处理能力。而本发明对这两个重叠的端口进行物理或逻辑分离。物理分离是采用双端口接入方式,低速端口与系统的数据处理能力匹配,高速端口与系统的传输能力匹配,经高速端口进入的数据,可不进行传统的分析处理,而是按照给定的端口映射方案从相应的高速端口不经处理直接发出;而逻辑分离是系统对从同一端口进入的数据按时分或空分划为转发数据和处理数据,时分分离是指将转发数据和处理数据通过同一信道的不同时隙进行传输,而空分分离是指转发数据和处理数据通过同一物理链路的不同载波频段信道进行传输。转发数据与系统的传输能力相匹配,处理数据与系统的处理能力相匹配。
进行处理和转发功能分离后,单个节点系统的网络吞吐量不再受限于本地节点的处理能力,数据可通过转发端口进入云网络中其余性能更强的路由节点或空闲路由节点中进行重路由处理,网络中的处理资源得以充分共享利用,可最大限度提高网络的整体性能。
所述第一处理模块200如下:
其中该转发端口包括转发入端口和转发出端口,该处理端口包括处理入端口和处理出端口;
任何进入转发入端口的数据,若不进行路由处理,均按预先配置的云路径从其转发出端口发出,该云路径与所述转发入端口存在唯一对应关系;
任何一条云路径至少包含一个前端节点和一个末端节点,该前端节点将其处理入端口的部分数据转移至其转发出端口发出,或将转发入端口的部分或全部数据经云路由处理后从其处理出端口发出;
该末端节点的转发端口不具有转发出端口,从转发入端口进入的数据,如果超出了末端节点的处理能力,则全部丢弃。
所述更新模块300包括:
创建请求模块,所述云路由节点向所有邻居云路由节点请求云路径创建,每条云路径包含前端节点和末端节点,且节点数目不超出设定的阈值规定。
创建模块,若所述云路由节点位置不满足其前端节点要求,则向邻居节点通告其为末端节点,并创建k条以其自己为起始点的云路径,其中k≤n,,n为节点总端口对数,在其运行期间不再响应其他云路由节点的云路径请求;
若所述云路由节点位置满足其前端节点要求,则直接创建云路径,在其运行期间需响应其他路由节点的云路径请求,如果接收到云路径分割消息,且其处于某条云路径的分割点,则对其云路径进行定向分割更新;
判断分割模块,统计该云路径中的节点数是否超出了门限阈值,如没有超出,则建立转发映射关系,将所有转发入端口进入的数据转至转发出端口发出;
如超出了门限阈值,则将该云路径一分为二,带末端节点的云路径保持不变,不带末端节点的云路径由路径最后一个前端节点寻找包含末端节点的更短的云路径进行链接合并,如不能找到该云路径,则其为末端节点。
所述第一处理模块和更新模块的具体内容描述如下:
一个典型的云路由共享网络域由云路径前端节点、云路径末端节点和云路径集组成,其中一个云路径前端节点在逻辑上包含四组端口集合,分别为:处理入端口、处理出端口、转发入端口、转发出端口。而末端节点实际上只有不包含转发入端口的三组端口集合。云路径为有向路径,任意一条云路径一定包含一个末端节点。我们以图4中所示的抽象拓扑结构为例,对云路径的生成和演变规则做具体的说明:
图4是本发明的云路径生成示意图,如图4所示,图中示出了A→B→D→f、A→J→I→G→F→c、a→J→A→b、G→C→E→D→f、B→I→H→e等5条云路径,其中m类型节点即为云路径中的前端节点,而s类型节点为末端节点,5条路径的最后一个节点均为s类型节点。首先,某个节点所维护的云路径数目,不会超过其节点的数据输入端口数量,如节点A与B、J、b三个节点相连,图中已经示出了A节点最多需维护的全部云路径数。其次,不同节点维护的云路径可能存在包含关系,如对于A节点而言,它维护A→B→D→f、A→b、A→J→I→G→F→c三条云路径,并且将其对应的转发出端口和相应的转发入端口之间建立映射关系。而其中后一路径即为末端节点a维护的唯一云路径。
假定A节点为一个新的云路由节点,在接入图中抽象拓扑所示的云网络后,其本地云路径集的动态生成流程可概述为:
1)节点A首先对端口矩阵进行初始化配置如下:
同时对m1、m2、m3进入的数据流向进行统计,假定:
m′1+m″1=m1,m′1∈p2,m″1∈p3,且m′1≥m″1
m′2+m″2=m2,m′2∈p3,m″2∈p1,且m′2≥m″2
m′3+m″3=m3,m′3∈p1,m″3∈p2,且m′3≥m″3
2)节点A向B、J、b三个邻居发起云路径表获取请求,并获得相应的云路径为B→D→f、J→I→G→F→c,由于b为末端节点,因此将拒绝A的获取请求,并向节点A反馈其节点类型。按前述假设,节点A维护的云路径表最终生成为l1:A→B→D→f,l2:A→J→I→G→F→c,同时节点A自己创建一条路径l3:A→b。其中l1对应的转发端口对为(M2→P3),l2对应的转发端口对为(M3→P1),l3对应的转发端口对为(M1→P2)。
3)统计各条云路径中的节点数是否满足阈值要求,如云路径节点数阈值设定为5,则步骤2中生成的l2显然不满足阈值要求,此时需进行路径分裂请求,将路径lj一分为二以满足阈值设定,该请求由节点A发送至中间节点I,节点I在邻居节点中选择包含末端节点的更短的云路径如I→H→e,进行更新,并通告给上游的节点A和节点J,如无法找到更短云路径,则可将自身宣告为末端节点,并进行端口映射处理,不再转发该云路径所对应的转发入端口进入的数据,同时将变更信息通告给上游节点A、J。
完成云路径的创建和更新处理后,我们以附图5所示的网络场景为例,对本发明中基于偏射机制的云路由技术的具体实施流程进行说明。
所述第二处理模块400包括:
判断处理模块,云路由节点对转发的未处理数据队列进行监测,定义两个数据阈值L1、L2,其中L1≥L2,如果当前数据队列长度L超出L1,则检查所述当前数据的优先级标识,如果具有优先级标识,则进行路由处理后将其转入处理出端口发出,如果不具有优先级标识,则不做路由处理,而是将其转入相应的转发出端口发出;
丢弃处理模块,若发出的当前数据队列长度L仍然超出所述L1,则所述云路由节点丢弃超负荷的部分数据,直到满足所述L小于所述L1;
若发出的当前数据队列长度L满足L1≥L≥L2,则云路由节点不做优先级标识检查,从转发入端口进口进入的数据直接从其转发出端口发出,从处理入端口进入的数据直接进行路由处理后将从其处理出端口发出;
若发出的当前数据队列长度L满足L小于L2,则云路由节点对从转发入端口和处理入端口的数据均进行路由处理,并在对转发端口的数据进行处理时,对不具有优先级标识的数据进行优先级标识。
第二处理模块400的具体内容描述如下:
图5是本发明的云路由节点工作原理示意图。在附图5的云网络中,包括4个末端节点a、b、c、d,和9个前端节点A~I。其中网络域2所产生的数据经末端节点c发送至另一末端节点b,同时末端节点d所在网络产生的数据也需路由至b所在网络。两组网络数据均需通过H节点进行路由,H节点对自身的处理队列进行监测,并定义两个队列长度阈值L1、L2,其中L1≥L2。如果进入H的数据2、数据3超出了H的处理能力,使得队列长度L≥L1,此时系统已发生较严重的拥塞,H节点将对所有进入处理端口的数据进行优先级标识检查,假定数据3的数据具有高优先级标识,H节点将优先对其进行路由处理,并通过处理端出口路由至下一节点G,而数据2的数据不具有优先级标识,则不做路由处理,而是将其转入本节点相应的云路由转发接口发出,这里假设其云路径的端口映射关系是指向节点G,则数据3也将通过转发路径发送至G,转发路径既可以是一条独立的物理链路,也可以是同一链路的不同信道或波段,甚至不同的时隙,附图5中不同的连线仅表示了两者逻辑上的独立性。
如按上述流程进行处理,队列长度仍然超出L1,则H节点将启动拥塞控制机制,随机丢弃部分数据包直至L≤L1。进入此状态后,H节点对通过的数据2和数据3便不再做优先级标识检查,而是通过处理出端口路由全部入端口数据。
数据2和数据3中的数据通过不同路径到达G节点后,假定G节点的处理能力强于H节点,而数据负荷也小于H节点,通过对其处理队列的监测,G节点在发现将数据3进行路由处理的过程中,其队列L≤L2(这里的L2与H节点的L2不一定相等,而由各个节点依据自身参数进行设定),则G节点将转发端口进入的数据2也并发进行路由处理,在处理过程中,G节点还将检查数据2的数据头部是否具有优先级标识,并对没有优先级标识的数据在可选项等空闲字段中加入这一标识,以保证在下一跳处理时获得与数据3相同的处理优先级。
通过G节点处理端口发出的混合数据与末端节点a发出的网络数据1在C节点交汇,同样造成了该节点的处理拥塞,C节点通过与H节点类似的方法,将超出其处理能力的数据1调度至转发端口发出,与混合数据一起到达E节点。E节点所处网络位置较为边缘,数据接入负荷低,它同时处理了转发端口进入的数据1和处理端口进入的混合数据,最终将末端节点a、c、d发出的三组数据正确送达b节点所处的目的网络,完成了一个完整的云路由处理过程。
从上述处理过程可以发现,按传统的逐跳路由处理方式,由于节点C和节点H存在的处理瓶颈,网络数据2和网络数据1都会被阻塞丢弃,最终到达b网络的只有数据3。而引入基于多端口偏射转发的云路由技术后,通过合理的云路径生成与更新算法,可以高概率的将3组数据同时送达目的网络,并无需对瓶颈节点的处理能力做任何提升。因此,本发明可彻底解决传统路由和交换技术中存在的单点“短板效应”,大大提升网络的整体性能和效率。
Claims (10)
1.一种基于端口偏射的云路由数据处理方法,其特征在于,包括:
步骤1,将云路由节点的端口分离成转发端口和处理端口;
步骤2,所述云路由节点基于所述转发端口和处理端口创建云路径,对转发端口的数据进行转发,对处理端口的数据进行处理;
步骤3,所述云路由节点对转发的未处理的数据进行周期统计,并根据统计结果和所述云路由节点位置动态更新云路径;
步骤4,所述云路由节点对转发的未处理数据进行处理。
2.如权利要求1所述的云路由数据处理方法,其特征在于,所述步骤1中:
分离方法包括物理分离、逻辑分离;
其中所述物理分离是采用双端口接入方式,与系统的数据处理能力匹配的,是处理端口;与系统的传输能力匹配,对数据不进行分析处理而直接发出的,是转发端口;
所述逻辑分离是对从同一端口进入的数据按时分或空分划为转发数据和处理数据,该转发数据与系统的传输能力相匹配,由转发端口转发,该处理数据与系统的处理能力相匹配,经云路由处理后由处理端口转发。
3.如权利要求1所述的云路由数据处理方法,其特征在于,所述步骤2如下:
其中该转发端口包括转发入端口和转发出端口,该处理端口包括处理入端口和处理出端口;
任何进入转发入端口的数据,若不进行路由处理,均按预先配置的云路径从其转发出端口发出,该云路径与所述转发入端口存在唯一对应关系;
任何一条云路径至少包含一个前端节点和一个末端节点,该前端节点将其处理入端口的部分数据转移至其转发出端口发出,或将转发入端口的部分或全部数据经云路由处理后从其处理出端口发出;
该末端节点的转发端口不具有转发出端口,从转发入端口进入的数据,如果超出了末端节点的处理能力,则全部丢弃。
4.如权利要求3所述的云路由数据处理方法,其特征在于,所述步骤3包括:
步骤31,所述云路由节点向所有邻居云路由节点请求云路径创建,每条云路径包含前端节点和末端节点,且节点数目不超出设定的阈值规定;
步骤32,若所述云路由节点位置不满足其前端节点要求,则向邻居节点通告其为末端节点,并创建k条以其自己为起始点的云路径,其中k≤n,n为节点总端口对数,在其运行期间不再响应其他云路由节点的云路径请求;
若所述云路由节点位置满足其前端节点要求,则直接创建云路径,在其运行期间需响应其他路由节点的云路径请求,如果接收到云路径分割消息,且其处于某条云路径的分割点,则对其云路径进行定向分割更新;
步骤33,统计该云路径中的节点数是否超出了门限阈值,如没有超出,则建立转发映射关系,将所有转发入端口进入的数据转至转发出端口发出;
如超出了门限阈值,则将该云路径一分为二,带末端节点的云路径保持不变,不带末端节点的云路径由路径最后一个前端节点寻找包含末端节点的更短的云路径进行链接合并,如不能找到该云路径,则其为末端节点。
5.如权利要求3所述的云路由数据处理方法,其特征在于,所述步骤4包括:
步骤41,云路由节点对转发的未处理数据队列进行监测,定义两个数据阈值L1、L2,其中L1≥L2,如果当前数据队列长度L超出L1,则检查所述当前数据的优先级标识,如果具有优先级标识,则进行路由处理后将其转入处理出端口发出,如果不具有优先级标识,则不做路由处理,而是将其转入相应的转发出端口发出;
步骤42,若发出的当前数据队列长度L仍然超出所述L1,则所述云路由节点丢弃超负荷的部分数据,直到满足所述L小于所述L1;
若发出的当前数据队列长度L满足L1≥L≥L2,则云路由节点不做优先级标识检查,从转发入端口进口进入的数据直接从其转发出端口发出,从处理入端口进入的数据直接进行路由处理后将从其处理出端口发出;
若发出的当前数据队列长度L满足L小于L2,则云路由节点对从转发入端口和处理入端口的数据均进行路由处理,并在对转发端口的数据进行处理时,对不具有优先级标识的数据进行优先级标识。
6.一种基于端口偏射的云路由数据处理系统,其特征在于,包括:
分离模块,将云路由节点的端口分离成转发端口和处理端口;
第一处理模块,所述云路由节点基于所述转发端口和处理端口创建云路径,对转发端口的数据进行转发,对处理端口的数据进行处理;
更新模块,所述云路由节点对转发的未处理的数据进行周期统计,并根据统计结果和所述云路由节点位置动态更新云路径;
第二处理模块,所述云路由节点对转发的未处理数据进行处理。
7.如权利要求6所述的云路由数据处理方法,其特征在于,所述分离模块中:
分离方法包括物理分离、逻辑分离;
其中所述物理分离是采用双端口接入方式,与系统的数据处理能力匹配的,是处理端口;与系统的传输能力匹配,对数据不进行分析处理而直接发出的,是转发端口;
所述逻辑分离是对从同一端口进入的数据按时分或空分划为转发数据和处理数据,该转发数据与系统的传输能力相匹配,由转发端口转发,该处理数据与系统的处理能力相匹配,经云路由处理后由处理端口转发。
8.如权利要求6所述的云路由数据处理方法,其特征在于,所述第一处理模块如下:
其中该转发端口包括转发入端口和转发出端口,该处理端口包括处理入端口和处理出端口;
任何进入转发入端口的数据,若不进行路由处理,均按预先配置的云路径从其转发出端口发出,该云路径与所述转发入端口存在唯一对应关系;
任何一条云路径至少包含一个前端节点和一个末端节点,该前端节点将其处理入端口的部分数据转移至其转发出端口发出,或将转发入端口的部分或全部数据经云路由处理后从其处理出端口发出;
该末端节点的转发端口不具有转发出端口,从转发入端口进入的数据,如果超出了末端节点的处理能力,则全部丢弃。
9.如权利要求8所述的云路由数据处理方法,其特征在于,所述更新模块包括:
创建请求模块,所述云路由节点向所有邻居云路由节点请求云路径创建,每条云路径包含前端节点和末端节点,且节点数目不超出设定的阈值规定;
创建模块,若所述云路由节点位置不满足其前端节点要求,则向邻居节点通告其为末端节点,并创建k条以其自己为起始点的云路径,其中k≤n,n为节点总端口对数,在其运行期间不再响应其他云路由节点的云路径请求;
若所述云路由节点位置满足其前端节点要求,则直接创建云路径,在其运行期间需响应其他路由节点的云路径请求,如果接收到云路径分割消息,且其处于某条云路径的分割点,则对其云路径进行定向分割更新;
判断分割模块,统计该云路径中的节点数是否超出了门限阈值,如没有超出,则建立转发映射关系,将所有转发入端口进入的数据转至转发出端口发出;
如超出了门限阈值,则将该云路径一分为二,带末端节点的云路径保持不变,不带末端节点的云路径由路径最后一个前端节点寻找包含末端节点的更短的云路径进行链接合并,如不能找到该云路径,则其为末端节点。
10.如权利要求8所述的云路由数据处理方法,其特征在于,所述第二处理模块包括:
判断处理模块,云路由节点对转发的未处理数据队列进行监测,定义两个数据阈值L1、L2,其中L1≥L2,如果当前数据队列长度L超出L1,则检查所述当前数据的优先级标识,如果具有优先级标识,则进行路由处理后将其转入处理出端口发出,如果不具有优先级标识,则不做路由处理,而是将其转入相应的转发出端口发出;
丢弃处理模块,若发出的当前数据队列长度L仍然超出所述L1,则所述云路由节点丢弃超负荷的部分数据,直到满足所述L小于所述L1;
若发出的当前数据队列长度L满足L1≥L≥L2,则云路由节点不做优先级标识检查,从转发入端口进口进入的数据直接从其转发出端口发出,从处理入端口进入的数据直接进行路由处理后将从其处理出端口发出;
若发出的当前数据队列长度L满足L小于L2,则云路由节点对从转发入端口和处理入端口的数据均进行路由处理,并在对转发端口的数据进行处理时,对不具有优先级标识的数据进行优先级标识。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210530581.0A CN103001869B (zh) | 2012-12-11 | 2012-12-11 | 一种基于端口偏射的云路由数据处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210530581.0A CN103001869B (zh) | 2012-12-11 | 2012-12-11 | 一种基于端口偏射的云路由数据处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103001869A true CN103001869A (zh) | 2013-03-27 |
CN103001869B CN103001869B (zh) | 2015-04-29 |
Family
ID=47930024
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210530581.0A Expired - Fee Related CN103001869B (zh) | 2012-12-11 | 2012-12-11 | 一种基于端口偏射的云路由数据处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103001869B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104009914A (zh) * | 2014-06-04 | 2014-08-27 | 中国科学院计算技术研究所 | 一种路由网络及其节点转发能力共享方法 |
CN105991660A (zh) * | 2015-01-27 | 2016-10-05 | 杭州海康威视系统技术有限公司 | 一种多云存储系统间资源共享的系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6262834B1 (en) * | 2000-02-23 | 2001-07-17 | The United States Of America As Represented By The Secretary Of The Navy | Wideband single sideband modulation of optical carriers |
CN1734436A (zh) * | 2004-08-10 | 2006-02-15 | 松下电器产业株式会社 | 多重处理器 |
-
2012
- 2012-12-11 CN CN201210530581.0A patent/CN103001869B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6262834B1 (en) * | 2000-02-23 | 2001-07-17 | The United States Of America As Represented By The Secretary Of The Navy | Wideband single sideband modulation of optical carriers |
CN1734436A (zh) * | 2004-08-10 | 2006-02-15 | 松下电器产业株式会社 | 多重处理器 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104009914A (zh) * | 2014-06-04 | 2014-08-27 | 中国科学院计算技术研究所 | 一种路由网络及其节点转发能力共享方法 |
CN105991660A (zh) * | 2015-01-27 | 2016-10-05 | 杭州海康威视系统技术有限公司 | 一种多云存储系统间资源共享的系统 |
Also Published As
Publication number | Publication date |
---|---|
CN103001869B (zh) | 2015-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104429029B (zh) | 网络中通过中央控制器的基于延迟的业务速率控制 | |
CN103119900B (zh) | 通信系统、控制设备、节点控制方法和节点控制程序 | |
CN102971996B (zh) | 带有分组突发的负载平衡的交换节点 | |
CN102281478B (zh) | 用于混合交换的片上光路由器 | |
Agrawal et al. | Simulation of network on chip for 3D router architecture | |
CN103179046A (zh) | 基于openflow的数据中心流量控制方法及系统 | |
CN106341330A (zh) | 一种sdn控制器的拓扑发现方法及系统 | |
CN103973564A (zh) | 互连网络系统及自适应路由方法 | |
CN108768882A (zh) | 一种协议报文的处理方法及系统 | |
Liu et al. | Wavelength-reused hierarchical optical network on chip architecture for manycore processors | |
Han et al. | Future data center networking: From low latency to deterministic latency | |
CN106209294B (zh) | 一种高扩展的数据中心全光互连网络系统及通信方法 | |
CN107659505A (zh) | 一种sdn网络的选路方法和sdn控制器 | |
Tang et al. | Effective*-flow schedule for optical circuit switching based data center networks: A comprehensive survey | |
CN103001869B (zh) | 一种基于端口偏射的云路由数据处理方法及系统 | |
CN103078808B (zh) | 适用于多流正则表达式匹配的数据流交换复用系统及方法 | |
CN102427567B (zh) | 基于光分组交换的异步多波长网状网自适应节点系统 | |
CN114745227B (zh) | 基于FlexE和SPN技术的电力业务网络切片时延计算方法及装置 | |
CN1719944A (zh) | 由无阻塞光突发交换环交换节点构成的双环形光交换系统 | |
Lin et al. | Traffic intensity based fixed-alternate routing in all-optical WDM networks | |
Zhan et al. | Static+ dynamic bandwidth allocation for PON FC-AE-1553 network | |
Kaidan et al. | Research on the efficiency of optical resources utilization for OLS networks | |
Gu et al. | Research on congestion control link algorithm of computer network based on sdn | |
He et al. | ShuttleBus: Dense packet assembling with QUIC stream multiplexing for massive IoT | |
Kiasari et al. | Performance comparison of adaptive routing algorithms in the star interconnection network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150429 Termination date: 20191211 |