CN110768906B - 一种面向sdn网络基于q学习的节能路由方法 - Google Patents

一种面向sdn网络基于q学习的节能路由方法 Download PDF

Info

Publication number
CN110768906B
CN110768906B CN201911071643.4A CN201911071643A CN110768906B CN 110768906 B CN110768906 B CN 110768906B CN 201911071643 A CN201911071643 A CN 201911071643A CN 110768906 B CN110768906 B CN 110768906B
Authority
CN
China
Prior art keywords
task
queue
network
node
next hop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911071643.4A
Other languages
English (en)
Other versions
CN110768906A (zh
Inventor
龙恳
吴翰
蒋明均
李伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Miaoyin Technology Co.,Ltd.
Shenzhen Hongyue Information Technology Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201911071643.4A priority Critical patent/CN110768906B/zh
Publication of CN110768906A publication Critical patent/CN110768906A/zh
Application granted granted Critical
Publication of CN110768906B publication Critical patent/CN110768906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H04L45/08—Learning-based routing, e.g. using neural networks or artificial intelligence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/20—Hop count for routing purposes, e.g. TTL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/29—Flow control; Congestion control using a combination of thresholds
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及一种面向SDN网络基于Q学习的节能路由方法，属于网络节能技术领域。核心方法包括：统计当前时刻网络流需求，根据源节点和目标节点不同存入任务队列；为网络流的每个目标节点构建一张Q表并初始化；从队列中取出元素，根据目的节点不同输入对应的Q表，输出下一跳节点位置并得到奖励，更新Q表；反复迭代更新Q表；利用训练好的Q表处理网络流需求。特点：SDN控制器直接为每个网络流提供路由路径，动态调整路由器和链路的开关闭状态使网络在满足流量需求条件下达到能效最优。

Description

一种面向SDN网络基于Q学习的节能路由方法
技术领域
本发明属于网络节能技术领域，涉及一种面向SDN网络基于Q学习的节能路由方法。
背景技术
随着云计算技术的发展，不仅网络规模呈现爆发性增长，而且网络数据不断增长，导致数据中心能耗急剧增加。此外，为了满足服务要求，提供高性能和高可靠性的路由，大多数新数据中心使用Fat-Tree，BCube等丰富的网络拓扑结构，这将引入许多交换设备。这种方法使网络性能变得更好，但带来了大量的网络能耗。调制解调器大规模数据中心网络拥有数百万台服务器和带宽密集的特性，传统网络难以实现灵活的网，络资源调度需求。因此SDN(软件定义的网络)应运而生，其解耦传统网络设备的控制平面和数据平面，可以提供高可扩展性，灵活的资源调度，高带宽和其他网络要求。
借助于SDN控制平面对全网络信息的实时获取能力和对路由节点的控制力，有人提出面向SDN网络的基于链路利用率的自适应节能路由算法(申请公布号：CN106161257A)，通过实时获取全局拓扑信息和带宽利用率，为长度超过阈值的路径重新设置路径。这些方法运算量过大，不能实时处理实际路由问题。
发明内容
有鉴于此，本发明的目的在于提供一种面向SDN网络基于Q学习的节能路由方法。
为达到上述目的，本发明提供如下技术方案：
一种面向SDN网络基于Q学习的节能路由方法，该方法包括以下步骤：
S1：获取网络流信息，根据源节点和目标节点不同存入任务队列；
S2：为网络流的每个目标节点构建一张Q表并初始化；
S3：从队列中依次取出元素输入对应的Q表，输出下一跳位置；
S4：根据下一跳位置和当前网络状态得到不同的奖励值，依此更新Q表；
S5：重复S3，S4过程直到队列中所有任务都完成，即完成一次训练；
S6：重置队列和网络状态，重复S3～S5过程完成多次训练，得到最终的Q表；
S7：将待处理网络流输入对应Q表，步进得到路由路径，同时比较最终网络状态和初始状态得到网络节点链路开关闭策略。
本发明的有益效果在于：
1.全局分析网络状态，实时每个网络流设置一条路由路径可以解决OSPF等传统路由协议所带来的拥塞问题。
2.用Q学习可以实时决定开关闭节点和链路策略使系统达到能耗最低。
3.为全网络生成一棵MST树，只有当流需求超过阈值流量时才启用算法，平衡了算法开销和网络能效。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明基于强化学习的节能路由方法的整体流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
SDN控制器能获取全网络状态，生成一棵全网的最小生成树(MST)其中容量最小的边作为该树的阈值，当网络流量到来时，分析流量大小，若不超过阈值，则不启用算法，超过则启用。
算法实施需要实时获得网络代表的无向图G的邻接矩阵A，其横纵轴代表网络的所有节点，矩阵值代表对应横纵轴节点的边容量，当网络流量通过时此矩阵值也会动态改变，初始值记为A0。同时为每个目标节点生成一张Q表，根据实时的邻接矩阵A和流任务E(s,d,q,c)，其中s代表起始节点，d代表目的节点，q代表流量需求，c代表当前流任务所处的节点，初始值等于s，输出流任务的下一跳位置并更新Q表。
S1：读取当前时刻待处理的网络流，按起始节点s，目的节点d不同划分成不同任务存入任务队列T，T长度记为L(L>0)，设置迭代次数N；
S2：判断L是否为0，是则跳转步骤5，否则从队列头取出一个任务E(s,d,q,c)；
S3：根据E的目的结点d选择对应的Q表，根据该任务的当前位置节点c，在Q表中找到对应的最大Q值节点作为下一跳节点i；
S4：根据下一跳位置i和当前网络的邻接矩阵A，得到不同的奖励值，依此更新Q表；
S41：下一跳位置是目的节点(即i＝d)，任务完成，L＝L-1，并将T移出队列，返回奖励
r＝ra；
S42：下一跳为不可达结点，则将T初始化(即c＝s)，并将T挂到任务队列末端，返回奖励r＝rb；
S43：下一跳在当前网络G内却是未开启结点时，即对比当前A和初始值A0，i行i列所有值相等，则置c＝i，返回奖励r＝rc；
S44：下一跳节点开启，但当前位置和下一跳的连接未启用时，即A(c，i)＝A0(c，i)，置c＝i，返回奖励r＝rd；(ra>0>rb>rc>rd)
用Bellman方程更新Q值：
NewQ(s，a)＝Q(s，a)+α[r+γmaxa′Q(s′，a′)-Q(s，a)]
其中α为学习率，γ为奖励性衰变系数。
随机打乱任务队列，跳转执行S2。
S5：队列T中所有任务完成后，N＝N-1，判断N是否为0，是则训练完成，否则重置任务队列T和网络状态A，并跳转执行S2。
S6：获取网络流信息，存入任务队列，创建链表数组R记录结果。
S7：依次从队列头取出任务，根据目的节点不同，查找对应Q表，得到下一跳位置，若可达则修改当前任务状态和网络状态，将任务挂到队列末端，向R中添加记录；若不可达，重置任务后置于队列末端。
S8：重复执行S7直到所有队列中所有任务都被完成得到路由策略结果R以及最终网络状态Af，比较A0和Af得到节点链路开关闭策略结果。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.一种面向SDN网络基于Q学习的节能路由方法，其特征在于：该方法包括以下步骤：
S1：读取当前时刻待处理的网络流，按起始节点s，目的节点d不同划分成不同任务存入任务队列T，T长度记为L，L>0，设置迭代次数N；
S2：判断L是否为0，是则跳转步骤S5，否则从队列头取出一个任务E(s,d,q,c)；q代表流量需求；
S3：根据E的目的结点d选择对应的Q表，根据该任务的当前位置节点c，在Q表中找到对应的最大Q值节点作为下一跳节点i；
S4：根据下一跳位置i和当前网络状态An，得到不同的奖励值，依此更新Q表；
S41：下一跳位置是目的节点，i＝d，任务完成，下一个队列长度L’＝上一个队列长度L-1，并将任务E从任务队列T中移出队列，返回奖励r＝ra；
S42：下一跳为不可达结点，则将T初始化，c＝s，并将任务E置于任务队列T末端，返回奖励r＝rb；
S43：下一跳在当前网络G内却是未开启结点时，即对比当前网络状态An和初始网络状态A0，i行i列所有值相等，则置c＝i，返回奖励r＝rc；
S44：下一跳节点开启，但当前位置和下一跳的连接未启用时，即An＝A0，置c＝i，返回奖励r＝rd；ra>0>rb>rc>rd；
用Bellman方程更新Q值：
NewQ(s，a)＝Q(s，a)+α[r+γmaxa′Q(s′，a′)-Q(s，a)]
其中α为学习率，γ为奖励性衰变系数；
随机打乱任务队列，跳转执行S2；
S5：队列T中所有任务完成后，下一个迭代次数N’＝上一个迭代次数N-1，判断N’是否为0，是则训练完成，否则重置任务队列T和网络状态An，并跳转执行S2；
S6：获取网络流信息，存入任务队列，创建链表数组R记录结果；
S7：依次从队列头取出任务，根据目的节点不同，查找对应Q表，得到下一跳位置，若可达则修改当前任务状态和网络状态An，将任务挂到队列末端，向R中添加记录；若不可达，重置任务后置于队列末端；
S8：重复执行S7直到所有队列中所有任务都被完成得到路由策略结果R以及最终网络状态Af，与初始网络状态A0对比，进行网络节点和链路开关闭策略调整。
CN201911071643.4A 2019-11-05 2019-11-05 一种面向sdn网络基于q学习的节能路由方法 Active CN110768906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911071643.4A CN110768906B (zh) 2019-11-05 2019-11-05 一种面向sdn网络基于q学习的节能路由方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911071643.4A CN110768906B (zh) 2019-11-05 2019-11-05 一种面向sdn网络基于q学习的节能路由方法

Publications (2)

Publication Number Publication Date
CN110768906A CN110768906A (zh) 2020-02-07
CN110768906B true CN110768906B (zh) 2022-08-30

Family

ID=69336670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911071643.4A Active CN110768906B (zh) 2019-11-05 2019-11-05 一种面向sdn网络基于q学习的节能路由方法

Country Status (1)

Country Link
CN (1) CN110768906B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383482B (zh) * 2020-11-16 2021-10-08 北京邮电大学 基于数据平面的动态q值路由计算方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868972A (zh) * 2012-09-05 2013-01-09 河海大学常州校区 基于改进q学习算法的物联网错误传感器节点定位方法
CN109194583A (zh) * 2018-08-07 2019-01-11 中国地质大学（武汉） 基于深度增强学习的网络拥塞链路诊断方法及系统
CN109361601A (zh) * 2018-10-31 2019-02-19 浙江工商大学 一种基于强化学习的sdn路由规划方法
CN109474960A (zh) * 2018-11-14 2019-03-15 南京邮电大学 一种基于q学习的双连接流量分配方法
CN109547351A (zh) * 2019-01-22 2019-03-29 西安电子科技大学 Ad Hoc网络中基于Q学习和信任模型的路由方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105245362B (zh) * 2015-09-14 2018-07-03 河南工业大学 一种sdn环境中重要节点信息采集方法
CN107948083B (zh) * 2017-11-07 2021-03-30 浙江工商大学 一种基于增强学习的sdn数据中心拥塞控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868972A (zh) * 2012-09-05 2013-01-09 河海大学常州校区 基于改进q学习算法的物联网错误传感器节点定位方法
CN109194583A (zh) * 2018-08-07 2019-01-11 中国地质大学（武汉） 基于深度增强学习的网络拥塞链路诊断方法及系统
CN109361601A (zh) * 2018-10-31 2019-02-19 浙江工商大学 一种基于强化学习的sdn路由规划方法
CN109474960A (zh) * 2018-11-14 2019-03-15 南京邮电大学 一种基于q学习的双连接流量分配方法
CN109547351A (zh) * 2019-01-22 2019-03-29 西安电子科技大学 Ad Hoc网络中基于Q学习和信任模型的路由方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于先验知识的强化学习系统;李伟，何雪松，叶庆泰，朱昌明;《上海交通大学学报》;20040831;全文 *

Also Published As

Publication number Publication date
CN110768906A (zh) 2020-02-07

Similar Documents

Publication Publication Date Title
CN109039942B (zh) 一种基于深度强化学习的网络负载均衡系统及均衡方法
CN111770019B (zh) 基于Dijkstra算法的Q-learning光片上网络自适应路由规划方法
CN105430706B (zh) 一种基于改进粒子群算法的无线传感网络路由优化方法
CN110149226B (zh) 一种软件定义网络中多控制器部署问题的改进粒子群算法
CN104993941B (zh) 一种基于Openflow网络高容错性虚拟网络映射算法
CN102272716A (zh) 网络分组的simd处理
CN110995858A (zh) 一种基于深度q网络的边缘网络请求调度决策方法
CN107094112B (zh) 基于果蝇优化算法的带宽约束组播路由优化方法
EP2359542A1 (en) A method and apparatus for routing data
CN111131080B (zh) 分布式深度学习流调度方法、系统、设备
CN114500360A (zh) 一种基于深度强化学习的网络流量调度方法以及系统
CN114143264A (zh) 一种SRv6网络下基于强化学习的流量调度方法
Zhuang et al. Toward greater intelligence in route planning: A graph-aware deep learning approach
EP3158687A1 (en) Automated placement of measurement endpoint nodes in a network
Zhao et al. A temporal-information-based adaptive routing algorithm for software defined vehicular networks
CN110768906B (zh) 一种面向sdn网络基于q学习的节能路由方法
CN114422453B (zh) 一种在线规划时间敏感流的方法、装置及存储介质
CN114827021A (zh) 一种基于sdn和机器学习的多媒体业务流量加速系统
CN115037669A (zh) 一种基于联邦学习的跨域数据传输方法
Zhuang et al. Graph-aware deep learning based intelligent routing strategy
CN112995036A (zh) 网络流量的调度方法及装置
CN107809381B (zh) 一种实现基于sdn中路由环路主动审计方法
CN109636709A (zh) 一种适用于异构平台的图计算方法
Yao et al. A SMDP-based forwarding scheme in named data networking
CN104796285B (zh) 软件定义网络中的中间盒调度方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240112

Address after: Room 1401, No. 2399 Kaichuang Avenue, Huangpu District, Guangzhou City, Guangdong Province, 510765

Patentee after: Guangzhou Miaoyin Technology Co.,Ltd.

Address before: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Patentee before: Shenzhen Hongyue Information Technology Co.,Ltd.

Effective date of registration: 20240112

Address after: 518000 1104, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Patentee after: Shenzhen Hongyue Information Technology Co.,Ltd.

Address before: 400065 Chongqing Nan'an District huangjuezhen pass Chongwen Road No. 2

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS

TR01 Transfer of patent right