CN104702497A - 一种基于Sarsa算法和蚁群优化的路由控制算法 - Google Patents

一种基于Sarsa算法和蚁群优化的路由控制算法 Download PDF

Info

Publication number
CN104702497A
CN104702497A CN201510091076.4A CN201510091076A CN104702497A CN 104702497 A CN104702497 A CN 104702497A CN 201510091076 A CN201510091076 A CN 201510091076A CN 104702497 A CN104702497 A CN 104702497A
Authority
CN
China
Prior art keywords
node
algorithm
ant
state
sarsa
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510091076.4A
Other languages
English (en)
Inventor
肖守柏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi University of Technology
Original Assignee
Jiangxi University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi University of Technology filed Critical Jiangxi University of Technology
Priority to CN201510091076.4A priority Critical patent/CN104702497A/zh
Publication of CN104702497A publication Critical patent/CN104702497A/zh
Pending legal-status Critical Current

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明公开了一种基于Sarsa算法和蚁群优化的路由控制算法,该方法采用Sarsa算法和蚁群优化相结合的路由控制机制，使得路径寻找的过程中更趋向于全局最优解，从而使对应的总路径长度较短，而且该方法在选择下一个访问节点时，考虑了节点的剩余能量因素，并且在Sarsa算法还是在蚁群算法寻求最优路径的过程中，都充分考虑了能量因素，所以该算法具有较小的总能耗。

Description

一种基于Sarsa算法和蚁群优化的路由控制算法
技术领域
本发明属于计算机算法领域，更具体地说，本发明涉及一种基于Sarsa算法和蚁群优化的路由控制算法。
背景技术
随着无线通信技术、微电子技术、物联网技术和云计算技术的进一步发展和普及，出现了大量由成本低廉、部署简单、体积较小和维护方便的传感器节点通过无线自组织的方式构成监测网络，实现对特定监测区域的全面感知和实时监控，目前已经在医疗卫生、家居安防、国防军工以及环境生态等领域获得广泛的应用。由于监测网络中的传感器往往通过电池供电，因此，如何利用有限的能量资源来进一步减少节点能耗和延长网络生命周期，是目前监测网络研究的重点和热点。目前已有的无线传感器路由算法主要是基于（C／S）模型，存在着网络延迟长、能量消耗大和负载不均衡等缺陷。
发明内容
本发明所要解决的问题是提供一种对应的总路径长度少的一种基于Sarsa算法和蚁群优化的路由控制算法。
为了实现上述目的，本发明采取的技术方案为：
一种基于Sarsa算法和蚁群优化的路由控制算法，包括如下步骤：
(1)初始化：设蚁巢的蚂蚁数为L，蚁巢初始化为发送数据节点，监测网络中的所有节点集为ＶＳ，状态动作空间X×U，存在（x，u）∈X×U，Q0（x，u）＝0，初始信息素为τｉｊ（ｔ）＝C，权重调节参数ｋ和ｈ１，调节系数α和β，当前情节数ｔ，情节总数T，最大迭代次数S，当前迭代次数ｓ；
(2)蚁巢中的L只蚂蚁从蚁巢开始出发，s=1；
(3)根据公式，排除冗余节点，并计算出概率，并根据概率选择下一访问节点；
(4)Agent从蚁巢出发，根据算法对路径的信息素进行更新；
(5)蚂蚁经过某个节点时，根据公式对路径上的信息素进行加强或衰减；
(6)ｓ＝ｓ+1，判断是否达到迭代次数S, 如果达到，则对于若干条最优路径，计算对应的适应度，将具有最大适应度的路径作为发送数据节点到Sink节点的最优路径；否则转入步骤2继续执行。
优选的，所述步骤(3)公式计算节点的距离，公式为：
，其中：k为权重调节参数，r（i，j）为大于等于0并小于等于1的数，网络冗余度阈值可以设置为：，n为节点总数，h1为权重调整参数，扫描节点i，并计算其与所有邻居节点的r（i，j）值。
优选的，所述r（i，j）值与A1进行比较，r（i，j）<A1则将节点i和j都加入新节点集合Vs，。
优选的，所述步骤（4）中路径的信息素进行更新的算法包括如下步骤:
a.初始化：状态空间X为所有节点位置，动作空间U为一个节点到另一个节点的迁移，状态动作空间X×U，存在（x，u）∈X×U，Q0（x，u）＝，当前情节数ｔ，情节总数T；
b.t=0，第一个情节的当前状态为x；
c. 根据公式选择动作u，Agent采取动作ｕ，获得后续状态x，和立即奖赏r；
d. 在状态x，下，重新确定的行为策略选择动作u，；
e.计算Agent在（x，u）处的Q值；
f.更新路径ij（x，x，）上的信息素τij（t）；
g. 将下一个状态赋给当前状态x←x，，将下一个动作赋
给当前动作u←u，；
h.t=t+1，如果达到最大情节数，则算法结束；否则转入（b）继续执行。
优选的，所述步骤（e）中Q值的计算公式为：
。
优选的，所述步骤（f）信息素τij（t）更新为。

Claims (6)

1.一种基于Sarsa算法和蚁群优化的路由控制算法，其特征在于，包括如下步骤：
(1)初始化：设蚁巢的蚂蚁数为L，蚁巢初始化为发送数据节点，监测网络中的所有节点集为ＶＳ，状态动作空间X×U，存在（x，u）∈X×U，Q0（x，u）＝0，初始信息素为τｉｊ（ｔ）＝C，权重调节参数ｋ和ｈ１，调节系数α和β，当前情节数ｔ，情节总数T，最大迭代次数S，当前迭代次数ｓ；
(2)蚁巢中的L只蚂蚁从蚁巢开始出发，s=1；
(3)根据公式，排除冗余节点，并计算出概率，并根据概率选择下一访问节点；
(4)Agent从蚁巢出发，根据算法对路径的信息素进行更新；
(5)蚂蚁经过某个节点时，根据公式对路径上的信息素进行加强或衰减；
(6)ｓ＝ｓ+1，判断是否达到迭代次数S, 如果达到，则对于若干条最优路径，计算对应的适应度，将具有最大适应度的路径作为发送数据节点到Sink节点的最优路径；否则转入步骤2继续执行。
2.按照权利要求1所述的一种基于Sarsa算法和蚁群优化的路由控制算法，其特征在于：所述步骤(3)公式计算节点的距离，公式为：
，其中：k为权重调节参数，r（i，j）为大于等于0并小于等于1的数，网络冗余度阈值可以设置为：，n为节点总数，h1为权重调整参数，扫描节点i，并计算其与所有邻居节点的r（i，j）值。
3.按照权利要求2所述的一种基于Sarsa算法和蚁群优化的路由控制算法，其特征在于：所述r（i，j）值与A1进行比较，r（i，j）<A1则将节点i和j都加入新节点集合Vs，。
4.按照权利要求1所述的一种基于Sarsa算法和蚁群优化的路由控制算法，其特征在于：所述步骤（4）中路径的信息素进行更新的算法包括如下步骤:
a.初始化：状态空间X为所有节点位置，动作空间U为一个节点到另一个节点的迁移，状态动作空间X×U，存在（x，u）∈X×U，Q0（x，u）＝，当前情节数ｔ，情节总数T；
b.t=0，第一个情节的当前状态为x；
c. 根据公式选择动作u，Agent采取动作ｕ，获得后续状态x，和立即奖赏r；
d. 在状态x，下，重新确定的行为策略选择动作u，；
e.计算Agent在（x，u）处的Q值；
f.更新路径ij（x，x，）上的信息素τij（t）；
g. 将下一个状态赋给当前状态x←x，，将下一个动作赋
给当前动作u←u，；
h.t=t+1，如果达到最大情节数，则算法结束；否则转入（b）继续执行。
5.按照权利要求4所述的一种基于Sarsa算法和蚁群优化的路由控制算法，其特征在于：所述步骤（e）中Q值的计算公式为：
。
6.按照权利要求4所述的一种基于Sarsa算法和蚁群优化的路由控制算法，其特征在于：所述步骤（f）信息素τij（t）更新为。
CN201510091076.4A 2015-03-01 2015-03-01 一种基于Sarsa算法和蚁群优化的路由控制算法 Pending CN104702497A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510091076.4A CN104702497A (zh) 2015-03-01 2015-03-01 一种基于Sarsa算法和蚁群优化的路由控制算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510091076.4A CN104702497A (zh) 2015-03-01 2015-03-01 一种基于Sarsa算法和蚁群优化的路由控制算法

Publications (1)

Publication Number Publication Date
CN104702497A true CN104702497A (zh) 2015-06-10

Family

ID=53349282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510091076.4A Pending CN104702497A (zh) 2015-03-01 2015-03-01 一种基于Sarsa算法和蚁群优化的路由控制算法

Country Status (1)

Country Link
CN (1) CN104702497A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106102112A (zh) * 2016-05-19 2016-11-09 东华大学 一种基于蚁群算法的移动Sink节点数据收集方法
CN111626489A (zh) * 2020-05-20 2020-09-04 杭州安恒信息技术股份有限公司 基于时序差分学习算法的最短路径规划方法和装置
CN113068242A (zh) * 2021-03-29 2021-07-02 重庆师范大学 基于优化量子蚁群算法的路由规划方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277264A (zh) * 2008-05-13 2008-10-01 武汉理工大学 无线传感器网络中基于蚁群算法的定向扩散方法
US20090037570A1 (en) * 2007-08-01 2009-02-05 Motorola, Inc. Method and Apparatus for Resource Assignment in a Sensor Network
CN103313340A (zh) * 2013-05-17 2013-09-18 北京建筑工程学院 一种无线传感器网络中节点路由的路径选择方法
CN103781140A (zh) * 2012-10-23 2014-05-07 伍爵博 一种基于蚁群算法的动态频谱路由管理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090037570A1 (en) * 2007-08-01 2009-02-05 Motorola, Inc. Method and Apparatus for Resource Assignment in a Sensor Network
CN101277264A (zh) * 2008-05-13 2008-10-01 武汉理工大学 无线传感器网络中基于蚁群算法的定向扩散方法
CN103781140A (zh) * 2012-10-23 2014-05-07 伍爵博 一种基于蚁群算法的动态频谱路由管理方法
CN103313340A (zh) * 2013-05-17 2013-09-18 北京建筑工程学院 一种无线传感器网络中节点路由的路径选择方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王洪元等: "《基于蚁群优化算法的无线传感器网络跨层路由协议》", 《常州大学学报（自然科学版）》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106102112A (zh) * 2016-05-19 2016-11-09 东华大学 一种基于蚁群算法的移动Sink节点数据收集方法
CN106102112B (zh) * 2016-05-19 2019-06-11 东华大学 一种基于蚁群算法的移动Sink节点数据收集方法
CN111626489A (zh) * 2020-05-20 2020-09-04 杭州安恒信息技术股份有限公司 基于时序差分学习算法的最短路径规划方法和装置
CN111626489B (zh) * 2020-05-20 2023-04-18 杭州安恒信息技术股份有限公司 基于时序差分学习算法的最短路径规划方法和装置
CN113068242A (zh) * 2021-03-29 2021-07-02 重庆师范大学 基于优化量子蚁群算法的路由规划方法及系统

Similar Documents

Publication Publication Date Title
Kuila et al. Energy efficient clustering and routing algorithms for wireless sensor networks: Particle swarm optimization approach
Hu et al. An immune orthogonal learning particle swarm optimisation algorithm for routing recovery of wireless sensor networks with mobile sink
Zhong et al. Ant colony optimization algorithm for lifetime maximization in wireless sensor network with mobile sink
CN102843743B (zh) 基于菌群觅食优化算法的无线传感网层次化路由方法
CN102868972A (zh) 基于改进q学习算法的物联网错误传感器节点定位方法
CN111553469A (zh) 一种无线传感器网络数据融合方法、装置和存储介质
Qadori et al. FuMAM: Fuzzy-based mobile agent migration approach for data gathering in wireless sensor networks
Zhu et al. Network Traffic Prediction based on Particle Swarm BP Neural Network.
CN103678649A (zh) 基于云自适应粒子群算法的交通路径搜索系统及方法
Khot et al. Cellular automata-based optimised routing for secure data transmission in wireless sensor networks
CN110851662A (zh) 基于元路径的异质信息网络链路预测方法
Heidari et al. A novel approach for clustering and routing in WSN using genetic algorithm and equilibrium optimizer
CN104702497A (zh) 一种基于Sarsa算法和蚁群优化的路由控制算法
Arivudainambi et al. Cuckoo search algorithm for target coverage and sensor scheduling with adjustable sensing range in wireless sensor network
Zhu et al. Wireless sensor network path optimization based on particle swarm algorithm
Nagendranth et al. Type II fuzzy-based clustering with improved ant colony optimization-based routing (t2fcatr) protocol for secured data transmission in manet
Menaria et al. A fault tolerance based route optimisation and data aggregation using artificial intelligence to enhance performance in wireless sensor networks
Zaimen et al. A survey of artificial intelligence based wsns deployment techniques and related objectives modeling
Toofani Solving routing problem using particle swarm optimization
Ding et al. MPSICA: An intelligent routing recovery scheme for heterogeneous wireless sensor networks
Praveena et al. Balancing module in evolutionary optimization and Deep Reinforcement Learning for multi-path selection in Software Defined Networks
Biradar et al. Security and energy aware clustering-based routing in wireless sensor network: hybrid nature-inspired algorithm for optimal cluster head selection
Chavan et al. Improved bio inspired energy efficient clustering algorithm to enhance QoS of WSNs
Guo et al. A novel cluster-head selection algorithm based on hybrid genetic optimization for wireless sensor networks
Krömer et al. Harvesting-aware control of wireless sensor nodes using fuzzy logic and differential evolution

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150610