CN115208821B - 一种基于bp神经网络的跨网络路由转发方法和装置 - Google Patents

一种基于bp神经网络的跨网络路由转发方法和装置 Download PDF

Info

Publication number
CN115208821B
CN115208821B CN202210841267.8A CN202210841267A CN115208821B CN 115208821 B CN115208821 B CN 115208821B CN 202210841267 A CN202210841267 A CN 202210841267A CN 115208821 B CN115208821 B CN 115208821B
Authority
CN
China
Prior art keywords
network
neural network
neuron
model
congestion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210841267.8A
Other languages
English (en)
Other versions
CN115208821A (zh
Inventor
亢中苗
邓晓智
李雅丹
李波
吴赞红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Power Grid Co Ltd
Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Original Assignee
Guangdong Power Grid Co Ltd
Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Power Grid Co Ltd, Electric Power Dispatch Control Center of Guangdong Power Grid Co Ltd filed Critical Guangdong Power Grid Co Ltd
Priority to CN202210841267.8A priority Critical patent/CN115208821B/zh
Publication of CN115208821A publication Critical patent/CN115208821A/zh
Application granted granted Critical
Publication of CN115208821B publication Critical patent/CN115208821B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/70—Routing based on monitoring results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/22—Alternate routing

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种基于BP神经网络的跨网络路由转发方法和装置，所述方法包括：获取第一网络与第二网络间的网络状态数据；网络状态数据包括网络时延、传送率、发送率和拥塞窗口大小；将数据输入至训练好的拥塞分析模型；其中模型通过多臂赌博机ε‑greedy算法优化；基于模型输出确定对应于所述网络状态数据的拥塞状况分析结果，确定路由转发决策，进而实现第一网络与第二网络间的数据传输。相比于现有技术，基于网络时延、传送率、发送率和拥塞窗口大小进行分析，通过多臂赌博机算法和ε‑greedy算法优化过的BP神经网络模型，制定路由转发决策，避免了跨网络路由数据传输过程中的网络拥塞，提高了数据传输的可靠性和传输效率。

Description

一种基于BP神经网络的跨网络路由转发方法和装置
技术领域
本发明涉及电力系统领域，尤其涉及一种基于BP神经网络的跨网络路由转发方法和装置。
背景技术
在新型电力系统建设的加速推进过程中，源网荷储各环节通过电力流、信息流和价值流实现有效的融通流动，广泛互联与智能互动。伴随着各环节间的信息交互，数据流不再局限于同一网络中传输，不同网络间的数据跨网络传输需求愈发迫切。
目前，现有跨网络路由传输系统中，跨网络的路由转发主要利用网络中的局部节点信息分析节点属性，而缺乏节点数据处理能力，因此会导致数据在传输过程中网络内部分节点的传输压力较大，引起网络故障。此外，随着电力系统内部转发流量日益增多，现有的跨网络路由传输系统极易出现网络拥塞现象，致使较高的分组丢失，与此同时还会引起数据传输碰撞和重传问题，可靠性差。因此，亟需一种能够满足电力系统数据传输需求的跨网路由转发方法。
发明内容
本发明提供了一种基于BP神经网络的跨网络路由转发方法和装置，解决了在跨网络路由传输过程中网络拥塞的技术问题，提高了数据传输转发的可靠性。
为了解决上述技术问题，本发明实施例提供了一种基于BP神经网络的跨网络路由转发方法，包括：
获取第一网络与第二网络间的网络状态数据；其中，所述网络状态数据包括网络时延、传送率、发送率和拥塞窗口大小；
将所述网络状态数据输入至训练好的拥塞分析模型；其中，所述拥塞分析模型为通过多臂赌博机算法和ε-greedy算法优化的BP神经网络模型；
基于所述拥塞分析模型的输出，确定对应于所述网络状态数据的拥塞状况分析结果，并根据所述拥塞状况分析结果，确定路由转发决策，通过所述路由转发决策实现所述第一网络与所述第二网络间的数据传输。
作为优选方案，所述BP神经网络模型包括输入层、隐藏层和输出层；其中，
所述输入层的神经元输出向量为其中，t为所述BP神经网络模型的输入层层数，xi为所述输入层第i个神经元的输出向量；
所述隐藏层的神经元输出向量为其中，k为所述BP神经网络模型的隐藏层层数，sh为所述隐藏层第h个神经元的输出向量；
所述输出层的神经元输出向量为其中，r为所述BP神经网络模型的输出层层数，oj为所述输出层第j个神经元的输出向量。
作为优选方案，所述隐藏层的激活函数为：
其中，x为所述隐藏层的输入，所述输入层的输出；
所述隐藏层第h个神经元的输出sh为：
其中，vih为所述输入层的神经元与所述隐藏层的神经元之间的网络权值。
作为优选方案，所述输出层的激活函数为：
所述输出层第j个神经元的输出为：
其中，whj为所述隐藏层的神经元与所述输出层的神经元之间的网络权值。
作为优选方案，所述BP神经网络模型的损失函数为：
其中，N为所述BP神经网络模型的样本个数，y为所述BP神经网络模型的实际训练样本的输出值，为所述BP神经网络模型的期望输出，r为输入样本的数据维数。
作为优选方案，所述BP神经网络模型通过多臂赌博机算法进行第一优化，具体地：
以所述BP神经网络模型每两次训练间的损失函数的倒数作为奖励值，所述SDN控制器作为决策者，神经元组合作为摇臂，通过所述多臂赌博机算法对所述BP神经网络进行训练，获得经过第一优化的BP神经网络模型。
作为优选方案，在所述将所述网络状态数据输入至训练好的拥塞分析模型之前，还包括：
通过ε-greedy算法，对经过第一优化过的BP神经网络模型进行第二优化，具体地：
初始化各神经元组合的选择次数，并通过遍历算法选择各神经元组合的初始奖励值；
生成在0和1之间的一随机数，当所述随机数大于ε时，选择具有最大历史奖励值的神经元组合作为神经网络隐藏层层数；否则，随机选择一种神经元组合作为神经网络隐藏层层数；
根据每次训练后的损失函数值，更新每个神经元组合的奖励值和每个神经元组合的选择次数，直至满足所述ε-greedy算法的预设结束条件，获得训练好的拥塞分析模型。
作为优选方案，在所述将所述网络状态数据输入至训练好的拥塞分析模型之前，还包括：
检测当前传输链路；
当所述当前传输链路失效时，根据本地的路径转发表确定是否存在备用传输链路；
当不存在备用传输链路时，生成当前链路失效报文，并向下游节点发送所述当前链路失效报文和带紧急标志的拓扑查询报文，以使所述下游节点切换传输路径或转发所述当前链路失效报文；
当存在备用传输链路时，将当前网络传输路径从所述当前传输链路切换为所述备用传输链路，并更新所述路径转发表；向所述备用传输链路的链路节点发送路由通告报文，以使所述备用传输链路的链路节点根据所述路由通告报文，对所述路径转发表进行第二次更新。
作为优选方案，在所述获取第一网络与第二网络间的网络状态数据之前，还包括：
所述第一网络接收用户访问请求，并对所述用户访问请求进行解析，获得源地址和目标访问地址；
根据所述目标访问地址确定请求资源类型；
若所述请求资源类型属于所述第二网络，则修改所述用户访问请求，并将所述修改后的用户访问请求发送至所述第二网络。
相应的，本发明实施例还提供了一种基于BP神经网络的跨网络路由转发装置，搭载于SDN控制器，所述跨网络路由转发装置包括获取模块、输入模块和分析转发模块；其中，
所述获取模块用于获取第一网络与第二网络间的网络状态数据；其中，所述网络状态数据包括网络时延、传送率、发送率和拥塞窗口大小；
所述输入模块用于将所述网络状态数据输入至训练好的拥塞分析模型；其中，所述拥塞分析模型为通过多臂赌博机算法和ε-greedy算法优化的BP神经网络模型；
所述分析转发模块用于基于所述拥塞分析模型的输出，确定对应于所述网络状态数据的拥塞状况分析结果，并根据所述拥塞状况分析结果，确定路由转发决策，通过所述路由转发决策实现所述第一网络与所述第二网络间的数据传输。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种基于BP神经网络的跨网络路由转发方法和装置，所述方法应用于SDN控制器，包括：获取第一网络与第二网络间的网络状态数据；其中，所述网络状态数据包括网络时延、传送率、发送率和拥塞窗口大小；将所述网络状态数据输入至训练好的拥塞分析模型；其中，所述拥塞分析模型为通过多臂赌博机算法和ε-greedy算法优化的BP神经网络模型；基于所述拥塞分析模型的输出，确定对应于所述网络状态数据的拥塞状况分析结果，并根据所述拥塞状况分析结果，确定路由转发决策，通过所述路由转发决策实现所述第一网络与所述第二网络间的数据传输。相比于现有技术，基于网络时延、传送率、发送率和拥塞窗口大小进行分析，通过多臂赌博机算法和ε-greedy算法优化过的BP神经网络模型，确定拥塞状况分析结果，进而制定路由转发决策，避免了跨网络路由数据传输过程中的网络拥塞，提高了数据传输的可靠性和传输效率。
附图说明
图1：为本发明基于BP神经网络提供的跨网络路由转发方法的一种实施例的流程示意图。
图2：为本发明基于BP神经网络提供的跨网络路由转发方法的一种实施场景的举例的场景示意图。
图3：为本发明基于BP神经网络提供的跨网络路由转发装置的一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一:
请参照图1，图1为本发明实施例提供的一种基于BP神经网络的跨网络路由转发方法，该跨网络路由转发方法应用于SDN控制器，包括步骤S1至步骤S3，其中，
步骤S1，获取第一网络与第二网络间的网络状态数据；其中，所述网络状态数据包括但不限于网络时延、传送率、发送率和拥塞窗口大小；
步骤S2，将所述网络状态数据输入至训练好的拥塞分析模型；其中，所述拥塞分析模型为通过多臂赌博机算法和ε-greedy算法优化的BP神经网络模型；
步骤S3，基于所述拥塞分析模型的输出，确定对应于所述网络状态数据的拥塞状况分析结果，并根据所述拥塞状况分析结果，确定路由转发决策，通过所述路由转发决策实现所述第一网络与所述第二网络间的数据传输。
参照图2，在本实施例一种作为参考的应用场景中，该应用场景包括第一网络中心、第二网络中心、SDN控制器和多级路由节点。在步骤S1之前，第一网络中心在接收到用户访问请求后，对该用户访请求进行解析，获得源地址和目标访问地址。其中，源地址为用户侧终端的地址。
进而，根据所述目标访问地址可以确定请求资源类型，当确定该请求资源类型属于第二网络中心时，则对用户访问请求中携带的地址进行转换，得到修改后的访问请求，并将修改后的用户访问请求发送至所述第二网络。在该场景中，多级路由节点起到获取在网络间发送到远地网段的报文并对数据进行转发的作用。而SDN控制器搭载跨网络路由转发装置，该跨网络路由转发装置执行上述的一种基于BP神经网络的跨网络路由转发方法。
进一步的，在第一网络(中心)与第二网络(中心)的数据传输过程中，上述基于BP神经网络的跨网络路由转发方法还会检测当前传输链路。
当所述当前传输链路失效时，根据本地的路径转发表确定是否存在备用传输链路；当不存在备用传输链路时，生成当前链路失效报文，并向下游节点发送所述当前链路失效报文和带紧急标志的拓扑查询报文，以使所述下游节点切换传输路径或转发所述当前链路失效报文；其中，所述当前链路失效报文包括当前传输链路的失效类型和当前传输链路的标识信息。
当存在备用传输链路时，将当前网络传输路径从所述当前传输链路切换为所述备用传输链路，并更新所述路径转发表；向所述备用传输链路的链路节点发送路由通告报文，以使所述备用传输链路的链路节点根据所述路由通告报文，对所述路径转发表进行第二次更新。
实施本申请实施例，通过检测当前传输链路，并在不存在备用传输链路的情况下生成链路失效报文，向下游节点发送所述当前链路失效报文和带紧急标志的拓扑查询报文，以使所述下游节点切换传输路径或转发所述当前链路失效报文，在存在备用传输链路时直接切换为备用传输链路进行传输，并更新路径转发表，生成路由通告报文。实现了跨网络数据传输过程中的故障感知并获取故障信息，在存在故障时构造链路失效报文或路由通告报文，以使跨网络的故障信息快速扩散；同时，使得节点均进行相应的路径转发表的更新，实现跨网络的路由收敛，避免了数据传输过程中部分节点的传输压力大引起的网络故障问题，提高了数据传输效率，降低了故障发生率。
在上述步骤S2之前，所述BP神经网络的构造过程如下：
所述BP神经网络模型包括输入层、隐藏层和输出层，该模型对应了t个输入，r个输出；其中，
所述输入层的神经元输出向量为其中，t为所述BP神经网络模型的输入层层数，xi为所述输入层第i个神经元的输出向量；
所述隐藏层的神经元输出向量为其中，k为所述BP神经网络模型的隐藏层层数，sh为所述隐藏层第h个神经元的输出向量；
所述输出层的神经元输出向量为其中，r为所述BP神经网络模型的输出层层数，oj为所述输出层第j个神经元的输出向量。
优选地，所述隐藏层的激活函数为：
其中，x为所述隐藏层的输入，所述输入层的输出；
所述隐藏层第h个神经元的输出sh为：
其中，vih为所述输入层的神经元与所述隐藏层的神经元之间的网络权值。
所述输出层的激活函数为：
所述输出层第j个神经元的输出为：
其中，whj为所述隐藏层的神经元与所述输出层的神经元之间的网络权值。
所述BP神经网络模型的损失函数配置为：
其中，N为所述BP神经网络模型的样本个数，y为所述BP神经网络模型的实际训练样本的输出值，为所述BP神经网络模型的期望输出，r为输入样本的数据维数。
进一步的，将构建好的BP神经网络的隐藏层层数和每层神经元个数通过多臂赌博算法(Muti-armed Bandit，MAB)进行第一优化。示例性地，以所述BP神经网络模型每两次训练间的损失函数的倒数作为奖励值，所述SDN控制器/跨网络路由转发装置作为决策者，神经元组合作为摇臂，通过所述多臂赌博机算法对所述BP神经网络进行训练，获得经过第一优化的BP神经网络模型。在该过程中，所述BP神经网络模型按照逻辑分层可以分为输入层、隐藏层和输出层，其中每层的神经元个数在[32,128]之间分为3个等级，即每层神经元包括三个神经元组合，而每个神经元组合则为一个摇臂。在多臂赌博机算法中，奖励作为迭代后决策者制定动作后收到的反馈信息，奖励值可以反映选择的策略的可靠性，通过利用历史选择策略的累计奖励值，自适应地调节摇臂选择的探索力度，以实现模型的损失函数的最小化。
在此基础上，通过ε-greedy算法，对经过第一优化过的BP神经网络模型进行第二优化，具体地：
初始化各神经元组合的选择次数，并通过遍历算法选择各神经元组合的初始奖励值；
生成在0和1之间的一随机数μ，且μ∈(0,1)，当所述随机数μ大于ε时，选择具有最大历史奖励值的神经元组合作为神经网络隐藏层层数；否则当μ小于等于ε时，随机选择一种神经元组合作为神经网络隐藏层层数；
根据每次训练后的损失函数值，更新每个神经元组合的奖励值和每个神经元组合的选择次数，直至满足所述ε-greedy算法的预设结束条件，获得隐藏层层数以及各层神经元构建的G-BP神经网络。再通过近一周的数据作为训练集，将训练集输入G-BP神经网络的输入层神经元，然后逐层将信号正向传播并计算G-BP神经网络的输出，进而计算输出层的误差，利用误差反向传播更新各层神经元的权重和阈值，直到迭代收敛并停止训练，此时神经网络的参数几乎不再发生变化，获得训练好的拥塞分析模型。
实施本申请实施例，通过ε-greedy算法，对模型的强化学习过程中存在的探索-利用困境问题进行平衡，能够确保在充分探索环境的前提下，对习得的知识进行最大程度的利用，获得精确地拥塞分析模型，以实现最大程度对网络状态数据的分析，进而确定一个准确的拥塞状况分析结果。
在步骤S3中，拥塞状况分析结果包括第一网路和第二网之间的传输链路、节点的传输状态、拥塞情况、转发流量等，可以确定网络之间拥塞与否以及何处出现拥塞现象，进而基于所述拥塞状况分析结果，制定路由转发决策，通过所述路由转发决策实现跨网络路由的动态切换，避免了由于跨网络路由转发流量大，容易出现拥塞的问题，实现有效的拥塞控制。
相应的，参照图3，本发明实施例还提供了一种基于BP神经网络的跨网络路由转发装置，搭载于SDN控制器，所述跨网络路由转发装置包括获取模块101、输入模块102和分析转发模块103；其中，
所述获取模块101用于获取第一网络与第二网络间的网络状态数据；其中，所述网络状态数据包括网络时延、传送率、发送率和拥塞窗口大小；
所述输入模块102用于将所述网络状态数据输入至训练好的拥塞分析模型；其中，所述拥塞分析模型为通过多臂赌博机算法和ε-greedy算法优化的BP神经网络模型；
所述分析转发模块103用于基于所述拥塞分析模型的输出，确定对应于所述网络状态数据的拥塞状况分析结果，并根据所述拥塞状况分析结果，确定路由转发决策，通过所述路由转发决策实现所述第一网络与所述第二网络间的数据传输。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种基于BP神经网络的跨网络路由转发方法和装置，所述方法应用于SDN控制器，包括：获取第一网络与第二网络间的网络状态数据；其中，所述网络状态数据包括网络时延、传送率、发送率和拥塞窗口大小；将所述网络状态数据输入至训练好的拥塞分析模型；其中，所述拥塞分析模型为通过多臂赌博机算法和ε-greedy算法优化的BP神经网络模型；基于所述拥塞分析模型的输出，确定对应于所述网络状态数据的拥塞状况分析结果，并根据所述拥塞状况分析结果，确定路由转发决策，通过所述路由转发决策实现所述第一网络与所述第二网络间的数据传输。相比于现有技术，基于网络时延、传送率、发送率和拥塞窗口大小进行分析，通过多臂赌博机算法和ε-greedy算法优化过的BP神经网络模型，确定拥塞状况分析结果，进而制定路由转发决策，避免了跨网络路由数据传输过程中的网络拥塞，提高了数据传输的可靠性和传输效率。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于BP神经网络的跨网络路由转发方法，其特征在于，应用于SDN控制器，包括：
获取第一网络与第二网络间的网络状态数据；其中，所述网络状态数据包括网络时延、传送率、发送率和拥塞窗口大小；
将所述网络状态数据输入至训练好的拥塞分析模型；其中，所述拥塞分析模型为通过多臂赌博机算法和ε-greedy算法优化的BP神经网络模型；
基于所述拥塞分析模型的输出，确定对应于所述网络状态数据的拥塞状况分析结果，并根据所述拥塞状况分析结果，确定路由转发决策，通过所述路由转发决策实现所述第一网络与所述第二网络间的数据传输；
所述BP神经网络模型通过多臂赌博机算法进行第一优化，具体地：
以所述BP神经网络模型每两次训练间的损失函数的倒数作为奖励值，所述SDN控制器作为决策者，神经元组合作为摇臂，通过所述多臂赌博机算法对所述BP神经网络进行训练，获得经过第一优化的BP神经网络模型；
在所述将所述网络状态数据输入至训练好的拥塞分析模型之前，还包括：
通过ε-greedy算法，对经过第一优化过的BP神经网络模型进行第二优化，具体地：
初始化各神经元组合的选择次数，并通过遍历算法选择各神经元组合的初始奖励值；
生成在0和1之间的一随机数，当所述随机数大于ε时，选择具有最大历史奖励值的神经元组合作为神经网络隐藏层层数；否则，随机选择一种神经元组合作为神经网络隐藏层层数；
根据每次训练后的损失函数值，更新每个神经元组合的奖励值和每个神经元组合的选择次数，直至满足所述ε-greedy算法的预设结束条件，获得训练好的拥塞分析模型。
2.如权利要求1所述的一种基于BP神经网络的跨网络路由转发方法，其特征在于，所述BP神经网络模型包括输入层、隐藏层和输出层；其中，
所述输入层的神经元输出向量为；其中，t为所述BP神经网络模型的输入层层数，xi为所述输入层第i个神经元的输出向量；
所述隐藏层的神经元输出向量为；其中，k为所述BP神经网络模型的隐藏层层数，sh为所述隐藏层第h个神经元的输出向量；
所述输出层的神经元输出向量为；其中，r为所述BP神经网络模型的输出层层数，oj为所述输出层第j个神经元的输出向量。
3.如权利要求2所述的一种基于BP神经网络的跨网络路由转发方法，其特征在于，所述隐藏层的激活函数为：
；其中，x为所述隐藏层的输入，所述输入层的输出；
所述隐藏层第h个神经元的输出sh为：
；其中，vih为所述输入层的神经元与所述隐藏层的神经元之间的网络权值。
4.如权利要求2所述的一种基于BP神经网络的跨网络路由转发方法，其特征在于，所述输出层的激活函数为：
；
所述输出层第j个神经元的输出为：
；其中，whj为所述隐藏层的神经元与所述输出层的神经元之间的网络权值。
5.如权利要求2所述的一种基于BP神经网络的跨网络路由转发方法，其特征在于，所述BP神经网络模型的损失函数为：
；
其中，N为所述BP神经网络模型的样本个数，y为所述BP神经网络模型的实际训练样本的输出值，为所述BP神经网络模型的期望输出，r为输入样本的数据维数。
6.如权利要求1所述的一种基于BP神经网络的跨网络路由转发方法，其特征在于，在所述将所述网络状态数据输入至训练好的拥塞分析模型之前，还包括：
检测当前传输链路；
当所述当前传输链路失效时，根据本地的路径转发表确定是否存在备用传输链路；
当不存在备用传输链路时，生成当前链路失效报文，并向下游节点发送所述当前链路失效报文和带紧急标志的拓扑查询报文，以使所述下游节点切换传输路径或转发所述当前链路失效报文；
当存在备用传输链路时，将当前网络传输路径从所述当前传输链路切换为所述备用传输链路，并更新所述路径转发表；向所述备用传输链路的链路节点发送路由通告报文，以使所述备用传输链路的链路节点根据所述路由通告报文，对所述路径转发表进行第二次更新。
7.如权利要求1至6任意一项所述的一种基于BP神经网络的跨网络路由转发方法，其特征在于，在所述获取第一网络与第二网络间的网络状态数据之前，还包括：
所述第一网络用于接收用户访问请求，并对所述用户访问请求进行解析，获得源地址和目标访问地址；
根据所述目标访问地址确定请求资源类型；
若所述请求资源类型属于所述第二网络，则修改所述用户访问请求，并将所述修改后的用户访问请求发送至所述第二网络。
8.一种基于BP神经网络的跨网络路由转发装置，其特征在于，搭载于SDN控制器，所述跨网络路由转发装置包括获取模块、输入模块和分析转发模块；其中，
所述获取模块用于获取第一网络与第二网络间的网络状态数据；其中，所述网络状态数据包括网络时延、传送率、发送率和拥塞窗口大小；
所述输入模块用于将所述网络状态数据输入至训练好的拥塞分析模型；其中，所述拥塞分析模型为通过多臂赌博机算法和ε-greedy算法优化的BP神经网络模型；
所述分析转发模块用于基于所述拥塞分析模型的输出，确定对应于所述网络状态数据的拥塞状况分析结果，并根据所述拥塞状况分析结果，确定路由转发决策，通过所述路由转发决策实现所述第一网络与所述第二网络间的数据传输；
所述BP神经网络模型通过多臂赌博机算法进行第一优化，具体地：
以所述BP神经网络模型每两次训练间的损失函数的倒数作为奖励值，所述SDN控制器作为决策者，神经元组合作为摇臂，通过所述多臂赌博机算法对所述BP神经网络进行训练，获得经过第一优化的BP神经网络模型；
在所述输入模块将所述网络状态数据输入至训练好的拥塞分析模型之前，还包括：
所述输入模块通过ε-greedy算法，对经过第一优化过的BP神经网络模型进行第二优化，具体地：
初始化各神经元组合的选择次数，并通过遍历算法选择各神经元组合的初始奖励值；
生成在0和1之间的一随机数，当所述随机数大于ε时，选择具有最大历史奖励值的神经元组合作为神经网络隐藏层层数；否则，随机选择一种神经元组合作为神经网络隐藏层层数；
根据每次训练后的损失函数值，更新每个神经元组合的奖励值和每个神经元组合的选择次数，直至满足所述ε-greedy算法的预设结束条件，获得训练好的拥塞分析模型。
CN202210841267.8A 2022-07-18 2022-07-18 一种基于bp神经网络的跨网络路由转发方法和装置 Active CN115208821B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210841267.8A CN115208821B (zh) 2022-07-18 2022-07-18 一种基于bp神经网络的跨网络路由转发方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210841267.8A CN115208821B (zh) 2022-07-18 2022-07-18 一种基于bp神经网络的跨网络路由转发方法和装置

Publications (2)

Publication Number Publication Date
CN115208821A CN115208821A (zh) 2022-10-18
CN115208821B true CN115208821B (zh) 2023-08-08

Family

ID=83581625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210841267.8A Active CN115208821B (zh) 2022-07-18 2022-07-18 一种基于bp神经网络的跨网络路由转发方法和装置

Country Status (1)

Country Link
CN (1) CN115208821B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194583A (zh) * 2018-08-07 2019-01-11 中国地质大学（武汉） 基于深度增强学习的网络拥塞链路诊断方法及系统
CN110290066A (zh) * 2019-06-24 2019-09-27 中国空间技术研究院 基于队列监测与拥塞预测的卫星网络动态路由方法
CN113014484A (zh) * 2021-02-09 2021-06-22 浙江工商大学 一种基于bp神经网络蚁群算法的网络路由规划方法及系统
CN113259255A (zh) * 2021-06-03 2021-08-13 鹏城实验室 一种网络拥塞控制方法、装置、终端及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194583A (zh) * 2018-08-07 2019-01-11 中国地质大学（武汉） 基于深度增强学习的网络拥塞链路诊断方法及系统
CN110290066A (zh) * 2019-06-24 2019-09-27 中国空间技术研究院 基于队列监测与拥塞预测的卫星网络动态路由方法
CN113014484A (zh) * 2021-02-09 2021-06-22 浙江工商大学 一种基于bp神经网络蚁群算法的网络路由规划方法及系统
CN113259255A (zh) * 2021-06-03 2021-08-13 鹏城实验室 一种网络拥塞控制方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN115208821A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
Yao et al. Machine learning aided load balance routing scheme considering queue utilization
Kacem et al. A new routing approach for mobile ad hoc systems based on fuzzy petri nets and ant system
Lei et al. Congestion control in SDN-based networks via multi-task deep reinforcement learning
US20230362095A1 (en) Method for intelligent traffic scheduling based on deep reinforcement learning
CN113395207B (zh) 一种sdn架构下基于深度强化学习的路由优化架构及方法
CN112564712A (zh) 一种基于深度强化学习的智能网络编码方法和设备
Mai et al. Packet routing with graph attention multi-agent reinforcement learning
Kumaran et al. Learning based latency minimization techniques in mobile edge computing (MEC) systems: A Comprehensive Survey
CN117014355A (zh) 一种基于ddpg深度强化学习算法的tssdn动态路由决策方法
Zeng et al. Multi-agent reinforcement learning for adaptive routing: A hybrid method using eligibility traces
CN114938374A (zh) 跨协议负载均衡方法及系统
Bhavanasi et al. Dealing with changes: Resilient routing via graph neural networks and multi-agent deep reinforcement learning
CN115208821B (zh) 一种基于bp神经网络的跨网络路由转发方法和装置
Li et al. Graph reinforcement learning-based cnn inference offloading in dynamic edge computing
Hua et al. A DTN routing protocol based on hierarchy forwarding and cluster control
Meng et al. Intelligent routing orchestration for ultra-low latency transport networks
Wei et al. G-Routing: Graph Neural Networks-Based Flexible Online Routing
Xiangyun et al. Deep reinforcement learning with graph convolutional networks for load balancing in SDN-based data center networks
An et al. Dynamically split the traffic in software defined network based on deep reinforcement learning
Tang et al. Reinforcement Learning with Contrastive Unsupervised Representations for Traffic Engineering in Hybrid SDN
Yu et al. Ant colony optimization for routing in mobile ad hoc networks
Ye et al. DHRL-FNMR: An Intelligent Multicast Routing Approach Based on Deep Hierarchical Reinforcement Learning in SDN
Kulakov et al. Modified Method of Traffic Engineering in DCN with a Ramified Topology
Liu et al. Q-learning algorithm enabled topology control scheme in power line communication networks
Abdul-Jabbar et al. A new wavenet-based network congestion predictor-wbcp

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant