CN114584871B - 弹性光网络的频谱分配方法、装置、存储介质和设备 - Google Patents

弹性光网络的频谱分配方法、装置、存储介质和设备 Download PDF

Info

Publication number
CN114584871B
CN114584871B CN202210458407.3A CN202210458407A CN114584871B CN 114584871 B CN114584871 B CN 114584871B CN 202210458407 A CN202210458407 A CN 202210458407A CN 114584871 B CN114584871 B CN 114584871B
Authority
CN
China
Prior art keywords
network
spectrum allocation
link topology
target
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210458407.3A
Other languages
English (en)
Other versions
CN114584871A (zh
Inventor
黄岳彩
许柳飞
薛云
胡晓晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202210458407.3A priority Critical patent/CN114584871B/zh
Publication of CN114584871A publication Critical patent/CN114584871A/zh
Application granted granted Critical
Publication of CN114584871B publication Critical patent/CN114584871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q11/00—Selecting arrangements for multiplex systems
    • H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062—Network aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/82—Miscellaneous aspects
    • H04L47/829—Topology based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q11/00—Selecting arrangements for multiplex systems
    • H04Q11/0001—Selecting arrangements for multiplex systems using optical switching
    • H04Q11/0062—Network aspects
    • H04Q2011/0086—Network resource allocation, dimensioning or optimisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种弹性光网络的频谱分配方法、装置、存储介质和设备，所述方法包括：当接收到目标流量请求时，获取目标流量请求、待调整分区的弹性光网络的当前环境状态以及已训练的目标频谱分配行动网络；将当前环境状态的各个当前候选路径转换成当前链路拓扑信息；将当前链路拓扑信息输入到目标频谱分配行动网络，通过第一图卷积神经网络进行特征提取，再通过第一递归神经网络进行特征聚合，得到各个当前候选路径的路径级特征，再通过第一全连接层和柔性最大传递函数层进行概率转换，得到对应的当前候选路径的频谱分配概率，并根据频谱分配概率输出目标频谱分配动作。可降低弹性光网络在频谱分配过程中以及分配后出现的阻塞概率。

Description

弹性光网络的频谱分配方法、装置、存储介质和设备
技术领域
本申请涉及弹性光网络的频谱分区的技术领域，具体涉及一种弹性光网络的频谱分配方法、装置、存储介质和设备。
背景技术
弹性光网络（Elastic Optical Network, EON）以其大吞吐量和传输灵活性的优势受到广泛关注，成为最有前途的下一代骨干网架构。然而路由和频谱分配(RSA)是弹性光网络的一个关键问题。为一个流量请求找到最佳的路由和频谱是NP困难（计算复杂性理论中最重要的复杂性类之一）的，这意味着它极难得到适合大型网络环境的最优解。
为了突破上述局限性，近年来深度强化学习（DRL）得到了广泛的研究。DRL是一种通过与环境(如光网络)交互来优化策略(如RSA决策)的工具。在基于DRL的RSA框架中，输入状态表示和特征提取是必不可少的，但是，现有技术在网络特征提取中，都是只针对节点进行特征提取，导致特征提取和利用的效果并不理想，使弹性光网络的频谱分配结果降低阻塞概率的效果差。
发明内容
本申请的目的在于克服现有技术中的缺点与不足，提供一种弹性光网络的频谱分配方法、装置、存储介质和设备，可以降低弹性光网络在频谱分配过程中以及分配后出现的阻塞概率。
本申请的一个实施例提供一种弹性光网络的频谱分配方法，包括：
当接收到目标流量请求时，获取所述目标流量请求、待调整分区的弹性光网络的当前环境状态以及已训练的目标频谱分配行动网络；其中，所述当前环境状态包括所述弹性光网络的频谱可用性分布和若干个所述目标流量请求对应的当前候选路径；所述当前候选路径根据目标流量请求的源节点、目的节点和频谱需求，以及所述弹性光网络的当前网络状态的频谱可用性分布得到；所述频谱分配行动网络包括第一图卷积神经网络、第一递归神经网络、第一全连接层和柔性最大传递函数层；
将所述当前环境状态的各个当前候选路径转换成当前链路拓扑信息；
将所述当前链路拓扑信息输入到所述第一图卷积神经网络进行特征提取，得到所述链路拓扑信息的链路拓扑特征；将所述链路拓扑特征输入到所述第一递归神经网络进行特征聚合，得到各个所述当前候选路径的路径级特征；将所述目标流量请求、所述频谱可用性分布和所述路径级特征输入到所述第一全连接层和柔性最大传递函数层进行概率转换，得到各个所述路径级特征对应的所述当前候选路径的频谱分配概率，并根据所述频谱分配概率输出所述目标频谱分配动作。
相对于现有技术，本申请的弹性光网络的频谱分配方法，首先将弹性光网络接收到目标流量请求时的当前环境状态，再将当前环境状态中的各个当前候选路径转换成当前链路拓扑信息，然后将当前链路拓扑信息输入到已训练的目标频谱分配行动网络，所述目标频谱分配行动网络通过第一图卷积神经网络提取得到所述链路拓扑信息的链路拓扑特征，通过第一递归神经网络聚合得到各个所述候选路径的路径级特征，再通过第一全连接层和柔性最大传递函数层得到各个所述路径级特征对应的所述候选路径的频谱分配概率，并根据所述频谱分配概率输出所述目标频谱分配动作，可以在接收到流量请求时，从弹性光网络的环境状态的各个可选路径中，选择出一个有效降低阻塞概率的目标路径作为频谱分配动作，从而降低弹性光网络在频谱分配时以及分配后出现的阻塞概率。
在一个实施例中，所述目标频谱分配行动网络的训练步骤，包括：
获取若干个样本弹性光网络接收到第一流量请求时的第一环境状态以及预设数量的第二流量请求时的第二环境状态；所述第一环境状态包括若干个与所述第一流量请求对应的第一候选路径；所述第二流量请求的接收时间晚于所述第一流量请求的接收时间，所述第二环境状态包括若干个与所述第二流量请求对应的第二候选路径；
将所述第一环境状态的各个第一候选路径转换成第一链路拓扑信息；将所述第二环境状态的各个第二候选路径转换成第二链路拓扑信息；
将所述第一链路拓扑信息和所述第二链路拓扑信息分别输入到预构建的初始频谱分配行动网络，得到第一频谱分配动作以及预设数量的第二频谱分配动作；
获取所述第一频谱分配动作对应的第一瞬时奖励以及预设数量的所述第二频谱分配动作对应的第二瞬时奖励；
将所述第一链路拓扑信息和第一瞬时奖励，以及最后一个所述第二流量请求的所述第二链路拓扑信息和对应的第二瞬时奖励，输入到预构建的频谱分配批评网络，得到第一价值函数和第二价值函数；
根据所述第一瞬时奖励、多个所述第二瞬时奖励、所述第一价值函数和所述第二价值函数，获得优势函数；所述优势函数用于指示所述初始频谱分配行动网络和所述频谱分配批评网络的网络参数调整方向；
根据所述优势函数调整所述初始频谱分配行动网络的网络参数，得到所述目标频谱分配行动网络。
通过获取若干个样本弹性光网络接收到所述第一流量请求和若干个第二流量请求时的环境状态、链路拓扑信息、对应的频谱分配动作以及对应的瞬时奖励得到所述优势函数，再根据所述优势函数调整所述初始频谱分配行动网络的网络参数，得到用于输出所述目标频谱分配动作的目标频谱分配行动网络，使弹性光网络执行目标频谱分配动作后，可以降低接收到后续的其他流量请求时出现的阻塞概率。
在一个实施例中，所述频谱分配批评网络包括第二图卷积神经网络、第二递归神经网络、第二全连接层和线性输出层；
所述将所述第一链路拓扑信息和第一瞬时奖励，以及最后一个所述第二流量请求的所述第二链路拓扑信息和对应的第二瞬时奖励，输入到预构建的频谱分配批评网络，得到第一价值函数和第二价值函数的步骤，包括：
将所述第一链路拓扑信息输入到所述第二图卷积神经网络进行特征提取，得到第一链路拓扑特征；将所述第一链路拓扑特征输入到所述第二递归神经网络进行特征聚合，得到各个所述第一候选路径的第一路径级特征；将所述第一路径级特征输入到所述第二全连接层和线性输出层进行价值转化，得到各个所述第一候选路径对应的第一价值函数；
将所述最后一个第二流量请求的所述第二链路拓扑信息输入到所述第二图卷积神经网络进行特征提取，得到第二链路拓扑特征；将所述第二链路拓扑特征输入到所述第二递归神经网络进行特征聚合，得到对应的各个所述第二候选路径的第二路径级特征；将所述第二路径级特征输入到所述第二全连接层和线性输出层进行价值转化，得到与最后一个第二流量请求对应的各个第二候选路径对应的第二价值函数。
可以通过所述频谱分配批评网络得到预测的第一价值函数和第二价值函数。
在一个实施例中，所述根据所述第一瞬时奖励、多个所述第二瞬时奖励、所述第一价值函数和所述第二价值函数，获得优势函数，包括：
通过以下公式，计算出所述优势函数：
Figure 423474DEST_PATH_IMAGE001
；
Figure 803640DEST_PATH_IMAGE002
；
Figure 443569DEST_PATH_IMAGE003
；
其中，
Figure 960001DEST_PATH_IMAGE004
为所述优势函数；
Figure 535339DEST_PATH_IMAGE005
为所述流量请求的顺序；
Figure 12587DEST_PATH_IMAGE006
为排序是第1个的流量请求；
Figure 331573DEST_PATH_IMAGE007
为排序是最后1个的流量请求；
Figure 821286DEST_PATH_IMAGE008
为对应的流量请求的频谱分配动作；
Figure 833104DEST_PATH_IMAGE009
为预设的折扣因子；
Figure 391125DEST_PATH_IMAGE010
为接收到对应的流量请求的瞬时奖励；
Figure 920326DEST_PATH_IMAGE011
为所述第一流量请求和所述第二流量请求的总数量；
Figure 880192DEST_PATH_IMAGE012
为所述第一价值函数；
Figure 921966DEST_PATH_IMAGE013
为所述第二价值函数。
通过上述公式计算出的优势函数，结合了第一瞬时奖励对未来数据的形象，以及未来的频谱分配动作的瞬时奖励对未来数据的影响，使所述优势函数对于网络参数的调整方向具有更好的指示作用。
在一个实施例中，所述根据所述优势函数调整所述初始频谱分配行动网络的网络参数，得到所述目标频谱分配行动网络的步骤，包括：
通过以下公式，调整所述目标频谱分配行动网络的网络参数：
Figure 498441DEST_PATH_IMAGE014
；
其中，
Figure 300175DEST_PATH_IMAGE015
为所述目标频谱分配行动网络的网络参数，
Figure 114547DEST_PATH_IMAGE016
为调整后的所述目标频谱分配行动网络的网络参数，
Figure 733747DEST_PATH_IMAGE017
为所述目标频谱分配行动网络的学习速率，
Figure 390994DEST_PATH_IMAGE018
为劈形算符，
Figure 855473DEST_PATH_IMAGE019
为策略分布的熵，
Figure 789931DEST_PATH_IMAGE020
为熵正则化项的强度。
可以通过所述优势函数对所述目标频谱分配行动网络的网络参数进行优化调整，使所述目标频谱分配行动网络可以有效选择出一个有效降低阻塞概率的目标路径作为频谱分配动作。
在一个实施例中，还包括：根据所述优势函数调整所述频谱分配批评网络的网络参数。
在一个实施例中，所述根据所述优势函数调整所述频谱分配批评网络的网络参数的步骤，包括：
通过以下公式，调整所述目标频谱分配批评网络的网络参数：
Figure 455399DEST_PATH_IMAGE021
；
其中，
Figure 475307DEST_PATH_IMAGE022
为所述目标频谱分配批评网络的网络参数，
Figure 868111DEST_PATH_IMAGE023
为调整后的所述目标频谱分配批评网络的网络参数，
Figure 922655DEST_PATH_IMAGE024
为所述目标频谱分配批评网络的学习速率，
Figure 352499DEST_PATH_IMAGE025
为偏导数。
可以通过所述优势函数对所述目标频谱分配批评网络的网络参数进行优化调整，从而提高所述目标频谱分配批评网络预测的第一价值函数和第二价值函数的准确性。
本申请的一个实施例还提供一种弹性光网络的频谱分配装置，包括：
数据和网络获取模块，当接收到目标流量请求时，获取所述目标流量请求、待调整分区的弹性光网络的当前环境状态以及已训练的目标频谱分配行动网络；其中，所述当前环境状态包括所述弹性光网络的频谱可用性分布和若干个所述目标流量请求对应的当前候选路径；所述当前候选路径根据目标流量请求的源节点、目的节点和频谱需求，以及所述弹性光网络的当前网络状态的频谱可用性分布得到；所述频谱分配行动网络包括第一图卷积神经网络、第一递归神经网络、第一全连接层和柔性最大传递函数层；
拓扑转换模块，用于将所述当前环境状态的各个当前候选路径转换成当前链路拓扑信息；
目标频谱分配动作获取模块，将所述当前链路拓扑信息输入到所述第一图卷积神经网络进行特征提取，得到所述链路拓扑信息的链路拓扑特征；将所述链路拓扑特征输入到所述第一递归神经网络进行特征聚合，得到各个所述当前候选路径的路径级特征；将所述目标流量请求、所述频谱可用性分布和所述路径级特征输入到所述第一全连接层和柔性最大传递函数层进行概率转换，得到各个所述路径级特征对应的所述当前候选路径的频谱分配概率，并根据所述频谱分配概率输出所述目标频谱分配动作。
相对于现有技术，本申请的弹性光网络的频谱分配装置，首先将弹性光网络接收到目标流量请求时的当前环境状态，再将当前环境状态中的各个当前候选路径转换成当前链路拓扑信息，然后将当前链路拓扑信息输入到已训练的目标频谱分配行动网络，所述目标频谱分配行动网络通过第一图卷积神经网络提取得到所述链路拓扑信息的链路拓扑特征，通过第一递归神经网络聚合得到各个所述候选路径的路径级特征，再通过第一全连接层和柔性最大传递函数层得到各个所述路径级特征对应的所述候选路径的频谱分配概率，并根据所述频谱分配概率输出所述目标频谱分配动作，可以在接收到流量请求时，从弹性光网络的环境状态的各个可选路径中，选择出一个有效降低阻塞概率的目标路径作为频谱分配动作，从而降低弹性光网络在频谱分配时以及分配后出现的阻塞概率。
本申请的一个实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的弹性光网络的频谱分配方法的步骤。
本申请的一个实施例还提供一种计算机设备，包括储存器、处理器以及储存在所述储存器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的弹性光网络的频谱分配方法的步骤。
附图说明
图1为本申请一个实施例的弹性光网络的频谱分配方法的流程图。
图2为本申请一个实施例的弹性光网络的频谱分配方法的弹性光网络的链路示意图。
图3为本申请一个实施例的弹性光网络的频谱分配方法的拓扑变换简化图。
图4为本申请一个实施例的弹性光网络的频谱分配方法的频谱分配行动网络的结构示意图。
图5为本申请一个实施例的弹性光网络的频谱分配方法的目标频谱分配行动网络的训练流程图。
图6为本申请一个实施例的弹性光网络的频谱分配装置的模块连接示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作在一个实施例中地详细描述。
应当明确，所描述的实施例仅仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。在本申请的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。在此所使用的词语“如果”/“若”可以被解释成为“在……时”或“当……时”或“响应于确定”。
此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A 和/或 B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参阅图1，其是本申请一个实施例的弹性光网络的频谱分配方法的流程图，包括以下步骤：
S10：当接收到目标流量请求时，获取所述目标流量请求、待调整分区的弹性光网络的当前环境状态以及已训练的目标频谱分配行动网络；其中，所述当前环境状态包括所述弹性光网络的频谱可用性分布和若干个所述目标流量请求对应的当前候选路径；所述当前候选路径根据目标流量请求的源节点、目的节点和频谱需求，以及所述弹性光网络的当前网络状态的频谱可用性分布得到；所述频谱分配行动网络包括第一图卷积神经网络、第一递归神经网络、第一全连接层和柔性最大传递函数层。
所述目标流量请求是指当前接收到的流量请求，而流量请求包括源节点、目的节点和频谱需求三部分，当所述待调整分区的弹性光网络接收到所述目标流量请求时，会根据所述源节点、目的节点和频谱需求，以及所述弹性光网络的当前环境状态的频谱可用性分布得到若干个所述当前候选路径，具体表现为根据源节点、目标节点，通过最短路径算法（dijkstra算法）得到拓扑上源节点和目标节点间的若干个候选路径。所述频谱需求是对应的流量请求所需的频谱槽个数，其中，频谱槽是链路中存储和传输数据的单元。
所述当前环境状态包括所述弹性光网络的频谱可用性分布和若干个所述当前候选路径，其中，所述弹性光网络的频谱可用性分布包括当前可用的频谱槽的数量，由连续的多个频谱槽构成的频谱块，以及所述频谱块是否满足所述频谱需求的情况。
而所述当前候选路径是满足所述目标流量请求的源节点、目的节点和频谱需求的由至少一条链路形成的路径，所述当前候选路径的起始节点对应为所述目标流量请求的源节点，终点节点对应为所述目标流量请求的目的节点，且其包含的链路需要满足所述频谱需求。
S20：将所述当前环境状态的各个当前候选路径转换成当前链路拓扑信息。
其中，所述当前链路拓扑信息包括各个当前候选路径的节点特征和链路特征，其中，节点特征采用一维向量表示，所述链路特征采用邻接矩阵的形式表示。
请参阅图2-3，图2为弹性光网络的链路示意图，其中黑色填充的圆表示节点，节点中的白色数字为节点编号，白色填充的圆表示两个节点之间的链路，圆内黑色的数字表示链路编号，圆外的黑色数字表示链路对应的路径距离。例如所述目标流量请求的源节点为节点1、目的节点为节点4和频谱需求为50Gbps，根据图2所示，可以得到3个当前候选路径：路径1（链路1→链路5）、路径2（链路2→链路8→链路12）和路径3（链路2→链路7→链路5），通过所述步骤S2，进行拓扑变化，得到如图3所述的拓扑变换简化图（TSG）以及各个当前候选路径的节点特征
Figure 650DEST_PATH_IMAGE026
和链路特征
Figure 806931DEST_PATH_IMAGE027
。
其中，节点特征
Figure 106195DEST_PATH_IMAGE026
是由各个当前候选路径的列向量组成的，在本例子中，由于当前候选路径的数量为3个，所以对应的节点特征
Figure 972520DEST_PATH_IMAGE028
；
Figure 842387DEST_PATH_IMAGE029
其中，
Figure 452359DEST_PATH_IMAGE030
表示转置；而
Figure 481495DEST_PATH_IMAGE031
中的各个元素表示对应的链路与该路径的关系，以路径1（链路1→链路5）为例，
Figure 377776DEST_PATH_IMAGE032
中与链路1对应的第一个元素和与链路5对应的一个元素的值都是1，表示链路1和链路5与路径1存在关联关系，而表示其他链路的元素的值都是0，表示其他链路与路径1不存在关联关系，如链路2和
Figure 859573DEST_PATH_IMAGE032
中的元素2。
链路特征
Figure 273237DEST_PATH_IMAGE027
通过链路关系得到，具体体现为链路特征
Figure 32245DEST_PATH_IMAGE027
中包括多个元素
Figure 974794DEST_PATH_IMAGE033
，表示当前候选路径中链路
Figure 68520DEST_PATH_IMAGE034
和链路
Figure 285875DEST_PATH_IMAGE035
的关系，例如以路径1（链路1→链路5）和路径2（链路2→链路8→链路12）为例，路径1对应的元素为
Figure 899390DEST_PATH_IMAGE036
，因此
Figure 543998DEST_PATH_IMAGE037
取值为1，路径2对应的元素为
Figure 734808DEST_PATH_IMAGE038
和
Figure 349329DEST_PATH_IMAGE039
，因此
Figure 207564DEST_PATH_IMAGE038
和
Figure 757494DEST_PATH_IMAGE040
取值为1，而本例子的链路特征
Figure 45387DEST_PATH_IMAGE027
如下矩阵所示：
Figure 604544DEST_PATH_IMAGE041
。
S30：将所述当前链路拓扑信息输入到所述第一图卷积神经网络进行特征提取，得到所述链路拓扑信息的链路拓扑特征；将所述链路拓扑特征输入到所述第一递归神经网络进行特征聚合，得到各个所述当前候选路径的路径级特征；将所述目标流量请求、所述频谱可用性分布和所述路径级特征输入到所述第一全连接层和柔性最大传递函数层进行概率转换，得到各个所述路径级特征对应的所述当前候选路径的频谱分配概率，并根据所述频谱分配概率输出所述目标频谱分配动作。
具体地，在步骤S30中，将所述当前链路拓扑信息输入到所述第一图卷积神经网络进行特征提取，得到所述链路拓扑信息的链路拓扑特征，其过程如下公式所示：
Figure 51706DEST_PATH_IMAGE042
；
其中，
Figure 168609DEST_PATH_IMAGE043
为其中一个所述当前候选路径第
Figure 599591DEST_PATH_IMAGE044
层节点的特征，且对于输入层，
Figure 306647DEST_PATH_IMAGE045
为所述当前链路拓扑信息的节点特征
Figure 873894DEST_PATH_IMAGE026
；
Figure 765627DEST_PATH_IMAGE046
为其中一个所述当前候选路径的第
Figure 542959DEST_PATH_IMAGE047
层节点的特征，也可以表示为所述链路拓扑信息的链路拓扑特征；
Figure 178340DEST_PATH_IMAGE048
为非线性激活函数；
Figure 741039DEST_PATH_IMAGE049
属于输入图的度矩阵。它是一个对角矩阵，其中每个对角元素给出相应节点的度数，
Figure 803673DEST_PATH_IMAGE050
；
Figure 943667DEST_PATH_IMAGE051
，其中
Figure 241794DEST_PATH_IMAGE052
为所述链路特征，
Figure 783633DEST_PATH_IMAGE053
是N × N单位矩阵；
Figure 158114DEST_PATH_IMAGE054
为权值矩阵，是一个N × F矩阵，受到所述目标频谱分配行动网络的网络参数影响。
所述将所述链路拓扑特征输入到所述第一递归神经网络进行特征聚合，得到各个所述当前候选路径的路径级特征，如下公式所示：
Figure 519825DEST_PATH_IMAGE055
；
Figure 497009DEST_PATH_IMAGE056
；
其中，
Figure 283568DEST_PATH_IMAGE057
为输出，表示所述路径级特征；
Figure 688004DEST_PATH_IMAGE058
和
Figure 537012DEST_PATH_IMAGE059
为激活函数；
Figure 193252DEST_PATH_IMAGE060
、
Figure 709684DEST_PATH_IMAGE061
、
Figure 285022DEST_PATH_IMAGE062
为维度大小相等的可训练权重矩阵，受所述目标频谱分配行动网络的网络参数影响；
Figure 745959DEST_PATH_IMAGE063
为输入，表示所述链路拓扑信息的链路拓扑特征。
请参阅图4，由于将所述链路拓扑特征输入到所述第一递归神经网络进行特征聚合，得到各个所述当前候选路径的路径级特征是通过循环结构实现的。因此所述第一图卷积神经网络包括多个第一图卷积模块（图4中的
Figure 64945DEST_PATH_IMAGE064
、
Figure 311250DEST_PATH_IMAGE065
、……
Figure 323068DEST_PATH_IMAGE066
）、循环开关（图4中的
Figure 146668DEST_PATH_IMAGE067
、
Figure 659557DEST_PATH_IMAGE068
……
Figure 885002DEST_PATH_IMAGE069
）和存储器（图4中的
Figure 943088DEST_PATH_IMAGE070
、
Figure 988405DEST_PATH_IMAGE071
……
Figure 649193DEST_PATH_IMAGE072
），各个所述第一图卷积模块依次通过所述循环开关和存储器与所述第一递归神经网络（图4中的Simple RNNLayer）连接，各个所述第一图卷积模块的输入为所述链路特征（图4中的A）和对应的当前候选路径的节点特征（图4中的
Figure 119358DEST_PATH_IMAGE073
、
Figure 207399DEST_PATH_IMAGE074
……
Figure 880957DEST_PATH_IMAGE075
），而由于循环结构需要序列形式的输入，因此每个所述第一图卷积模块的对应的节点特征都会以序列的形式输入，且序列的长度是所述弹性光网络中所有可能路径的最大光纤链路数。当所述第一图卷积模块的循环次数小于对应的当前候选路径的链路数量时，对应的循环开关处于闭合状态，使所述第一图卷积模块的输出存储到所述存储器和所述第一递归神经网络，当所述第一图卷积模块的循环次数大于或等于对应的当前候选路径的链路数量时，对应的循环开关处于断开状态，此时所述存储器保存的所述链路拓扑特征不会再更新，但会保持输出给所述第一递归神经网络，直到输出次数达到所述弹性光网络中所有可能路径的最大光纤链路数，使所述第一递归神经网络可以顺利将所有所述当前候选路径的链路拓扑特征进行聚合，得到所有当前候选路径的路径级特征。
所述将所述路径级特征输入到所述第一全连接层（图4中的Fully-connectedLayers）和柔性最大传递函数层进行概率转换，得到各个所述路径级特征对应的所述当前候选路径的频谱分配概率，并根据所述频谱分配概率输出所述目标频谱分配动作，包括：
结合所述目标流量请求（图4中的Traffice Request）和所述当前环境状态的频谱可用性分布（Spectrum Availability Distribution），将所述路径级特征转换为单个目标一维向量，所述目标一维向量的大小与所述当前候选路径的数量一致，然后通过柔性最大传递函数层（softmax层）将所述目标一维向量转换为（0，1）的概率一维向量，且所述概率一维向量中所有元素的和为1，从而得到对应的所述当前候选路径的频谱分配概率，再根据所述频谱分配概率输出所述目标频谱分配动作。
相对于现有技术，本申请的弹性光网络的频谱分配方法，首先将弹性光网络接收到目标流量请求时的当前环境状态，再将当前环境状态中的各个当前候选路径转换成当前链路拓扑信息，然后将当前链路拓扑信息输入到已训练的目标频谱分配行动网络，所述目标频谱分配行动网络通过第一图卷积神经网络提取得到所述链路拓扑信息的链路拓扑特征，通过第一递归神经网络聚合得到各个所述候选路径的路径级特征，再通过第一全连接层和柔性最大传递函数层得到各个所述路径级特征对应的所述候选路径的频谱分配概率，并根据所述频谱分配概率输出所述目标频谱分配动作，可以在接收到流量请求时，从弹性光网络的环境状态的各个可选路径中，选择出一个有效降低阻塞概率的目标路径作为频谱分配动作，从而降低弹性光网络在频谱分配时以及分配后出现的阻塞概率。
请参阅图5，在一个可行的实施例中，所述目标频谱分配行动网络的训练步骤，包括：
S101：获取若干个样本弹性光网络接收到第一流量请求时的第一环境状态以及预设数量的第二流量请求时的第二环境状态；所述第一环境状态包括若干个与所述第一流量请求对应的第一候选路径；所述第二流量请求的接收时间晚于所述第一流量请求的接收时间，所述第二环境状态包括若干个与所述第二流量请求对应的第二候选路径。
S102：将所述第一环境状态的各个第一候选路径转换成第一链路拓扑信息；将所述第二环境状态的各个第二候选路径转换成第二链路拓扑信息。
S103：将所述第一链路拓扑信息和所述第二链路拓扑信息分别输入到预构建的初始频谱分配行动网络，得到第一频谱分配动作以及预设数量的第二频谱分配动作。
S104：获取所述第一频谱分配动作对应的第一瞬时奖励以及预设数量的所述第二频谱分配动作对应的第二瞬时奖励。
其中，所述第一瞬时奖励和所述第二瞬时奖励分别表示对应的所述第一频谱分配动作和所述第二频谱分配动作是否可以执行或是否遭到阻塞，例如，若所述样本弹性光网络可以顺利执行所述第一频谱分配动作，或所述样本弹性光网络执行所述第一频谱分配动作没有出现阻塞的情况，那么对应的所述第一瞬时奖励取值为正值；若所述样本弹性光网络无法顺利执行所述第一频谱分配动作，或所述样本弹性光网络执行所述第一频谱分配动作出现了阻塞的情况，那么对应的所述第一瞬时奖励取值为负值。
S105：将所述第一链路拓扑信息和第一瞬时奖励，以及最后一个所述第二流量请求的所述第二链路拓扑信息和对应的第二瞬时奖励，输入到预构建的频谱分配批评网络，得到第一价值函数和第二价值函数。
所述第一价值函数和所述第二价值函数分别是对应的所述第一瞬时奖励和所述第二瞬时奖励对所述样本弹性光网络的未来频谱分配情况的影响，因此所述第一价值函数为：
Figure 611016DEST_PATH_IMAGE076
；
其中，
Figure 545474DEST_PATH_IMAGE009
为预设的折扣因子；
Figure 132313DEST_PATH_IMAGE077
为接收到第一流量请求的时刻；
Figure 152222DEST_PATH_IMAGE078
为接收到第
Figure 828183DEST_PATH_IMAGE079
个流量请求的瞬时奖励，所述第一流量请求为第1个流量请求；
Figure 882727DEST_PATH_IMAGE080
为所述第一价值函数。
S106：根据所述第一瞬时奖励、多个所述第二瞬时奖励、所述第一价值函数和所述第二价值函数，获得优势函数；所述优势函数用于指示所述初始频谱分配行动网络和所述频谱分配批评网络的网络参数调整方向。
S107：根据所述优势函数调整所述初始频谱分配行动网络的网络参数，得到所述目标频谱分配行动网络。
其中，所述目标频谱分配行动网络是指输出的所述目标频谱分配动作能顺利执行，且后续出现的阻塞概率小于预设值的频谱分配行动网络。
在本实施例中，通过获取若干个样本弹性光网络接收到所述第一流量请求和若干个第二流量请求时的环境状态、链路拓扑信息、对应的频谱分配动作以及对应的瞬时奖励得到所述优势函数，再根据所述优势函数调整所述初始频谱分配行动网络的网络参数，得到用于输出所述目标频谱分配动作的目标频谱分配行动网络，使弹性光网络执行目标频谱分配动作后，可以降低接收到后续的其他流量请求时出现的阻塞概率。
在一个可行的实施例中，所述频谱分配批评网络包括第二图卷积神经网络、第二递归神经网络、第二全连接层和线性输出层；
所述步骤S105：将所述第一链路拓扑信息和第一瞬时奖励，以及最后一个所述第二流量请求的所述第二链路拓扑信息和对应的第二瞬时奖励，输入到预构建的频谱分配批评网络，得到第一价值函数和第二价值函数的步骤，包括：
S1051：将所述第一链路拓扑信息输入到所述第二图卷积神经网络进行特征提取，得到第一链路拓扑特征；将所述第一链路拓扑特征输入到所述第二递归神经网络进行特征聚合，得到各个所述第一候选路径的第一路径级特征；将所述第一路径级特征输入到所述第二全连接层和线性输出层进行价值转化，得到各个所述第一候选路径对应的第一价值函数。
S1052：将所述最后一个第二流量请求的所述第二链路拓扑信息输入到所述第二图卷积神经网络进行特征提取，得到第二链路拓扑特征；将所述第二链路拓扑特征输入到所述第二递归神经网络进行特征聚合，得到对应的各个所述第二候选路径的第二路径级特征；将所述第二路径级特征输入到所述第二全连接层和线性输出层进行价值转化，得到与最后一个第二流量请求对应的各个第二候选路径对应的第二价值函数。
在本实施例中，通过所述步骤S1051-S1052，可以通过所述频谱分配批评网络得到预测的第一价值函数和第二价值函数。
在一个可行的实施例中，所述步骤S106：根据所述第一瞬时奖励、多个所述第二瞬时奖励、所述第一价值函数和所述第二价值函数，获得优势函数，包括：
通过以下公式，计算出所述优势函数：
Figure 312571DEST_PATH_IMAGE081
；
Figure 960721DEST_PATH_IMAGE082
；
Figure 767003DEST_PATH_IMAGE083
；
其中，
Figure 800687DEST_PATH_IMAGE004
为所述优势函数；
Figure 667012DEST_PATH_IMAGE005
为所述流量请求的顺序；
Figure 661513DEST_PATH_IMAGE006
为排序是第1个的流量请求；
Figure 146852DEST_PATH_IMAGE007
为排序是最后1个的流量请求；
Figure 644829DEST_PATH_IMAGE008
为对应的流量请求的频谱分配动作；
Figure 947635DEST_PATH_IMAGE009
为预设的折扣因子；
Figure 554065DEST_PATH_IMAGE010
为接收到对应的流量请求的瞬时奖励；
Figure 967729DEST_PATH_IMAGE011
为所述第一流量请求和所述第二流量请求的总数量；
Figure 726738DEST_PATH_IMAGE084
为所述第一价值函数；
Figure 200444DEST_PATH_IMAGE085
为所述第二价值函数。
通过上述公式计算出的优势函数，结合了第一瞬时奖励对未来数据的形象，以及未来的频谱分配动作的瞬时奖励对未来数据的影响，使所述优势函数对于网络参数的调整方向具有更好的指示作用。
在一个可行的实施例中，所述步骤S107：根据所述优势函数调整所述初始频谱分配行动网络的网络参数，得到所述目标频谱分配行动网络的步骤，包括：
通过以下公式，调整所述目标频谱分配行动网络的网络参数：
Figure 294171DEST_PATH_IMAGE014
；
其中，
Figure 245947DEST_PATH_IMAGE015
为所述目标频谱分配行动网络的网络参数，
Figure 859462DEST_PATH_IMAGE016
为调整后的所述目标频谱分配行动网络的网络参数，
Figure 238490DEST_PATH_IMAGE017
为所述目标频谱分配行动网络的学习速率，
Figure 429300DEST_PATH_IMAGE018
为劈形算符，
Figure 309401DEST_PATH_IMAGE019
为策略分布的熵，
Figure 902056DEST_PATH_IMAGE020
为熵正则化项的强度。
其中，
Figure 451986DEST_PATH_IMAGE016
只是为了将调整前后的所述目标频谱分配行动网络的网络参数进行区分的参数表示符号，以方便理解调整所述目标频谱分配行动网络的网络参数的公式，在实际试验和应用中，每次获取到
Figure 5458DEST_PATH_IMAGE016
的参数后，都会将
Figure 564615DEST_PATH_IMAGE016
的参数赋值给
Figure 11777DEST_PATH_IMAGE015
，使所述目标频谱分配行动网络可以及时更新参数及实现对应的功能。
可以通过所述优势函数对所述目标频谱分配行动网络的网络参数进行优化调整，使所述目标频谱分配行动网络可以有效选择出一个有效降低阻塞概率的目标路径作为频谱分配动作。
在一个可行的实施例中，还包括：根据所述优势函数调整所述频谱分配批评网络的网络参数。
具体地，所述根据所述优势函数调整所述频谱分配批评网络的网络参数的步骤，包括：
通过以下公式，调整所述目标频谱分配批评网络的网络参数：
Figure 122822DEST_PATH_IMAGE021
；
其中，
Figure 22645DEST_PATH_IMAGE022
为所述目标频谱分配批评网络的网络参数，
Figure 995280DEST_PATH_IMAGE023
为调整后的所述目标频谱分配批评网络的网络参数，
Figure 828107DEST_PATH_IMAGE024
为所述目标频谱分配批评网络的学习速率，
Figure 719839DEST_PATH_IMAGE025
为偏导数。
其中，
Figure 497171DEST_PATH_IMAGE023
只是为了将调整前后的所述目标频谱分配批评网络的网络参数进行区分的参数表示符号，以方便理解调整所述目标频谱分配批评网络的网络参数的公式。在实际试验和应用中，每次获取到
Figure 132552DEST_PATH_IMAGE023
的参数后，都会将
Figure 554306DEST_PATH_IMAGE023
的参数赋值给
Figure 757885DEST_PATH_IMAGE022
，使所述目标频谱分配批评网络可以及时更新参数及实现对应的功能。
可以通过所述优势函数对所述目标频谱分配批评网络的网络参数进行优化调整，从而提高所述目标频谱分配批评网络预测的第一价值函数和第二价值函数的准确性。
在一个实施例中，所述频谱分配批评网络还可以通过与所述目标频谱分配行动网络一起工作，从而通过所述频谱分配批评网络获取待调整分区的弹性光网络工作时对应的价值函数，并根据获取的价值函数继续优化所述目标频谱分配行动网络。
请参阅图6，本申请的一个实施例还提供一种弹性光网络的频谱分配装置，包括：
数据和网络获取模块100，当接收到目标流量请求时，获取所述目标流量请求、待调整分区的弹性光网络的当前环境状态以及已训练的目标频谱分配行动网络；其中，所述当前环境状态包括所述弹性光网络的频谱可用性分布和若干个所述目标流量请求对应的当前候选路径；所述当前候选路径根据目标流量请求的源节点、目的节点和频谱需求，以及所述弹性光网络的当前网络状态的频谱可用性分布得到；所述频谱分配行动网络包括第一图卷积神经网络、第一递归神经网络、第一全连接层和柔性最大传递函数层；
拓扑转换模块200，用于将所述当前环境状态的各个当前候选路径转换成当前链路拓扑信息；
目标频谱分配动作获取模块300，将所述当前链路拓扑信息输入到所述第一图卷积神经网络进行特征提取，得到所述链路拓扑信息的链路拓扑特征；将所述链路拓扑特征输入到所述第一递归神经网络进行特征聚合，得到各个所述当前候选路径的路径级特征；将所述目标流量请求、所述频谱可用性分布和所述路径级特征输入到所述第一全连接层和柔性最大传递函数层进行概率转换，得到各个所述路径级特征对应的所述当前候选路径的频谱分配概率，并根据所述频谱分配概率输出所述目标频谱分配动作。
相对于现有技术，本申请的弹性光网络的频谱分配装置，首先将弹性光网络接收到目标流量请求时的当前环境状态，再将当前环境状态中的各个当前候选路径转换成当前链路拓扑信息，然后将当前链路拓扑信息输入到已训练的目标频谱分配行动网络，所述目标频谱分配行动网络通过第一图卷积神经网络提取得到所述链路拓扑信息的链路拓扑特征，通过第一递归神经网络聚合得到各个所述候选路径的路径级特征，再通过第一全连接层和柔性最大传递函数层得到各个所述路径级特征对应的所述候选路径的频谱分配概率，并根据所述频谱分配概率输出所述目标频谱分配动作，可以在接收到流量请求时，从弹性光网络的环境状态的各个可选路径中，选择出一个有效降低阻塞概率的目标路径作为频谱分配动作，从而降低弹性光网络在频谱分配时以及分配后出现的阻塞概率。
本申请的一个实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如上所述的弹性光网络的频谱分配方法的步骤。
本申请的一个实施例还提供一种计算机设备，其特征在于：包括储存器、处理器以及储存在所述储存器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的弹性光网络的频谱分配方法的步骤。

Claims (10)

1.一种弹性光网络的频谱分配方法，其特征在于，包括：
当接收到目标流量请求时，获取所述目标流量请求、待调整分区的弹性光网络的当前环境状态以及已训练的目标频谱分配行动网络；其中，所述当前环境状态包括所述弹性光网络的频谱可用性分布和若干个所述目标流量请求对应的当前候选路径；所述当前候选路径根据目标流量请求的源节点、目的节点和频谱需求，以及所述弹性光网络的当前网络状态的频谱可用性分布得到；所述频谱分配行动网络包括第一图卷积神经网络、第一递归神经网络、第一全连接层和柔性最大传递函数层；
将所述当前环境状态的各个当前候选路径转换成当前链路拓扑信息；
将所述当前链路拓扑信息输入到所述第一图卷积神经网络进行特征提取，得到所述链路拓扑信息的链路拓扑特征；将所述链路拓扑特征输入到所述第一递归神经网络进行特征聚合，得到各个所述当前候选路径的路径级特征；将所述目标流量请求、所述频谱可用性分布和所述路径级特征输入到所述第一全连接层和柔性最大传递函数层进行概率转换，得到各个所述路径级特征对应的所述当前候选路径的频谱分配概率，并根据所述频谱分配概率输出所述目标频谱分配动作；
其中，将所述当前链路拓扑信息输入到所述第一图卷积神经网络进行特征提取，得到所述链路拓扑信息的链路拓扑特征，其过程如下公式所示：
Figure 953533DEST_PATH_IMAGE001
；
其中，
Figure 956825DEST_PATH_IMAGE002
为其中一个所述当前候选路径第
Figure 470983DEST_PATH_IMAGE003
层节点的特征，且对于输入层，
Figure 600613DEST_PATH_IMAGE004
为所述当前链路拓扑信息的节点特征；
Figure 274040DEST_PATH_IMAGE005
为其中一个所述当前候选路径的第
Figure 830923DEST_PATH_IMAGE006
层节点的特征，也可以表示为所述链路拓扑信息的链路拓扑特征；
Figure 832377DEST_PATH_IMAGE007
为非线性激活函数；
Figure 624753DEST_PATH_IMAGE008
属于输入图的度矩阵，所述输入图的度矩阵是一个对角矩阵，其中每个对角元素给出相应节点的度数，
Figure 28052DEST_PATH_IMAGE009
；
Figure 755837DEST_PATH_IMAGE010
，其中
Figure 103641DEST_PATH_IMAGE011
为链路特征，
Figure 309495DEST_PATH_IMAGE012
是N × N单位矩阵；
Figure 567301DEST_PATH_IMAGE013
为权值矩阵，是一个N × F矩阵，受到所述目标频谱分配行动网络的网络参数影响；
所述将所述链路拓扑特征输入到所述第一递归神经网络进行特征聚合，得到各个所述当前候选路径的路径级特征，如下公式所示：
Figure 92085DEST_PATH_IMAGE014
；
Figure 68132DEST_PATH_IMAGE015
；
其中，
Figure 77676DEST_PATH_IMAGE016
为输出，表示所述路径级特征；
Figure 580201DEST_PATH_IMAGE017
和
Figure 384209DEST_PATH_IMAGE018
为激活函数；
Figure 847552DEST_PATH_IMAGE019
、
Figure 785421DEST_PATH_IMAGE020
、
Figure 17819DEST_PATH_IMAGE021
为维度大小相等的可训练权重矩阵，受所述目标频谱分配行动网络的网络参数影响；
Figure 523887DEST_PATH_IMAGE022
为输入，表示所述链路拓扑信息的链路拓扑特征。
2.根据权利要求1所述的弹性光网络的频谱分配方法，其特征在于，所述目标频谱分配行动网络的训练步骤，包括：
获取若干个样本弹性光网络接收到第一流量请求时的第一环境状态以及预设数量的第二流量请求时的第二环境状态；所述第一环境状态包括若干个与所述第一流量请求对应的第一候选路径；所述第二流量请求的接收时间晚于所述第一流量请求的接收时间，所述第二环境状态包括若干个与所述第二流量请求对应的第二候选路径；
将所述第一环境状态的各个第一候选路径转换成第一链路拓扑信息；将所述第二环境状态的各个第二候选路径转换成第二链路拓扑信息；
将所述第一链路拓扑信息和所述第二链路拓扑信息分别输入到预构建的初始频谱分配行动网络，得到第一频谱分配动作以及预设数量的第二频谱分配动作；
获取所述第一频谱分配动作对应的第一瞬时奖励以及预设数量的所述第二频谱分配动作对应的第二瞬时奖励；
将所述第一链路拓扑信息和第一瞬时奖励，以及最后一个所述第二流量请求的所述第二链路拓扑信息和对应的第二瞬时奖励，输入到预构建的频谱分配批评网络，得到第一价值函数和第二价值函数；
根据所述第一瞬时奖励、多个所述第二瞬时奖励、所述第一价值函数和所述第二价值函数，获得优势函数；所述优势函数用于指示所述初始频谱分配行动网络和所述频谱分配批评网络的网络参数调整方向；
根据所述优势函数调整所述初始频谱分配行动网络的网络参数，得到所述目标频谱分配行动网络。
3.根据权利要求2所述的弹性光网络的频谱分配方法，其特征在于，
所述频谱分配批评网络包括第二图卷积神经网络、第二递归神经网络、第二全连接层和线性输出层；
所述将所述第一链路拓扑信息和第一瞬时奖励，以及最后一个所述第二流量请求的所述第二链路拓扑信息和对应的第二瞬时奖励，输入到预构建的频谱分配批评网络，得到第一价值函数和第二价值函数的步骤，包括：
将所述第一链路拓扑信息输入到所述第二图卷积神经网络进行特征提取，得到第一链路拓扑特征；将所述第一链路拓扑特征输入到所述第二递归神经网络进行特征聚合，得到各个所述第一候选路径的第一路径级特征；将所述第一路径级特征输入到所述第二全连接层和线性输出层进行价值转化，得到各个所述第一候选路径对应的第一价值函数；
将所述最后一个第二流量请求的所述第二链路拓扑信息输入到所述第二图卷积神经网络进行特征提取，得到第二链路拓扑特征；将所述第二链路拓扑特征输入到所述第二递归神经网络进行特征聚合，得到对应的各个所述第二候选路径的第二路径级特征；将所述第二路径级特征输入到所述第二全连接层和线性输出层进行价值转化，得到与最后一个第二流量请求对应的各个第二候选路径对应的第二价值函数。
4.根据权利要求2或3所述的弹性光网络的频谱分配方法，其特征在于，所述根据所述第一瞬时奖励、多个所述第二瞬时奖励、所述第一价值函数和所述第二价值函数，获得优势函数，包括：
通过以下公式，计算出所述优势函数：
Figure 68000DEST_PATH_IMAGE023
；
Figure 684927DEST_PATH_IMAGE024
；
Figure 771831DEST_PATH_IMAGE025
；
其中，
Figure 448800DEST_PATH_IMAGE026
为所述优势函数；
Figure 978745DEST_PATH_IMAGE027
为所述流量请求的顺序；
Figure 133783DEST_PATH_IMAGE028
为排序是第1个的流量请求；
Figure 199828DEST_PATH_IMAGE029
为排序是最后1个的流量请求；
Figure 516540DEST_PATH_IMAGE030
为对应的流量请求的频谱分配动作；
Figure 300825DEST_PATH_IMAGE031
为预设的折扣因子；
Figure 259554DEST_PATH_IMAGE032
为接收到对应的流量请求的瞬时奖励；
Figure 789892DEST_PATH_IMAGE033
为所述第一流量请求和所述第二流量请求的总数量；
Figure 933298DEST_PATH_IMAGE034
为所述第一价值函数；
Figure 814666DEST_PATH_IMAGE035
为所述第二价值函数。
5.根据权利要求4所述的弹性光网络的频谱分配方法，其特征在于，所述根据所述优势函数调整所述初始频谱分配行动网络的网络参数，得到所述目标频谱分配行动网络的步骤，包括：
通过以下公式，调整所述目标频谱分配行动网络的网络参数：
Figure 577086DEST_PATH_IMAGE036
；
其中，
Figure 119188DEST_PATH_IMAGE037
为所述目标频谱分配行动网络的网络参数，
Figure 777702DEST_PATH_IMAGE038
为调整后的所述目标频谱分配行动网络的网络参数，
Figure 411946DEST_PATH_IMAGE039
为所述目标频谱分配行动网络的学习速率，
Figure 837111DEST_PATH_IMAGE040
为劈形算符，
Figure 607621DEST_PATH_IMAGE041
为策略分布的熵，
Figure 702616DEST_PATH_IMAGE042
为熵正则化项的强度。
6.根据权利要求4所述的弹性光网络的频谱分配方法，其特征在于，还包括：根据所述优势函数调整所述频谱分配批评网络的网络参数。
7.根据权利要求6所述的弹性光网络的频谱分配方法，其特征在于，所述根据所述优势函数调整所述频谱分配批评网络的网络参数的步骤，包括：
通过以下公式，调整所述目标频谱分配批评网络的网络参数：
Figure 948789DEST_PATH_IMAGE043
；
其中，
Figure 787432DEST_PATH_IMAGE044
为所述目标频谱分配批评网络的网络参数，
Figure 412449DEST_PATH_IMAGE045
为调整后的所述目标频谱分配批评网络的网络参数，
Figure 68558DEST_PATH_IMAGE046
为所述目标频谱分配批评网络的学习速率，
Figure 411815DEST_PATH_IMAGE047
为偏导数。
8.一种弹性光网络的频谱分配装置，其特征在于，包括：
数据和网络获取模块，当接收到目标流量请求时，获取所述目标流量请求、待调整分区的弹性光网络的当前环境状态以及已训练的目标频谱分配行动网络；其中，所述当前环境状态包括所述弹性光网络的频谱可用性分布和若干个所述目标流量请求对应的当前候选路径；所述当前候选路径根据目标流量请求的源节点、目的节点和频谱需求，以及所述弹性光网络的当前网络状态的频谱可用性分布得到；所述频谱分配行动网络包括第一图卷积神经网络、第一递归神经网络、第一全连接层和柔性最大传递函数层；
拓扑转换模块，用于将所述当前环境状态的各个当前候选路径转换成当前链路拓扑信息；
目标频谱分配动作获取模块，将所述当前链路拓扑信息输入到所述第一图卷积神经网络进行特征提取，得到所述链路拓扑信息的链路拓扑特征；将所述链路拓扑特征输入到所述第一递归神经网络进行特征聚合，得到各个所述当前候选路径的路径级特征；将所述目标流量请求、所述频谱可用性分布和所述路径级特征输入到所述第一全连接层和柔性最大传递函数层进行概率转换，得到各个所述路径级特征对应的所述当前候选路径的频谱分配概率，并根据所述频谱分配概率输出所述目标频谱分配动作；
其中，将所述当前链路拓扑信息输入到所述第一图卷积神经网络进行特征提取，得到所述链路拓扑信息的链路拓扑特征，其过程如下公式所示：
Figure 319728DEST_PATH_IMAGE048
；
其中，
Figure 428279DEST_PATH_IMAGE002
为其中一个所述当前候选路径第
Figure 130656DEST_PATH_IMAGE003
层节点的特征，且对于输入层，
Figure 961209DEST_PATH_IMAGE004
为所述当前链路拓扑信息的节点特征；
Figure 407233DEST_PATH_IMAGE005
为其中一个所述当前候选路径的第
Figure 865897DEST_PATH_IMAGE006
层节点的特征，也可以表示为所述链路拓扑信息的链路拓扑特征；
Figure 739175DEST_PATH_IMAGE007
为非线性激活函数；
Figure 57024DEST_PATH_IMAGE008
属于输入图的度矩阵；所述输入图的度矩阵是一个对角矩阵，其中每个对角元素给出相应节点的度数，
Figure 431373DEST_PATH_IMAGE009
；
Figure 777166DEST_PATH_IMAGE010
，其中
Figure 555766DEST_PATH_IMAGE011
为链路特征，
Figure 360911DEST_PATH_IMAGE012
是N × N单位矩阵；
Figure 742214DEST_PATH_IMAGE013
为权值矩阵，是一个N × F矩阵，受到所述目标频谱分配行动网络的网络参数影响；
所述将所述链路拓扑特征输入到所述第一递归神经网络进行特征聚合，得到各个所述当前候选路径的路径级特征，如下公式所示：
Figure 316415DEST_PATH_IMAGE014
；
Figure 390550DEST_PATH_IMAGE015
；
其中，
Figure 417412DEST_PATH_IMAGE016
为输出，表示所述路径级特征；
Figure 8930DEST_PATH_IMAGE017
和
Figure 296692DEST_PATH_IMAGE018
为激活函数；
Figure 682674DEST_PATH_IMAGE019
、
Figure 462411DEST_PATH_IMAGE020
、
Figure 684052DEST_PATH_IMAGE021
为维度大小相等的可训练权重矩阵，受所述目标频谱分配行动网络的网络参数影响；
Figure 967266DEST_PATH_IMAGE022
为输入，表示所述链路拓扑信息的链路拓扑特征。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的弹性光网络的频谱分配方法的步骤。
10.一种计算机设备，其特征在于：包括储存器、处理器以及储存在所述储存器中并可被所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的弹性光网络的频谱分配方法的步骤。
CN202210458407.3A 2022-04-28 2022-04-28 弹性光网络的频谱分配方法、装置、存储介质和设备 Active CN114584871B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210458407.3A CN114584871B (zh) 2022-04-28 2022-04-28 弹性光网络的频谱分配方法、装置、存储介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210458407.3A CN114584871B (zh) 2022-04-28 2022-04-28 弹性光网络的频谱分配方法、装置、存储介质和设备

Publications (2)

Publication Number Publication Date
CN114584871A CN114584871A (zh) 2022-06-03
CN114584871B true CN114584871B (zh) 2022-08-05

Family

ID=81778483

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210458407.3A Active CN114584871B (zh) 2022-04-28 2022-04-28 弹性光网络的频谱分配方法、装置、存储介质和设备

Country Status (1)

Country Link
CN (1) CN114584871B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115484520B (zh) * 2022-11-02 2023-04-18 华南师范大学 弹性光网络的频谱分配网络获取方法和频谱分配方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246320A (zh) * 2020-01-08 2020-06-05 郑州大学 一种云-雾弹性光网络中的深度强化学习流量疏导方法
CN111586502A (zh) * 2020-03-26 2020-08-25 北京邮电大学 弹性光网络中的资源分配方法及系统
CN112383477A (zh) * 2020-10-22 2021-02-19 国网电力科学研究院有限公司 一种面向数据中心光网络的路由和频谱分配方法及装置
CN112383846A (zh) * 2020-11-13 2021-02-19 国网河南省电力公司信息通信公司 面向云-雾弹性光网络提前预留请求的频谱资源分配方法
CN113438173A (zh) * 2021-08-30 2021-09-24 华南师范大学 路由和频谱分配方法、装置、存储介质以及电子设备
CN113965837A (zh) * 2021-12-21 2022-01-21 华南师范大学 光网络动态频谱分区方法、装置、存储介质和计算机设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110011922B (zh) * 2019-04-07 2020-06-05 西安电子科技大学 弹性光网络中采用业务预测与频谱转换的rsa方法
CN111049579B (zh) * 2019-12-13 2021-05-04 苏州大学 防止基于人工智能的传输质量预测失败的保护方法及系统
US11146349B2 (en) * 2020-03-09 2021-10-12 Huawei Technologies Canada Co., Ltd. System and method for elastic optical networks
CN113849313A (zh) * 2021-09-30 2021-12-28 郑州大学 一种节能的云-边弹性光网络中计算任务链部署方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246320A (zh) * 2020-01-08 2020-06-05 郑州大学 一种云-雾弹性光网络中的深度强化学习流量疏导方法
CN111586502A (zh) * 2020-03-26 2020-08-25 北京邮电大学 弹性光网络中的资源分配方法及系统
CN112383477A (zh) * 2020-10-22 2021-02-19 国网电力科学研究院有限公司 一种面向数据中心光网络的路由和频谱分配方法及装置
CN112383846A (zh) * 2020-11-13 2021-02-19 国网河南省电力公司信息通信公司 面向云-雾弹性光网络提前预留请求的频谱资源分配方法
CN113438173A (zh) * 2021-08-30 2021-09-24 华南师范大学 路由和频谱分配方法、装置、存储介质以及电子设备
CN113965837A (zh) * 2021-12-21 2022-01-21 华南师范大学 光网络动态频谱分区方法、装置、存储介质和计算机设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Subcarrier-Slot Autonomous Partition Scheme Based on;Xin Wang;《Asia Communications and Photonics Conference》;20200210;全文 *
Spectrum Continuity and Contiguity Aware State Representation for Deep;Liufei Xu;《2021 Optoelectronics Global Conference》;20211227;全文 *

Also Published As

Publication number Publication date
CN114584871A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN111625361B (zh) 一种基于云端服务器和IoT设备协同的联合学习框架
CN114286413B (zh) Tsn网络联合路由选择与流分配方法及相关设备
Salehisadaghiani et al. Distributed Nash equilibrium seeking via the alternating direction method of multipliers
CN114584871B (zh) 弹性光网络的频谱分配方法、装置、存储介质和设备
CN113705959A (zh) 网络资源分配方法及电子设备
CN111404815B (zh) 一种基于深度学习的有约束路由选择方法
EP3982588A1 (en) Homomorphic operation accelerator and homomorphic operation performing device including the same
WO2022042262A1 (zh) Otn网络资源优化方法及装置、计算机设备和存储介质
CN110635833B (zh) 一种基于深度学习的功率分配方法及分配装置
Panahi et al. Optimal channel-sensing scheme for cognitive radio systems based on fuzzy q-learning
CN117202377A (zh) 基于双深q网络和冲突度算法的网络无冲突资源分配方法
Zihayat et al. Two-phase pareto set discovery for team formation in social networks
CN111683010A (zh) 基于光缆网光路的双路由的生成方法及装置
CN113992520B (zh) 一种虚拟网络资源的部署方法和系统
Alpcan et al. An information analysis of iterative algorithms for network utility maximization and strategic games
CN116189277A (zh) 训练方法和装置、手势识别方法、电子设备及存储介质
CN107889115A (zh) 基于马氏决策的机会频谱接入方法
Moneesh et al. Cooperative Spectrum Sensing using DQN in CRN
TWI833461B (zh) 規劃方法及其通訊裝置
CN117876156B (zh) 基于多任务电力物联终端监测方法、电力物联终端及介质
CN115580573B (zh) 服务功能链路径规划方法及相关设备
CN116341685B (zh) 基于联合注意力的分布式计算卸载模型训练方法和系统
JP7428831B2 (ja) Ｏｔｎネットワークリソース最適化方法および装置、コンピュータデバイスならびに記憶媒体
CN115442324B (zh) 消息生成方法、装置、消息管理设备以及存储介质
Geranmayeh et al. Machine Learning Based Beam Selection for Maximizing Wireless Network Capacity

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant