CN115333953A - 一种基于虚拟节点构建的工业互联网资源调配方法 - Google Patents

一种基于虚拟节点构建的工业互联网资源调配方法 Download PDF

Info

Publication number
CN115333953A
CN115333953A CN202211250383.9A CN202211250383A CN115333953A CN 115333953 A CN115333953 A CN 115333953A CN 202211250383 A CN202211250383 A CN 202211250383A CN 115333953 A CN115333953 A CN 115333953A
Authority
CN
China
Prior art keywords
network
virtual
node
entity
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211250383.9A
Other languages
English (en)
Other versions
CN115333953B (zh
Inventor
高庆
张可昕
吕金虎
刘昊
王振乾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202211250383.9A priority Critical patent/CN115333953B/zh
Publication of CN115333953A publication Critical patent/CN115333953A/zh
Application granted granted Critical
Publication of CN115333953B publication Critical patent/CN115333953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于虚拟节点构建的工业互联网资源调配方法，包括步骤：抽象实体工业互联网资源调配网络，构建实体网络
Figure 52042DEST_PATH_IMAGE001
；根据实体网络特征，计算构建虚拟网络
Figure 499204DEST_PATH_IMAGE002
所需的虚拟节点数目；根据实体网络特征和虚拟节点数目，构建虚拟节点内部连接关系，更新虚拟节点运输通路集合和虚拟节点邻接关系集合，生成虚拟网络
Figure 157719DEST_PATH_IMAGE002
；构建实体网络
Figure 385438DEST_PATH_IMAGE001
与虚拟网络
Figure 951548DEST_PATH_IMAGE002
之间的连接，更新运输终端运输通路集合和运输终端邻接关系集合，生成完备网络
Figure 722058DEST_PATH_IMAGE003
；抽象工业互联网资源调配效益规则，模拟资源调配过程，生成训练数据，训练完备网络
Figure 613791DEST_PATH_IMAGE003
，得到资源调配决策网络。该方法使得深度Q学习算法可以对一般化网络拓扑结构下的工业互联网资源调配问题进行求解，具有较强泛化性。

Description

一种基于虚拟节点构建的工业互联网资源调配方法
技术领域
本发明涉及工业互联网领域，具体涉及一种基于虚拟节点构建的工业互联网资源调配方法。
背景技术
工业互联网结合大数据、人工智能等技术手段，将信息技术与工业发展产业相结合，将工业系统相关智能机器实体之间进行通信互联，实现智能层面的人、机、物融合协同发展。
在工业互联网的具体应用中，资源调配是一个关键的研究课题。宏观角度上，工业互联网可以看作是工业实体连结的网络结构，各个工业实体之间存在较频繁资源运输与信息传输关系。若工业实体节点为智能化制造工厂，所涉及的资源调配目标对象则为物理实体资源；若工业实体节点为工业通信基站数据处理端，则对应的资源调配目标为通信数据资源。工业互联网网络拓扑结构对应真实世界传输通路和实际物理位置，资源在调配过程中，必然存在路径选择，通路拥堵，运输代价等问题，因此，如何优化工业互联网中资源调配决策，成为解决工业互联网资源调配问题的关键。
随着工业互联网中工业实体逐步变化和发展，网络节点数目与节点之间的连接关系复杂程度呈现逐步增长的趋势，所涉及的顶层决策任务日益复杂和多样化，当面对多目标资源调配问题时，调配时间不再是单一优化目标条件。对于目标在资源调配任务过程中所面临的通道载荷约束，所获得的效益要求，所付出的通信代价，调配时间延迟，各个实体节点吞吐量限制都成为现有工业互联网资源调配问题中所需要考虑和解决的约束问题。
如果将资源调配中的资源实体视为在固定拓扑上的目标单元，资源调配问题则可以转化为带约束的最短路径求解问题。以Floyd算法为主要代表的传统算法成为最短路径寻优与规划问题的常见解决方案，但是针对带约束的最短路径寻优与规划问题，面对复杂多变的网络结构，传统算法面临计算复杂，求解困难，效果不佳的情况。随着人工智能的不断发展，深度学习开始逐渐引入资源调配问题中。
深度Q学习算法面对一般决策问题，通过计算动作价值函数，以时间差分原则构建网络代价函数，对特征提取和决策网络进行优化，输出动作决策价值数值，以贪心策略动作决策选择策略，实现端到端决策。深度Q学习主要解决离散有限维度动作决策问题，一般情况下的资源调配问题是资源目标单位面对有限离散路径的决策问题，因此深度Q学习成为解决资源调配问题的技术手段之一。
资源调配问题的数学描述为：
Figure 568855DEST_PATH_IMAGE001
其中，
Figure 776982DEST_PATH_IMAGE002
表示资源调配问题中第
Figure 418179DEST_PATH_IMAGE003
个决策个体价值，由收益奖励与损失代价两部分构成；
Figure 369955DEST_PATH_IMAGE004
表示为第
Figure 904841DEST_PATH_IMAGE005
个资源目标单位到达指定目标点所获得的收益奖励，为正数；
Figure 283870DEST_PATH_IMAGE006
表示第
Figure 412363DEST_PATH_IMAGE003
个资源目标单位到达指定目标点过程中与第
Figure 902250DEST_PATH_IMAGE007
个资源目标单位造成通路载荷上限约束所付出的损失代价，为负数。
由于资源调配问题所决策的目标对象为资源数据包所选择的通路，因此决策输出是一个有限且离散的决策向量。而强化学习中的Q学习算法则可以较好的适用于此类有限离散的决策输出问题。通常，Q学习中的输出结果被视作为动作价值函数，是对不同决策动作的价值进行评分，在后续过程中利用贪心算法选择最大具有动作价值函数值的动作作为决策。
一般情况下，Q学习的动作价值函数可以写为：
Figure 58687DEST_PATH_IMAGE008
其中，
Figure 343038DEST_PATH_IMAGE009
为第
Figure 958827DEST_PATH_IMAGE003
个决策个体针对目前状态与决策所获得的下一步期望决策价值；
Figure 252405DEST_PATH_IMAGE010
为第
Figure 761884DEST_PATH_IMAGE003
个决策个体所获得的状态特征向量；
Figure 482715DEST_PATH_IMAGE011
为第
Figure 320221DEST_PATH_IMAGE003
个决策个体决策。从数学表达式中可以看到，针对第
Figure 151911DEST_PATH_IMAGE003
个目标对象资源数据包，计算所得出的动作价值函数针对的动作向量维度与其他目标对象资源数据包输出动作价值函数向量维度保持一致，这意味着对于每一个目标对象资源数据包可以选择的有限离散决策数目相同，可以选择的通路数目相同，与此对应的，网络各个节点度数相同。
换言之，以上算法适用于解决工业互联网网络拓扑结构为各个节点度数相同的正则图结构，这样可以使得每个目标对象在不同网络节点位置时具有同样动作决策数目。但是一般情况下，工业互联网网络结构所抽象的网络拓扑，每个节点度数并不相同。这给深度Q学习的目标对象资源调配问题解决带来了极大的挑战与难度，也给通用工业互联网环境资源调配算法的发展带来了一定的局限性。
发明内容
基于上述基于深度Q学习资源调配算法不能解决一般化工业互联网网络拓扑结构的现有技术缺陷，本发明提供了一种基于虚拟节点构建的工业互联网资源调配方法，使得深度Q学习算法可以对一般化网络拓扑结构下的工业互联网资源调配问题进行求解，具有较强泛化性。
一种基于虚拟节点构建的工业互联网资源调配方法，包括以下步骤：
步骤1，抽象实体工业互联网资源调配网络，根据各实体节点的位置及连接关系构建实体网络
Figure 781476DEST_PATH_IMAGE012
；
步骤2，根据实体网络
Figure 673208DEST_PATH_IMAGE012
特征，计算构建虚拟网络
Figure 998010DEST_PATH_IMAGE013
所需的虚拟节点数目；
步骤3，根据实体网络
Figure 961287DEST_PATH_IMAGE012
特征和虚拟节点数目，构建虚拟节点内部连接关系，更新虚拟节点运输通路集合以及虚拟节点邻接关系集合，生成虚拟网络
Figure 383041DEST_PATH_IMAGE013
；
步骤4，构建实体网络
Figure 383358DEST_PATH_IMAGE012
与虚拟网络
Figure 257773DEST_PATH_IMAGE013
之间的连接，更新实体节点与虚拟节点之间运输通路集合以及所有节点的邻接矩阵，生成完备网络
Figure 995048DEST_PATH_IMAGE014
；对完备网络
Figure 271308DEST_PATH_IMAGE014
进行连通性检测，若不满足连通性则回到步骤3重新执行，直至满足连通性检测条件，更新运输通路连接权重，完成完备网络
Figure 442526DEST_PATH_IMAGE015
的搭建；
步骤5，抽象工业互联网资源调配效益规则，模拟资源调配过程，生成训练数据，训练完备网络
Figure 804238DEST_PATH_IMAGE015
，得到资源调配决策网络。
进一步，所述步骤1具体为：将实体工业互联网网络环境中各工业实体节点之间的拓扑连接关系，抽象为实际工业互联网场景中进行资源调配的固定网络结构，搭建实体网络：
Figure 843738DEST_PATH_IMAGE016
其中，
Figure 974505DEST_PATH_IMAGE017
为实体节点集合
Figure 316625DEST_PATH_IMAGE018
，
Figure 165632DEST_PATH_IMAGE019
为第
Figure 8823DEST_PATH_IMAGE020
个实体节点；
Figure 994096DEST_PATH_IMAGE021
为实体节点运输通路集合；
Figure 507117DEST_PATH_IMAGE022
为实体节点邻接关系集合，
Figure 843421DEST_PATH_IMAGE023
，
Figure 224724DEST_PATH_IMAGE024
为实体节点邻接矩阵，
Figure 533345DEST_PATH_IMAGE025
为实体节点运输通路连接权重；
实体网络
Figure 14005DEST_PATH_IMAGE012
有如下关系存在：
Figure 837605DEST_PATH_IMAGE026
其中，
Figure 524063DEST_PATH_IMAGE027
为实体网络
Figure 421612DEST_PATH_IMAGE012
中实体节点最小度数；
Figure 604332DEST_PATH_IMAGE028
为实体网络
Figure 711965DEST_PATH_IMAGE012
中各实体节点度数；
Figure 372753DEST_PATH_IMAGE029
为实体网络
Figure 390388DEST_PATH_IMAGE012
中实体节点最大度数，记为
Figure 478430DEST_PATH_IMAGE030
，表示实体节点运输通路数。
进一步，所述步骤2具体为：根据实体网络
Figure 73359DEST_PATH_IMAGE012
特征，计算实体节点运输通路数最大缺度
Figure 537838DEST_PATH_IMAGE031
以及各个实体节点运输通路数缺少程度总和
Figure 409980DEST_PATH_IMAGE032
:
Figure 668923DEST_PATH_IMAGE033
Figure 751148DEST_PATH_IMAGE034
其中，
Figure 957001DEST_PATH_IMAGE035
为第
Figure 745966DEST_PATH_IMAGE036
个实体节点缺度；
Figure 5171DEST_PATH_IMAGE037
为图
Figure 512376DEST_PATH_IMAGE012
中实体节点
Figure 990762DEST_PATH_IMAGE038
的度数；
满足以下四个条件的
Figure 899812DEST_PATH_IMAGE039
满足运输终端节点通路数相等的完备网络
Figure 234978DEST_PATH_IMAGE014
的构建：
（1）
Figure 291796DEST_PATH_IMAGE040
；
（2）
Figure 839452DEST_PATH_IMAGE041
；
（3）
Figure 603009DEST_PATH_IMAGE042
；
（4）
Figure 702552DEST_PATH_IMAGE043
为偶数；
由此，计算得出正整数
Figure 918769DEST_PATH_IMAGE039
取值范围，取
Figure 4537DEST_PATH_IMAGE044
，
Figure 622600DEST_PATH_IMAGE045
为构建虚拟网络
Figure 893045DEST_PATH_IMAGE046
所需的虚拟节点数目，集合
Figure 596558DEST_PATH_IMAGE047
为新增虚拟节点集合。
进一步，所述步骤3具体为：虚拟网络
Figure 220438DEST_PATH_IMAGE046
的虚拟节点运输通路数
Figure 958587DEST_PATH_IMAGE048
为
Figure 913116DEST_PATH_IMAGE049
在满足每个虚拟节点的度数
Figure 103926DEST_PATH_IMAGE050
的情况下，随机生成虚拟运输通路，构建生成虚拟网络，并定义虚拟节点邻接关系集合
Figure 531496DEST_PATH_IMAGE051
，其中，
Figure 858572DEST_PATH_IMAGE052
为虚拟节点邻接矩阵，
Figure 470819DEST_PATH_IMAGE053
为虚拟节点运输通路连接权重，设置
Figure 148925DEST_PATH_IMAGE054
；直到虚拟网络
Figure 380186DEST_PATH_IMAGE055
中虚拟运输通路数达到
Figure 827348DEST_PATH_IMAGE048
，完成虚拟网络
Figure 344917DEST_PATH_IMAGE046
的构建。
进一步，所述步骤4具体为：根据实体网络
Figure 510319DEST_PATH_IMAGE056
与虚拟网络
Figure 279692DEST_PATH_IMAGE046
，遍历
Figure 846940DEST_PATH_IMAGE056
中
Figure 535410DEST_PATH_IMAGE057
的各实体节点
Figure 188108DEST_PATH_IMAGE058
，
Figure 761172DEST_PATH_IMAGE059
，如果
Figure 746708DEST_PATH_IMAGE060
, 其中
Figure 543763DEST_PATH_IMAGE061
为实体节点
Figure 418178DEST_PATH_IMAGE058
的度数，则将实体节点
Figure 794932DEST_PATH_IMAGE058
与虚拟节点集合
Figure 71193DEST_PATH_IMAGE062
中的虚拟节点
Figure 367045DEST_PATH_IMAGE063
相连，并保证虚拟节点
Figure 932019DEST_PATH_IMAGE063
度数小于
Figure 909202DEST_PATH_IMAGE064
，完成完备网络
Figure 102286DEST_PATH_IMAGE065
中运输终端运输通路集合
Figure 506722DEST_PATH_IMAGE066
以及运输终端邻接矩阵
Figure 293413DEST_PATH_IMAGE067
更新，直到以下等式成立：
Figure 808708DEST_PATH_IMAGE068
其中，
Figure 121877DEST_PATH_IMAGE069
为完备网络
Figure 697215DEST_PATH_IMAGE065
中运输终端节点最小度数；
Figure 971202DEST_PATH_IMAGE070
为完备网络
Figure 290188DEST_PATH_IMAGE071
中各运输终端节点度数；
Figure 959329DEST_PATH_IMAGE072
为完备网络
Figure 705568DEST_PATH_IMAGE065
中运输终端节点最大度数；
对完备网络
Figure 201271DEST_PATH_IMAGE065
进行连通性检测，若不满足连通性则回到步骤3；若满足连通性检测，则将运输终端运输通路连接权重设置为
Figure 323948DEST_PATH_IMAGE073
，
Figure 346131DEST_PATH_IMAGE074
，得到完备网络
Figure 263271DEST_PATH_IMAGE071
：
Figure 511850DEST_PATH_IMAGE075
其中，
Figure 172638DEST_PATH_IMAGE076
为运输终端节点集合，
Figure 49327DEST_PATH_IMAGE077
；
Figure 402948DEST_PATH_IMAGE078
为运输终端运输通路集合；
Figure 873244DEST_PATH_IMAGE079
为运输终端邻接关系集合，
Figure 665619DEST_PATH_IMAGE080
。
进一步，所述步骤5具体为：在实体网络
Figure 334498DEST_PATH_IMAGE012
的各实体节点上随机生成若干资源包，抽象资源包实际转移效益函数为动作状态转移函数，构建资源包特征向量作为状态向量，联合资源包所在实体节点的结构特征，输入完备网络
Figure 796703DEST_PATH_IMAGE014
中，获得动作决策，生成训练数据放入训练池中；在网络训练过程中批量抽取训练数据完成完备网络
Figure 816612DEST_PATH_IMAGE014
优化，得到最终的资源调配决策网络。
本发明与现有技术相比所具有的有益效果：
本发明通过虚拟节点的一般化构建，实现深度Q学习算法在复杂工业互联网网络拓扑结构下，资源调配问题的普遍应用；此外，本发明所述方法提高了约束条件下工业互联网资源调配问题中个体目标平均效益值，提升资源调配个体目标从出发节点到达目标节点的平均时间，实现资源调配问题方法的较强通用性。
附图说明
图1 为本发明所述的基于虚拟节点构建的工业互联网资源调配方法的流程图。
图2为本发明实施例的价值损失函数收敛曲线。
具体实施方式
以一个具体工业互联网网络资源调配问题作为实施例，详细阐述本发明在解决该具体资源调配问题时的具体步骤，如图1所示。
步骤1，构建实体网络
Figure 382985DEST_PATH_IMAGE081
。现存在基站数（实体节点数）为
Figure 171949DEST_PATH_IMAGE082
的工业互联网通用生产资源调度网络，已知各实体节点位置和连接关系，将其抽象为实体网络
Figure 805056DEST_PATH_IMAGE083
，并将实际运输通路载荷约束表征为运输通路连接权重
Figure 46681DEST_PATH_IMAGE084
。
具体地，实体工业互联网网络环境在宏观结构层面，各个工业实体节点之间存在明显拓扑连接关系，将其抽象为实际工业互联网场景中进行资源调配的固定网络结构，并以此搭建实体网络：
Figure 915280DEST_PATH_IMAGE085
其中，
Figure 824331DEST_PATH_IMAGE017
为实体节点集合
Figure 362759DEST_PATH_IMAGE018
，
Figure 357260DEST_PATH_IMAGE019
为第
Figure 763971DEST_PATH_IMAGE020
个实体节点；
Figure 527527DEST_PATH_IMAGE021
为实体节点运输通路集合；
Figure 236857DEST_PATH_IMAGE022
为实体节点邻接关系集合，
Figure 718654DEST_PATH_IMAGE023
，
Figure 929056DEST_PATH_IMAGE024
为实体节点邻接矩阵，
Figure 547119DEST_PATH_IMAGE025
为实体节点运输通路连接权重，对应真实工业互联网运输通路载荷限制物理属性。
实体网络
Figure 692929DEST_PATH_IMAGE012
有如下关系存在：
Figure 396443DEST_PATH_IMAGE026
其中，
Figure 912000DEST_PATH_IMAGE027
为实体网络
Figure 587832DEST_PATH_IMAGE012
中实体节点最小度数；
Figure 701282DEST_PATH_IMAGE028
为实体网络
Figure 954409DEST_PATH_IMAGE012
中各个实体节点度数；
Figure 444296DEST_PATH_IMAGE029
为实体网络
Figure 974634DEST_PATH_IMAGE012
中实体节点最大度数，记为
Figure 524564DEST_PATH_IMAGE030
，表示实体节点运输通路数。
步骤2，计算将要构建的虚拟网络
Figure 264987DEST_PATH_IMAGE013
所需的虚拟节点数目
Figure 292986DEST_PATH_IMAGE086
。根据实体网络特征获取实体节点运输通路数
Figure 677831DEST_PATH_IMAGE030
、实体网络各个实体节点运输通路数缺少程度总和
Figure 398662DEST_PATH_IMAGE032
、实体网络中实体节点运输通路数最大缺度
Figure 626381DEST_PATH_IMAGE031
，根据四个主要约束条件，计算求出虚拟网络
Figure 661334DEST_PATH_IMAGE013
节点所需数目
Figure 963002DEST_PATH_IMAGE039
的取值范围，取满足条件的最小正整数，记为
Figure 418516DEST_PATH_IMAGE086
，即为将要构建的虚拟网络
Figure 71214DEST_PATH_IMAGE013
所需的虚拟节点数目。
具体地，给定实体网络
Figure 378699DEST_PATH_IMAGE012
，完成虚拟节点构建的完备网络
Figure 800453DEST_PATH_IMAGE014
通过实体网络
Figure 597508DEST_PATH_IMAGE012
与
Figure 534240DEST_PATH_IMAGE039
个虚拟节点连结。其中，
Figure 176574DEST_PATH_IMAGE039
个虚拟节点之间的连接构成虚拟网络
Figure 452834DEST_PATH_IMAGE013
，
Figure 748686DEST_PATH_IMAGE012
和
Figure 110398DEST_PATH_IMAGE087
均为正则完备网络
Figure 759685DEST_PATH_IMAGE015
的诱导子图。
根据已有信息，可以计算实体网络中实体节点运输通路数最大缺度
Figure 156031DEST_PATH_IMAGE031
以及各个实体节点运输通路数缺少程度总和
Figure 622784DEST_PATH_IMAGE032
:
Figure 471792DEST_PATH_IMAGE033
Figure 924770DEST_PATH_IMAGE034
其中，
Figure 175623DEST_PATH_IMAGE035
为第
Figure 314742DEST_PATH_IMAGE088
个实体节点缺度；
Figure 651046DEST_PATH_IMAGE037
为
Figure 907715DEST_PATH_IMAGE012
中实体节点
Figure 13074DEST_PATH_IMAGE038
的度数。
为构建虚拟网络
Figure 821630DEST_PATH_IMAGE013
，需要求解虚拟网络中具有的虚拟节点数量。满足以下四个条件的
Figure 379650DEST_PATH_IMAGE039
可以满足运输终端节点通路数相等的完备网络
Figure 705589DEST_PATH_IMAGE014
的构建：
（1）
Figure 727772DEST_PATH_IMAGE040
；
（2）
Figure 644912DEST_PATH_IMAGE041
；
（3）
Figure 893491DEST_PATH_IMAGE042
；
（4）
Figure 554280DEST_PATH_IMAGE043
为偶数；
由此，可以计算得出正整数
Figure 430969DEST_PATH_IMAGE039
取值范围，取
Figure 784590DEST_PATH_IMAGE089
，
Figure 254885DEST_PATH_IMAGE045
为需要构建的虚拟节点数目，集合
Figure 453785DEST_PATH_IMAGE047
为新增虚拟节点集合。
步骤3，构建生成的虚拟网络
Figure 952025DEST_PATH_IMAGE013
。根据实体网络特征获取实体节点运输通路数
Figure 476547DEST_PATH_IMAGE030
，构建虚拟网络
Figure 434139DEST_PATH_IMAGE013
虚拟节点内部连接关系，更新虚拟节点运输通路集合以及虚拟节点邻接关系集合，完整构建虚拟网络
Figure 436730DEST_PATH_IMAGE090
。
具体地，记虚拟网络为
Figure 288011DEST_PATH_IMAGE091
，其中已知新增虚拟节点集合
Figure 921118DEST_PATH_IMAGE092
，需要求解虚拟节点运输通路集合
Figure 428323DEST_PATH_IMAGE093
、虚拟节点邻接关系集合
Figure 296922DEST_PATH_IMAGE094
。
Figure 940393DEST_PATH_IMAGE013
具有虚拟节点运输通路数
Figure 744401DEST_PATH_IMAGE048
，其中
Figure 473322DEST_PATH_IMAGE049
，在满足每个虚拟节点的度数
Figure 145612DEST_PATH_IMAGE095
的情况下，随机生成虚拟运输通路，构建生成虚拟网络，并定义虚拟节点邻接关系集合
Figure 909169DEST_PATH_IMAGE051
，其中，
Figure 618499DEST_PATH_IMAGE052
为虚拟节点邻接矩阵，
Figure 100296DEST_PATH_IMAGE053
为虚拟节点运输通路连接权重，设置
Figure 800443DEST_PATH_IMAGE096
。直到虚拟网络
Figure 418506DEST_PATH_IMAGE013
中虚拟运输通路数达到
Figure 298738DEST_PATH_IMAGE048
，完成虚拟网络
Figure 330148DEST_PATH_IMAGE013
的构建。
步骤4，连接实体网络
Figure 281923DEST_PATH_IMAGE012
与虚拟网络
Figure 692176DEST_PATH_IMAGE013
，生成解决实体工业互联网网络资源调配问题的完备网络
Figure 71205DEST_PATH_IMAGE014
。遍历
Figure 324331DEST_PATH_IMAGE012
中
Figure 814219DEST_PATH_IMAGE057
的各实体节点，如果
Figure 344557DEST_PATH_IMAGE060
，其中
Figure 894487DEST_PATH_IMAGE097
为实体节点
Figure 369331DEST_PATH_IMAGE098
的度数，则将实体节点
Figure 662909DEST_PATH_IMAGE098
与虚拟节点集合
Figure 47754DEST_PATH_IMAGE092
中度数小于
Figure 768585DEST_PATH_IMAGE064
的虚拟节点
Figure 497769DEST_PATH_IMAGE099
相连，更新邻接矩阵和运输通路连接权重，完成完备网络
Figure 329459DEST_PATH_IMAGE015
的构建。
具体地，定义完备网络
Figure 568810DEST_PATH_IMAGE075
，其中，只有运输终端节点集合
Figure 460543DEST_PATH_IMAGE100
已知，运输终端之间运输通路集合
Figure 909979DEST_PATH_IMAGE078
、运输终端邻接关系集合
Figure 748622DEST_PATH_IMAGE101
未知，需要被求解。
根据现有已经获取的工业互联网实体网络
Figure 170376DEST_PATH_IMAGE012
与所构建的虚拟网络
Figure 295327DEST_PATH_IMAGE087
，遍历
Figure 169742DEST_PATH_IMAGE012
中
Figure 280917DEST_PATH_IMAGE057
的各实体节点
Figure 557178DEST_PATH_IMAGE098
，
Figure 853030DEST_PATH_IMAGE059
，如果
Figure 214741DEST_PATH_IMAGE060
, 其中
Figure 129607DEST_PATH_IMAGE102
为实体节点
Figure 525954DEST_PATH_IMAGE098
的度数，则将实体节点
Figure 494172DEST_PATH_IMAGE098
与虚拟节点集合
Figure 77600DEST_PATH_IMAGE092
中的虚拟节点
Figure 796157DEST_PATH_IMAGE099
相连，并保证虚拟节点
Figure 47010DEST_PATH_IMAGE099
度数小于
Figure 684665DEST_PATH_IMAGE064
，完成完备网络
Figure 755389DEST_PATH_IMAGE014
中运输终端之间运输通路集合
Figure 12058DEST_PATH_IMAGE066
以及运输终端邻接矩阵
Figure 117417DEST_PATH_IMAGE103
更新，直到以下等式成立：
Figure 925973DEST_PATH_IMAGE068
其中，
Figure 749573DEST_PATH_IMAGE104
为完备网络
Figure 544353DEST_PATH_IMAGE014
中运输终端节点最小度数；
Figure 97695DEST_PATH_IMAGE105
为完备网络
Figure 14835DEST_PATH_IMAGE015
中各运输终端节点度数；
Figure 997835DEST_PATH_IMAGE072
为完备网络
Figure 658623DEST_PATH_IMAGE014
中运输终端节点最大度数。
与此同时，对完备网络
Figure 302356DEST_PATH_IMAGE014
进行连通性检测，若不满足连通性则回到步骤3重新执行。
若满足连通性检测，则将完备网络
Figure 390398DEST_PATH_IMAGE014
邻接关系集合中的运输终端运输通路连接权重设置为
Figure 860694DEST_PATH_IMAGE073
，需满足
Figure 325173DEST_PATH_IMAGE074
。
至此，工业互联网资源调配问题的完备网络
Figure 321948DEST_PATH_IMAGE014
搭建完毕。
步骤5，生成训练数据，训练完备网络
Figure 580891DEST_PATH_IMAGE014
，得到资源调配决策网络。在实体网络各实体节点上随机生成若干资源包，抽象资源包实际转移效益函数为动作状态转移函数。构建资源包特征向量作为状态向量，联合资源包所在实体节点所在结构特征，输入完备网络
Figure 538482DEST_PATH_IMAGE014
中，获得动作决策，以此生成训练数据放入经验池中；在网络训练过程中批量抽取训练数据完成完备网络
Figure 806653DEST_PATH_IMAGE014
优化，得到最终的资源调配决策网络。
具体地，对复杂拓扑网络建立完毕后，针对每个资源个体目标，构建状态向量
Figure 657934DEST_PATH_IMAGE106
。其中，
Figure 87778DEST_PATH_IMAGE107
表示资源个体目标固有属性向量，
Figure 532666DEST_PATH_IMAGE108
表示资源个体目标所在节点位置各结构特征向量的串联，包括边特征、连接节点特征。资源个体目标状态矩阵输入特征编码网络，获得隐空间特征，根据子图连接关系，计算邻居节点重要性注意力权重，赋值隐空间特征不同权重。将权重再分配的隐空间特征输入决策Q网络，获得资源个体目标决策数目
Figure 338948DEST_PATH_IMAGE109
的动作价值函数。根据实际资源目标个体转运过程中的效益函数，抽象为奖惩规则，完成动作决策状态更新，获得动作奖励价值
Figure 44736DEST_PATH_IMAGE110
。
其中，动作价值函数可以表示为：
Figure 114323DEST_PATH_IMAGE111
其中，
Figure 843245DEST_PATH_IMAGE112
为第
Figure 16999DEST_PATH_IMAGE113
个决策个体的动作价值分数，
Figure 514977DEST_PATH_IMAGE114
为第
Figure 489886DEST_PATH_IMAGE113
个决策个体所获得的状态特征向量，
Figure 706104DEST_PATH_IMAGE115
为第
Figure 916505DEST_PATH_IMAGE116
个决策个体决策，
Figure 534568DEST_PATH_IMAGE117
为第
Figure 680379DEST_PATH_IMAGE113
个决策个体的拓扑连接子关系，
Figure 383893DEST_PATH_IMAGE118
为强化学习训练网络参数。
与此同时，将所获得的每一步的目标状态与决策结果存入固定容量的经验池中，完成训练数据的实时更新，使得每次训练从经验池中批量抽取数据为优化后的状态与动作决策。
在训练过程中，批量抽取状态动作数据，计算损失函数，完成网络更新。其具体代价损失函数为：
Figure 397985DEST_PATH_IMAGE119
其中，
Figure 870555DEST_PATH_IMAGE120
为与训练网络同样结构的动作价值目标网络，
Figure 187267DEST_PATH_IMAGE121
为所计算得出的损失函数值，
Figure 378077DEST_PATH_IMAGE122
为需要调配的资源个体数目，
Figure 930281DEST_PATH_IMAGE123
为学习率，
Figure 522936DEST_PATH_IMAGE124
为计算得出的下一轮迭代决策结果，
Figure 744970DEST_PATH_IMAGE125
为第
Figure 423076DEST_PATH_IMAGE113
个资源个体所获得的奖励效益。
损失函数曲线收敛，得到最终的资源调配决策网络，并且可用于其他具有相同数据包转移奖惩规则的的工业互联网网络结构上，具有较强泛化性，以此形成一般工业互联网网络形式资源调配决策方案。
如图2所示为20个资源包在实体节点数为18的实体网络上进行资源调配仿真网络训练过程中，价值损失函数收敛曲线。可见，本发明所提出的基于虚拟节点构建的工业互联网资源调配方法具有稳定收敛性，能够快速获得有效全局收益，解决普适性工业互联网资源调配问题。

Claims (6)

1.一种基于虚拟节点构建的工业互联网资源调配方法，其特征在于，包括以下步骤：
步骤1，抽象实体工业互联网资源调配网络，根据各实体节点的位置及连接关系构建实体网络
Figure 774167DEST_PATH_IMAGE001
；
步骤2，根据实体网络
Figure 560857DEST_PATH_IMAGE001
特征，计算构建虚拟网络
Figure 76152DEST_PATH_IMAGE002
所需的虚拟节点数目；
步骤3，根据实体网络
Figure 389322DEST_PATH_IMAGE001
特征和虚拟节点数目，构建虚拟节点内部连接关系，更新虚拟节点运输通路集合以及虚拟节点邻接关系集合，生成虚拟网络
Figure 964660DEST_PATH_IMAGE002
；
步骤4，构建实体网络
Figure 504226DEST_PATH_IMAGE001
与虚拟网络
Figure 885528DEST_PATH_IMAGE002
之间的连接，更新实体节点与虚拟节点之间运输通路集合以及所有节点的邻接矩阵，生成完备网络
Figure 990888DEST_PATH_IMAGE003
；对完备网络
Figure 674810DEST_PATH_IMAGE003
进行连通性检测，若不满足连通性则回到步骤3重新执行，直至满足连通性检测条件，更新运输通路连接权重，完成完备网络
Figure 232830DEST_PATH_IMAGE004
的搭建；
步骤5，抽象工业互联网资源调配效益规则，模拟资源调配过程，生成训练数据，训练完备网络
Figure 417824DEST_PATH_IMAGE004
，得到资源调配决策网络。
2.根据权利要求1所述的方法，其特征在于，所述步骤1具体为：将实体工业互联网网络环境中各工业实体节点之间的拓扑连接关系，抽象为实际工业互联网场景中进行资源调配的固定网络结构，搭建实体网络：
Figure 377690DEST_PATH_IMAGE005
其中，
Figure 232513DEST_PATH_IMAGE006
为实体节点集合
Figure 543409DEST_PATH_IMAGE007
，
Figure 767979DEST_PATH_IMAGE008
为第
Figure 582351DEST_PATH_IMAGE009
个实体节点；
Figure 873655DEST_PATH_IMAGE010
为实体节点运输通路集合；
Figure 406268DEST_PATH_IMAGE011
为实体节点邻接关系集合，
Figure 667485DEST_PATH_IMAGE012
，
Figure 601943DEST_PATH_IMAGE013
为实体节点邻接矩阵，
Figure 64148DEST_PATH_IMAGE014
为实体节点运输通路连接权重；
实体网络
Figure 818477DEST_PATH_IMAGE001
有如下关系存在：
Figure 148965DEST_PATH_IMAGE015
其中，
Figure 937929DEST_PATH_IMAGE016
为实体网络
Figure 305457DEST_PATH_IMAGE001
中实体节点最小度数；
Figure 812661DEST_PATH_IMAGE017
为实体网络
Figure 681260DEST_PATH_IMAGE001
中各实体节点度数；
Figure 324731DEST_PATH_IMAGE018
为实体网络
Figure 394318DEST_PATH_IMAGE001
中实体节点最大度数，记为
Figure 687022DEST_PATH_IMAGE019
，表示实体节点运输通路数。
3.根据权利要求2所述的方法，其特征在于，所述步骤2具体为：根据实体网络
Figure 296994DEST_PATH_IMAGE001
特征，计算实体节点运输通路数最大缺度
Figure 998234DEST_PATH_IMAGE020
以及各个实体节点运输通路数缺少程度总和
Figure 769881DEST_PATH_IMAGE021
:
Figure 313995DEST_PATH_IMAGE022
Figure 462080DEST_PATH_IMAGE023
其中，
Figure 17826DEST_PATH_IMAGE024
为第
Figure 960374DEST_PATH_IMAGE025
个实体节点缺度；
Figure 726205DEST_PATH_IMAGE026
为图
Figure 677980DEST_PATH_IMAGE001
中实体节点
Figure 88233DEST_PATH_IMAGE027
的度数；
满足以下四个条件的
Figure 467262DEST_PATH_IMAGE028
满足运输终端节点通路数相等的完备网络
Figure 720388DEST_PATH_IMAGE029
的构建：
（1）
Figure 210276DEST_PATH_IMAGE030
；
（2）
Figure 740614DEST_PATH_IMAGE031
；
（3）
Figure 290544DEST_PATH_IMAGE032
；
（4）
Figure 532432DEST_PATH_IMAGE033
为偶数；
由此，计算得出正整数
Figure 763693DEST_PATH_IMAGE034
取值范围，取
Figure 210855DEST_PATH_IMAGE035
，
Figure 994003DEST_PATH_IMAGE036
为构建虚拟网络
Figure 159405DEST_PATH_IMAGE037
所需的虚拟节点数目，集合
Figure 928778DEST_PATH_IMAGE038
为新增虚拟节点集合。
4.根据权利要求3所述的方法，其特征在于，所述步骤3具体为：虚拟网络
Figure 230447DEST_PATH_IMAGE037
的虚拟节点运输通路数
Figure 184496DEST_PATH_IMAGE039
为
Figure 571615DEST_PATH_IMAGE040
在满足每个虚拟节点的度数
Figure 144679DEST_PATH_IMAGE041
的情况下，随机生成虚拟运输通路，构建生成虚拟网络，并定义虚拟节点邻接关系集合
Figure 566433DEST_PATH_IMAGE042
，其中，
Figure 691384DEST_PATH_IMAGE043
为虚拟节点邻接矩阵，
Figure 565799DEST_PATH_IMAGE044
为虚拟节点运输通路连接权重，设置
Figure 942554DEST_PATH_IMAGE045
；直到虚拟网络
Figure 782596DEST_PATH_IMAGE037
中虚拟运输通路数达到
Figure 16131DEST_PATH_IMAGE039
，完成虚拟网络
Figure 315525DEST_PATH_IMAGE002
的构建。
5.根据权利要求4所述的方法，其特征在于，所述步骤4具体为：根据实体网络
Figure 27129DEST_PATH_IMAGE001
与虚拟网络
Figure 751372DEST_PATH_IMAGE037
，遍历
Figure 890229DEST_PATH_IMAGE001
中
Figure 676920DEST_PATH_IMAGE046
的各实体节点
Figure 457794DEST_PATH_IMAGE047
，
Figure 770963DEST_PATH_IMAGE048
，如果
Figure 346301DEST_PATH_IMAGE049
, 其中
Figure 354708DEST_PATH_IMAGE050
为实体节点
Figure 673694DEST_PATH_IMAGE047
的度数，则将实体节点
Figure 841371DEST_PATH_IMAGE047
与虚拟节点集合
Figure 790872DEST_PATH_IMAGE051
中的虚拟节点
Figure 614471DEST_PATH_IMAGE052
相连，并保证虚拟节点
Figure 23632DEST_PATH_IMAGE052
度数小于
Figure 249077DEST_PATH_IMAGE053
，完成完备网络
Figure 103901DEST_PATH_IMAGE004
中运输终端运输通路集合
Figure 149217DEST_PATH_IMAGE054
以及运输终端邻接矩阵
Figure 872322DEST_PATH_IMAGE055
更新，直到以下等式成立：
Figure 952274DEST_PATH_IMAGE056
其中，
Figure 977999DEST_PATH_IMAGE057
为完备网络
Figure 510611DEST_PATH_IMAGE003
中运输终端节点最小度数；
Figure 37407DEST_PATH_IMAGE058
为完备网络
Figure 971865DEST_PATH_IMAGE004
中各运输终端节点度数；
Figure 168491DEST_PATH_IMAGE059
为完备网络
Figure 188400DEST_PATH_IMAGE003
中运输终端节点最大度数；
对完备网络
Figure 518887DEST_PATH_IMAGE003
进行连通性检测，若不满足连通性则回到步骤3；若满足连通性检测，则将运输终端运输通路连接权重设置为
Figure 307852DEST_PATH_IMAGE060
，
Figure 940958DEST_PATH_IMAGE061
，得到完备网络
Figure 11945DEST_PATH_IMAGE004
：
Figure 818227DEST_PATH_IMAGE062
其中，
Figure 399381DEST_PATH_IMAGE063
为运输终端节点集合，
Figure 265706DEST_PATH_IMAGE064
；
Figure 56944DEST_PATH_IMAGE065
为运输终端运输通路集合；
Figure 401338DEST_PATH_IMAGE066
为运输终端邻接关系集合，
Figure 102578DEST_PATH_IMAGE067
。
6.根据权利要求5所述的方法，其特征在于，所述步骤5具体为：在实体网络
Figure 139804DEST_PATH_IMAGE001
的各实体节点上随机生成若干资源包，抽象资源包实际转移效益函数为动作状态转移函数，构建资源包特征向量作为状态向量，联合资源包所在实体节点的结构特征，输入完备网络
Figure 418338DEST_PATH_IMAGE003
中，获得动作决策，生成训练数据放入训练池中；在网络训练过程中批量抽取训练数据完成完备网络
Figure 566423DEST_PATH_IMAGE003
优化，得到最终的资源调配决策网络。
CN202211250383.9A 2022-10-13 2022-10-13 一种基于虚拟节点构建的工业互联网资源调配方法 Active CN115333953B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211250383.9A CN115333953B (zh) 2022-10-13 2022-10-13 一种基于虚拟节点构建的工业互联网资源调配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211250383.9A CN115333953B (zh) 2022-10-13 2022-10-13 一种基于虚拟节点构建的工业互联网资源调配方法

Publications (2)

Publication Number Publication Date
CN115333953A true CN115333953A (zh) 2022-11-11
CN115333953B CN115333953B (zh) 2023-01-10

Family

ID=83914933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211250383.9A Active CN115333953B (zh) 2022-10-13 2022-10-13 一种基于虚拟节点构建的工业互联网资源调配方法

Country Status (1)

Country Link
CN (1) CN115333953B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120294617A1 (en) * 2010-01-27 2012-11-22 Takashi Miyamura Virtual Network Control Method and System Based on Fluctuations
CN106879073A (zh) * 2017-03-17 2017-06-20 北京邮电大学 一种面向业务实体网络的网络资源分配方法及装置
CN110995619A (zh) * 2019-10-17 2020-04-10 北京邮电大学 一种服务质量感知的虚拟网络映射方法和装置
CN114500297A (zh) * 2022-04-01 2022-05-13 中国科学技术大学 基于虚实融合的大规模网络测试系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120294617A1 (en) * 2010-01-27 2012-11-22 Takashi Miyamura Virtual Network Control Method and System Based on Fluctuations
CN106879073A (zh) * 2017-03-17 2017-06-20 北京邮电大学 一种面向业务实体网络的网络资源分配方法及装置
CN110995619A (zh) * 2019-10-17 2020-04-10 北京邮电大学 一种服务质量感知的虚拟网络映射方法和装置
CN114500297A (zh) * 2022-04-01 2022-05-13 中国科学技术大学 基于虚实融合的大规模网络测试系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANPENG LIN等: ""Virtualized Resource Scheduling in Cloud Computing Environments: An Review"", 《2020 IEEE CONFERENCE ON TELECOMMUNICATIONS, OPTICS AND COMPUTER SCIENCE (TOCS)》 *
徐金烨: ""人工智能应用下NFV服务功能链的优化部署研究"", 《通信设计与应用》 *

Also Published As

Publication number Publication date
CN115333953B (zh) 2023-01-10

Similar Documents

Publication Publication Date Title
CN110611619B (zh) 一种基于ddpg强化学习算法的智能化路由决策方法
CN112132202B (zh) 一种基于综合信任评价的边缘计算协同盟员发现方法
CN101777990A (zh) 多目标免疫优化组播路由路径选择方法
CN111988225A (zh) 基于强化学习和迁移学习的多路径路由方法
CN115022937B (zh) 拓扑特征提取方法和考虑拓扑特征的多边缘协作调度方法
CN114415735B (zh) 面向动态环境的多无人机分布式智能任务分配方法
CN114710439B (zh) 基于深度强化学习的网络能耗与吞吐量联合优化路由方法
CN111917642B (zh) 分布式深度强化学习的sdn网络智慧路由数据传输方法
CN114697229A (zh) 一种分布式路由规划模型的构建方法及应用
CN111010341B (zh) 一种基于深度学习的覆盖网络路由决策方法
CN117392483B (zh) 基于增强学习的相册分类模型训练加速方法、系统及介质
CN116963225B (zh) 一种面向流媒体传输的无线mesh网络路由方法
CN115333953B (zh) 一种基于虚拟节点构建的工业互联网资源调配方法
Zhu et al. CollOR: Distributed collaborative offloading and routing for tasks with QoS demands in multi-robot system
CN114792187B (zh) 基于意愿和信任双重约束的群智感知团队招募方法及系统
LU505448B1 (en) Industrial internet resource allocation method based on virtual node construction
CN114828049B (zh) 一种基于多智能体强化学习的无线网络拓扑优化控制方法
CN101741749A (zh) 基于免疫克隆的多目标组播路由优化方法
CN115499365A (zh) 路由优化方法、装置、设备及介质
CN113595756A (zh) 一种异质化节点和链路的网络建模方法、通信设备及网络
CN115456313B (zh) 一种基于分层优化的工业互联网资源调配方法
Ma Multi-Task Offloading via Graph Neural Networks in Heterogeneous Multi-access Edge Computing
CN110611617B (zh) 基于节点差异性与活跃度的dtn路由方法
Zhang et al. Adaptive Service Function Chain Orchestration Algorithm Based on Deep Reinforcement Learning
CN116915629A (zh) 一种共址虚拟网元节能抗干扰部署方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant