CN114710437B - 一种结合区块链的物联网边缘网络路由系统 - Google Patents

Abstract

本发明提供了一种结合区块链的物联网边缘网络路由系统，系统内部同步运行有一种智能路由算法，本系统应用于网络内部的管理控制。所述系统由海量异构设备层、边缘网络设备层、知识共享平面三层组成，其中边缘网络设备层分为数据平面和控制平面，数据平面通过网络遥测技术探测网络状态信息，并上传至控制平面，控制平面通过路由算法进行在线决策并下发配置指令，数据平面根据控制平面下发的配置指令进行具体的路由处理操作；最终产生网络知识并上传至知识共享平面。知识共享平面利用区块链技术构建知识联盟链，各个边缘网络设备可以借助联盟链将知识共享给其他设备，修改路由算法的学习过程，从而在全局层面提升网络性能。

Description

一种结合区块链的物联网边缘网络路由系统

技术领域

本发明涉及网络技术领域，具体是涉及一种结合区块链的物联网边缘网络路由系统。

背景技术

当前的网络控制和管理系统大都基于终端主机或集中式控制框架，这种框架会产生过多的通信和计算开销，集中式的控制框架即使是对单个网络事件进行响应时，也需要搜集和分析大量网络数据，因此响应网络动态时不能实时做出反应。目前的网络管控方案很大程度上依赖于网络管理人员手工配置流程，当前网络变得越来越复杂和灵活，手工配置网络已经不能满足当前网络的需求。

可编程网络硬件的发展，使得在网络中部署深度强化学习算法来分析网络数据，在网络内部执行灵活的处理成为可能。当前对于深度强化学习技术在网络中的应用大多集中于流量分类、流量预测等方面，并未将深度强化学习技术应用于网络的管控。同时边缘智能设备间会产生大量的知识，这些知识片是孤立的、分布式的，但边缘网络路由的需求复杂，需要知识的互换与协作。现有的研究通常只专注于如何依据大量的数据训练优化智能模型，而没有将模型输出知识的汇集与共享纳入考虑的范围。

发明内容

为解决上述技术问题，本发明提出了一种结合区块链的物联网边缘网络路由系统。将深度强化学习应用于网络控制和管理中，充分利用深度强化学习的自适应能力，能够实现灵敏感知到网络动态变化并及时做出响应；同时，基于区块链的智能合约技术可以实现安全、可靠的网络知识共享。

本发明所述的一种结合区块链的物联网边缘网络路由系统，采用的技术方案为，所述路由系统包括海量异构设备层、边缘网络设备层和知识共享平面层；

所述海量异构设备层包括若干个物理终端，其通过边缘网络设备层接入网络；

所述边缘网络设备层包括若干个边缘设备，其监测网络状态信息，通过网络状态信息分析网络特征，并通过设置在所述边缘设备中基于DDPG的智能路由算法进行在线决策生成更新后的配置指令，边缘网络设备执行所述配置指令进而产生网络知识；

所述知识共享平面通过区块链将各个边缘网络设备产生的网络知识进行共享，修改智能路由算法学习过程。

进一步的，所述边缘网络设备分为数据平面和控制平面，所述物理终端产生计算任务并发出任务计算请求，分管此物理终端的边缘网络设备接收到此任务计算请求后，其数据平面利用网络遥测技术搜集网络状态信息并将所述信息上传至控制平面，所述控制平面接收来自数据平面上传的网络状态信息并进行数据存储；所述控制平面对网络状态信息进行数据筛选操作，然后通过控制平面上部署的智能路由算法针对处理后的网络状态信息生成相应的配置指令。

进一步的，对处理后的网络状态信息生成相应的配置指令，具体为：

当前的网络状态信息包括链路利用率、突发性微流量、传输带宽、传输等待时延、应用服务需求和数据丢失率，由当前的网络状态信息进行路由节点的选择，决定由哪些路由节点参与传输此次计算任务即最短时延或最优链路利用率；最后配置指令下发至数据平面；数据平面内对应的边缘网络设备接收配置指令，并按照配置指令通知参与传输此次计算任务的路由节点；同时该边缘网络设备响应物理终端发出的任务计算请求，物理终端将计算任务以数据包的形式上传至网络，数据包最终在选定的路由节点帮助下在网络进行传输。

进一步的，所述基于DDPG的智能路由算法生成相应的配置指令的具体步骤为：

步骤1、求状态：对于网络路由场景中的状态，求状态向量：

其中，N指N条链路，

指链路时延，

指链路利用率，分别作为优化及仿真验证时 的指标，

指第

条链路，

，共有

条链路；

步骤2、求动作：根据当前状态和策略作出当前控制平面对数据平面下发的具体路 由规则，动作表示为各条链路权值

；

步骤3、求奖励：根据当前时刻的网络状态和基于DDPG的智能路由算法下发的动 作，在下一时刻基于DDPG的智能路由算法会收到反馈，基于DDPG的智能路由算法根据反馈 的网络性能指标计算奖励；则奖励

，

表 示时延，

表示吞吐量，

表示容量，

表示链路利用 率，

为权重系数；

因为本次优化目标为链路时延

即

和链路利用率

即

，我们将奖励函数设置为总体的网络性能，即

；

步骤4、求策略：策略是指由知识共享平面决定采取的指标，包括时延、吞吐量、容量、链路利用率；状态、动作、奖励的设计囊括了路由场景的关键组成部分，通过观测网络全局状态，由当前策略选定的指标生成对应的控制动作，然后将新的路由规则下发到数据平面，并在下一时间收获奖励和记录训练经验；经过不间断的数据输入，智能路由算法进行自我优化，最终生成高价值的网络知识。

进一步的，知识共享平面通过区块链将各个边缘网络设备产生的网络知识进行共享，修改智能路由算法学习过程包括知识汇集和知识共享；

知识汇集的具体流程为：

(a)所有的边缘网络设备在接入区块链后会被分配到一个ID，这是由非对称加密生成的；

(b)边缘网络设备在生成网络知识后，将网络知识的参数和ID一同生成信息索引，并将信息索引上传到附近的高功率设备上，最终由高功率设备上传信息索引至联盟链；

知识共享的具体流程为：

(c)联盟链上的知识获取者将不断在联盟链上搜索需要或感兴趣的知识（知识获取者通过搜索链上的信息索引来了解自己需要的网络知识，因为信息索引里包含有网络知识对应的参数）；

(d)当知识获取者检索到对应的信息索引，便会根据信息索引里包含的ID，通过联盟链向对应的知识生产者发起知识共享请求；

(e)知识生产者在收到请求后，生产者使用私钥将知识加密，并通过附近高功率设备将加密知识经联盟链传送至知识获取者；

(f)同样的，知识获取者通过附近的高功率设备获取加密知识，并最终利用公钥解密；边缘网络设备的公钥都是在链上可查询的；

知识的加密使用私钥，保证知识的安全。如果知识的获取者和生产者同属于一个高功率设备，那么直接发送知识即可。

本发明所述的有益效果为：

1.本发明边缘网络路由系统采用深度强化学习技术，可以根据当前网络需求和状态，动态调整路由策略，实现智能路由算法的在线升级，实现网络优化。边缘网络设备可以通过与网络环境的交互，不断学习，做出更好的路由控制决策；

2.知识共享平面有效解决了边缘网络设备的知识孤岛，实现知识在边缘智能环境下的可共享；利用区块链技术构建知识联盟链，使用联盟链时，只需要高功率的设备进行验证，其它的边缘网络设备可以直接通过邻近的高功率设备来共享知识，这种方式成本更小、效率更高；此外，知识区块链中加入共识机制，以确保平面的安全和效率；

3.本发明提出的智能路由算法，实现了DDPG和路由选择的创新结合，仿真结果表明，该算法具有良好的收敛性和有效性；与传统的路由选择方案相比，本发明通过减少延时和提高链路利用率来实现更好的网络性能。

附图说明

图1为本发明的总体系统图；

图2为本发明的智能路由算法系统图；

图3为本发明的拓扑结构图；

图4为本发明的时延仿真图；

图5为本发明的链路利用率仿真图。

具体实施方式

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。

如图1所示，本发明提出的物联网边缘网络路由系统分为三个层次：海量异构设备层、边缘网络设备层、知识共享平面。

边缘网络设备层设置在网关、路由器、交换机上；知识共享平面设置在云上。

以下将介绍系统的整体运行机理、知识共享平面的知识汇集与共享过程、仿真。

系统整体运行机理

海量异构设备通过边缘网络设备接入网络。边缘网络设备层分为数据平面和控制平面，这两个平面在逻辑上是分离的。其中，数据平面通过网络遥测技术监测网络状态信息(链路利用率，突发性微流量、传输带宽、传输等待时延、应用服务需求、数据丢失率)，并对数据进行相应的处理操作（压缩、上传给控制层面）。控制平面上部署有基于DDPG的智能路由算法（控制平面由高性能CPU和GPU组成，为智能路由算法的训练过程提供计算能力），在接收到数据平面上传的数据后，通过网络状态数据来分析网络特征，不断进行自我优化并自动生成相应的配置指令，然后将更新后的配置指令下发给数据平面。随后，数据平面根据控制平面下发的配置指令进行具体的路由处理操作。最终产生网络知识并上传至知识共享平面（网络知识：即更新后的智能路由算法的各项参数）。在知识共享平面的帮助下，各个边缘网络设备可以把这些知识共享给其他设备，修改智能路由算法的学习过程，从而在全局层面提升网络性能。

物理终端产生计算任务，并发出任务计算请求。分管此物理终端的边缘网络设备接收此任务计算请求，数据平面利用网络遥测技术搜集网络状态信息（链路利用率，突发性微流量、传输带宽、传输等待时延、应用服务需求、数据丢失率）并将信息上传至控制平面，以及经控制平面将信息上传至知识共享平面；控制平面接收来自数据平面上传的网络状态信息并进行数据存储，针对网络状态信息进行数据筛选操作；控制平面上部署的智能路由算法针对处理后的网络状态信息生成相应的配置指令，即由当前的网络状态信息（链路利用率，突发性微流量、传输带宽、传输等待时延、应用服务需求、数据丢失率）进行路由节点的选择，决定由哪些路由节点参与传输此次计算任务（最短时延或是最优链路利用率）；最后配置指令下发至数据平面。数据平面内对应的边缘网络设备接收策略信息，并按照策略信息通知参与传输此次计算任务的路由节点，同时该边缘网络设备响应物理终端发出的任务计算请求，物理终端将计算任务以数据包的形式上传至网络，数据包最终在选定的路由节点帮助下在网络进行传输。

知识共享全面

各个边缘网络设备分布在不同地理环境，不断收集网络信息，根据其不同时空的网络情况，生成的网络知识也是不同的。在知识共享平面的帮助下，各个边缘网络设备可以把这些知识共享给其他设备，修改智能路由算法的学习过程，从而在全局层面提升网络性能。

知识共享采用分布式点对点(P2P)模式。我们通过联盟链实现知识的管理和共享，如果使用公链进行共享，一些边缘网络设备因为算力、功耗无法满足部署需求。使用联盟链时，只需要高功率的设备进行验证，其它的边缘网络设备可以直接通过邻近的高功率设备来共享知识。这种方式成本更小、效率更高。我们把生成网络知识的边缘网络设备称之为知识生产者，获取网络知识的边缘网络设备称之为知识获取者。

知识汇集的具体流程为：

(a)所有的边缘网络设备在接入区块链后会被分配到一个ID，这是由非对称加密生成的；

(b)边缘网络设备在生成网络知识后，将网络知识的参数和ID一同生成信息索引，并将信息索引上传到附近的高功率设备上，最终由高功率设备上传信息索引至联盟链；

知识共享的具体流程为：

(c)联盟链上的知识获取者将不断在联盟链上搜索需要或感兴趣的知识（知识获取者通过搜索链上的信息索引来了解自己需要的网络知识，因为信息索引里包含有网络知识对应的参数）；

(d)当知识获取者检索到对应的信息索引，便会根据信息索引里包含的ID，通过联盟链向对应的知识生产者发起知识共享请求；

(e)知识生产者在收到请求后，生产者使用私钥将知识加密，并通过附近高功率设备将加密知识经联盟链传送至知识获取者；

(f)同样的，知识获取者通过附近的高功率设备获取加密知识，并最终利用公钥解密；边缘网络设备的公钥都是在链上可查询的；

知识的加密使用私钥，保证知识的安全。如果知识的获取者和生产者同属于一个高功率设备，那么直接发送知识即可。

以上知识汇集、共享的全过程，都由智能合约脚本自动完成，以确保知识交易的效率和公平性。

结合图2进行说明

智能路由算法基于DDPG（深度确定性策略梯度算法）实现，DDPG是一种针对连续行为的策略学习方法，其目前发展已十分成熟，本文不对其做过多介绍。基于DDPG的智能路由算法只需要关注4个元素：状态、动作、奖励、策略。

状态：对于网络路由场景中的状态，我们使用数据平面监测并上传至控制平面的 数据，我们希望可以提高边缘网络路由性能，主要的优化目标为降低传输时延，提高链路利 用率。因此链路时延

和链路利用率

，被我们用来作为优化及仿真验证时的指标，则状态 向量为

，N条链路。

动作：动作需要智能路由算法根据当前状态和策略做出，也就是当前控制平面对 数据平面下发的具体路由规则，动作表示为各条链路权值

。

奖励：智能路由算法训练中的奖励是指边缘网络环境反馈的网络性能指标。根据 当前时刻的网络状态和智能路由算法下发的动作，在下一时智能路由算法会收到反馈，智 能路由算法会根据反馈的网络性能指标计算奖励。在边缘网络环境中，我们需要考虑时延、 吞吐量、容量、链路利用率等指标，选取何种指标与当前所采取的边缘网络策略有关，应用 需求不同，选取指标也不同。因此奖励可以选取时延、吞吐量这种单个的性能指标，也可以 设置权重综合考虑不同指标。则奖励

，

表示时 延，

表示吞吐量，

表示容量，

表示链路利用率，

为权重系数。

因为本次优化目标为时延和链路利用率，我们将奖励函数设置为总体的网络性 能，即

。

策略：策略是指由知识共享平面决定采取的指标（时延、吞吐量、容量、链路利用率等）。

状态、动作、奖励的设计囊括了路由场景的关键组成部分，通过观测网络全局状态，由当前策略选定的指标生成对应的控制动作，然后将新的路由规则下发到数据平面，并在下一时间收获奖励和记录训练经验。经过不间断的数据输入，智能路由算法可以进行自我优化，不断迭代策略，最终生成高价值的网络知识。

结合图3进行说明

本发明通过搭建半实物网络环境，测试并验证智能路由算法的性能。本发明边缘网络路由系统中控制平面采用ONOS控制器实现，智能路由策略生成应用使用语言为Python；数据平面采用P4交换机，实现网络数据的采集。

为测试系统在不同网络拓扑规模下的性能，选取10个不同规模的网络拓扑，网络节点从5个逐渐增加到50个，其中每个路由节点连接一个设备用以产生通信流量及接收信息。此外，仿真中每条链路的带宽都为10Mbps，所挂载的设备均为活跃状态，设备数据速率为5Mb/s。

我们还搭建了基于区块链的知识共享模型，这个模型是部署在以太坊上的。我们使用Python来实现每个路由节点间的交互，采用solidity语言来编写智能合约，编译之后的智能合约部署到区块链上。

结合图4、图5 进行说明

本发明针对传输时延和链路利用率两种性能指标，将智能路由算法与三种路由方案进行对比：

（1）Open Shortest Path First（OSPF），OSPF使用最短路径优先路由策略，根据各个网络链路预先分配的权重值进行加权，从而计算出最短路径。这种协议适用于大规模网络；

（2）Q-routing，是一种基于Q-learning的强化学习智能路由算法。它将每个路由节点视作强化学习模型中的状态，路由下一跳所选择的邻居节点作为动作，路由每一跳所花费的时延作为强化学习一次动作所获得的反馈值。

（3）DRL-TE是一种基于DRL，用于交通工程（TE）的控制框架。该框架通过学习网络环境及其动态，并在深度神经网络(DNNs)的指导下做出决策，最大化了一个广泛使用的效用函数。

结合图4，本发明在不同网络规模下测试对比了OSPF、Q-Routing、DRL-TE与本发明边缘网络路由系统（ENIR）的时延。OSPF的表现最差，其余三种路由方案在规模较小时的表现差距不大。随着网络拓扑规模的增大，Q-routing的性能逐渐变差，这是因为它采用包级别的路由控制方式，难以满足边缘网络的需求。在路由规模继续变大后，DRL-TE的时延急剧增加。而本发明边缘网络路由系统（ENIR）因为知识共享，可以实现快速响应，不会因为网络规模扩大而有较大的性能下降。

结合图5，本发明在其它条件相同的情况下，对OSPF、Q-Routing、DRL-TE和本发明边缘网络路由系统的链路利用率进行了对比。在路由规模扩大后，各方案的链路利用率均会出现不同程度的衰减。其中Q-Routing因为很难快速感知到拥塞消除的情况，所以表现最差。在路由收敛后，在应用OSPF、DRL-TE的网络中仍会持续性产生大量的报文流量，占用链路资源。本发明边缘网络路由系统（ENIR）的链路利用率明显优于其它三种方案。

以上所述仅为本发明的优选方案，并非作为对本发明的进一步限定，凡是利用本发明说明书及附图内容所作的各种等效变化均在本发明的保护范围之内。

Claims (2)

1.一种结合区块链的物联网边缘网络路由系统，其特征在于，所述路由系统包括海量异构设备层、边缘网络设备层和知识共享平面层；

所述海量异构设备层包括若干个物理终端，其通过边缘网络设备层接入网络；

所述边缘网络设备层包括若干个边缘设备，其监测网络状态信息，通过网络状态信息分析网络特征，并通过设置在所述边缘设备中基于DDPG的智能路由算法进行在线决策生成更新后的配置指令，边缘网络设备执行所述配置指令进而产生网络知识；

所述边缘网络设备分为数据平面和控制平面，所述物理终端产生计算任务并发出任务计算请求，分管此物理终端的边缘网络设备接收到此任务计算请求后，其数据平面利用网络遥测技术搜集网络状态信息并将所述信息上传至控制平面，所述控制平面接收来自数据平面上传的网络状态信息并进行数据存储；所述控制平面对网络状态信息进行数据筛选操作，然后通过控制平面上部署的智能路由算法针对处理后的网络状态信息生成相应的配置指令；

对处理后的网络状态信息生成相应的配置指令，具体为：

当前的网络状态信息包括链路利用率、突发性微流量、传输带宽、传输等待时延、应用服务需求和数据丢失率，由当前的网络状态信息进行路由节点的选择，决定由哪些路由节点参与传输此次计算任务即最短时延或最优链路利用率；最后配置指令下发至数据平面；数据平面内对应的边缘网络设备接收配置指令，并按照配置指令通知参与传输此次计算任务的路由节点；同时该边缘网络设备响应物理终端发出的任务计算请求，物理终端将计算任务以数据包的形式上传至网络，数据包最终在选定的路由节点帮助下在网络进行传输；

所述知识共享平面通过区块链将各个边缘网络设备产生的网络知识进行共享，修改智能路由算法学习过程；其中修改智能路由算法学习过程包括知识汇集和知识共享；

知识汇集的具体流程为：

(a)所有的边缘网络设备在接入区块链后会被分配到一个ID，这是由非对称加密生成的；

(b)边缘网络设备在生成网络知识后，将网络知识的参数和ID一同生成信息索引，并将信息索引上传到附近的高功率设备上，最终由高功率设备上传信息索引至联盟链；

知识共享的具体流程为：

(c)联盟链上的知识获取者将不断在联盟链上搜索需要或感兴趣的知识，信息索引里包含有网络知识对应的参数，知识获取者通过搜索链上的信息索引来了解自己需要的网络知识；

(d)当知识获取者检索到对应的信息索引，根据信息索引里包含的ID，通过联盟链向对应的知识生产者发起知识共享请求；

(e)知识生产者在收到请求后，生产者使用私钥将知识加密，并通过附近高功率设备将加密知识经联盟链传送至知识获取者；

(f)同样的，知识获取者通过附近的高功率设备获取加密知识，并最终利用公钥解密；边缘网络设备的公钥在链上可查询；如果知识的获取者和生产者同属于一个高功率设备，那么直接发送知识即可。

2.根据权利要求1所述的一种结合区块链的物联网边缘网络路由系统，其特征在于，所述基于DDPG的智能路由算法生成相应的配置指令的具体步骤为：

步骤1、求状态：对于网络路由场景中的状态，求状态向量：

其中，N指N条链路，

指链路时延，

指链路利用率，分别作为优化及仿真验证时的指 标，

指第

条链路，

，共有

条链路；

步骤2、求动作：根据当前状态和策略作出当前控制平面对数据平面下发的具体路由规 则，动作表示为各条链路权值

；

步骤3、求奖励：根据当前时刻的网络状态和基于DDPG的智能路由算法下发的动作，在 下一时刻基于DDPG的智能路由算法会收到反馈，基于DDPG的智能路由算法根据反馈的网络 性能指标计算奖励；则奖励

，

表 示时延，

表示吞吐量，

表示容量，

表示链路利用 率，

为权重系数；

因为本次优化目标为链路时延

即

和链路利用率

即

，我 们将奖励函数设置为总体的网络性能，即

；

步骤4、求策略：策略是指由知识共享平面决定采取的指标，包括时延、吞吐量、容量、链路利用率；通过观测网络全局状态，由当前策略选定的指标生成对应的控制动作，然后将新的路由规则下发到数据平面，并在下一时间收获奖励和记录训练经验；经过不间断的数据输入，智能路由算法进行自我优化，最终生成高价值的网络知识。

Images