CN112153153B - 一种协调分布式的网内资源调度方法及系统、存储介质 - Google Patents

Abstract

一种协调分布式的网内资源调度方法及系统、存储介质，其中网内资源调度方法包括：获取一上层控制器所管理范围内各网络节点分别上报的信息收集数据包，形成网内收集信息；根据网内收集信息构建网内资源分布状态图；根据网内资源分布状态图计算各网络节点的综合状态评估值；将与任意网络节点相邻的网络节点的综合状态评估值下发至该网络节点，以使得该网络节点调整与相邻的网络节点连接的网络接口的偏好顺序。由于根据网内收集信息构建网内资源分布状态图，使得上层控制器能够全局掌握下层网络的资源信息，利于对网内资源进行统一调度。

Description

一种协调分布式的网内资源调度方法及系统、存储介质

技术领域

本发明涉及网络信息处理技术领域，具体涉及一种协调分布式的网内资源调度方法及系统、存储介质。

背景技术

随着社会逐步向智能化发展的技术趋势，算力提升已经成为经济发展的重要推动力之一，而且国家发改委首次将算力基础设施明确纳入新型基础设施的建设范畴，可以预见的是，各种数据中心、AI、VR/AR等应用将迎来重要发展机遇。目前，已经有多家单位联合在网络5.0产业和技术创新联盟启动算力网络(Computing First Network，CFN)特设组筹备工作，未来网络的需求和探索研究方向将会是通过CFN建立全新的网络基础设施，帮助海量应用、海量计算资源、海量功能函数构成一个开放的生态。

现有的网络架构多采用端到端的方式，应用计算任务只能由服务器承接，不再适应未来大量碎片化、分散化的网内算力、存储等资源的调度，然而在算力网络中，网络中间节点也具备一定的算力资源，可以满足一定的计算需求，对实现对网络中算力、存储等资源的高效、均衡调度和控制起到巨大作用。现有的依赖云平台的架构如云计算架构，以及现有边缘计算平台架构如Cloudlet、PiCasso，多凭借如SDN控制器类似的集中式编排层，资源调度呈现出大规模、集中式的特点，虽然能够实现接近全局最优化的服务需求-资源匹配，但其不可避免地存在单点失效、可扩展性差、计算收敛慢、反馈延迟高、调度性能差等缺陷，且由于这类架构并没有考虑网络中间节点的计算能力，提供的仅是端到端的调度方案，不能有效利用网内节点的算力、存储、通信资源，提供的服务性能存在明显的局限性。

目前，算力网络调度架构相关的研究非常有限，有些研究工作中基于命名数据网络设计了分布式的网内计算调度架构，均还停留于调度架构的可行性设计，基于命名数据网络的分布式调度架构虽然高效灵活地转发算力需求，但由于全局信息的缺失，容易陷入局部最优的困境，无法实现算力、存储等资源的均衡调度，也无法达到算力、存储等资源和网络的联合优化效果。

发明内容

本发明主要解决的技术问题是：如何解决现有网内资源调度架构存在的反馈时延高、调度性能差和可扩展性差的问题。为解决上述技术问题，本申请提供一种协调分布式的网内资源调度方法及系统、存储介质。

根据第一方面，一种实施例中提供一种协调分布式的网内资源调度方法，其包括：获取一上层控制器所管理范围内各网络节点分别上报的信息收集数据包，形成网内收集信息；所述信息收集数据包包括对应网络节点的综合状态评估信息和网络节点相邻一跳的网络状态信息；根据所述网内收集信息构建网内资源分布状态图；所述网内资源分布状态图包括每个网络节点的算力状态和网内各网络节点之间的连接状态；根据所述网内资源分布状态图计算各网络节点的综合状态评估值；将与任意网络节点相邻的网络节点的综合状态评估值下发至该网络节点，以使得该网络节点调整与相邻网络节点连接的网络接口的偏好顺序。

在获取一上层控制器所管理范围内各网络节点分别上报的信息收集数据包之前，包括：向所述上层控制器所管理范围内各网络节点分别发送信息收集兴趣包的请求，以使得对应的网络节点收到所述信息收集兴趣包后上报对应的信息收集数据包；所述信息收集兴趣包包括网络节点自身状态和相邻网络通信状态的请求内容。

在获取上层控制器所管理范围内各网络节点分别上报的信息收集数据包的同时，还包括：获取所述上层控制器之外的其它控制器发送的同步信息，所述同步信息包括所述其它控制器所管理范围内各网络节点分别上报的信息收集数据包；根据所述上层控制器获取的信息收集数据包，和所述同步信息内包含的信息收集数据包形成所述网内收集信息。

对于每个网络节点，该网络节点的综合状态评估信息由节点算力资源状态和节点计算任务执行状态通过预设的状态评估算法计算得到；所述节点算力资源状态包括CPU核心数、CPU周期频率数、空闲缓存量的数值状态，所述节点计算任务执行状态包括任务持续占用CPU时间的数值状态；对于每个网络节点，该网络节点相邻一跳的网络状态信息包括相邻网络节点标识，与相邻网络节点之间的通信往返时延、数据传输速度和链路带宽。

所述根据所述网内收集信息构建网内资源分布状态图，包括：对所述网内收集信息中的每个信息收集数据包进行解析，得到对应网络节点的综合状态评估信息和网络节点相邻一跳的网络状态信息；根据每个网络节点的综合状态评估信息计算该网络节点的算力状态，以及根据每个网络节点相邻一跳的网络状态信息确定网内各网络节点之间的连接状态；利用每个网络节点的算力状态和网内各网络节点之间的连接状态构建所述网内资源分布状态图。

所述根据所述网内资源分布状态图计算各网络节点的综合状态评估值，包括：根据所述网内资源分布状态图获得任意网络节点的算力状态，以及相邻网络节点的算力状态；通过加权叠加对任意网络节点及其相邻网络节点的算力状态进行处理，得到任意网络节点的综合状态评估值。

根据第二方面，一种实施例中提供一种网内资源调度系统，其包括第一调度层和第二调度层，所述第一调度层包括至少一个上层控制器，所述第二调度层包括至少一个网络节点；所述上层控制器与至少一个网络节点通信连接且形成对所连接网络节点的管理范围；所述上层控制器用于与所管理范围内的各网络节点建立通信，以及通过上述第一方面中所述的网内资源调度方法向所管理范围内的任意网络节点下发相邻的网络节点的综合状态评估值；所述第二调度层内的每个网络节点包括部署于该网络节点的下层控制单元，所述下层控制单元用于接收所部署网络节点相邻的网络节点的综合状态评估值，以及根据接收到的综合状态评估值调整自身路由表中各网络接口的偏好顺序。

所述第一调度层包括多个上层控制器，各上层控制器之间通信连接，每个上层控制器与所述第二调度层内至少一个网络节点通信连接且形成对所连接网络节点的管理范围；对于任意一个上层控制器，若将该上层控制器之外的上层控制器作为其它控制器，则所述其它控制器用于获取所管理范围内各网络节点分别上报的信息收集数据包，以及利用获取的信息收集数据包形成同步信息并发送至该上层控制器。

对于任意一个上层控制器，该上层控制器包括：获取模块，用于获取该上层控制器所管理范围内各网络节点分别上报的信息收集数据包，和/或获取该上层控制器之外的其它控制器发送的同步信息，形成网内收集信息；构建模块，与所述获取模块连接，用于根据所述网内收集信息构建网内资源分布状态图；计算模块，与所述构建模块连接，用于根据所述网内资源分布状态图计算任意网络节点的综合状态评估值；发送模块，与所述计算模块连接，用于将与任意网络节点相邻的网络节点的综合状态评估值下发至该网络节点，以使得该网络节点调整与相邻网络节点连接的网络接口的偏好顺序。

根据第三方面，一种实施例中提供一种计算机可读存储介质，其包括程序，所述程序能够被处理器执行以实现上述第一方面所述的网内资源调度方法。

本申请的有益效果是：

依据上述实施例的一种协调分布式的网内资源调度方法及系统、存储介质，其中网内资源调度方法包括：获取一上层控制器所管理范围内各网络节点分别上报的信息收集数据包，形成网内收集信息；根据网内收集信息构建网内资源分布状态图；根据网内资源分布状态图计算各网络节点的综合状态评估值；将与任意网络节点相邻的网络节点的综合状态评估值下发至该网络节点，以使得该网络节点调整与相邻网络节点连接的网络接口的偏好顺序。此外，在获取上层控制器所管理范围内各网络节点分别上报的信息收集数据包的同时，还包括：获取上层控制器之外的其它控制器发送的同步信息，根据上层控制器获取的信息收集数据包，和同步信息内包含的信息收集数据包形成网内收集信息。第一方面，由于根据网内收集信息构建网内资源分布状态图，使得上层控制器能够全局掌握下层网络的资源信息，利于对网内资源进行统一调度、快速反馈；第二方面，由于根据网内资源分布状态图计算各网络节点的综合状态评估值，并将与任意网络相邻的网络节点的综合状态评估值下发至该网络节点，使得该网络节点配置的下层控制单元能够灵活调整路由表中各网络接口的偏好顺序，最终影响下层控制单元之间转发路径和任务执行节点的选择；第三方面，本申请技术方案采用了层次化协调分布式的网络架构设计，分为上下两个调度层，由上层集中式控制器和下层分布式控制单元组成，利于上层集中式控制器通过收集下层分布式控制单元的信息来对网内资源进行灵活调度，增强网内资源的调度性能；第四方面，本申请技术方案中上下两个调度层之间可以进行信息交互，上层控制器阶段性地收集下层控制单元采集的节点和网络的状态信息，并利用全局视野返回反馈信息，为指导和优化下层控制单元的调度决策提供了架构基础，使得系统结构具有很强的扩展性；第五方面，本申请技术方案构建的网内资源调度架构，旨在融合集中式调度架构的全局最优控制优点与分布式调度架构的灵活性优点，能够有效克服集中式、分布式各自存在的反馈时延高、安全性能差和局部优化难的问题；第六方面，本申请技术方案中的下层分布式控制单元实现了细时间尺度上的基础转发路由控制功能，具有时间粒度细、服务响应快的应用特性，上层集中式控制器实现了粗时间尺度上的网内资源调优调度功能，具有时间粒度粗、周期性调度决策的应用特征，两者结合可以深度融合两种调度架构的优点，最终实现网内资源调度架构的时效性和调度准确度的对立统一。

附图说明

图1为本申请实施例一中网内资源调度系统的结构示意图；

图2为上层控制器的结构示意图；

图3为本申请实施例二中网内资源调度系统的结构示意图；

图4为本申请实施例二中另一种网内资源调度系统的结构示意图；

图5为本申请实施例三中网内资源调度系统的结构示意图；

图6为本申请实施例四中网内资源调度方法的流程图；

图7为构建网内资源分布状态图的流程图；

图8为计算网络节点的综合状态评估值的流程图；

图9为网内资源分布状态图的结构示意图；

图10为本申请实施例五中网内资源调度方法的流程图；

图11为上层控制器的时序控制图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。

另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。

实施例一、

请参考图1，本实施例中公开一种网内资源调度系统，其包括第一调度层1和第二调度层2，下面分别说明。

第一调度层1包括至少一个上层控制器，如上层控制器11。第二调度层2包括至少一个网络节点，比如网络节点21、22、23、24、25、26。其中，上层控制器与至少一个网络节点通信连接且形成对所连接网络节点的管理范围，由于图1中只有一个上层控制器11，所以上层控制器11可以与网络节点21、22、23、24、25、26均进行通信连接，并且形成对该些网络节点的管理范围。第二调度层2内的每个网络节点包括部署于该网络节点的下层控制单元，比如网络节点21、22、23、24、25、26均包括部署与对应网络节点的下层控制单元。

此外，为便于第二调度层2内包括的多个网络节点之间能够进行通信，可以在网络节点21、22、23、24、25、26之间建立通信连接并以现有的网络协议进行通信。比如网络节点21、22均与网络节点23通信连接，网络节点23、24、25之间相互通信连接，网络节点26与网络节点25通信连接。

在本实施例中，上层控制器11用于与所管理范围内的各网络节点建立通信，以及依据预设的网内资源调度方法向所管理范围内的任意网络节点下发相邻网络节点的综合状态评估值。比如上层控制器11通过请求获取第二调度层2内各网络节点21、22、23、24、25、26的信息收集数据包，随后计算产生各网络节点的综合状态评估值。

在本实施例中，部署于每个网络节点的下层控制单元用于接收所部署网络节点相邻网络节点的综合状态评估值，以及根据接收到的综合状态评估值调整自身路由表中各网络接口的偏好顺序，从而影响转发路径和任务执行节点的选择。

在一个具体实施例中，参见图1和图2，上层控制器11可以包括获取模块111、构建模块112、计算模块113和发送模块114。

获取模块111用于获取该上层控制器11所管理范围内各网络节点(如网络节点21、22、23、24、25、26)分别上报的信息收集数据包，并形成网内收集信息。这里的信息收集数据包包括对应网络节点的综合状态评估信息和网络节点相邻一跳的网络状态信息，其中网络节点的综合状态评估信息由节点算力资源状态和节点计算任务执行状态通过预设的状态评估算法计算得到；节点算力资源状态包括CPU核心数、CPU周期频率数、空闲缓存量的数值状态，节点计算任务执行状态包括任务持续占用CPU时间的数值状态；其中网络节点相邻一跳的网络状态信息包括相邻网络节点标识，与相邻网络节点之间的通信往返时延、数据传输速度和链路带宽。

构建模块112与获取模块111连接，构建模块112用于根据网内收集信息构建网内资源分布状态图。比如，构建模块112可以根据每个网络节点的综合状态评估信息计算该网络节点的算力状态，以及根据每个网络节点相邻一跳的网络状态信息确定网内各网络节点之间的连接状态，从而利用每个网络节点的算力状态和网内各网络节点之间的连接状态构建网内资源分布状态图。

计算模块113与构建模块112连接，计算模块113用于根据网内资源分布状态图计算各网络节点的综合状态评估值。比如，计算模块113可以根据网内资源分布状态图获得任意网络节点的算力状态，以及相邻网络节点的算力状态，然后通过加权叠加对任意网络节点及其相邻网络节点的算力状态进行处理，得到任意网络节点的综合状态评估值。

发送模块114与计算模块113连接，发送模块114用于将与任意网络节点相邻的网络节点的综合状态评估值下发至该网络节点，以使得该网络节点调整与相邻网络节点连接的网络接口的偏好顺序。

需要说明的是，第一调度层1内的上层控制器可以采用SDN控制器，该SDN控制器可以是软件定义网络(SDN)中的应用程序，主要负责流量控制以确保智能网络管理。SDN控制器是基于如OpenFlow等协议的网络服务器，允许服务器告诉交换机向哪里发送数据包。

需要说明的是，在第二调度层内，部署于网络节点的下层控制单元可以是交换机、路由器等设备。

需要说明的是，关于第一调度层1内上层控制器11的具体功能可以参考下文中的实施例四。

本领域的技术人员可以理解，本实施例中采用了层次化协调分布式的网络架构设计，分为上下两个调度层，由上层集中式控制器和下层分布式控制单元组成，利于上层集中式控制器通过收集下层分布式控制单元的信息来对网内资源进行灵活调度。并且，第二调度层中的各网络节点主要提供基础转发路由功能，即便在第一调度层中的上层控制器不存在或者失效时也可以提供此功能。那么，下层分布式控制单元实现了细时间尺度上的基础转发路由控制功能，具有时间粒度细、服务响应快的应用特性，上层集中式控制器实现了粗时间尺度上的网内资源调优调度功能，具有时间粒度粗、周期性调度决策的应用特征。本实施例技术方案充分考虑了集中式和分布式架构各自的优缺点，提出的协调分布式的网内资源调度架构深度融合了现有两种调度架构的优点，并平衡和弥补了现有两种调度架构的不足，实现了时效性和调度准确度的对立统一，为实现高效的算力均衡调度和算网联合优化奠定了架构基础。

实施例二、

请参考图3，本实施例在实施例一的基础上进行了系统优化，公开一种优化的网内资源调度系统，该网内资源调度系统包括第一调度层1和第二调度层2。第一调度层1包括多个上层控制器，各上层控制器之间通信连接，如上层控制器11、12、13；第二调度层2包括多个网络节点，比如网络节点21、22、23、24、25、26。每个上层控制器与第二调度层2内至少一个网络节点通信连接且形成对所连接网络节点的管理范围。下面分别说明。

在本实施中，上层控制器与至少一个网络节点通信连接且形成对所连接网络节点的管理范围。比如图3中，上层控制器11与网络节点21、22通信连接并形成对网络节点21、22的管理范围，上层控制器12与网络节点23、24通信连接并形成对网络节点23、24的管理范围，上层控制器13与网络节点25、26通信连接并形成对网络节点25、26的管理范围。第二调度层2内的每个网络节点包括部署于该网络节点的下层控制单元，比如网络节点21、22、23、24、25、26均包括部署与对应网络节点的下层控制单元。

为便于第一调度层1内包括的多个上层控制器之间能够进行通信，可以在上层控制器11、12、13之间相互建立通信连接并以现有的网络协议进行通信，实现控制器之间的控制协调、信息同步功能。

为便于第二调度层2内包括的多个网络节点之间能够进行通信，可以在网络节点21、22、23、24、25、26之间建立通信连接并以现有的网络协议进行通信。比如网络节点21、22均与网络节点23通信连接，网络节点23、24、25之间相互通信连接，网络节点26与网络节点25通信连接。

在本实施例中，对于任意一个上层控制器，若将该上层控制器之外的上层控制器作为其它控制器，则其它控制器用于获取所管理范围内各网络节点分别上报的信息收集数据包，以及利用获取的信息收集数据包形成同步信息并发送至该上层控制器。

在本实施例中，上层控制器11用于与所管理范围内的各网络节点21、22建立通信，以及依据预设的网内资源调度方法请求获取各网络节点21、22上报的信息收集数据包；上层控制器11还用于与其它控制器建立通信，并请求获取其它控制器发送过来的同步信息(同步信息包括其它控制器所管理范围内各网络节点分别上报的信息收集数据包)，随后上层控制器11计算产生所管理范围内任意网络节点(如网络节点21)相邻的网络节点(如网络节点23)的综合状态评估值，以及向该网络节点(如网络节点21)下发相邻的网络节点(如网络节点23)的综合状态评估值。基于相同的道理，上层控制器12与所管理范围内的各网络节点23、24建立通信，并向每个网络节点下发相邻网络节点综合状态评估值；上层控制器13与所管理范围内的各网络节点21、22建立通信，并向每个网络节点下发相邻网络节点的综合状态评估值。

在一个具体实施例中，参见图2和图3，上层控制器12、上层控制器13可以和上层控制器11一样具有相同的功能模块，比如均包括获取模块111、构建模块112、计算模块113和发送模块114。

获取模块111不仅可以获取所在上层控制器所管理范围内各网络节点分别上报的信息收集数据包，还可以获取所在上层控制器之外的其它控制器发送的同步信息(同步信息包括其它控制器所管理范围内各网络节点分别上报的信息收集数据包)，利用获取的全部信息收集数据包形成网内收集信息。比如，对于上层控制器12，其可以获取所管理范围内各网络节点23、24分别上报的信息收集数据包，还可以获取上层控制器11和/或上层控制器13发送的同步信息，其中上层控制器11发送的同步信息包括上层控制器11所管理范围内各网络节点21、22分别上报的信息收集数据包，上层控制器13发送的同步信息包括上层控制器13所管理范围内各网络节点25、26分别上报的信息收集数据包。

需要说明的是，这里的信息收集数据包包括对应网络节点的综合状态评估信息和网络节点相邻一跳的网络状态信息，其中网络节点的综合状态评估信息由节点算力资源状态和节点计算任务执行状态通过预设的状态评估算法计算得到；节点算力资源状态包括CPU核心数、CPU周期频率数、空闲缓存量的数值状态，节点计算任务执行状态包括任务持续占用CPU时间的数值状态；其中网络节点相邻一跳的网络状态信息包括相邻网络节点标识，与相邻网络节点之间的通信往返时延、数据传输速度和链路带宽。

可以参考实施例一，构建模块112与获取模块111连接，主要用于根据网内收集信息构建网内资源分布状态图；计算模块113与构建模块112连接，主要用于根据网内资源分布状态图计算各网络节点的综合状态评估值；发送模块114与计算模块113连接，主要用于将与任意网络节点相邻的网络节点的综合状态评估值下发至该网络节点，以使得该网络节点调整与相邻网络节点连接的网络接口的偏好顺序。

在另外一个实施例中，参见图4，实施例二中第一调度层1内的各上层控制器可以采用上层控制单元组成的控制单元集进行功能代替。此时，第一调度层1内包括多个上层控制单元(参见附图标记11、12、13、14、15、16)，各上层控制单元之间通信连接。第一调度层1内的各上层控制单元11、12、13、14、15、16和第二调度层2内的各网络节点21、22、23、24、25、26分别一一对应连接，此时上层控制单元对下层的对应网络节点进行一对一的信息获取和综合状态评估值的下发。可以理解，图4中的结构相当于提供了另一种分布式控制器的解决方案，可以实现与图3结构相同的上下层之间的控制功能。

本领域的技术人员可以理解，本实施例中的上下两个调度层之间可以进行信息交互，上层控制器阶段性地收集下层控制单元采集的节点和网络的状态信息，并利用全局视野返回反馈信息，为指导和优化下层控制单元的调度决策提供了架构基础。

实施例三、

请参考图5，本实施例在实施例二的基础上进行了系统改进，公开一种改进的网内资源调度系统，该网内资源调度系统包括第一调度层1和第二调度层2。第一调度层1包括多个上层控制器，如上层控制器11、12、13，各上层控制器通信连接与设置于更高层的高层控制器14通信连接。第二调度层2包括多个网络节点，比如网络节点21、22、23、24、25、26。每个上层控制器与第二调度层2内至少一个网络节点通信连接且形成对所连接网络节点的管理范围。下面分别说明。

在本实施中，第一调度层1内的每个上层控制器与至少一个网络节点通信连接且形成对所连接网络节点的管理范围。比如图5中，上层控制器11与网络节点21、22通信连接并形成对网络节点21、22的管理范围，上层控制器12与网络节点23、24通信连接并形成对网络节点23、24的管理范围，上层控制器13与网络节点25、26通信连接并形成对网络节点25、26的管理范围。第二调度层2内的每个网络节点包括部署于该网络节点的下层控制单元，比如网络节点21、22、23、24、25、26均包括部署与对应网络节点的下层控制单元。

此外，第一调度层1内的各上层控制器11、12、13之间没有进行通信连接，而是均与一个高层控制器14进行通信连接，由高层控制器14来执行上层控制器11、12、13之间的控制协调和信息同步功能。

为便于第二调度层2内包括的多个网络节点之间能够进行通信，可以在网络节点21、22、23、24、25、26之间建立通信连接并以现有的网络协议进行通信。比如网络节点21、22均与网络节点23通信连接，网络节点23、24、25之间相互通信连接，网络节点26与网络节点25通信连接。

在本实施例中，第一调度层1内的各上层控制的结构均可以参见图2。那么结合图2和图5，对于每个上层控制器，该上层控制器中获取模块11用于与所管理范围内的各网络节点建立通信，以及依据预设的网内资源调度方法请求获取各网络节点上报的信息收集数据包，还可以从高层控制器获取其它控制器发送的同步信息(同步信息包括其它控制器所管理范围内各网络节点分别上报的信息收集数据包)，利用获取的全部信息收集数据包形成网内收集信息；随后，该上层控制器计算产生所管理范围内任意网络节点相邻网络节点的综合状态评估值，以及向该网络节点下发相邻网络节点的综合状态评估值。

本领域的技术人员可以理解，本实施例实际上设置了三个调度层，分别为高调度层、第一调度层、第二调度层，控制粒度随层次的变深而变得更细，相邻两层之间，下层需向上层上报该层所得的节点和网络信息，上层反馈调整报文，协同调度，优化下层的调度决策。

实施例四、

在实施例一中公开的网内资源调度系统的基础上，本实施例中公开一种协调分布式的网内资源调度方法，该网内资源调度方法由图1中的上层控制器11执行并实现相应功能。

请参考图6，本实施例中公开的网内资源调度方法包括步骤S110-S140，下面分别说明。

步骤S110，获取一上层控制器所管理范围内各网络节点分别上报的信息收集数据包，形成网内收集信息。这里的信息收集数据包包括对应网络节点的综合状态评估信息和网络节点相邻一跳的网络状态信息。

比如图1，上层控制器11获取所管理范围内各网络节点21、22、23、24、25、26分别上报的信息收集数据包，然后形成网内收集信息。

需要说明的是，对于第二调度层22内的每个网络节点，该网络节点的综合状态评估信息由节点算力资源状态和节点计算任务执行状态通过预设的状态评估算法计算得到；其中，节点算力资源状态包括CPU核心数、CPU周期频率数、空闲缓存量的数值状态，节点计算任务执行状态包括任务持续占用CPU时间的数值状态。比如，可以采用简单归一化后的加权求和法作为预设的状态评估算法，从而根据节点算力资源状态和节点计算任务执行状态来计算网络节点的综合状态评估信息；具体地，将节点算力资源状态和节点计算任务执行状态中的各个参量归一化为0至100的分值，并设置各个参量属性的权重值，然后各参量乘以对应的权重值，再进行求和运算，从而计算得到网络节点的综合状态评估信息。

需要说明的是，对于第二调度层22内的每个网络节点，该网络节点相邻一跳的网络状态信息包括相邻网络节点标识，与相邻网络节点之间的通信往返时延、数据传输速度和链路带宽。

步骤S120，根据网内收集信息构建网内资源分布状态图，这里的网内资源分布状态图包括每个网络节点的算力状态和网内各网络节点之间的连接状态。

在一个具体实施例中，参见图7，该步骤S120可以具体包括步骤S121-S123，分别说明如下。

步骤S121，对网内收集信息中的每个信息收集数据包进行解析，得到对应网络节点的综合状态评估信息和网络节点相邻一跳的网络状态信息。

综合状态评估信息由节点算力资源状态和节点计算任务执行状态通过预设的状态评估算法计算得到；其中，节点算力资源状态包括CPU核心数、CPU周期频率数、空闲缓存量的数值状态，节点计算任务执行状态包括任务持续占用CPU时间的数值状态。此外，对于每个网络节点，该网络节点相邻一跳的网络状态信息包括相邻网络节点标识，与相邻网络节点之间的通信往返时延、数据传输速度和链路带宽。

步骤S122，根据每个网络节点的综合状态评估信息计算该网络节点的算力状态，以及根据每个网络节点相邻一跳的网络状态信息确定网内各网络节点之间的连接状态。

需要说明的是，每个网络节点的综合状态评估信息与节点算力资源状态中的各个参量、节点计算任务执行状态中的各个参量都有关系，能够表征网络节点的算力状态。所以，可以直接将计算得到的综合状态评估信息作为网络节点的算力状态。

需要说明的是，每个网络节点的相邻一跳的网络状态信息包括相邻网络节点标识，那么可以根据这些标识得知相连接的网络节点，从而确定网内各网络节点之间的连接状态。

步骤S123，利用每个网络节点的算力状态和网内各网络节点之间的连接状态构建网内资源分布状态图。

在构建网内资源分布状态图时，可以按照以下步骤进行构建：(1)收集节点状态信息和节点相邻网络状态信息；(2)计算各节点自身的状态评价值；(3)根据节点连接关系建立一个数组和邻接矩阵，数组对应位置存储对应节点的状态评价分值，邻接矩阵存储对应链路的网络状态分值，比如用-1表示链路不存在，非0数值则对应链路具体的网络状态分值。

例如图9，若第二调度层内包括八个网络节点，每个网络节点的算力状态可以参见对应的数值，网络节点A、B、C、D、E、F、G、H的算力状态分别数值化表示为50、45、100、20、20、30、40、70；此外，各网络节点之间存在如图9内连线所示的连接状态。那么，图9中每个网络节点的算力状态和各网络节点之间的连接状态就构建了网内资源分布状态图。

可以理解，构建的网内资源分布状态图具有全局算力、存储、连接关系等重要的网内资源信息，因此在形式上往往表现为一个无向有权图。

步骤S130，根据网内资源分布状态图计算各网络节点的综合状态评估值。在一个具体实施例中，参见图8，该步骤S130可以具体包括步骤S131-S132，分别说明如下。

步骤S131，根据网内资源分布状态图获得任意网络节点的算力状态，以及相邻网络节点的算力状态。

比如，在图9示意的网内资源分布状态图中，对于网络节点F，该网络节点自身的算力状态为30，其相邻网络节点B、D、E、G、H的算力状态分别为45、20、20、40、70。

步骤S132，通过加权叠加对任意网络节点及其相邻网络节点的算力状态进行处理，得到各网络节点的综合状态评估值。

比如，在图9中，网络节点F自身的算力状态为30，其相邻网络节点D、E、G、H的算力状态分别为20、20、40、70，那么可以通过下面的三种加权叠加方法来计算网络节点F的综合状态评估值。

在第一种方法中，可以用邻居节点评分值的最大值来作为自己的新评分(即综合状态评估值)，这样网络节点F的邻居节点最大评分值为max(F，max(BDEGH))＝70。

在第二种方法中，直接叠加取平均sum(BDEFGH)/6＝30来得到网络节点F的综合状态评估值。

在第三种方法中，指定权值叠加且不超过邻居的最大值，设置一跳的权值为0.5，则计算(0.5B+0.5D+0.5E+0.5G+0.5H+F)＝105，该值超过了邻居节点的最大值70，则将70作为网络节点F的综合状态评估值。

步骤S140，将与任意网络节点相邻的网络节点的综合状态评估值下发至该网络节点，以使得该网络节点调整与相邻网络节点连接的网络接口的偏好顺序。

需要说明的是，比如图9，如果上层控制器将网络节点F相邻的网络节点B、D、E、G、H的综合状态评估值下发至网络节点F，则网络节点F上配置的下层控制单元接收下发综合状态评估值，以及根据接收到的综合状态评估值调整自身路由表中各网络接口(即与网络节点B、D、E、G、H连接的各网络接口)的偏好顺序，从而影响分布式控制单元的转发动作，比如影响转发路径和任务执行节点的选择。

在另一个实施例中，上述的步骤S110之前还可以包括请求步骤，该请求步骤具体包括：向上层控制器所管理范围内各网络节点分别发送信息收集兴趣包的请求，以使得对应的网络节点收到信息收集兴趣包后上报对应的信息收集数据包。这里的信息收集兴趣包包括网络节点自身状态和相邻网络通信状态的请求内容。

本领域的技术人员可以理解，在本实施例中，根据网内收集信息构建网内资源分布状态图，使得上层控制器能够全局掌握下层网络的资源信息，利于对网内资源进行统一调度；此外，根据网内资源分布状态图计算各网络节点的综合状态评估值，并将某一个网络节点相邻的网络节点综合状态评估值下发至该的网络节点，使得该网络节点配置的下层控制单元能够调整自身的网络资源，从而灵活调整路由表中各接口的偏好顺序。

实施例五、

在实施例二中公开的网内资源调度系统的基础上，本实施例中公开一种协调分布式的网内资源调度方法。该网内资源调度方法由图3中的每个上层控制器执行并实现相应功能。

请参考图10，本实施例中公开的网内资源调度方法包括步骤S210-S270，下面分别说明。

步骤S210，向上层控制器所管理范围内各网络节点分别发送信息收集兴趣包的请求，以使得对应的网络节点收到信息收集兴趣包后上报对应的信息收集数据包。这里的信息收集兴趣包包括网络节点自身状态和相邻网络通信状态的请求内容。该步骤S210之后可同时进入步骤S220和步骤S230。

比如图3和图11，上层控制器11向网络节点21分别发送信息收集兴趣包的请求，则网络节点21在收到信息收集兴趣包之后，上报对应的信息收集数据包。

步骤S220，获取上层控制器所管理范围内各网络节点分别上报的信息收集数据包。这里的信息收集数据包包括对应网络节点的综合状态评估信息和网络节点相邻一跳的网络状态信息。

比如图3和图11，上层控制器11可以获取网络节点21上报的信息收集数据包，还可以获取网络节点22上报的信息收集数据包。

步骤S230，在执行步骤S220的同时，还可以获取上层控制器之外的其它控制器发送的同步信息。这里的同步信息包括其它控制器所管理范围内各网络节点分别上报的信息收集数据包。

比如图3和图11，上层控制器11既可以从网络节点21、22获取上报的信息收集数据包，还可以从其它上层控制器(如上层控制器12、13)获取同步信息，从上层控制器12获取的同步信息包括上层控制器12所管理范围内各网络节点23、24分别上报的信息收集数据包，从上层控制器13获取的同步信息包括上层控制器13所管理范围内各网络节点25、26分别上报的信息收集数据包。

步骤S240，根据上层控制器获取的信息收集数据包，和同步信息内包含的信息收集数据包形成网内收集信息。

步骤S250，根据网内收集信息构建网内资源分布状态图，根据网内资源分布状态图计算各网络节点的综合状态评估值，将与任意网络节点相邻的网络节点的综合状态评估值下发至该网络节点，以使得该网络节点调整与相邻网络节点连接的网络接口的偏好顺序。这里的网内资源分布状态图包括每个网络节点的算力状态和网内各网络节点之间的连接状态。

在一个具体实施例中，参见图3，每个上层控制器在形成网内收集信息之后，对网内收集信息中的每个信息收集数据包进行解析，得到对应网络节点的综合状态评估信息和网络节点相邻一跳的网络状态信息；根据每个网络节点的综合状态评估信息计算该网络节点的算力状态，以及根据每个网络节点相邻一跳的网络状态信息确定网内各网络节点之间的连接状态；利用每个网络节点的算力状态和网内各网络节点之间的连接状态构建网内资源分布状态图；并且，根据网内资源分布状态图获得任意网络节点的算力状态，以及相邻网络节点的算力状态；通过加权叠加对任意网络节点及其相邻网络节点的算力状态进行处理，得到任意网络节点的综合状态评估值；最后，将与任意网络节点相邻的网络节点的综合状态评估值下发至该网络节点，以使得该网络节点调整与相邻网络节点连接的网络接口的偏好顺序。关于步骤S250的具体实现过程可参考实施例四中的步骤S120-S140，这里不再进行赘述。

需要说明的是，对于图4中示意的网内资源调度系统，由于第一调度层1内用多个上层控制单元11、12、13、14、15、16来取代多个上层控制器，那么每个上层控制单元依然可以执行本实施例中公开的网内资源调度方法来实现相应功能。

需要说明的是，对于图5中示意的网内资源调度系统，由于第一调度层1内的多个上层控制器11、12、13由高层中的高层控制器14来实现协调控制和信息同步，那么上层控制器之间接收和发送同步信息的过程由高层控制器14来统一实现，而每个上层控制器依然可以执行本实施例中公开的网内资源调度方法来实现相应功能。

本领域的技术人员可以理解，本实施例中根据公开的网内资源调度方法构建的网内资源调度架构，旨在融合集中式调度架构的全局最优控制优点与分布式调度架构的灵活性优点，能够有效克服集中式、分布式各自存在的反馈时延高、安全性能差和局部优化难的问题。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。

以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (8)

1.一种协调分布式的网内资源调度方法,其特征在于，包括：

获取一上层控制器所管理范围内各网络节点分别上报的信息收集数据包，形成网内收集信息；所述信息收集数据包包括对应网络节点的综合状态评估信息和网络节点相邻一跳的网络状态信息；

根据所述网内收集信息构建网内资源分布状态图；所述网内资源分布状态图包括每个网络节点的算力状态和网内各网络节点之间的连接状态；

根据所述网内资源分布状态图计算各网络节点的综合状态评估值；

将与任意网络节点相邻的网络节点的综合状态评估值下发至该网络节点，以使得该网络节点调整与相邻网络节点连接的网络接口的偏好顺序；

在获取一上层控制器所管理范围内各网络节点分别上报的信息收集数据包之前，包括：

向所述上层控制器所管理范围内各网络节点分别发送信息收集兴趣包的请求，以使得对应的网络节点收到所述信息收集兴趣包后上报对应的信息收集数据包；所述信息收集兴趣包包括网络节点自身状态和相邻网络通信状态的请求内容；

在获取上层控制器所管理范围内各网络节点分别上报的信息收集数据包的同时，还包括：

获取所述上层控制器之外的其它控制器发送的同步信息，所述同步信息包括所述其它控制器所管理范围内各网络节点分别上报的信息收集数据包；

根据所述上层控制器获取的信息收集数据包，和所述同步信息内包含的信息收集数据包形成所述网内收集信息。

2.如权利要求1所述的网内资源调度方法，其特征在于，

对于每个网络节点，该网络节点的综合状态评估信息由节点算力资源状态和节点计算任务执行状态通过预设的状态评估算法计算得到；所述节点算力资源状态包括CPU核心数、CPU周期频率数、空闲缓存量的数值状态，所述节点计算任务执行状态包括任务持续占用CPU时间的数值状态；

对于每个网络节点，该网络节点相邻一跳的网络状态信息包括相邻网络节点标识，与相邻网络节点之间的通信往返时延、数据传输速度和链路带宽。

3.如权利要求1-2中任一项所述的网内资源调度方法，其特征在于，所述根据所述网内收集信息构建网内资源分布状态图，包括：

对所述网内收集信息中的每个信息收集数据包进行解析，得到对应网络节点的综合状态评估信息和网络节点相邻一跳的网络状态信息；

根据每个网络节点的综合状态评估信息计算该网络节点的算力状态，以及根据每个网络节点相邻一跳的网络状态信息确定网内各网络节点之间的连接状态；

利用每个网络节点的算力状态和网内各网络节点之间的连接状态构建所述网内资源分布状态图。

4.如权利要求1-2中任一项所述的网内资源调度方法，其特征在于，所述根据所述网内资源分布状态图计算各网络节点的综合状态评估值，包括：

根据所述网内资源分布状态图获得任意网络节点的算力状态，以及相邻网络节点的算力状态；

通过加权叠加对任意网络节点及其相邻网络节点的算力状态进行处理，得到任意网络节点的综合状态评估值。

5.一种网内资源调度系统，其特征在于，包括第一调度层和第二调度层，所述第一调度层包括至少一个上层控制器，所述第二调度层包括至少一个网络节点；所述上层控制器与至少一个网络节点通信连接且形成对所连接网络节点的管理范围；

所述上层控制器用于与所管理范围内的各网络节点建立通信，以及通过权利要求1-4中任一项所述的网内资源调度方法向所管理范围内的任意网络节点下发相邻的网络节点的综合状态评估值；

所述第二调度层内的每个网络节点包括部署于该网络节点的下层控制单元，所述下层控制单元用于接收所部署网络节点相邻的网络节点的综合状态评估值，以及根据接收到的综合状态评估值调整自身路由表中各网络接口的偏好顺序。

6.如权利要求5所述的网内资源调度系统，其特征在于，所述第一调度层包括多个上层控制器，各上层控制器之间通信连接，每个上层控制器与所述第二调度层内至少一个网络节点通信连接且形成对所连接网络节点的管理范围；

对于任意一个上层控制器，若将该上层控制器之外的上层控制器作为其它控制器，则所述其它控制器用于获取所管理范围内各网络节点分别上报的信息收集数据包，以及利用获取的信息收集数据包形成同步信息并发送至该上层控制器。

7.如权利要求6所述的网内资源调度系统，其特征在于，对于任意一个上层控制器，该上层控制器包括：

获取模块，用于获取该上层控制器所管理范围内各网络节点分别上报的信息收集数据包，和/或获取该上层控制器之外的其它控制器发送的同步信息，形成网内收集信息；

构建模块，与所述获取模块连接，用于根据所述网内收集信息构建网内资源分布状态图；

计算模块，与所述构建模块连接，用于根据所述网内资源分布状态图计算各网络节点的综合状态评估值；

发送模块，与所述计算模块连接，用于将与任意网络节点相邻的网络节点的综合状态评估值下发至该网络节点，以使得该网络节点调整与相邻网络节点连接的网络接口的偏好顺序。

8.一种计算机可读存储介质，其特征在于，包括程序，所述程序能够被处理器执行以实现如权利要求1-4中任一项所述的网内资源调度方法。

Images