CN114884893B - 一种转发和控制可定义的协同流量调度方法与系统 - Google Patents

一种转发和控制可定义的协同流量调度方法与系统 Download PDF

Info

Publication number
CN114884893B
CN114884893B CN202210816019.8A CN202210816019A CN114884893B CN 114884893 B CN114884893 B CN 114884893B CN 202210816019 A CN202210816019 A CN 202210816019A CN 114884893 B CN114884893 B CN 114884893B
Authority
CN
China
Prior art keywords
flow
cooperative
definable
forwarding
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210816019.8A
Other languages
English (en)
Other versions
CN114884893A (zh
Inventor
梁元
肖戈扬
邹涛
闫林林
衣晓玉
张汝云
伊鹏
李丹
田乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information Engineering University of PLA Strategic Support Force
Zhejiang Lab
Original Assignee
Information Engineering University of PLA Strategic Support Force
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information Engineering University of PLA Strategic Support Force , Zhejiang Lab filed Critical Information Engineering University of PLA Strategic Support Force
Priority to CN202210816019.8A priority Critical patent/CN114884893B/zh
Publication of CN114884893A publication Critical patent/CN114884893A/zh
Application granted granted Critical
Publication of CN114884893B publication Critical patent/CN114884893B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2425—Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
    • H04L47/2433—Allocation of priorities to traffic types
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H04L47/62—Queue scheduling characterised by scheduling criteria
    • H04L47/625—Queue scheduling characterised by scheduling criteria for service slots or service orders
    • H04L47/6275—Queue scheduling characterised by scheduling criteria for service slots or service orders based on priority
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/72—Admission control; Resource allocation using reservation actions during connection setup
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种转发和控制可定义的协同流量调度方法与系统，包括协同流量调度决策模块、可定义流量控制模块、可定义流量转发模块；协同流量调度决策模块利用分布式集群计算作业协同流量之间的依赖关系、协同流量标识，基于拓扑排序法计算协同流量转发优先级得到调度策略；可定义流量控制模块接收调度策略，得到流表；采集网络资源度量数据，进行同类项合并和降维分析得到网络资源度量数据；可定义流量转发模块接收并检查可定义流量控制模块输出的流表，将检查后的流表进行协同流量报文的转发，当报文进入可定义数据面时，对报文进行解包，并按照优先级类型进行转发；收集网络资源度量数据，并输入至可定义流量控制模块。

Description

一种转发和控制可定义的协同流量调度方法与系统
技术领域
本发明属于计算机网络流量调度技术领域，尤其涉及一种转发和控制可定义的协同流量调度方法与系统。
背景技术
具备可编程能力的网络设备应用到越来越多的经典网络环境中，为网络设计和运维人员提供了更加丰富、更加灵活的网络统计信息。同时，也为网络运维人员提供了更加方便的网络应急调整能力和网络环境优化能力。
在网络设备不断进化和发展的同时，数据中心或者分布式计算环境的软硬件和数据传输规模也在持续发展和扩张。为了解决具备严格依赖关系的协同流量的传输问题，减少协同流量的总体传输时间和平均传输时间，将具备可定义能力的网络设备应用到该场景下，较大的延展了该网络场景下的调度的丰富度和可能性。
在集群计算场景中，若一个通信阶段由两组机器相互交织的流组成，且优化目标一致，则被定义为协同流量。当网络中出现拥塞时，单独考虑一个网络端口或者一个协同流量的传输带来的减少任务整体完成时间的收益是十分受限的。所以本文提出了一种转发和控制可定义的协同流量调度系统，用来从任务整体的依赖关系入手，优化协同流量的传输效率，提升分布式集群计算任务的整体完成效率。
发明内容
本发明的目的是针对现有技术不足，提出了一种转发和控制可定义的协同流量调度方法与系统。本发明填补了协同流量调度系统领域的技术空白，通过改进后的拓扑排序算法处理不同计算阶段、通信阶段之间的依赖关系，通过策略生成组件将协同流量优先级转变为受可定义流量转发模块功能限制的可执行调度规则，该调度规则由可定义流量控制模块生成流表，重构传统流表的包头域和动作表，将协同流量的两种优先级模式及其转发限制条件配置到可定义流量转发模块进行报文的匹配和转发，并在可定义流量转发模块实现无感网络资源度量。
本发明是通过以下技术方案来实现的：本发明实施例的第一方面提供了一种转发和控制可定义的协同流量调度系统，包括协同流量调度决策模块、可定义流量控制模块、可定义流量转发模块；
所述协同流量调度决策模块利用分布式集群计算作业协同流量之间的依赖关系、协同流量标识，利用不基于某一偏序生成集合全序的拓扑排序法和基于阈值的优先级并项操作计算协同流量转发优先级，得到调度策略；
所述可定义流量控制模块接收协同流量调度决策模块输出的调度策略，得到流表；采集网络资源状态信息，进行同类项合并和降维分析得到网络资源度量数据；
所述可定义流量转发模块接收并检查可定义流量控制模块输出的流表，将检查后的流表进行协同流量报文的转发，当报文进入可定义数据面时，对报文进行解包，并按照优先级类型进行转发；收集网络资源度量数据，并输入至可定义流量控制模块。
本发明实施例的第二方面提供了一种转发和控制可定义的协同流量调度方法，应用于上述的转发和控制可定义的协同流量调度系统，具体包括以下步骤：
（1）获取分布式集群计算作业各计算阶段的依赖关系，基于拓扑排序算法计算各计算阶段的优先级顺序，基于优先级顺序根据交换机硬件设备限制生成并下发协同流量调度策略；
（2）接收协同流量调度策略，并生成可定义流量转发模块可识别的流表；同时定时获取网络资源度量数据，并对数据进行同类项合并以及降维分析处理；
其中，获取网络资源度量数据包括：收集网络资源度量数据，采用度量报文的形式从待测量网络路径的起始端发送到终止端；在交换机网络设备上配置该度量报文的识别项，当交换机设备节点识别到该报文时，将待测量的数据特征写入该报文的载荷中，并将该度量报文继续转发到下一节点，重复此操作，直到转发到测量路径的终点，由该终点处的交换机网络设备节点输出网络资源度量数据；
（3）接收流表，并依据IP地址、MAC地址、协同流量标识进行匹配，匹配成功后，根据流表中的优先级模式、优先级数值及其对应动作进行流量转发或排队。
本发明实施例的第三方面提供了一种转发和控制可定义的协同流量调度装置，包括存储器和处理器，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述的转发和控制可定义的协同流量调度方法。
本发明实施例的第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的转发和控制可定义的协同流量调度方法。
本发明的有益效果是：（1）通过改进后的拓扑排序算法处理分布式集群计算任务不同计算阶段、通信阶段之间的依赖关系，可以快速的确定调度优先级，减少策略生成阶段带来的时间开销，同时保障了协同流量转发过程中，若协同流量B依赖A，则A先于B转发的基本原则；（2）可定义流量控制模块不仅可以将可执行调度规则转变为受限的流表，而且支持两种优先级模式的协同流量转发，对于不同优化目标具有较好的兼容性。同时，可定义流量控制模块可以预处理网络资源度量组件上送的度量数据，将用户感兴趣的网络性能指标输出给用户；（3）可定义流量转发模块支持根据自定义报文格式进行报文的解包和特征项匹配，为用户终端产生的含有用户自定义结构的报文提供了较强的支持能力，同时限制发包速率和严格优先级转发两种方式可以在多任务并发场景下发挥调度作用。网络资源度量组件的实现可以在不影响协同流量传输效率的情况下，让网络运维人员更加清晰全面的了解网络现状。
附图说明
图1是本发明的一种转发和控制可定义的协同流量调度系统结构框图；
图2是本发明方法的流程图；
图3是优先级并项操作的示意图；
图4示出了本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本发明系统采用分布式计算协同流量调度策略生成模块、转发和控制可定义的可编程网络设备组建具备智能调度能力的协同流量调度系统。本系统从具备严格依赖关系的作业逻辑出发，通过调度器生成调度策略，并将调度策略转化成可执行的调度规则并自动配置到具备可编程能力的控制面，控制面生成流表下发给具备可编程能力的数据面，由可编程数据平面按照控制面实时更新的流表进行协同流量的转发以及实时网络情况测量。
下面结合附图，对本发明提出的一种转发和控制可定义的协同流量调度方法与系统进行详细说明。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
如图1所示为本发明提出的一种转发和控制可定义的协同流量调度系统的结构框图，协同流量调度决策模块、可定义流量控制模块、可定义流量转发模块。
所述协同流量调度决策模块利用分布式集群计算作业协同流量之间的依赖关系、协同流量标识，基于拓扑排序法与协同流量转发优先级，得到调度策略；所述协同流量调度决策模块由三部分组成，分别是通信组件、调度算法组件和策略生成组件。所述通信组件一方面与分布式计算框架通信（即进行集群计算任务），获取作业各计算阶段的依赖关系以及协同流量标识；另一方面与可定义流量控制模块进行通信，下发策略生成组件生成的协同流量调度规则并获取流量控制模块进行数据汇算后的网络资源度量数据。所述调度算法组件用于读取分布式集群计算作业协同流量之间的依赖关系、协同流量标识，使用改进的拓扑排序算法对协同流量转发优先级进行计算并输出给策略生成组件，在对协同流量依赖关系进行拓扑排序时，对于同时刻入度为零的协同流量记为相同优先级。所述策略生成组件根据可定义流量转发模块的功能限制（所述功能限制指交换机硬件能够支持的优先级数量限制）和调度算法组件生成的协同流量优先级，基于带宽预留模式或严格优先级模式制定具体调度规则，并将调度算法组件生成的调度规则映射到硬件交换设备的配置中去，功能限制包括但不限于可定义数据面支持的优先级通道个数限制。
其中，所述调度算法组件中改进的拓扑排序算法相较于典型的拓扑排序算法主要有以下区别：典型的拓扑排序是将有向无环图中所有顶点排成一个线性序列，使得图中任意一对顶点u和v，若边<u, v>存在于图中，则在线性序列中u出现在v之前，由有向无环图得到满足上述表述的线性序列的过程称之为拓扑排序。但是，典型拓扑排序是由集合上的一个偏序得到该集合上的一个全序，对处于相同依赖层级深度的节点通过偏序赋予了先后顺序，显然是不能满足流量调度场景的。
本发明实施例中通过基于拓扑排序法计算协同流量转发优先级，得到调度策略的过程具体包括以下步骤：
S1，通过逐步更新有向无环图中每一节点的入度信息，并将同一个迭代过程中的入度为零的节点全部打包为同一层级，迭代后生成一个2维的线性序列作为拓扑排序的中间结果，其中第1维严格遵循典型拓扑排序中的依赖关系，第2维相互之间不存在依赖关系；本发明实施例中提出的改进的拓扑排序方法不再依靠集合的某一个偏序进行集合全序的生成。
S2，对步骤S1得到的中间结果，从第三个子列表开始逐项遍历（因为根节点不接受并项操作），通过设置流量大小阈值的形式将协同流量优先级向其父节点进行并项，直到出现非唯一入度子节点为止；
在集群计算有向无环图表示的计算中，不同计算阶段之间的传输流量即协同流量的大小差异是不确定的，对于纵向分支结构上的协同流量（即具有依赖关系的协同流量）而言，通过设置流量大小阈值的形式将协同流量优先级向其父节点进行并项，则可缩短整体任务的完成时间，优先级并项操作具体包括以下子步骤：
S201，设置二维线性序列的层级流量阈值thresholdlevel和协同流量并项阈值thresholdmerge。其中层级流量阈值表示拓扑排序中间结果中同一层级不同协同流量的流量之和，协同流量并项阈值是指协同流量发起并项操作的流量大小上限，只有当协同流量小于并项阈值的时候，才会发起并项操作。
所述优先级合并使用的层级流量阈值和协同流量并项阈值可以根据所述可定义流量控制模块所汇算出的网络资源度量数据进行更新（自动调增或调减），直到发现局部最优策略。
S202，从第三个子列表开始逐项遍历拓扑排序的中间结果中的协同流量数值，当协同流量数值coflow_size小于协同流量并项阈值的时候，通过原始拓扑结构获取其父节点，即前置依赖的标识，并在中间结果的二维线性序列中寻找该前置依赖节点所处的维度，计算该维度的层级流量数值coflow_sum并与层级流量阈值进行比较，当协同流量数值与层级流量数值之和小于层级流量阈时（即当coflow_size+coflow_sum <thresholdlevel时），将该协同流量合并到其前置依赖节点所处的维度，实现二维线性序列的更新。其中，第一个根节点维度不做此操作，且不允许进行合并。
S203，合并节点的唯一入度子节点，即将该节点作为唯一直接前置节点的协同流量，依次向前替换其前置依赖节点的位置（如图3所示），直到出现非唯一入度子节点为止，直到发现局部最优策略。
S3，2维线性序列中每一个子列表的下标（从0开始编码）即为子列表中协同流量的优先级。
其中，协同流量调度决策模块中的策略生成组件若采用带宽预留模式生成可执行 协同流量调度策略时，需考虑获取的汇算后网络资源度量数据，并根据现有可用带宽资源w 计算协同流量的转发速率s，即
Figure 907208DEST_PATH_IMAGE001
，
Figure 252738DEST_PATH_IMAGE002
。协同流量调度决策组件若 采用严格优先级模式生成可执行协同流量调度策略时，需要将调度算法组件生成的优先级 范围m映射到可定义流量转发模块可支持的优先级个数范围n内，即
Figure 809622DEST_PATH_IMAGE003
，F为用户定义的优先级映射函数。
所述可定义流量控制模块用于接收协同流量调度决策模块输出的调度策略，得到流表；采集网络资源状态信息，进行同类项合并和降维分析得到网络资源度量数据。所述可定义流量控制模块由三部分组成，分别是策略接收组件、控制信令生成及下发组件、网络度量数据汇算组件。所述策略接收组件提供可定义流量控制模块的北向接口，监听指定端口，接收来自所述协同流量调度决策模块的调度策略。所述控制信令生成及下发组件根据上述策略接收组件接收的调度规则，生成可定义流量转发模块能识别的流表并下发给可定义数据平面。所述网络度量数据汇算组件用于接收网络资源度量模块所测量出的网络资源度量数据，进行同类项合并和降维分析后将测量结果反馈给用户并且将测量结果作为调度策略的反馈发送给所述调度算法组件，用来动态的步进式的调整层级流量阈值和协同流量并项阈值。
所述可定义流量转发模块用于接收并检查可定义流量控制模块输出的流表，将检查后的流表进行协同流量报文的转发，当报文进入可定义数据面时，对报文进行解包，并按照优先级类型进行转发；收集网络资源度量数据，并输入至可定义流量控制模块。
所述可定义流量转发模块由流表动态更新组件、自定义报文转发组件以及网络资源度量组件三部分组成。所述流表动态更新组件用户接收来自可定义流量控制模块下发的流表，并反馈接收状态，上述流表的包头域除包含基本网络特征匹配项外，还包含了协同流量标识、优先级模式及其优先级数值，动作表定义的包含转发速率限制的转发动作，并据此对对流表进行检查；所述自定义报文转发组件按照具备上述特征的流表进行协同流量报文的转发，当报文进入可定义数据面时，可定义数据面按照自定义报文结构对报文进行解包处理，并对照流表进行包括协同流量标识在内的特征项匹配从而获取该报文的转发动作，若该报文所匹配流表中的优先级模式为严格优先级模式（strict priority，SP），则采用严格优先级模式进行转发，若该报文所匹配流表中的优先级模式为带宽预留模式（即队列整形技术中的一种方法，queue shaping），则按照动作表中的转发速率限制进行报文转发；所述网络资源度量组件是一种不需要控制平面干预，在可定义数据平面中的交换机设备节点进行网络状态收集与报告的度量框架。用于收集网络资源度量数据，并反馈至可定义流量控制模块。
如图2所示，本发明提出了一种应用上述系统的转发和控制可定义的协同流量调度方法，具体包括以下步骤：
（1）获取分布式集群计算作业各计算阶段的依赖关系，基于拓扑排序算法计算各计算阶段的优先级顺序，基于优先级顺序根据交换机硬件设备限制生成并下发协同流量调度策略。
具体地，协同流量调度决策模块通信组件获取分布式集群计算作业各计算阶段的依赖关系，由调度算法组件基于拓扑排序算法和基于阈值的优先级并项操作计算各计算阶段的优先级顺序，确定顺序之后则由策略生成组件根据可定义流量转发模块的功能限制生成可定义流量转发模块可执行的协同流量调度策略。之后由上述通信组件下发对应的调度策略到可定义流量控制模块。
（2）接收协同流量调度策略，并生成可定义流量转发模块可识别的流表；同时定时获取网络资源度量数据，并对数据进行同类项合并以及降维分析处理得到网络资源度量数据；具体包括以下步骤：
可定义流量控制模块提供北向接口用于订阅协同流量调度决策模块下发的协同流量调度策略，并生成可定义流量转发模块可识别的流表，更新到可定义流量转发模块中。
同时，可定义流量控制模块定时获取可定义流量转发模块中网络度量数据汇算组件上送的网络资源度量数据，并对该网络资源度量数据进行同类项合并以及降维分析，将处理之后的数据缓存在可定义流量控制模块中，等待协同流量调度决策模块中的通讯组件获取。
进一步地，可定义流量控制模块接收网络资源度量组件上送的网络资源度量数据，可支持筛选关注的特征字段。网络资源度量数据结果的发布采用发布订阅的模式，由协同流量调度决策组件主动获取该数据。缓存度量数据采用循环覆盖模式，防止溢出。
其中，定时获取网络资源度量数据包括：收集可定义流量控制模块输出的网络资源状态信息，反馈至可定义流量控制模块。具体地，可定义流量转发模块中的网络资源度量组件采用度量报文的形式，从待测量网络路径的起始端发送到终止端。需要在交换机网络设备上配置该度量报文的识别项，当交换机设备节点识别到该报文时，将待测量的数据特征写入该报文的载荷中，并将该度量报文继续转发到下一节点，重复此操作，直到转发到测量路径的终点，由该网络设备节点汇报度量情况，输出网络资源度量数据，并反馈至可定义流量控制模块。
（3）接收流表，并依据IP地址、MAC地址、协同流量标识进行检查与匹配，匹配成功后，根据流表中的优先级模式、优先级数值及其对应动作进行流量转发或排队。
具体地，可定义流量转发模块接收可定义流量控制模块下发的流表配置，当报文进入可定义数据面时，对报文进行解包，对解包后报文的特征项进行匹配。在匹配过程中，除基本网络信息如IP地址、MAC地址外，还应对协同流量标识进行精确匹配，匹配成功后，根据流表中的优先级模式、优先级数值及其对应动作进行流量转发或排队。
其中，解包过程所依赖的报文结构由用户在可定义流量转发模块中进行定义，包括但不限于各层报文头的字段设计，无法匹配特征时的默认调度策略等。
进一步地，若协同流量报文转发出现排队，当报文缓存队列溢出时，可定义流量转发模块应向可定义流量控制模块报告该情况，并统计溢出丢弃报文数量。
与前述转发和控制可定义的协同流量调度方法的实施例相对应，本发明还提供了转发和控制可定义的协同流量调度装置的实施例。
参见图4，本发明实施例提供的一种转发和控制可定义的协同流量调度装置，包括一个或多个处理器，用于实现上述实施例中的转发和控制可定义的协同流量调度方法。
本发明转发和控制可定义的协同流量调度装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图4所示，为本发明转发和控制可定义的协同流量调度装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的转发和控制可定义的协同流量调度方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (9)

1.一种转发和控制可定义的协同流量调度系统，其特征在于，包括协同流量调度决策模块、可定义流量控制模块、可定义流量转发模块；
所述协同流量调度决策模块利用分布式集群计算作业协同流量之间的依赖关系、协同流量标识，利用不基于某一偏序生成集合全序的拓扑排序法和基于阈值的优先级并项操作计算协同流量转发优先级，得到调度策略；
利用拓扑排序法计算协同流量转发优先级过程具体为：
S1，通过逐步更新有向无环图中每一节点的入度信息，并将同一个迭代过程中的入度为零的节点全部打包为同一层级，迭代后生成一个2维的线性序列作为拓扑排序的中间结果，其中第1维严格遵循典型拓扑排序中的依赖关系，第2维相互之间不存在依赖关系；
S2，对步骤S1得到的中间结果，从第三个子列表开始逐项遍历，通过设置流量大小阈值的形式将协同流量优先级向其父节点进行并项，直到出现非唯一入度子节点为止；
S3，将并项操作完成后更新得到的2维线性序列中每一个子列表的下标作为子列表中协同流量的优先级；
所述可定义流量控制模块接收协同流量调度决策模块输出的调度策略，得到流表；采集网络资源状态信息，进行同类项合并和降维分析得到网络资源度量数据；
所述可定义流量转发模块接收并检查可定义流量控制模块输出的流表，根据检查后的流表进行协同流量报文的转发，当报文进入可定义数据面时，对报文进行解包，并按照优先级类型进行转发；收集网络资源度量数据，并输入至可定义流量控制模块。
2.根据权利要求1所述的转发和控制可定义的协同流量调度系统，其特征在于，所述协同流量调度决策模块包括通信组件、调度算法组件和策略生成组件；
所述通信组件与分布式计算框架通信，获取各计算阶段的依赖关系以及通信阶段的标识；实时下发策略生成组件生成的调度策略，并实时接收度量数据；
所述调度算法组件根据计算阶段的依赖关系以及通信阶段的标识，利用拓扑排序法计算协同流量转发优先级；
所述策略生成组件根据交换机硬件设备限制和调度算法组件生成的协同流量优先级，基于带宽预留模式或严格优先级模式制定调度策略。
3.根据权利要求1所述的转发和控制可定义的协同流量调度系统，其特征在于，通过设置流量大小阈值的形式将协同流量优先级向其父节点进行并项的过程具体为：
S201，设置二维线性序列的层级流量阈值和协同流量并项阈值；其中，层级流量阈值表示拓扑排序中间结果中同一层级不同协同流量的流量之和，协同流量并项阈值是指协同流量发起并项操作的流量大小上限；
S202，遍历拓扑排序的中间结果中的协同流量数值，当协同流量数值小于协同流量并项阈值的时候，通过原始拓扑结构获取其父节点即前置依赖节点，并在中间结果的二维线性序列中寻找该前置依赖节点所处的维度，计算该维度的层级流量数值，并与层级流量阈值进行比较，当协同流量数值与层级流量数值之和小于层级流量阈时，将该协同流量合并到其前置依赖节点所处的维度，实现二维线性序列的更新；
S203，合并节点的唯一入度子节点，依次向前替换其前置依赖节点的位置，直到出现非唯一入度子节点为止。
4.根据权利要求2所述的转发和控制可定义的协同流量调度方法，其特征在于，基于带宽预留模式或严格优先级模式制定调度策略具体为：
若协同流量调度决策模块中的策略生成组件采用带宽预留模式生成可执行协同流量 调度策略时，需考虑网络资源度量数据，并根据现有可用带宽资源w计算协同流量的转发速 率s，即
Figure DEST_PATH_IMAGE001
，
Figure 608059DEST_PATH_IMAGE002
；
若协同流量调度决策模块中的策略生成组件采用严格优先级模式生成可执行协同流 量调度策略时，需要将调度算法组件生成的优先级范围m映射到可定义流量转发模块可支 持的优先级个数范围n内，即
Figure DEST_PATH_IMAGE003
，F为用户定义的 优先级映射函数。
5.根据权利要求1或3所述的转发和控制可定义的协同流量调度系统，其特征在于，所述可定义流量控制模块包括策略接收组件、控制信令生成及下发组件和网络度量数据汇算组件；
所述策略接收组件用于提供可定义流量控制模块的北向接口，监听指定端口，接收所述协同流量调度决策模块的调度策略；
所述控制信令生成及下发组件根据策略接收组件接收的调度规则，生成可定义流量转发模块能识别的流表，并下发给可定义数据平面；
所述网络度量数据汇算组件用于接收网络资源度量组件所测量出的网络资源度量数据，进行同类项合并和降维分析得到网络资源度量数据，并反馈给所述协同流量调度决策模块中的调度算法组件，以动态调整层级流量阈值和协同流量并项阈值。
6.根据权利要求1所述的转发和控制可定义的协同流量调度系统，其特征在于，所述可定义流量转发模块包括流表动态更新组件、自定义报文转发组件以及网络资源度量组件；
所述流表动态更新组件接收可定义流量控制模块下发的流表，并按协同流量标识、优先级模式及其优先级数值、动作表定义的包含转发速率限制的转发动作对流表进行检查；
所述自定义报文转发组件将检查后的流表进行协同流量报文的转发，当报文进入可定义数据面时，对报文进行解包，并按照策略生成组件确定的严格优先级模式或带宽预留模式进行转发；
所述网络资源度量组件是在可定义数据平面中的交换机节点进行网络状态收集与报告的度量框架。
7.一种转发和控制可定义的协同流量调度方法，应用于上述权利要求1~6任一项的转发和控制可定义的协同流量调度系统，其特征在于，具体包括以下步骤：
（1）获取分布式集群计算作业各计算阶段的依赖关系，基于拓扑排序算法计算各计算阶段的优先级顺序，基于优先级顺序根据交换机硬件设备限制生成并下发协同流量调度策略；
（2）接收协同流量调度策略，并生成可定义流量转发模块可识别的流表；同时定时获取网络资源度量数据，并对数据进行同类项合并以及降维分析处理；
其中，获取网络资源度量数据包括：采集网络资源状态信息，采用度量报文的形式从待测量网络路径的起始端发送到终止端；在交换机网络设备上配置该度量报文的识别项，当交换机设备节点识别到该报文时，将待测量的数据特征写入该报文的载荷中，并将该度量报文继续转发到下一节点，重复此操作，直到转发到测量路径的终点，由该终点处的交换机网络设备节点输出网络资源度量数据；
（3）接收流表，并依据IP地址、MAC地址、协同流量标识进行匹配，匹配成功后，根据流表中的优先级模式、优先级数值及其对应动作进行流量转发或排队。
8.一种转发和控制可定义的协同流量调度装置，包括存储器和处理器，其特征在于，所述存储器与所述处理器耦接；其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现上述权利要求7所述的转发和控制可定义的协同流量调度方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求7所述的转发和控制可定义的协同流量调度方法。
CN202210816019.8A 2022-07-12 2022-07-12 一种转发和控制可定义的协同流量调度方法与系统 Active CN114884893B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210816019.8A CN114884893B (zh) 2022-07-12 2022-07-12 一种转发和控制可定义的协同流量调度方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210816019.8A CN114884893B (zh) 2022-07-12 2022-07-12 一种转发和控制可定义的协同流量调度方法与系统

Publications (2)

Publication Number Publication Date
CN114884893A CN114884893A (zh) 2022-08-09
CN114884893B true CN114884893B (zh) 2022-10-25

Family

ID=82683434

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210816019.8A Active CN114884893B (zh) 2022-07-12 2022-07-12 一种转发和控制可定义的协同流量调度方法与系统

Country Status (1)

Country Link
CN (1) CN114884893B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117132090B (zh) * 2023-10-27 2024-02-13 亿海蓝（北京）数据技术股份公司 共舱船期排序方法及系统、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156782A (zh) * 2011-04-14 2011-08-17 国电南瑞科技股份有限公司 基于图论的电力系统公式并行运算管理方法
CN112291161A (zh) * 2020-10-10 2021-01-29 燕山大学 一种时间敏感网络混合流量调度方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9253041B2 (en) * 2013-07-03 2016-02-02 Cisco Technology, Inc. Advertising layer 0 network topology information to a layer 3 network
US10397055B2 (en) * 2017-12-13 2019-08-27 Nicira, Inc. Priority based scheduling in network controller using graph theoretic method
CN112288249A (zh) * 2020-10-20 2021-01-29 杭州鲸算科技有限公司 业务流程执行方法、装置、计算机设备和介质
US11822962B2 (en) * 2020-12-11 2023-11-21 Oracle International Corporation Techniques for execution orchestration with topological dependency relationships
CN113518012B (zh) * 2021-09-10 2021-12-10 之江实验室 一种分布式协同流量仿真环境构建方法及系统
CN114465941B (zh) * 2022-04-13 2022-07-15 之江实验室 基于收发包协同的集群计算流量仿真方法、系统与装置
CN114691342B (zh) * 2022-05-31 2022-09-20 蓝象智联(杭州)科技有限公司 一种联邦学习算法组件优先级调度实现方法、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156782A (zh) * 2011-04-14 2011-08-17 国电南瑞科技股份有限公司 基于图论的电力系统公式并行运算管理方法
CN112291161A (zh) * 2020-10-10 2021-01-29 燕山大学 一种时间敏感网络混合流量调度方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
求解Logit随机网络配流问题的改进Dial算法;四兵锋等;《中国公路学报》;20090115(第01期);全文 *

Also Published As

Publication number Publication date
CN114884893A (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
JP7039685B2 (ja) トラフィック測定方法、デバイス、およびシステム
US11044204B1 (en) Visibility packets with inflated latency
WO2021052374A1 (zh) 网络拥塞控制方法、节点、系统及存储介质
CN114422448A (zh) 一种时间敏感网络流量整形方法
CN114884893B (zh) 一种转发和控制可定义的协同流量调度方法与系统
US20180203895A1 (en) Best-efforts database functions
CN111813556A (zh) 云计算环境下的虚拟集群的弹性伸缩方法
Nguyen et al. Rethinking virtual link mapping in network virtualization
CN114500354A (zh) 一种交换机控制方法、装置、控制设备及存储介质
CN113765825A (zh) 一种链式业务流调度的规划方法和系统架构
CN116828623A (zh) 数据包多路径调度装置及方法
CN113259263B (zh) 一种深度报文检测集群中的数据包调度方法
CN115277504A (zh) 一种网络流量监控方法、装置和系统
CN114363246A (zh) 众核的片上网络数据传输方法、装置、设备及介质
CN110661731B (zh) 一种报文处理方法及其装置
CN108881058B (zh) 一种网络流到QoS类的软聚集方法
CN112035523A (zh) 一种并行度的确定方法、装置、设备及存储介质
CN104486240A (zh) 一种数据包分类方法及装置
CN115988574B (zh) 基于流表的数据处理方法、系统、设备和存储介质
CN114430398B (zh) 面向标识解析请求聚合压缩的带宽效率优化方法及装置
WO2023123171A1 (zh) 基于模式互补的虚拟网络映射的方法、装置和计算机可读存储介质
CN115720211B (zh) 网算一体的芯粒间路由器及数据包聚合方法
CN117896323B (zh) 基于优先级的数据流基数在线测量方法和系统
CN111917648B (zh) 一种数据中心里分布式机器学习数据重排的传输优化方法
CN117579534A (zh) 智能路由方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant