CN103957267A - 一种多网络多任务多节点数据分发方法 - Google Patents

Abstract

本发明公开了一种多网络多任务多节点数据分发方法。本方法为：1)主节点针对候选传输任务队列，获取每个传输任务的约束条件和特征属性；2)主节点根据每个传输任务的约束条件和特征属性，为每一传输任务设定一初步网络候选集；3)主节点根据每个传输任务优化目标及其初步网络候选集为该传输任务构造一应用层组播树，对该传输任务进行数据分发；应用层组播树的构建方法为：首先针对每一初步候选网络建立一网络模型，然后根据源节点到接收节点的约束条件，设置该网络模型的约束函数；然后通过求解有度约束的最小Steiner树问题，对该网络模型进行求解，得到满足节点度约束的最优子图，即所要构建的应用层组播树。本发明提高了调度效率。

Description

一种多网络多任务多节点数据分发方法

技术领域

本发明属于计算机网络(Computer Network)技术领域，涉及一种面向多任务数据在多网络环境下的面向多节点的最优分发方法。

背景技术

气象资料数据的分发，涉及到类型多样的海量气象资料，如观测实况、卫星云图、雷达资料、数值预报产品等。这些气象资料由总节点汇集并统一加工生成，可以通过多个通信网络传送到分布在各地的气象分节点。分布在各地的各级节点可通过多个通信网络与总部节点直连，也可以通过其它节点实现数据转发。并且这些通信网络之间完全隔离，总部节点总可以通过一个或多个通信网络将数据分发到任意一个目标节点。不同的数据有时效要求不一，各级各类节点数据需要不一，不同的网络覆盖范围、通信质量、传输容量差别很大。通过合理的选择网络，按照不同的时限和优化目标，将气象资料数据以合理的通信代价传输到目标节点，即多网环境下的优化分发是目前气象资料数据分发任务亟需解决的问题。

另一方面，气象数据在同一通信网络中传输，通过不同传输能力的节点数据转发，即通过业务层组播方式，也将缩短数据传输时间，实现一次分发，所有节点到达的目标。如何在同一通信网络中，根据目标节点集，构建合理的业务层组播树，按照不同的时限和优化目标，将气象资料数据以合理的通信代价传输到目标节点，即单网环境下的优化分发是目前气象资料数据分发任务需要解决的问题。

气象数据分发任务是分发节点将一个或一批数据以最快速度或最小代价传送到目标节点集中。分发任务成批出现、形式不一，具备各自的约束条件和特征属性；同时可通过多个具有不同传输特性的网络传输到目标节点上。在实际环境中，分发系统总以一个特定目标或多个特定目标的组合来实现数据的高效分发，如最快传输时间、最小传输代价、高可靠性、高并行分发。任务分发系统利用实时网络通信、数据传输状态，设定不同的调度策略，实现全局最优任务分发。

针对多任务分发，一般调度系统首先获取每个任务数据量，根据节点之间网络带宽计算传输时间，并叠加任务等待时间，按照设定的优化目标，利用任务调度算法，实现全局最优的任务调度。一般这种任务调度以静态调度为主。通过扩展，进一步考虑任务的约束，网络实时传输状态等因素，可实现任务的动态调度。另一方面，可利用历史经验调度，进一步修正和优化调度方案，提高调度效率。多任务分发过程如图1所示。针对多任务在多网络中分发，任一分发任务将根据任务约束和特征以及各网络状态特征，选择最优网络；在此基础上，构建最小传输树，将该最优网络中，将数据分发到节点集上。

本发明面向多任务数据多网络环境下实现全局最优的多目标节点分发问题，通过分发任务约束条件过滤候选网络集合，通过分发特性和分发节点范围构造业务层组播树，通过目标优化机制完成多分发任务数据在多网络环境下的全局最优分发。

例如，现有10个传输100M数据文件的任务到100个不同的节点，100个传输20M图片的任务到20个不同的节点，50个传输1G视频的任务到50个不同的节点，这些任务可选择卫星网、多个独立的地面宽带网、有安全隔离的网络、VPN网。针对每个分发任务，依据其约束和属性特征，如安全要求、可靠性要求初步选择可传输网络候选集。在此基础上，构建每个候选集网络上的覆盖所有目标节点的业务层组播树，依据优化目标最小分发时间，将这些任务调度到不同的网络中，利用最小业务层组播树完成数据传输，从而实现全局最小分发时间目标。

针对多任务多网络环境下的任务分发，气象资料滚动更新、形式多样，具有时限要求。在分发过程中，一般要求总节点尽快的将最新气象资料分发到需要的目标节点集。即气象资料的分发具备多任务、多传输网络、多目标节点特点。现有任务分发调度机制难以适应三个特点。表现在：1)现有系统和方法基本采用一阶段完成。即通过最优化调度方法，将任务以最优目标分发到目标节点。由于存在多网络隔离并存，且每次分发节点不一致，这种一阶段调度机制难以满足实际要求，存在调度时间长，目标节点不确定问题。2)分发任务的节点集合不一致导致难以统一构建调度模型。需要一种机制能够优化选择网络，并根据网络中构建的业务层组播树进行二阶段过滤最终确定传输网络。

在具体调度技术方法上，主流任务分发系统主要通过调度策略，利用任务的约束条件和属性特征，依据优化目标，实现任务在多网络上的全局最优传输。在实现多任务在多网络选择，以及网络中存在多节点分发时，现有调度方法主要存在的问题有：1)分发任务具有明显的约束条件和特征属性，缺乏一种有效过滤机制，实现分发网络的初步选择，以提高调度效率；2)多节点分发过程引入复杂性，现有方法缺乏有效的机制支持多节点数据分发；3)调度效率不高，需要针对每个任务在每个网络下传输到每个节点定义优化方案，算法具有较高的复杂性，调度效率较低；4)缺乏业务层组播树的重复利用和更新机制。业务层组播树主要应用于数据分发，但其构造过程和维护更新步骤复杂，需要通过简化策略，降低业务层组播树构造和维护更新时间，提高数据分发效率。

发明内容

本发明的目的是解决多分发任务在多个相互隔离的传输网络中实现任务在多节点高效传输问题，提供一种基于业务层组播覆盖网构造多网络多任务多节点分发方法。该方法通过基于约束条件和特征属性的多任务网络选择机制，快速高效的为分发任务选择传输网络候选集；通过基于优化目标的业务层组播树构造方法，为当前任务在当前网络传输到指定节点集构造最小传输树；通过基于优化目标的调度优化策略，实现全局最优的任务分发。

多网络多任务多节点分发方法，将依据任务约束和特征、网络状态特征，高效的组织管理各分发任务的调度过程，并按照优化目标调度任务，实现多任务在多网络环境下面向多目标节点的高效快速分发。

下面结合附图2对本发明作进一步详细描述。

本发明提供的基于应用层组播覆盖网构造多网络多任务多节点分发方法包括以下几个步骤：

步骤S2.1：分发任务约束条件和特征属性提取。主节点(即调度者)针对候选传输任务队列，获取每个传输任务的约束条件和特征属性。约束条件包括数据最长分发时间要求、数据保密要求、数据传输的可靠性要求、传输状态反馈要求等。特征属性包括数据分类、数据大小、数据优先级、节点等级、节点数量等。

步骤S2.2：初步网络候选集设定。主节点根据每个传输任务的约束条件和特征属性，选择出可传输网络候选集；候选集是由多种因素决定的，包括网络对任务所涉节点的覆盖情况，网络的密级和任务所涉数据密级的符合程度等，每一任务最终采用的一般是多个网络同时使用。如没有可选择网络，则依据最少网络选择原则，将分发任务分解到不同网络，并提供3个可选择网络分解方案。

步骤S2.3：构建应用层组播树。主节点为每个候选网络，按照分发节点，在每一候选网络中为该任务构造一应用层组播树。该应用层组播树在构造过程中，面向优化目标最优进行构造。

步骤S2.4：任务调度过程的多优化目标计算。主节点计算在固定代价(带宽)下每个候选网络中每个任务分发时间并加上该网络中等待本次任务分发的时间；同时根据任务要求和多个网络使用的总体情况确定单优化目标或多优化目标，计算优化目标所表示的值。

步骤S2.5：全局优化的整体调度过程。面向单优化目标或多优化目标，主节点为每个任务选择最优的网络，并构建最优传输的应用层组播树，实现多任务多网络环境下的全局最优数据分发。组播树的根节点是分发节点上的数据分发主机，叶节点是接收节点的数据接收主机。分发节点和接收节点通过不同种类网络连接。这些网络间常常是没有互联的独立编址的IP网络。而从每个节点看(这里的节点一般是指一个业务单位)有不同的通信主机连接不同的网络。由于外联网络的密级不同，这些通信主机往往和节点的业务内网通过隔离交换设备摆渡数据，因此无法通过应用层组播树实现分发树的构造和数据的分发。通过逻辑组播树解决这个问题。为了实现构造，就要采集状态，进行协同、完成配置、实现监管。针对这些信令交互需求，我们构造业务层覆盖网络解决通信问题。具体包括，业务层主机的定义、编址寻址和通信协议等内容。在业务层主机能进行有效通信的情况下，构造业务层覆盖网络上的“应用层组播”虽然可行，但开发全套业务层通信协议的代价过高，性能较低，为此，我们设计了信令与数据平面分离的方法。虽然在信令一级采用业务层主机通信，但在数据传输中使用现有的通信办法。例如当逻辑组播树，也就是业务层分发结构确定后，分发节点的数据主机通过现有方法将某个网络需分发的数据通过网闸摆渡到本节点的外网通信主机上。到达外网后，数据以该通信主机为根，以接收节点上位于同一网络的通信主机为叶节点，采用这个网络上适合的分发方法(如IP组播、应用层组播等)进行分发。到达接收节点后，再摆渡到其业务内网里，最终到达接收的数据主机。

步骤S2.6：应用层组播树管理。应用层组播树的存储，方便更新和查询。

关键点及对应的技术效果

关键点1：基于约束条件和特征属性的候选网络集选择。一个分发任务根据分发要求和分发数据内容，在实际网络传输过程中具有约束条件和特征属性。一个分发任务典型的约束条件包括分发的目标节点范围、分发状态信息反馈、分发任务的优先级、分发的截止时间要求、分发的安全要求。一个分发任务根据传输数据的不同，具备数据类型、数据格式、数据大小、数据可靠性要求、数据产生时间等特征属性。多任务网络选择机制利用分发任务的约束条件和特征属性，与现有网络进行约束和特征匹配，过滤选择满足条件的候选网络集合。在算法执行过程中，将分发任务的约束条件和特征属性转换为规则条件，即存在满足某某条件，则可选择某某网络；如果不满足某某条件，则不可选择某某网络。通过该步骤将所有的约束条件和特征属性表示为一系列规则集。最后依次匹配规则集中的规则，选择出满足条件的网络，形成候选网络集。

另一方面，经过约束条件和特征匹配后，现有网络都无法满足该分发任务传输。针对该问题，本发明依据最少网络匹配原则，将该分发任务分解到不同网络传输，并给出3个可供候选网络集合。

技术效果：面向多分发任务，依据约束条件和特征属性进行规则匹配，过滤选择出满足条件的候选网络集合。

关键点2：基于优化目标的应用层组播树构造方法。针对分发任务在某个特定网络上的数据分发，需要利用分发目标节点构建应用层组播树。由于现有网络基本未开通IP层组播，因此本发明提出通过节点数据转发，构建应用层组播树，实现数据一次分发，所有目标节点收取的效果。在构建应用层组播树时，考虑到由于每次分发时目标节点不同，必将生成新的组播树，造成构造时间过多，影响整体效率。本发明通过存储节点集-组播树并通过更新机制实现最小传输树(泛指最小延迟树，最小代价树等)维护，对于具有相同分发节点的任务则通过获取历史传输组播树来减少构造时间，即如果两个任务涉及的接收范围相同，可以使用之前构造的组播树，以简化构造过程；如果两次分发的数据特征类似，网络状况相近，那么使用历史组播树是一种近似最优的方法。在构造组播树时，本发明区别于传统应用层组播协议中组播树构造方法，利用最短传输时间或最小传输代价等优化目标，构造基于优化目标的最小传输树。即任务从源节点同时发送到网络中目标节点，不仅要求网络通信延时最小，而且要求满足源节点与各个目的节点间的带宽约束条件。该问题可以描述为一个数据多点传送问题，网络模型可表示为无向赋权图G＝(V,E)，V表示通信节点集合，其中s表示源节点，D＝(d1,d2,d3,…dk)表示目的节点集，E＝(e1,e2,…,em)为任意两相邻节点间通信链路的集合，并且在E上定义了两个实值函数，延时函数(d：E->R+，R+为正实数集)，带宽函数(b：E->R+)，同时设置了带宽约束函数F，其用来指定每个目标节点di，所能容许的最大传输带宽wi。

令P(s,di)表示从源节点s到目的节点di的路径，则源节点到各目的节点路径时延的最大值

d(T)＝max(∑e∈P(s,di)d(e))i∈D

d(e)＝M/b(e)

因此，数据多点传送优化问题的目标就是寻求满足度约束条件，同时传输到各个节点时延最小。

表示如下：

min(d(T))

s.t.qi≤ki,i＝1,2,…n

其中，qi表示节点i在子树T中的实际度，也就是与节点i相连的边的数目，ki表示节点的度约束值。

本发明将该问题转化为单源多目的有度约束的Steiner树问题。即度约束的单源多目的路径问题是在一个连通的无向图中，寻找一个包括源节点和多个目的节点的满足节点度约束的最优子图。它在数学上可以归结为求解有度约束的最小Steiner树问题，这是一个NP完全问题。最后通过遗传算法进行问题求解，从而获取在该网络中多节点最优应用层组播树构建机制。

技术效果：针对特定分发任务在特定网络多目标节点，构建满足优化目标的应用层组播树，并提供历史最优组播树的查找和更新；比如通过比对任务或比对网络条件查找历史最优组播树。

关键点3：基于优化目标的分发任务调度优化策略。在调度策略方面，区别于现有调度方法，可针对实时分发的任务，动态选择一个或多个优化目标组合，实现最优化数据分发。如基于不同网络的应用层组播树，计算该任务在该网络上的传输时间，并叠加在该网络上的等待时间，形成该任务的整体分发时间，作为主要的优化目标；可依据网络带宽限制作为代价最小优化目标；依据数据格式特点(文本、图形或视频)作为可靠性优化目标；依据不同特征属性的任务等待时间作为任务忍耐度优化目标。即用户可针对不同的传输数据特点、节点传输范围、优先级，允许优先选择特定网络；允许将已调度的任务重新计算分配，适应动态环境下的负载均衡和时间约束要求。

技术效果：依据单目标优化或多目标优化，实现任务的动态调度优化目标选择，选择最合适传输网络。

与现有技术相比，本发明的积极效果：

1)本发明提供的多网络多任务多节点分发方法，首先是过滤出候选网络集合，然后再单优化目标或多优化目标，选择出最终的传输网络，实现任务分发的网络二次选择，提高调度效率，并基于优化目标实现分发任务的全局优化调度。

2)本发明提供的多网络多任务多节点分发方法，通过构建特定网络的局部临时应用层组播树和全局任务调度策略，实现分发任务的全网覆盖，满足分发任务的一次分发，所有目标节点接收的效果。

附图说明

图1为多任务分发过程图；

图2为应用层组播覆盖网多任务多节点分发方法流程图。

具体实施方式

下面以实施具体说明本发明方法的实现。

设定现有10个传输1M数据文件的任务到不同的节点，100个传输20M图片的任务到不同的节点，50个传输1G视频的任务到不同的节点，这些任务可选择卫星网、多个独立的地面宽带网、有安全隔离的网络、VPN网。

通过分发任务约束条件和特征属性提取，可以获取不同任务的约束条件和特征属性。如传输100M数据文件的10个任务里面；有的任务要求在10分钟内传输完成；有的要求必须选择安全的网络进行传输，有的任务传输视频文件，对网络可靠性要求不高；有的传输节点范围非常广等等。

通过初步网络候选集设定，为不同传输任务选择候选网络集合。如要求在10分钟内传输完成的，可选择专线网络、高带宽网络等；需选择安全的网络进行传输的，可选择所有满足该安全级别的网络，针对传输节点范围非常广的分发任务，可选择多种卫星网络。

构建应用层组播树，为不同网络上不同节点建立临时组播传输树。该组播树构造依赖于所要传输的节点集合，并可按照传输时间最短或者传输代价最小进行构建。如一个任务要将数据分发到节点号为2,3,4,5,6,7,8,9的目标节点上(设定1号节点为分发节点)，依据组播树构造方法，可形成临时组播树：1->2->4->8,1->2->5,1->3->6->9,1->3->7，实现数据分发。

任务调度过程的多优化目标计算。针对所有任务，设定最小传输时间为优化目标，将这些任务分到不同网络中排队进行传输。如某个任务在计算分发时间时，发现利用专线分发时间最短，则可选择专线进行传输。后一个任务发现再使用专线传输时，等待事件过长，可选择无线网进行传输，以达到最短分发时间。

应用层组播树管理中，如针对某新分发任务，已存在某个网络中目标节点集形成的应用层组播树，则调用该组播树进行传输即可。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种多网络多任务多节点数据分发方法，其步骤为：

1)主节点针对候选传输任务队列，获取每个传输任务的约束条件和特征属性；

2)主节点根据每个传输任务的约束条件和特征属性，为每一传输任务设定一初步网络候选集；

3)主节点根据每个传输任务的单优化目标或多优化目标及其初步网络候选集为该传输任务构造一应用层组播树，对该传输任务进行数据分发；

其中，所述应用层组播树的构建方法为：首先针对每一初步候选网络建立一网络模型，即无向赋权图G＝(V,E)，V表示通信节点集合，包括源节点s和接收节点d，E为任意两相邻通信节点间通信链路P的集合；然后根据源节点到接收节点的约束条件，设置该网络模型的约束函数；然后通过求解有度约束的最小Steiner树问题，对该网络模型进行求解，得到包括源节点和多个接收节点的满足节点度约束的最优子图，即所要构建的应用层组播树。

2.如权利要求1所述的方法，其特征在于所述优化目标为从源节点同时发送到网络中接收节点的网络通信延时最小；所述约束条件为源节点与各个目的节点间的带宽约束条件；所述约束函数包括：延时函数，带宽函数以及带宽约束函数。

3.如权利要求1或2所述的方法，其特征在于所述约束条件包括分发的目标节点范围、分发状态信息反馈、分发任务的优先级、分发的截止时间要求、分发的安全要求；所述特征属性包括数据类型、数据格式、数据大小、数据可靠性要求、数据产生时间。

4.如权利要求3所述的方法，其特征在于设定所述初步网络候选集的方法为：将所述传输任务的约束条件和特征属性表示为一系列规则集，然后将现有网络特征依次与该规则集中的规则进行匹配，选择出满足条件的网络，形成所述初步候选网络集。

5.如权利要求4所述的方法，其特征在于如果所述传输任务没有匹配的网络，则依据最少网络选择原则，将该传输任务分解到不同网络，将分解到的网络作为该传输任务的所述初步候选网络集。

6.如权利要求1所述的方法，其特征在于根据传输任务的任务要求和该传输任务所用网络的总体使用情况确定所述单优化目标或多优化目标。

7.如权利要求1或6所述的方法，其特征在于根据传输数据特点、节点传输范围、或优先级作为所述优化目标，设定所述初步候选网络集。

8.如权利要求1所述的方法，其特征在于所述主节点将每一传输任务的应用层组播树，及对应的接收范围、数据特征保存到一组播树数据库中。

9.如权利要求8所述的方法，其特征在于所述步骤3)中，主节点首先根据所述传输任务的接收范围或数据特征查找所述组播树数据库，如果有匹配或相似的组播树，则直接利用该组播树对该传输任务进行数据分发。

10.如权利要求1所述的方法，其特征在于源节点的数据主机将所述传输任务所用的某一网络需分发的数据通过网闸摆渡到本节点的外网通信主机上，然后以该通信主机为根，以接收节点上位于同一网络的通信主机为叶节点，采用该网络上适合的分发方法进行分发；当数据到达接收节点后，再将数据摆渡到其业务内网里，最终到达接收的数据主机。