CN115333606A - 面向低轨星座存储网络的分布式编码数据下载与修复方法 - Google Patents

面向低轨星座存储网络的分布式编码数据下载与修复方法 Download PDF

Info

Publication number
CN115333606A
CN115333606A CN202210961221.XA CN202210961221A CN115333606A CN 115333606 A CN115333606 A CN 115333606A CN 202210961221 A CN202210961221 A CN 202210961221A CN 115333606 A CN115333606 A CN 115333606A
Authority
CN
China
Prior art keywords
node
satellite
network
task
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210961221.XA
Other languages
English (en)
Other versions
CN115333606B (zh
Inventor
顾术实
张智凯
张瑞
李树茂
张钦宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202210961221.XA priority Critical patent/CN115333606B/zh
Publication of CN115333606A publication Critical patent/CN115333606A/zh
Application granted granted Critical
Publication of CN115333606B publication Critical patent/CN115333606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/02—Resource partitioning among network components, e.g. reuse partitioning
    • H04W16/10—Dynamic resource partitioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/1851—Systems using a satellite or space-based relay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Radio Relay Systems (AREA)

Abstract

本发明涉及卫星数据处理领域，特别涉及一种面向低轨星座存储网络的分布式编码数据下载与修复方法。本发明根据已知的巨星座网络拓扑，结合Hadoop分布式文件系统和软件定义网络，建立卫星编码存储网络模型。然后分别对下载和修复任务的时延进行分析，建立任务完成时延公式并提出优化问题。在单个任务的情况下通过设计资源约束下的任务流量调度策略，结合路径选择策略和节点选择策略，平衡各卫星的路径传播时延和数据传输时延，避免由于部分卫星时延太大而使整个网络时延增加，有效降低网络整体的任务完成时延。同时执行多个任务时，通过构建二分图模型实现最大流算法，达到负载的近似均衡，再结合任务流量调度策略，有效降低卫星网络的任务完成时延。

Description

面向低轨星座存储网络的分布式编码数据下载与修复方法
技术领域
本发明涉及卫星数据处理领域，特别涉及一种面向低轨星座存储网络的分布式编码数据下载与修复方法。
背景技术
随着空天地一体化的发展，地面和卫星网络之间的整合被视为进一步增强网络能力的一种潜在方法，构建卫星地面网络成为未来网络发展的主流趋势。低轨宽带星座具有大容量、高速率、全覆盖等特点，是构建新一代泛在通信与服务一体化网络的重要基础设施。随着卫星应用技术的快速发展，全球低轨星座的数量将极速激增至数万颗之多，巨星座的部署规划已成为全球互联网商业与国家网络强国战略的热点问题。软件定义网络(Software Defined Network,SDN)等新兴技术依赖于可编程和可重构概念，预计将在这方面发挥重要作用。引入SDN范式的未来巨星座网络将数据层与控制层分离，其中控制逻辑放在可编程SDN控制器上。而随着卫星网络应用场景的不断增加以及现代人们数据需求的不断增长，星上的数据量也呈爆发式增长，同时，受复杂空间环境的影响，卫星极易损坏，对星上采用的存储系统提出了极大的挑战。
分布式存储是一种新的数据存储技术，它将数据分散存储到多个存储服务器上，并将这些分散的存储资源构成一个虚拟的存储设备。相比于传统的数据存储系统，分布式存储系统采用可扩展的系统结构，使用多个存储服务器来分配存储负载，这不仅提高了系统访问的可靠性和可用性，还有利于系统的扩展，满足当前数据量激增面临的存储需求和卫星网络的分布特性。同时，分布式存储系统为了保障数据不丢失，主要采用复制和纠删码(Erasure Code,EC)两种方式进行数据存储。复制主要是将原始数据复制多个副本，把不同的副本存入不同节点，一旦有节点发生损坏，可以从其他节点中获取数据进行修复，以达到容错的目的。复制策略采用连续布局的方式存储数据，这种存储方式会将数据依次写入每个块中，即一个块写满之后再写入下一个块，每个数据块复制成多份，然后存到不同的节点中，当有节点发生损坏的时候，可以从其他的节点中获取数据进行修复。这种容错策略虽然能有效防止数据出错，但存储效率极低，尤其是在大数据存储的系统中，大大增加了存储开销。因此，越来越多的存储系统开始采用纠删码的策略实现容错，其中最常用的是Reed-Solomon(RS)码。一个参数为(n,k)的RS码能够将文件均分成k个数据块，通过编码矩阵，得到额外的n-k个校验块，然后将这n个块存储到不同集群的节点中，其中任一数据块丢失，都能通过连接剩余任意k个正常工作节点进行恢复，并且最大可容许n-k个数据块丢失。这种策略大大提高了系统的存储效率。RS码弃用之前的连续布局方式，改为条带化存储。这种布局方式将块分成更小的单元，一个条带由n个相同大小的单元构成，数据被依次写入条带的各个单元中，当一个条带被写满之后就写入下一个条带，一个条带的不同单元属于不同的数据块。进行数据传输时，按条带进行传输。
巨星座网络中拥有的大量具备存储能力的分散节点和高速互联的星间通信链路，为分布式编码的合理应用提供了可行契机，而卫星编码存储系统对任务完成的时延往往有着很高的要求，因此，解决分布式存储系统与卫星网络的适配性问题是必要的。
发明内容
本发明提供一种面向低轨星座存储网络的分布式编码数据下载与修复方法，旨在解决分布式存储系统与卫星网络的适配性问题。
本发明提供一种面向低轨星座存储网络的分布式编码数据下载与修复方法，所述任务流量调度方法针对卫星编码存储网络系统，所述卫星编码存储网络系统包括卫星网络拓扑、Hadoop分布式文件系统、软件定义网络，所述软件定义网络分别与卫星网络拓扑、Hadoop分布式文件系统建立通讯，所述Hadoop分布式文件系统与卫星网络拓扑建立通讯；
所述任务流量调度方法包括以下步骤：
S1.构建卫星网络拓扑图G＝(V,E)，V为卫星节点的集合，E为图中的边；
S2.从卫星网络拓扑的n个数据存储节点中选出k个源节点进行数据传输，计算得到各节点到目的节点的最短距离以及此距离下的所有最短路径，并计算得到卫星网络拓扑的任务完成总时延τ；
S3.将任务总带宽分给各源节点(不参与任务的节点占用任务带宽为0)，每次迭代通过最大最小公平算法，为时延最大的节点增加带宽，时延最小的节点减小带宽，直至τmax-τmin＜ε，其中τmax为最大时延，τmin为最小时延，ε为最大时延差；
S4.将节点按分配好的带宽排序，先为带宽最大的节点选择链路中流量最小的路径并设置链路流量，若流量仍大于容量，则以容量为总带宽，并重新为经过这条链路的节点分配带宽。
作为本发明的进一步改进，所述步骤S2中，卫星网络拓扑的任务完成总时延τ取决于网络中最慢的卫星节点的时延，总时延τ表示为：
Figure BDA0003793179570000031
其中，
Figure BDA0003793179570000032
为各节点的传播时延，
Figure BDA0003793179570000033
为各节点的传输时延。
作为本发明的进一步改进，各节点的传播时延
Figure BDA0003793179570000034
表示为：
Figure BDA0003793179570000035
其中，di,r为节点i和目的节点r之间的最短距离；si为节点i的条带数量；r为目的节点；c为光速，m/s。
作为本发明的进一步改进，各节点的传输时延
Figure BDA0003793179570000036
取决于其承担的任务量以及被分配的带宽，表示为：
Figure BDA0003793179570000041
其中，Di为节点i传输的数据量，MB；Bi为节点i的带宽，MB/s。
作为本发明的进一步改进，所述步骤S2中，对于单个下载任务，目的节点即为发起下载请求的节点，从对应的n个节点中选出k个源节点进行数据传输，各节点需要传输的数据量和条带数相同，且下载任务的完成时延为取决于其中最慢的节点，其优化问题为：
Figure BDA0003793179570000042
Figure BDA0003793179570000043
Figure BDA0003793179570000044
Figure BDA0003793179570000045
其中，di,r为节点i和目的节点r之间的最短距离；s为节点的条带数量；r为目的节点；c为光速，m/s；D为节点传输的数据量，MB；Bi为节点i的带宽，MB/s；Vk为k个执行任务的节点；B为总带宽资源，MB/s；Ce为链路容量，MB/s；fe为链路流量，MB/s；e∈E表示卫星间链路；N为卫星总数。
作为本发明的进一步改进，所述步骤S2中，对于单个修复任务，即为将死亡节点上的数据修复到目的节点，从空闲节点选出存活的节点，再从存活的节点中选择k个节点将数据传给目的节点，使修复时延最小的节点为最优选择，其优化问题为：
Figure BDA0003793179570000046
Figure BDA0003793179570000047
Figure BDA0003793179570000048
Figure BDA0003793179570000049
其中，di,r为节点i和目的节点r之间的最短距离；s为节点的条带数量；r为目的节点；c为光速，m/s；D为节点传输的数据量，MB；Bi为节点i的带宽，MB/s；Vk为k个执行任务的节点；Ve为空闲节点的集合；B为总带宽资源，MB/s；Ce为链路容量，MB/s；fe为链路流量，MB/s；e∈E表示卫星间链路；N为卫星总数。
作为本发明的进一步改进，同时执行多个任务时，在执行任务流量调度方法之前，通过构建二分图模型实现最大流算法，达到卫星节点负载的近似均衡，具体包括以下步骤：
R1.将任务与卫星节点的映射关系转换二分图，用有向图G＝(V,E)表示，其中V表示所有节点，E表示所有边；
R2.构建残留网络Gf表示各边还能容纳的最大流量，在残留网络Gf中寻找一条增广路径，对增广路径中的每条边都增加等量的流值，该流值的大小为增广路径上的最大残余流量，重复这一过程，直到残留网络中不再存在增广路径为止。
作为本发明的进一步改进，所述步骤S2中，残留网络Gf中不包括任何增广路径等价于fm是图G的一个最大流；当fm＝Lk时，即可完成全部任务，则负载均衡；当fm＜Lk时，再将少数遗漏的数据任务随机分给卫星节点，则负载近似均衡；
其中fm为残留网络中不再存在增广路径时二分图中的流；L为任务总数；k为从源节点到各任务节点边的容量。
作为本发明的进一步改进，所述步骤S2中，增广路径为二分图G中从源点到汇点之间的一条路径，二分图G的最大流即为从到的最大值流。
作为本发明的进一步改进，二分图G中每条边(i,j)∈E均有一非负容量C(i,j)≥0，初始化各边流量为0，每条边的流量不超过容量，每条边的容量根据数据块进行设置；其中i、j为二分图G中任意两个节点。
本发明的有益效果是：解决了分布式存储系统与卫星网络的不适配问题，分别对卫星网络的特点和分布式系统编码时的条带化过程进行了研究，不仅考虑到星间距离差异引起的时延差，同时也考虑了各卫星节点任务负载的差异，在不超过链路容量限制和总带宽资源的基础上，实现负载均衡，并根据任务完成时延公式，选择能使时延最小的节点，动态分配带宽并选择路径，最小化任务完成的总时延：
(1)通过构造无向图模拟卫星网络，寻找接入节点到各节点的所有最短路径和距离，并计算每个节点的传播时延，根据传播时延为卫星节点动态分配带宽，使各节点传输数据的总时延尽量均衡；
(2)通过构造二分图，建立任务与卫星节点之间的映射关系，通过最大流算法，找出能使图中流量最大的节点选择方案，实现任务负载的近似均衡。
附图说明
图1是本发明中卫星编码存储网络系统的结构框图；
图2是本发明中棋盘状卫星网络拓扑结构图；
图3是本发明中不同纬度单个下载任务的时延对比图；
图4是本发明中不同码字单个下载任务的时延对比图；
图5是本发明中不同链路容量单个下载任务的时延对比图；
图6是本发明中不同带宽单个下载任务的时延对比图；
图7是本发明中不同码字下单个修复任务的时延对比图；
图8是本发明中不同带宽资源下单个修复任务的时延对比图；
图9是本发明中多任务请求二分图模型的结构图；
图10是本发明中不同纬度多个下载任务的时延对比图；
图11是本发明中不同文件下载数量的时延对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
本发明一种面向低轨星座存储网络的分布式编码数据下载与修复方法，针对卫星编码存储网络系统，如图1所示，根据已知的巨星座卫星网络拓扑，结合Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)和软件定义网络(SDN)，建立卫星编码存储网络模型。软件定义网络分别与卫星网络拓扑、Hadoop分布式文件系统建立通讯，Hadoop分布式文件系统与卫星网络拓扑建立通讯。然后分别对下载和修复任务的时延进行分析，建立任务完成时延公式并提出优化问题。
首先，仅有单个任务的情况下，每个参与任务的卫星传输相同的数据量，通过设计资源约束下的任务流量调度策略，在总带宽资源和链路容量受限的情况下，根据时延为卫星动态分配带宽，结合路径选择策略和节点选择策略，平衡各卫星的路径传播时延和数据传输时延，避免由于部分卫星时延太大而使整个网络时延增加，有效降低网络整体的任务完成时延。
进一步，同时执行多个任务时，每个参与任务的卫星传输不同的数据量，导致负载不均衡。通过构建二分图模型实现最大流算法，达到负载的近似均衡，避免由于部分卫星承担的任务量太多而使整个网络时延增加，再结合任务流量调度策略，有效降低卫星网络的任务完成时延。
针对Starlink(星链)第一期的1584颗卫星，选取6*6的子拓扑进行分析，卫星节点的集合为V，集合内卫星的运动方向相同。针对网络的特点，可将卫星网络拓扑结构建模为一个棋盘网络如图2所示，用图G＝(V,E)表示，E为图中的边，e∈E表示星间链路。
Starlink部署的卫星可以与其同轨道的两颗相邻卫星和相邻轨道的两颗卫星建立星间链路，通过多跳可以将数据传输到网络中任何一颗卫星节点，根据最短路径算法可以得出任意两颗卫星i、j之间的最短距离di,j，其中i,j∈V。每个文件经过编码后，被分成多个条带并随机存储到n个不同卫星节点中，需要进行下载和修复时需要从其中k个节点获取数据，而条带化会放大数据的传播时延，每传输一个条带都会累加一次传播时延，因此，各节点的传播时延可表示为：
Figure BDA0003793179570000081
式中si为节点i的条带数量；
r为目的节点；
c为光速，m/s。
各节点传输时延取决于其承担的任务量以及被分配的带宽，表达式为：
Figure BDA0003793179570000082
式中Di为节点i传输的数据量，MB；Bi为节点i的带宽，MB/s。
任务的完成时延取决于网络中最慢的卫星节点的时延，因此巨星座网络的任务完成总时延为：
Figure BDA0003793179570000083
为了高效完成星上任务，需要合理设计任务调度策略，选择合适的源节点传输数据并对数据传输的路径做出规划，为源节点合理分配带宽。通过求解下述优化问题，获得高效的任务调度策略，最小化任务完成时间：
Figure BDA0003793179570000084
Figure BDA0003793179570000085
Figure BDA0003793179570000086
Figure BDA0003793179570000087
式中Vk为k个执行任务的节点；
B为总带宽资源，MB/s；
C为链路容量，MB/s；
fe为链路流量，MB/s；
Figure BDA0003793179570000091
为一个二元变量，代表节点i到节点r的数据是否经过e，经过则为1，不经过为0。
卫星存储网络的任务主要是下载和修复任务。对于单个下载任务，目的节点即为发起下载请求的节点，仅需从对应的n个节点中选出k个源节点进行数据传输，各节点需要传输的数据量和条带数相同，因此各节点总时延的表达式如下：
Figure BDA0003793179570000092
下载任务的完成时延为取决于其中最慢的节点，优化问题变为：
Figure BDA0003793179570000093
Figure BDA0003793179570000094
Figure BDA0003793179570000095
Figure BDA0003793179570000096
从n个节点中选择k个节点共
Figure BDA0003793179570000097
种方案，用集合
Figure BDA0003793179570000098
表示。利用Dijkstra算法可以得到各节点到目的节点的最短距离以及此距离下的所有路径。由于链路容量的限制，不能简单选取距离最近的k个节点，分别计算每种方案下的时延，选择时延最小的方案。对于每个方案，首先将所有带宽均分给选择的源节点(不参与任务的节点占用任务带宽为0)，每次迭代通过最大最小公平算法(Max-Min Fairness,MMF)，为时延最大的节点增加带宽，时延最小的节点减小带宽，直至τmax-τmin＜ε，其中τmax为最大时延，τmin为最小时延，ε为最大时延差。以此平衡网络中所有节点的任务完成时延，避免由于某个节点传输太慢而影响整个网络的下载任务完成时间。在各节点任务完成时间几乎相同的情况下，由于链路容量的限制，流入目的节点的链路流量很可能超出链路的最大容量限制，需要对流入目的节点的链路流量进行均衡，避免链路拥塞。源节点i到目的节点r的最短路径有多条，将节点按分配好的带宽排序，通过贪心的策略进行路径规划，即先为带宽最大的节点选择链路中流量最小的路径，最大化利用链路容量。若流量仍大于容量，则以容量为总带宽，重新为经过这条链路的节点分配带宽，避免超出链路容量。算法表如下：
Figure BDA0003793179570000101
对于单个修复任务，需将死亡节点上的数据修复到目的节点，与下载不同的是，修复任务的目的节点是不确定的，需要从其余空闲节点选出，再从存活的节点中选择k个节点将数据传给目的节点。同样由于链路容量的限制，距离最近的空闲节点不一定是最优的选择，遍历每个空闲节点，找到能使修复时延最小的节点为最优的选择。修复任务的优化问题为：
Figure BDA0003793179570000111
Figure BDA0003793179570000112
Figure BDA0003793179570000113
Figure BDA0003793179570000114
式中Ve为空闲节点的集合。
通过仿真分析，得到了不同场景下，均分带宽-随机选择节点(ABW-R)、均分带宽-动态选择节点(ABW-N)、均分带宽-链路流量感知(ABW-F)、带宽分配-随机选择节点(MMF-R)、带宽分配-动态选择节点、链路流量感知(MMF-NF)五种调度策略在时延方面的性能对比。
图3展示了单个下载任务的场景，设置文件大小为5GB，总带宽资源为4.5Gbps，链路容量为2.5Gbps，采用RS(14,10)对不同纬度的子拓扑进行仿真，可以看到，的任务调度算法相比其余策略对时延有着更明显的优化。同样可以看到，纬度越低，时延越大。这是由于地球并非规则的球体，而是赤道宽，两极扁，导致纬度越低星间距离越远，加大了路径传播的时延。
图4同样设置文件大小为5GB，总带宽资源为4.5Gbps，链路容量为2.5Gbps，在北纬30°附近对不同的码字进行了仿真。可以看到，k越大时延越短。这是由于同样的文件大小，k越大，每颗卫星上需要传输的数据量就越少，条带数也越小，使路径传播时延和数据传输时延都减小。
图5设置文件大小为5GB，总带宽资源为4.5Gbps，在北纬30°附近采用RS(14,10)对不同的链路容量进行了仿真。可以看到，总体上链路容量越大，时延越短。这是显而易见的，链路的流量不能突破链路容量的限制，只有当容量较大的时候，带宽资源才能充分被利用。同时可以看到，在链路容量远小于总带宽资源时，对节点的选择和带宽的分配几乎都会失效，因为此时受容量限制，很难有更好的节点选择和带宽分配方案，反而通过感知流量选择不同路径才会有效降低时延。当链路容量大于总宽宽资源时，链路容量充足，节点选择和流量感知的调度策略会失效，此时进行带宽分配才能有效降低时延。
图6设置文件大小为5GB，链路带宽为2.5Gbps，在北纬30°附近采用RS(14,10)对不同的带宽资源进行了仿真。可以看到，带宽资源越丰富，时延越低。而且，MMF-NF算法总体上都优于其它方案。在带宽资源有限的情况下，分配带宽会有效降低时延；带宽资源充足时，流量感知对时延的影响会大于分配带宽。但随着带宽的增加，总体上对时延的影响都在降低。这是受到链路容量的影响，即使有丰富的带宽资源，链路中的流量也不能超出链路容量的限制。
对于单文件修复场景，用同样的参数对不同的修复节点选择策略进行仿真，三种节点选择策略分别为随机选择(MMF-R)即随即从空闲节点中选择修复节点，距离最近(MMF-D)即选择距离最近的节点作为修复节点，以及设计的时延最小的修复节点选择方案(MMF-N)。
图7设置文件大小为5GB，总带宽资源为4.5Gbps，链路容量为2.5Gbps，在北纬30°附近对不同的码字进行了仿真。可以看到，随着n的增大，修复时延明显减小，这与下载类似。同时，随着n的增大，三种策略之间的差距逐渐减小。这是由于随着n的增大，网络中可供选择的空闲节点变少，节点选择方案之间的差距也会减小。
图8设置文件大小为5GB，链路容量为2.5Gbps，在北纬30°附近采用RS(14,10)对不同的带宽资源进行了仿真。可以看到，带宽资源越丰富，时延越低。但随着带宽的增加，总体上对时延的影响都在降低。这同样也是受到链路容量的影响，链路中的流量也不能超出链路容量的限制，多余的带宽资源无法被利用。
在多任务场景下，各卫星节点承担的任务量不同。应首先对卫星节点进行负载均衡，将任务与卫星节点的映射关系转换为如图9所示的二分图，用有向图G＝(V,E)表示，其中V表示所有节点，E表示所有边。图中有两个特殊的顶点：源点s和汇点t，其余所有顶点均处于从源点到汇点的某条路径上，图的最大流即为从s到t的最大值流。图中每条边(i,j)∈E均有一非负容量C(i,j)≥0，初始化各边流量为0，每条边的流量不能超过容量，每条边的容量根据所需的数据块进行设置。由于每个任务所需的文件经编码存储在n个不同的卫星节点上，完成任务需要从这n个节点中选择k个进行数据的读取，因此设置从源点s到各任务节点的边的容量为k，表示最多读取k个数据块，而每个任务与n个卫星节点相连，边的容量均为1，所有卫星节点都指向汇点t，设置每条边的容量为：
Figure BDA0003793179570000131
式中L为任务总数；N为卫星总数。
构造残留网络Gf表示各边还能容纳的最大流量，即容量减去当前流量的网络，在残留网络Gf中寻找一条增广路径，增广路径可以看作是从源点s到汇点t之间的一条路径，然后在增广路径中的每条边都增加等量的流值，这个流值的大小就是增广路径上的最大残余流量，重复这一过程，直到残余网络中不再存在增广路径为止，此时图中的流为fm。根据最大流-最小割定理，残留网络Gf中不包括任何增广路径等价于fm是图G的一个最大流。当fm＝Lk时，即可完成全部任务，实现负载均衡；当fm＜Lk时，再将少数遗漏的数据任务随机分给卫星节点，实现负载的近似均衡。算法表如下：
Figure BDA0003793179570000141
对多任务场景下不同纬度，文件数量和链路容量进行仿真，比较了三种不同调度策略下网络的时延，分别为均分带宽与随机调度(ABW-R)，均分带宽与负载均衡(ABW-LB)，以及基于负载均衡的任务调度算法(MMF-FF)。
图10在多文件下载场景下，设置文件大小为1280MB，文件数量为5，总带宽资源为4.5Gbps，链路容量为2.5Gbps，采用RS(14,10)在不同纬度下进行仿真。可以看到采用负载均衡策略后，时延就有明显的降低，结合任务流量调度策略后，时延会被进一步降低。同样由于纬度越高星间链路距离越短，在高纬度附近的时延会更短。
图11设置文件大小为1280MB，总带宽资源为4.5Gbps，链路容量为2.5Gbps，采用RS(14,10)在北纬30°附近对不同文件数量的下载任务进行仿真。可以看到MMF-FF策略对时延的降低效果最明显，而且随着文件数量增多，不同策略之间的时延差距会变大。这是由于随着任务数量的增加，负载不均的现象会更加明显，负载均衡对时延的优化更加明显。
分布式存储系统与卫星网络的不适配主要是由于卫星间距离的周期性变化，以及各卫星节点占有的带宽和承担的任务量的不同，导致卫星网络数据下载和修复的效率不可避免地会受到影响。一方面，由于距离较远的卫星有更长的路径传播时延，而编码时条带化的存储方式使不同条带之间都会叠加传播时延，进一步放大时延差，使整个网络的任务完成时延受最慢的卫星节点限制。另一方面，由于每个卫星任务负载不同，负载更高的卫星完成任务的时延更长，也会造成网络整体时延变长。
首先在单任务场景下，对分布式存储系统的随机节点选择策略进行改进，选择能使时延最小的k个节点完成任务，通过SDN可以根据各节点的任务完成时延重新给卫星分配带宽并对路径进行规划，平衡各卫星节点的时延。而在多任务场景下，通过合理的负载均衡策略为各个任务选择节点，改进分布式存储系统的随机节点选择策略带来的负载不均的问题。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，所述任务流量调度方法针对卫星编码存储网络系统，所述卫星编码存储网络系统包括卫星网络拓扑、Hadoop分布式文件系统、软件定义网络，所述软件定义网络分别与卫星网络拓扑、Hadoop分布式文件系统建立通讯，所述Hadoop分布式文件系统与卫星网络拓扑建立通讯；
所述任务流量调度方法包括以下步骤：
S1.构建卫星网络拓扑图G＝(V,E)，V为卫星节点的集合，E为图中的边；
S2.从卫星网络拓扑的n个数据存储节点中选出k个源节点进行数据传输，计算得到各节点到目的节点的最短距离以及此距离下的所有最短路径，并计算得到卫星网络拓扑的任务完成总时延τ；
S3.将任务总带宽分给各源节点，每次迭代通过最大最小公平算法，为时延最大的节点增加带宽，时延最小的节点减小带宽，直至τmax-τmin＜ε，其中τmax为最大时延，τmin为最小时延，ε为最大时延差；
S4.将节点按分配好的带宽排序，先为带宽最大的节点选择链路中流量最小的路径并设置链路流量，若流量仍大于容量，则以容量为总带宽，并重新为经过这条链路的节点分配带宽。
2.根据权利要求1所述面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，所述步骤S2中，卫星网络拓扑的任务完成总时延τ取决于网络中最慢的卫星节点的时延，总时延τ表示为：
Figure FDA0003793179560000011
其中，
Figure FDA0003793179560000012
为各节点的传播时延，
Figure FDA0003793179560000013
为各节点的传输时延。
3.根据权利要求2所述面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，各节点的传播时延
Figure FDA0003793179560000014
表示为：
Figure FDA0003793179560000015
其中，di,r为节点i和目的节点r之间的最短距离；si为节点i的条带数量；r为目的节点；c为光速，m/s。
4.根据权利要求2所述面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，各节点的传输时延
Figure FDA0003793179560000021
取决于其承担的任务量以及被分配的带宽，表示为：
Figure FDA0003793179560000022
其中，Di为节点i传输的数据量，MB；Bi为节点i的带宽，MB/s。
5.根据权利要求1所述面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，所述步骤S2中，对于单个下载任务，目的节点即为发起下载请求的节点，从对应的n个节点中选出k个源节点进行数据传输，各节点需要传输的数据量和条带数相同，且下载任务的完成时延为取决于其中最慢的节点，其优化问题为：
Figure FDA0003793179560000023
Figure FDA0003793179560000024
Figure FDA0003793179560000025
Figure FDA0003793179560000026
其中，di,r为节点i和目的节点r之间的最短距离；s为节点的条带数量；r为目的节点；c为光速，m/s；D为节点传输的数据量，MB；Bi为节点i的带宽，MB/s；Vk为k个执行任务的节点；B为总带宽资源，MB/s；Ce为链路容量，MB/s；fe为链路流量，MB/s；e∈E表示卫星间链路；N为卫星总数。
6.根据权利要求1所述面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，所述步骤S2中，对于单个修复任务，即为将死亡节点上的数据修复到目的节点，从空闲节点选出存活的节点，再从存活的节点中选择k个节点将数据传给目的节点，使修复时延最小的节点为最优选择，其优化问题为：
Figure FDA0003793179560000031
Figure FDA0003793179560000032
Figure FDA0003793179560000033
Figure FDA0003793179560000034
其中，di,r为节点i和目的节点r之间的最短距离；s为节点的条带数量；r为目的节点；c为光速，m/s；D为节点传输的数据量，MB；Bi为节点i的带宽，MB/s；Vk为k个执行任务的节点；Ve为空闲节点的集合；B为总带宽资源，MB/s；Ce为链路容量，MB/s；fe为链路流量，MB/s；e∈E表示卫星间链路；N为卫星总数。
7.根据权利要求1所述面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，同时执行多个任务时，在执行任务流量调度方法之前，通过构建二分图模型实现最大流算法，达到卫星节点负载的近似均衡，具体包括以下步骤：
R1.将任务与卫星节点的映射关系转换二分图，用有向图G＝(V,E)表示，其中V表示所有节点，E表示所有边；
R2.构建残留网络Gf表示各边还能容纳的最大流量，在残留网络Gf中寻找一条增广路径，对增广路径中的每条边都增加等量的流值，该流值的大小为增广路径上的最大残余流量，重复这一过程，直到残留网络中不再存在增广路径为止。
8.根据权利要求7所述面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，所述步骤S2中，残留网络Gf中不包括任何增广路径等价于fm是图G的一个最大流；当fm＝Lk时，即可完成全部任务，则负载均衡；当fm＜Lk时，再将少数遗漏的数据任务随机分给卫星节点，则负载近似均衡；
其中fm为残留网络中不再存在增广路径时二分图中的流；L为任务总数；k为从源节点到各任务节点边的容量。
9.根据权利要求7所述面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，所述步骤S2中，增广路径为二分图G中从源点到汇点之间的一条路径，二分图G的最大流即为从到的最大值流。
10.根据权利要求7所述面向低轨星座存储网络的分布式编码数据下载与修复方法，其特征在于，二分图G中每条边(i,j)∈E均有一非负容量C(i,j)≥0，初始化各边流量为0，每条边的流量不超过容量，每条边的容量根据数据块进行设置；其中i、j为二分图G中任意两个节点。
CN202210961221.XA 2022-08-11 2022-08-11 面向低轨星座存储网络的分布式编码数据下载与修复方法 Active CN115333606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210961221.XA CN115333606B (zh) 2022-08-11 2022-08-11 面向低轨星座存储网络的分布式编码数据下载与修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210961221.XA CN115333606B (zh) 2022-08-11 2022-08-11 面向低轨星座存储网络的分布式编码数据下载与修复方法

Publications (2)

Publication Number Publication Date
CN115333606A true CN115333606A (zh) 2022-11-11
CN115333606B CN115333606B (zh) 2023-06-20

Family

ID=83921032

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210961221.XA Active CN115333606B (zh) 2022-08-11 2022-08-11 面向低轨星座存储网络的分布式编码数据下载与修复方法

Country Status (1)

Country Link
CN (1) CN115333606B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115629717A (zh) * 2022-12-08 2023-01-20 四川汉唐云分布式存储技术有限公司 一种基于分布式存储的负载均衡方法和存储介质
CN117992241A (zh) * 2024-04-03 2024-05-07 深圳市元睿城市智能发展有限公司 基于大数据的科技型中小企业银企对接服务系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935524A (zh) * 2015-06-17 2015-09-23 华中科技大学 一种多径网络基于链路时延控制的软负载均衡方法
CN108462737A (zh) * 2018-01-29 2018-08-28 哈尔滨工业大学深圳研究生院 基于批处理和流水线的分层数据一致性协议优化方法
CN112799784A (zh) * 2021-02-01 2021-05-14 军事科学院系统工程研究院系统总体研究所 一种基于分散计算的低轨卫星网络最优任务分配方法
CN113055307A (zh) * 2021-03-31 2021-06-29 中国工商银行股份有限公司 一种网络流量分配方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935524A (zh) * 2015-06-17 2015-09-23 华中科技大学 一种多径网络基于链路时延控制的软负载均衡方法
CN108462737A (zh) * 2018-01-29 2018-08-28 哈尔滨工业大学深圳研究生院 基于批处理和流水线的分层数据一致性协议优化方法
CN112799784A (zh) * 2021-02-01 2021-05-14 军事科学院系统工程研究院系统总体研究所 一种基于分散计算的低轨卫星网络最优任务分配方法
CN113055307A (zh) * 2021-03-31 2021-06-29 中国工商银行股份有限公司 一种网络流量分配方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115629717A (zh) * 2022-12-08 2023-01-20 四川汉唐云分布式存储技术有限公司 一种基于分布式存储的负载均衡方法和存储介质
CN117992241A (zh) * 2024-04-03 2024-05-07 深圳市元睿城市智能发展有限公司 基于大数据的科技型中小企业银企对接服务系统及方法

Also Published As

Publication number Publication date
CN115333606B (zh) 2023-06-20

Similar Documents

Publication Publication Date Title
CN107294592A (zh) 一种基于分布式sdn的卫星网络及其构建方法
CN102510404B (zh) 数据中心的一种无损持续可扩展互联结构
US20050044195A1 (en) Network topology having nodes interconnected by extended diagonal links
CN104364765A (zh) 分布式数据存储系统中的数据存储和维护的方法以及对应设备
CN109491835B (zh) 一种基于动态分组码的数据容错方法
CN103106124B (zh) 一种基于纠删码集群存储系统的交叉重构方法
CN106713147A (zh) 面向geo/leo双层卫星网络的抗毁路由方法
CN115242295B (zh) 一种卫星网络sdn多控制器部署方法及系统
CN107111481A (zh) 分布式主动混合存储系统
CN115333606B (zh) 面向低轨星座存储网络的分布式编码数据下载与修复方法
CN101729230A (zh) 用于容延网络的多路传送路由方法
CN106817306B (zh) 一种确定目标路由的方法及装置
CN105450741A (zh) 分布式存储系统中供应服务器选择和修复数据传输方法
CN104144135A (zh) 用于多播虚拟网络的资源分配方法及抗毁资源分配方法
CN109194444A (zh) 一种基于网络拓扑的平衡二叉树修复方法
CN102780628A (zh) 面向多核微处理器的片上互连网络路由方法
Li et al. Disaster-and-evacuation-aware backup datacenter placement based on multi-objective optimization
CN109218193A (zh) 一种抑制卫星网络中的路由拥塞的方法
CN110535673A (zh) 虚拟子网的构建方法、设备及存储介质
Qiang et al. Heuristic survivable virtual network embedding based on node migration and link remapping
CN102347795B (zh) 基于多面体拓扑结构的光网络共享保护方法
CN114237985B (zh) 修复纠删码存储系统中失效存储块的方法及相关设备
CN101645805B (zh) 一种基于ns2的p2p流媒体系统仿真平台
Oliveira et al. Mapping wired links in a hybrid wired-wireless network-on-chip
CN115426025B (zh) 面向低轨卫星网络的分布式计算数据流调度与路由方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant