CN115567094A - 一种基于MapReduce框架的大数据空地联合计算方法 - Google Patents

一种基于MapReduce框架的大数据空地联合计算方法 Download PDF

Info

Publication number
CN115567094A
CN115567094A CN202211059462.1A CN202211059462A CN115567094A CN 115567094 A CN115567094 A CN 115567094A CN 202211059462 A CN202211059462 A CN 202211059462A CN 115567094 A CN115567094 A CN 115567094A
Authority
CN
China
Prior art keywords
ground
unmanned aerial
aerial vehicle
user equipment
big data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211059462.1A
Other languages
English (en)
Inventor
王丰
李宇龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202211059462.1A priority Critical patent/CN115567094A/zh
Publication of CN115567094A publication Critical patent/CN115567094A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18504—Aircraft used as relay or high altitude atmospheric platform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2433—Query languages
    • G06F16/244—Grouping and aggregation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/24—Cell structures
    • H04W16/26—Cell enhancers or enhancement, e.g. for tunnels, building shadow
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明涉及移动边缘计算技术领域，公开了一种基于MapReduce框架的大数据空地联合计算方法，包括：S1、构建大数据空地联合计算模型，所述模型包括一个地面基站和N个无人机，其中，每个无人机覆盖范围下有M个地面用户设备；S2、地面基站将数据集划分为N个不相交的子集，并将该N个子集分别传输到N个无人机；S3、无人机将到达的子集进行划分并分配给其覆盖范围下的地面用户设备；S4、地面用户设备对接收到的数据集中的各个任务文件进行Map函数运算，生成一组计算中间值，并通过Shuffle阶段聚合生成的计算中间值，地面用户设备将聚合后的计算中间值传输至无人机；S5、无人机对步骤S4接收到的计算中间值进行Reduce函数运算，无人机将运算结果传输至地面基站。

Description

一种基于MapReduce框架的大数据空地联合计算方法
技术领域
本发明涉及移动边缘计算技术领域，特别是涉及一种基于MapReduce框架的大数据空地联合计算方法。
背景技术
近年来，随着移动通信技术的快速发展和新型物联网应用(如车联网、虚拟现实、无人驾驶等)的驱动，移动边缘计算得到了工业界和学术界的广泛研究和应用。移动边缘计算技术是云计算技术的有效补充，旨在网络边缘侧部署边缘计算服务器，提供便捷计算和快速存储等服务，降低服务响应时间和设备能耗。
在当前的大数据和万物互联时代，基于MapReduce分布式计算框架正快速应用于移动边缘计算网络，以实现大数据分布式计算，允许由大量中低端设备联合处理大规模数据集。MapReduce框架通常由Map、Shuffle、Reduce三个阶段来进行计算与通信，其中Map和Reduce阶段的任务分配是关键环节，对系统的计算与通信性能至关重要。
但是，随着数据量的快速增长，边缘服务器有限的计算能力难以及时处理所有任务，难以满足低计算时延的应用要求。对于使用用户端到用户端和用户端到地面边缘服务器进行并行计算，由于用户端的计算能力有限，并且基站会固定在地面，服务覆盖的范围有限，对于那些通信信道阻塞或远离基础设施的设备，固定的基站及其边缘服务器很难保证这些设备的服务质量。
现有技术公开了一种基于分布式计算的web AR数据呈现方式，涉及数据呈现方式技术领域；将模型与动作数据在服务器端进行分别的存储管理；根据请求的类型，客户端向附近的移动边缘服务器发送请求；移动边缘服务器根据用户的请求，进行需求解析；云计算端解析客户端的交互请求，获取匹配动作发送到边缘服务器；在移动边缘计算端进行数据计算；移动边缘服务器在接收到云计算端传递的模型；将计算结果数据返回给客户端，实现动态模型的载入功能。并且该专利将模型与动作数据在服务器端进行分别的存储管理的具体内容为：基于云计算的海量数据存储模型，依据云计算的核心计算模式MapReduce，并依托实现了MapReduce计算模式的开源分布并行编程框架Hapdoop,将存储模型和云计算结合在一起，实现海量数据的分布式存储，通过这种方式把用户所需要的静态模型数据存储在云计算端上，数据被分割后通过Map函数的程序将数据映射成不同的区块，分配给计算机机群处理达到分布式运算的效果。该专利采用的是用户端到地面边缘服务器的并行计算，而由于用户端的计算能力有限，并且基站会固定在地面，服务覆盖的范围有限，对于那些通信信道阻塞或远离基础设施的设备，固定的基站及其边缘服务器很难保证这些设备的服务质量，资源利用率低，并且时延长。
发明内容
本发明的目的是提供一种可提高资源利用率和降低任务完成的总时延的基于MapReduce框架的大数据空地联合计算方法。
为了实现上述目的，本发明提供了一种基于MapReduce框架的大数据空地联合计算方法，包括：
S1、构建大数据空地联合计算模型，所述模型包括一个地面基站和N个无人机，其中，每个无人机覆盖范围下有M个地面用户设备，m∈{1,...,M}表示地面用户设备集合，n∈{1,...,N}表示无人机的集合；
S2、地面基站将数据集划分为N个不相交的子集，并将该N个子集分别传输到N个无人机；
S3、无人机将到达的子集进行划分并分配给其覆盖范围下的地面用户设备；
S4、地面用户设备对接收到的数据集中的各个任务文件进行Map函数运算，生成一组计算中间值，并通过Shuffle阶段聚合生成的计算中间值，地面用户设备将聚合后的计算中间值传输至无人机；
S5、无人机对步骤S4接收到的计算中间值进行Reduce函数运算，无人机将运算结果传输至地面基站。
进一步地，大数据空地联合计算模型的优化问题为：地面基站将划分后的子集传输到无人机的时延tn、无人机将到达的子集分配给地面用户设备的时延
Figure BDA0003821713200000021
地面用户将计算中间值传输到无人机的时延
Figure BDA0003821713200000031
无人机将结果传输到地面基站的时延
Figure BDA0003821713200000032
地面用户设备进行Map函数运算产生的时延
Figure BDA0003821713200000033
无人机进行Reduce函数运算所需的时延
Figure BDA0003821713200000034
之和最小；
大数据空地联合计算模型的约束条件为：地面基站分配给N个无人机的数据总和等于地面基站处的任务总和、无人机进行Reduce函数运算的数据总和等于其覆盖范围内所有地面用户设备的输出数据之和、无人机的位置位于部署范围内；
表示为：
Figure BDA0003821713200000035
Figure BDA0003821713200000036
Figure BDA0003821713200000037
Figure BDA0003821713200000038
Figure BDA0003821713200000039
其中，每个无人机的子集的任务文件的大小为sn，每个地面用户设备的任务文件子集大小为βm；无人机进行Reduce函数运算的输入数据大小为zn，第m个地面用户设备执行Map函数聚合后的第q个中间值的大小为γm,q。
进一步地，在步骤S1中，根据地面用户设备的信道状态信息、带宽、CPU配置信息和位置信息确定无人机的最优位置。
进一步地，在步骤S1中，根据大数据空地联合计算模型的优化问题和约束条件对无人机的位置进行优化：使无人机到其覆盖范围下的各地面用户设备之间的欧式距离之和最小。
进一步地，采用k-means算法获得各无人机的位置。
进一步地，在步骤S2中，地面基站根据各无人机的信道状态信息、带宽和CPU配置信息，对各无人机进行数据集分配。
进一步地，在步骤S3中，根据大数据空地联合计算模型的优化问题和约束条件对无人机给地面用户设备的任务分配进行优化：对于同一个无人机覆盖范围内的所有地面用户设备的无人机将到达的子集分配给其的时延与其进行Map函数运算产生的时延之和均相等，表示为
Figure BDA0003821713200000041
其中，n＝1,…,N。
进一步地，在步骤S4中，根据无人机的信道状态信息、带宽和CPU配置信息以及大数据空地联合计算模型的优化问题和约束条件对地面用户设备将计算中间值卸载到无人机的任务分配进行优化：各个无人机进行Reduce函数运算所需的时延均相等，表示为
Figure BDA0003821713200000042
其中，n＝1,…,N。
进一步地，地面基站与无人机的通信链路和无人机与地面用户设备的通信链路在不同的频带上工作。
进一步地，无人机与地面用户设备之间的通信采用正交频分多址协议。
与现有技术相比，本发明的有益效果在于：
本发明将地面基站的大规模数据集，分发给无人机集群，每个无人机服务指定区域的地面用户设备，地面用户设备完成Map函数计算，生成计算中间值，通过Shuffle阶段聚合传输中间值至无人机，无人机完成Reduce函数计算后将结果传输回地面基站，从而完成大数据计算任务。本发明利用无人机集群的机动灵活特点，接近地面用户设备，改善无线链路信道质量，保证各地面用户设备的服务，提高服务覆盖范围，并且每个地面用户设备进行并行运算来降低任务完成的总时延。
附图说明
图1是本发明实施例的基于MapReduce框架的大数据空地联合计算方法的流程图。
图2是本发明实施例的大数据空地联合计算模型的示意图。
图3是本发明实施例的基于MapReduce框架的大数据空地联合计算方法的时延示意图。
图4是本发明实施例的数据传输流程图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
在本发明的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
实施例一
如图1至图4所示，本发明优选实施例的一种基于MapReduce框架的大数据空地联合计算方法，包括：
S1、构建大数据空地联合计算模型，所述模型包括一个地面基站和N个无人机，其中，每个无人机覆盖范围下有M个地面用户设备，m∈{1,...,M}表示地面用户设备集合，n∈{1,...,N}表示无人机的集合；
S2、地面基站将数据集划分为N个不相交的子集，并将该N个子集分别传输到N个无人机；
S3、无人机将到达的子集进行划分并分配给其覆盖范围下的地面用户设备；本实施例地面基站根据各无人机的信道状态信息、带宽和CPU配置信息，对各无人机进行数据集分配；
S4、地面用户设备对接收到的数据集中的各个任务文件进行Map函数运算，生成一组计算中间值，并通过Shuffle阶段聚合生成的计算中间值，地面用户设备将聚合后的计算中间值传输至无人机；
S5、无人机对步骤S4接收到的计算中间值进行Reduce函数运算，无人机将运算结果传输至地面基站。
本实施例将地面基站的大规模数据集，分发给无人机集群，每个无人机服务指定区域的地面用户设备，地面用户设备完成Map函数计算，生成计算中间值，通过Shuffle阶段聚合传输中间值至无人机，无人机完成Reduce函数计算后将结果传输回地面基站，从而完成大数据计算任务。本实施例利用无人机集群的机动灵活特点，接近地面用户设备，改善无线链路信道质量，保证各地面用户设备的服务，提高服务覆盖范围，并且每个地面用户设备进行并行运算来降低任务完成的总时延。
在步骤S2中，设地面基站处有大量的计算密集型任务要执行，每个任务文件r由二元物理量(α,v)组成，则需要处理的数据集表示为{r1,…,rS},其中S表示任务文件总数，α表示为每个任务文件的输入数据大小(单位：bit)，v表示为处理一位任务数据所需的CPU转数。假设每个任务文件的数据大小相同，这里将地面基站的数据集{r1,…,rS}划分为N个不相交的子集传输到无人机，其中每个子集的任务文件的大小为sn(单位：bit)，在这种情况下，地对空上行链路通信是从基站到无人机和从地面用户到无人机，而空对地下行链路通信是从无人机到地面用户，无人机划分到达的数据集给覆盖范围下的用户，假设到达每个用户的任务文件子集为βm，其中m∈{1,...,M}表示无人机覆盖范围下用户的数量，这里使用三维笛卡尔坐标系来表示用户和无人机的位置。地面用户设备的位置坐标记为
Figure BDA0003821713200000061
第n个无人机的位置坐标记为
Figure BDA0003821713200000062
其中高度H为固定数值。
在本实施例中，地面基站与无人机的通信链路和无人机与地面设备的通信链路在不同的频带上工作。令基站到每个无人机的无线回程链路容量等于Rb，对于无人机和用户之间的通信，采用正交频分多址协议来避免用户间干扰。建模无人机到用户的下行链路信道增益为
Figure BDA0003821713200000063
其中
Figure BDA0003821713200000064
表示无人机到用户的下行链路距离，θ表示传输功率为1w时在1米参考距离处的接收功率，g|表示向量的欧几里得范数，其中
Figure BDA0003821713200000065
分别表示无人机与用户当前时隙的位置坐标。建模从无人机到用户的下行链路传输数据速率为：
Figure BDA0003821713200000071
其中BUAV,PUAV,N0分别表示用户分配给无人机的传输带宽、无人机的发射功率、地面用户设备接收机噪声功率谱密度。从用户到无人机的上行链路传输速率建模为：
Figure BDA0003821713200000072
其中Bu,Pu分别表示为无人机分配给用户的传输带宽和用户的发射功率。
首先，对于无人机，产生的时延主要由基站将数据集划分后传输到无人机组成，假设无人机的计算能力各不相同，因此，有
Figure BDA0003821713200000073
其中snα表示为分配给无人机n的输入数据大小，sn表示为分配给无人机n的数据文件大小，α表示为每个数据文件的数据大小，Rb为基站到每个无人机的无线回程链路容量。
对于地面用户设备，无人机n将子数据集分配给用户m所需要的时间表示为
Figure BDA0003821713200000074
其中βmα表示无人机n分配给用户m的输入数据大小，
Figure BDA0003821713200000075
表示无人机到用户的下行链路传输数据速率。用户在Map函数运算阶段会生成聚合的中间值q，其中q∈{1,...,Q}，对于每一个任务文件αs，其中s∈βm，用户完成映射函数的计算后会生成Q个中间值，每个用户会获得一组聚合后的中间值。此时，用户Map函数计算产生的时延建模为：
Figure BDA0003821713200000076
其中fm表示为用户的CPU计算速率，βmα表示为分配给用户m的输入数据大小，vm为处理一位任务数据所需的CPU转数。
对于用户传输到无人机的Shuffle阶段，令第m个用户执行Map函数聚合后的第q个中间值大小为γm,q(单位：bit)，其中q∈{1,...,Q}。建模计算中间值的传输时延为
Figure BDA0003821713200000081
其中
Figure BDA0003821713200000082
表示为用户到无人机的上行链路传输速率，第m个用户执行Map函数聚合后的第q个中间值大小为γm,q。
令无人机Reduce函数的输入数据大小为zn，在无人机处进行Reduce函数运算所需的时延为
Figure BDA0003821713200000083
其中fn为无人机的CPU计算速率。令无人机进行Reduce函数运算后的结果数据为ln(单位：bit)，因此，无人机将结果传输到基站的时延为
Figure BDA0003821713200000084
其中，Rb为基站到每个无人机的无线回程链路容量。
本实施例以最小化系统时延为设计准则，联合优化无人机的位置坐标和用户的任务分配和用户输出数据的分配，构造如下联合计算的优化问题，即大数据空地联合计算模型的优化问题为：地面基站将划分后的子集传输到无人机的时延tn、无人机将到达的子集分配给地面用户设备的时延
Figure BDA0003821713200000085
地面用户将计算中间值传输到无人机的时延
Figure BDA0003821713200000086
无人机将结果传输到地面基站的时延
Figure BDA0003821713200000087
地面用户设备进行Map函数运算产生的时延
Figure BDA0003821713200000088
无人机进行Reduce函数运算所需的时延
Figure BDA0003821713200000089
之和最小。并且约束条件为：(1)地面基站分配给N个无人机的数据总和等于地面基站处的任务总和、(2)无人机进行Reduce函数运算的数据总和等于其覆盖范围内所有地面用户设备的输出数据之和、(3)无人机的位置位于部署范围内。表示为：
Figure BDA00038217132000000810
Figure BDA00038217132000000811
Figure BDA00038217132000000812
Figure BDA00038217132000000813
Figure BDA00038217132000000814
其中，每个无人机的子集的任务文件的大小为sn，每个地面用户设备的任务文件子集大小为βm；无人机进行Reduce函数运算的输入数据大小为zn，第m个地面用户设备执行Map函数聚合后的第q个中间值的大小为γm,q。
根据上述联合设计问题，本实施例将其分解为三个子问题：
(1)第一个子问题，对无人机的位置进行优化，表示为：
Figure BDA0003821713200000091
Figure BDA0003821713200000092
Figure BDA0003821713200000093
进一步转化为：
Figure BDA0003821713200000094
Figure BDA0003821713200000095
Figure BDA0003821713200000096
本实施例在步骤S1中，根据地面用户设备的信道状态信息、带宽、CPU配置信息和位置信息确定无人机的最优位置。根据地面用户设备的信道状态信息、带宽、CPU配置信息和位置信息可计算无人机将到达的子集分配给地面用户设备的时延
Figure BDA0003821713200000097
地面用户将计算中间值传输到无人机的时延
Figure BDA0003821713200000098
根据
Figure BDA0003821713200000099
和
Figure BDA00038217132000000910
之和最小来确定无人机的最优位置。
(2)第二个子问题，优化无人机对用户的任务分配，表示为：
Figure BDA00038217132000000911
Figure BDA00038217132000000912
本实施例在步骤S3中，根据大数据空地联合计算模型的优化问题和约束条件对无人机给地面用户设备的任务分配进行优化。具体地，根据无人机的信道状态信息、带宽和CPU配置信息，以及地面用户设备的信道状态信息、带宽、CPU配置信息和位置信息，计算无人机将到达的子集分配给地面用户设备的时延
Figure BDA00038217132000000913
地面用户设备进行Map函数运算产生的时延
Figure BDA00038217132000000914
使
Figure BDA00038217132000000915
与
Figure BDA00038217132000000916
之和最小。
(3)第三个子问题，优化地面用户设备将Map函数计算输出数据卸载到无人机的任务分配，表示为：
Figure BDA0003821713200000101
Figure BDA0003821713200000102
在步骤S4中，根据无人机的信道状态信息、带宽和CPU配置信息以及大数据空地联合计算模型的优化问题和约束条件对地面用户设备将计算中间值卸载到无人机的任务分配进行优化。
实施例二
本实施例与实施例一的区别在于，在实施例一的基础上，本实施例对模型联合设计的第一个子问题进行优化。
本实施例在步骤S1中，根据大数据空地联合计算模型的优化问题和约束条件对无人机的位置进行优化：使无人机到其覆盖范围下的各地面用户设备之间的欧式距离之和最小。
具体地，本实施例采用k-means算法获得各无人机的位置。每次选取n个点作为无人机的个数，计算出n个点范围内的最小欧式距离和，再选取新的点作为无人机的位置，直到最小欧式距离和只有微小的变化。
本实施例的其他步骤与实施例一相同，此处不再赘述。
实施例三
本实施例与实施例一的区别在于，在实施例一的基础上，本实施例对模型联合设计的第二个子问题进行优化。
本实施例在步骤S3中，根据大数据空地联合计算模型的优化问题和约束条件对无人机给地面用户设备的任务分配进行优化：对于同一个无人机覆盖范围内的所有地面用户设备的无人机将到达的子集分配给其的时延与其进行Map函数运算产生的时延之和均相等，表示为
Figure BDA0003821713200000103
其中，n＝1,…,N。据此得到用户任务分配方案
Figure BDA0003821713200000104
本实施例的其他步骤与实施例一相同，此处不再赘述。
实施例四
本实施例与实施例一的区别在于，在实施例一的基础上，本实施例对模型联合设计的第三个子问题进行优化。
本实施例在步骤S4中，根据无人机的信道状态信息、带宽和CPU配置信息以及大数据空地联合计算模型的优化问题和约束条件对地面用户设备将计算中间值卸载到无人机的任务分配进行优化：各个无人机进行Reduce函数运算所需的时延均相等，表示为
Figure BDA0003821713200000111
其中，n＝1,…,N。本实施例与实施例一的区别在于，在实施例一的基础上，本实施例对模型联合设计的第二子问题进行优化。
本实施例的其他步骤与实施例一相同，此处不再赘述。
综上，本发明实施例提供一种基于MapReduce框架的大数据空地联合计算方法，其将地面基站的大规模数据集，分发给无人机集群，每个无人机服务指定区域的地面用户设备，地面用户设备完成Map函数计算，生成计算中间值，通过Shuffle阶段聚合传输中间值至无人机，无人机完成Reduce函数计算后将结果传输回地面基站，从而完成大数据计算任务。本发明利用无人机集群的机动灵活特点，接近地面用户设备，改善无线链路信道质量，保证各地面用户设备的服务，提高服务覆盖范围，并且每个地面用户设备进行并行运算来降低任务完成的总时延。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和替换，这些改进和替换也应视为本发明的保护范围。

Claims (10)

1.一种基于MapReduce框架的大数据空地联合计算方法，其特征在于，包括：
S1、构建大数据空地联合计算模型，所述模型包括一个地面基站和N个无人机，其中，每个无人机覆盖范围下有M个地面用户设备，m∈{1,...,M}表示地面用户设备集合，n∈{1,...,N}表示无人机的集合；
S2、地面基站将数据集划分为N个不相交的子集，并将该N个子集分别传输到N个无人机；
S3、无人机将到达的子集进行划分并分配给其覆盖范围下的地面用户设备；
S4、地面用户设备对接收到的数据集中的各个任务文件进行Map函数运算，生成一组计算中间值，并通过Shuffle阶段聚合生成的计算中间值，地面用户设备将聚合后的计算中间值传输至无人机；
S5、无人机对步骤S4接收到的计算中间值进行Reduce函数运算，无人机将运算结果传输至地面基站。
2.根据权利要求1所述的基于MapReduce框架的大数据空地联合计算方法，其特征在于，大数据空地联合计算模型的优化问题为：地面基站将划分后的子集传输到无人机的时延tn、无人机将到达的子集分配给地面用户设备的时延
Figure FDA0003821713170000011
地面用户将计算中间值传输到无人机的时延
Figure FDA0003821713170000012
无人机将结果传输到地面基站的时延
Figure FDA0003821713170000013
地面用户设备进行Map函数运算产生的时延
Figure FDA0003821713170000014
无人机进行Reduce函数运算所需的时延
Figure FDA0003821713170000015
之和最小；
大数据空地联合计算模型的约束条件为：地面基站分配给N个无人机的数据总和等于地面基站处的任务总和、无人机进行Reduce函数运算的数据总和等于其覆盖范围内所有地面用户设备的输出数据之和、无人机的位置位于部署范围内；
表示为：
Figure FDA0003821713170000021
Figure FDA0003821713170000022
Figure FDA0003821713170000023
Figure FDA0003821713170000024
Figure FDA0003821713170000025
其中，每个无人机的子集的任务文件的大小为sn，每个地面用户设备的任务文件子集大小为βm；无人机进行Reduce函数运算的输入数据大小为zn，第m个地面用户设备执行Map函数聚合后的第q个中间值的大小为γm,q。
3.根据权利要求2所述的基于MapReduce框架的大数据空地联合计算方法，其特征在于，在步骤S1中，根据地面用户设备的信道状态信息、带宽、CPU配置信息和位置信息确定无人机的最优位置。
4.根据权利要求3所述的基于MapReduce框架的大数据空地联合计算方法，其特征在于，在步骤S1中，根据大数据空地联合计算模型的优化问题和约束条件对无人机的位置进行优化：使无人机到其覆盖范围下的各地面用户设备之间的欧式距离之和最小。
5.根据权利要求4所述的基于MapReduce框架的大数据空地联合计算方法，其特征在于，采用k-means算法获得各无人机的位置。
6.根据权利要求2所述的基于MapReduce框架的大数据空地联合计算方法，其特征在于，在步骤S2中，地面基站根据各无人机的信道状态信息、带宽和CPU配置信息，对各无人机进行数据集分配。
7.根据权利要求2所述的基于MapReduce框架的大数据空地联合计算方法，其特征在于，在步骤S3中，根据大数据空地联合计算模型的优化问题和约束条件对无人机给地面用户设备的任务分配进行优化：对于同一个无人机覆盖范围内的所有地面用户设备的无人机将到达的子集分配给其的时延与其进行Map函数运算产生的时延之和均相等，表示为
Figure FDA0003821713170000026
其中，n＝1,…,N。
8.根据权利要求2所述的基于MapReduce框架的大数据空地联合计算方法，其特征在于，在步骤S4中，根据无人机的信道状态信息、带宽和CPU配置信息以及大数据空地联合计算模型的优化问题和约束条件对地面用户设备将计算中间值卸载到无人机的任务分配进行优化：各个无人机进行Reduce函数运算所需的时延均相等，表示为
Figure FDA0003821713170000031
其中，n＝1,…,N。
9.根据权利要求1所述的基于MapReduce框架的大数据空地联合计算方法，其特征在于，地面基站与无人机的通信链路和无人机与地面用户设备的通信链路在不同的频带上工作。
10.根据权利要求1所述的基于MapReduce框架的大数据空地联合计算方法，其特征在于，无人机与地面用户设备之间的通信采用正交频分多址协议。
CN202211059462.1A 2022-08-29 2022-08-29 一种基于MapReduce框架的大数据空地联合计算方法 Pending CN115567094A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211059462.1A CN115567094A (zh) 2022-08-29 2022-08-29 一种基于MapReduce框架的大数据空地联合计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211059462.1A CN115567094A (zh) 2022-08-29 2022-08-29 一种基于MapReduce框架的大数据空地联合计算方法

Publications (1)

Publication Number Publication Date
CN115567094A true CN115567094A (zh) 2023-01-03

Family

ID=84738379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211059462.1A Pending CN115567094A (zh) 2022-08-29 2022-08-29 一种基于MapReduce框架的大数据空地联合计算方法

Country Status (1)

Country Link
CN (1) CN115567094A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111630936A (zh) * 2017-12-30 2020-09-04 英特尔公司 用于无线通信的方法和设备
US11118936B1 (en) * 2019-01-15 2021-09-14 The Boeing Company System and method for performing operations on flight sensor data
CN114374424A (zh) * 2022-01-13 2022-04-19 福建师范大学 一种多无人机辅助的空地协作边缘计算方法
CN114866979A (zh) * 2022-05-16 2022-08-05 浙江工业大学 一种无人机辅助的边缘计算时延最小化方法
CN114930904A (zh) * 2019-10-30 2022-08-19 辉达公司 5g资源分配技术

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111630936A (zh) * 2017-12-30 2020-09-04 英特尔公司 用于无线通信的方法和设备
US11118936B1 (en) * 2019-01-15 2021-09-14 The Boeing Company System and method for performing operations on flight sensor data
CN114930904A (zh) * 2019-10-30 2022-08-19 辉达公司 5g资源分配技术
CN114374424A (zh) * 2022-01-13 2022-04-19 福建师范大学 一种多无人机辅助的空地协作边缘计算方法
CN114866979A (zh) * 2022-05-16 2022-08-05 浙江工业大学 一种无人机辅助的边缘计算时延最小化方法

Similar Documents

Publication Publication Date Title
CN108419286B (zh) 一种面对5g无人机通信联合波束与功率的分配方法
Du et al. Energy-efficient resource allocation in UAV based MEC system for IoT devices
CN110488868B (zh) 一种多无人机协助用户的移动卸载方法
Wang et al. RL-based user association and resource allocation for multi-UAV enabled MEC
Huang et al. Optimized deployment of drone base station to improve user experience in cellular networks
CN112532300A (zh) 单无人机反向散射通信网络轨迹优化与资源分配方法
CN112272232B (zh) 毫米波车联网资源调度方法、装置、电子设备及存储介质
CN112702713B (zh) 一种多约束条件下的低空无人机通信部署方法
Mozaffari et al. 3D cellular network architecture with drones for beyond 5G
CN113259946A (zh) 基于集中式阵列天线的地空全覆盖功率控制与协议设计方法
Zou et al. 3D placement of unmanned aerial vehicles and partially overlapped channel assignment for throughput maximization
CN113485409A (zh) 一种面向地理公平性的无人机路径规划分配方法及系统
Shah et al. A compendium of radio resource management in UAV-assisted next generation computing paradigms
Zhang et al. Joint power allocation and deployment optimization for HAP-assisted NOMA–MEC system
Taimoor et al. Holistic resource management in UAV-assisted wireless networks: An optimization perspective
CN113825143A (zh) 基于协同异构空中网络的位置优化和资源分配方法及系统
Zhang et al. Joint computation offloading and trajectory design for aerial computing
Paymard et al. Task scheduling based on priority and resource allocation in multi-user multi-task mobile edge computing system
CN115567094A (zh) 一种基于MapReduce框架的大数据空地联合计算方法
Xiao et al. STAR-RIS enhanced UAV-enabled MEC networks with bi-directional task offloading
CN115664486A (zh) 一种ris辅助uav边缘计算系统中无线供能的能效优化方法
Peng et al. Fog Radio Access Networks (F-RAN)
Liu et al. User-oriented task offloading for mobile edge computing in ultra-dense networks
Yang et al. Energy efficiency optimization in UAV-assisted communications and edge computing
CN114158103A (zh) 一种协同异构空中网络设计及部署优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination