CN108809520A - 一种基于边缘计算环境的编码分布式计算方法及装置 - Google Patents
一种基于边缘计算环境的编码分布式计算方法及装置 Download PDFInfo
- Publication number
- CN108809520A CN108809520A CN201810635631.9A CN201810635631A CN108809520A CN 108809520 A CN108809520 A CN 108809520A CN 201810635631 A CN201810635631 A CN 201810635631A CN 108809520 A CN108809520 A CN 108809520A
- Authority
- CN
- China
- Prior art keywords
- calculating task
- node
- edge calculations
- abnormal
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0076—Distributed coding, e.g. network coding, involving channel coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
- H04L1/0076—Distributed coding, e.g. network coding, involving channel coding
- H04L1/0077—Cooperative coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种基于边缘计算环境的编码分布式计算方法、装置、设备及计算机可读存储介质，该方法包括：获取边缘计算网络的网络参数；基于网络参数得到计算任务布置方案；进行编码分布式计算得到边缘计算网络内数据迁移的编码方案；确定任一参与节点为目标节点，确定目标节点上任一输出函数及对应输入数据均位于目标节点、且除目标节点之外的其他参与节点均不具有该任一输出函数时该任一输出函数对应中间值的计算任务为特定计算任务，确定除目标节点之外其他参与节点的特定计算任务为异常计算任务，删除计算任务布置方案中的异常计算任务；基于编码方案及计算任务布置方案实现边缘计算。从而大大减少了计算冗余，节约了网络计算资源。
Description
技术领域
本发明涉及边缘计算技术领域，更具体地说，涉及一种基于边缘计算环境的编码分布式计算方法、装置、设备及计算机可读存储介质。
背景技术
近年来，由于边缘计算的高速计算以及低延迟特效，边缘计算成为了下一代网络的新的研究热点。简单来说，边缘计算是云计算的一个拓展，其中的网络资源(比如计算资源等)更贴近用户或终端设备。参与计算的设备包括路由器、服务器甚至是终端设备。
分布式计算是边缘计算的一个主要特征，参与节点(即上述参与计算的设备)之间可以相互合作来处理不同的计算任务。通常来讲，边缘计算是基于MapReduce的分布式计算框架的，在MapReduce框架中，计算任务被分成两步：首先，计算任务的输入数据被分发到参与计算的参与节点上，参与节点在本地利用已设计好的映射函数处理这些输入数据并生成相关中间值，这个过程被称为“Map”，其中，每个参与节点均包括相同的映射函数；然后，参与节点相互交换中间值得到他们各自旨在解决的输出函数的相关中间值，当一个参与节点得到足够的中间值时，他可通过设定好的输出函数得到计算结果，这一过程被称为“Reduce”。在MapReduce框架中，中间值的交换(又称，数据迁移)通常是减少延迟的一个瓶颈。
网络编码的概念是在2000年首次提出的。网络编码涉及了图论、信息论以及编码理论等相关领域。简单来说，网络编码就是在通信网络中的内部节点上对不同的信息(流)进行编码处理，然后转发给下游节点。根据最大流-最小割定理，数据的发送方和接收方之间的最大传输速率不能超过双方之间的最小割值，传统的多播路由的方法一般达不到该上界。网络编码依据对数据编码的方式的差别，可以将之分为两种，一者是线性的网络编码(Linear Network Coding)，另一者是非线性的网络编码(Non-linear Network Coding)。相较于非线性网络编码，线性网络编码因其简便性而更加常用。
线性网络编码(Linear Network Coding，LNC)是一个有潜力的提高网络吞吐量减少传输延迟的技术。基于线性网络编码，有人提出了编码分布式计算方案(CodedDistributed Computing，CDC)来达到计算和通信负载的平衡。在这种方案中，主要是通过网络编码减少分布式计算中的通信负载，但是，发明人发现，这种方案中还是存在较为严重的计算冗余，进而造成计算资源的浪费。
综上所述，现有技术中编码分布式计算方案存在由于计算冗余的存在造成计算资源浪费的问题。
发明内容
本发明的目的是提供一种基于边缘计算环境的编码分布式计算方法、装置、设备及计算机可读存储介质，以解决现有技术中编码分布式计算方案存在的由于计算冗余的存在造成计算资源浪费的问题。
为了实现上述目的，本发明提供如下技术方案：
一种基于边缘计算环境的编码分布式计算方法，包括：
获取边缘计算网络的网络参数，所述网络参数包括参与节点、全部输入数据的数据总集合、全部输出函数的函数总集合、每个参与节点上输入数据的数据子集合、每个参与节点上输出函数的函数子集合及计算负载；
基于所述网络参数、按照任一参与节点上的任一输入数据对应的全部输出函数的中间值均应被计算的原则，得到计算任务布置方案；
基于所述计算负载及所述计算任务布置方案进行编码分布式计算得到所述边缘计算网络内数据迁移的编码方案；确定任一参与节点为目标节点，确定目标节点上任一输出函数及对应输入数据均位于目标节点、且除目标节点之外的其他参与节点均不具有该任一输出函数时该任一输出函数对应中间值的计算任务为特定计算任务，确定除目标节点之外其他参与节点的特定计算任务为异常计算任务，删除所述计算任务布置方案中的异常计算任务；
基于所述编码方案及所述计算任务布置方案实现边缘计算。
优选的，还包括：
确定出异常计算任务的同时确定正常计算任务，所述正常计算任务为除异常计算任务之外的需要正常进行的计算任务；
判断预先设置的标记是否为删除标记，如果是，则执行删除所述计算任务布置方案中的异常计算任务的步骤，如果否，则基于由异常计算任务及正常计算任务得到的新的计算任务布置方案及所述编码方案实现边缘计算。
优选的，确定异常计算任务，或确定异常计算任务及正常计算任务，包括：
定义矩阵M及矩阵Pi，并将M,P1,...,P|A|均初始化为全0矩阵；其中，M为|O|×|I|维矩阵，其第o行第k列对应输入数据k输出函数o的中间值，Pi为|O|×|I|维矩阵，表示参与节点i上能够计算得到的中间值集合，I表示数据总集合，O表示函数总集合，A表示参与节点的集合，Ii表示参与节点i的数据子集合，Oi表示参与节点i的函数子集合；
对于任一个参与节点i，如果且则确定Mo,k＝1；
对于任一个参与节点i，如果且则确定
对于任一个参与节点i，如果Mo,k＝1、且则确定
确定对应的计算任务为异常计算任务，或确定及对应的计算任务分别为异常计算任务及正常计算任务。
优选的，所述实现边缘计算之后，还包括：
将完成边缘计算的提示信息发送至指定终端。
一种基于边缘计算环境的编码分布式计算装置，包括：
参数获取模块，用于：获取边缘计算网络的网络参数，所述网络参数包括参与节点、全部输入数据的数据总集合、全部输出函数的函数总集合、每个参与节点上输入数据的数据子集合、每个参与节点上输出函数的函数子集合及计算负载；
第一方案获取模块，用于：基于所述网络参数、按照任一参与节点上的任一输入数据对应的全部输出函数的中间值均应被计算的原则，得到计算任务布置方案；
第二方案获取模块，用于：基于所述计算负载及所述计算任务布置方案进行编码分布式计算得到所述边缘计算网络内数据迁移的编码方案；确定任一参与节点为目标节点，确定目标节点上任一输出函数及对应输入数据均位于目标节点、且除目标节点之外的其他参与节点均不具有该任一输出函数时该任一输出函数对应中间值的计算任务为特定计算任务，确定除目标节点之外其他参与节点的特定计算任务为异常计算任务，删除所述计算任务布置方案中的异常计算任务；
边缘计算模块，用于：基于所述编码方案及所述计算任务布置方案实现边缘计算。
优选的，所述第二方案获取模块还用于：确定出异常计算任务的同时确定正常计算任务，所述正常计算任务为除异常计算任务之外的需要正常进行的计算任务；
所述边缘计算模块还用于：判断预先设置的标记是否为删除标记，如果是，则执行删除所述计算任务布置方案中的异常计算任务的步骤，如果否，则基于由异常计算任务及正常计算任务得到的新的计算任务布置方案及所述编码方案实现边缘计算。
优选的，所述第二方案获取模块包括：
第一确定单元，用于：定义矩阵M及矩阵Pi，并将M,P1,...,P|A|均初始化为全0矩阵；其中，M为|O|×|I|维矩阵，其第o行第k列对应输入数据k输出函数o的中间值，Pi为|O|×|I|维矩阵，表示参与节点i上能够计算得到的中间值集合，I表示数据总集合，O表示函数总集合，A表示参与节点的集合，Ii表示参与节点i的数据子集合，Oi表示参与节点i的函数子集合；对于任一个参与节点i，如果且则确定Mo,k＝1；对于任一个参与节点i，如果且则确定对于任一个参与节点i，如果Mo,k＝1、且则确定
第二确定单元，用于：确定对应的计算任务为异常计算任务，或确定及对应的计算任务分别为异常计算任务及正常计算任务。
优选的，还包括：
提示模块，用于：所述实现边缘计算之后，将完成边缘计算的提示信息发送至指定终端。
一种基于边缘计算环境的编码分布式计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上任一项所述基于边缘计算环境的编码分布式计算方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述基于边缘计算环境的编码分布式计算方法的步骤。
本发明提供了一种基于边缘计算环境的编码分布式计算方法、装置、设备及计算机可读存储介质，其中该方法包括：获取边缘计算网络的网络参数，所述网络参数包括参与节点、全部输入数据的数据总集合、全部输出函数的函数总集合、每个参与节点上输入数据的数据子集合、每个参与节点上输出函数的函数子集合及计算负载；基于所述网络参数、按照任一参与节点上的任一输入数据对应的全部输出函数的中间值均应被计算的原则，得到计算任务布置方案；基于所述计算负载及所述计算任务布置方案进行编码分布式计算得到所述边缘计算网络内数据迁移的编码方案；确定任一参与节点为目标节点，确定目标节点上任一输出函数及对应输入数据均位于目标节点、且除目标节点之外的其他参与节点均不具有该任一输出函数时该任一输出函数对应中间值的计算任务为特定计算任务，确定所述计算任务布置方案中除目标节点之外其他参与节点对应的特定计算任务为异常计算任务，删除异常计算任务；基于所述编码方案及所述计算任务布置方案实现边缘计算。本发明公开的技术方案中，在基于边缘计算网络的网络参数得到对应的计算任务布置方案后，通过编码分布式计算得到边缘计算网络内数据迁移的编码方案，而通过这种方式能够使得通信负载达到最小值；同时，对于输入数据及输出函数均位于目标节点、且其他参与节点不具有输出函数的特定计算任务，将计算任务布置方案中其他参与节点的特定计算任务删除，仅允许目标节点实现特定计算任务的计算，由此，满足了目标节点对特定计算任务对应中间值的需求，还能够避免不需特定计算任务对应中间值的参与节点对该中间值的计算，从而无需改变数据迁移的同时大大减少了计算冗余，节约了网络计算资源。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法的流程图；
图2为本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法中第一个评估结果图；
图3为本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法中第二个评估结果图；
图4为本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法中第三个评估结果图；
图5为本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法中第四个评估结果图；
图6为本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法中第五个评估结果图；
图7为本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法中第六个评估结果图；
图8为本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法中第七个评估结果图；
图9为本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法中第八个评估结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，其示出了本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法的流程图，可以包括：
S11：获取边缘计算网络的网络参数，网络参数包括参与节点、全部输入数据的数据总集合、全部输出函数的函数总集合、每个参与节点上输入数据的数据子集合、每个参与节点上输出函数的函数子集合及计算负载。
边缘计算网络即为实现边缘计算的网络，参与节点、输入数据、输出函数及计算负载与现有技术中对应名称的定义相同，具体来说，参与节点为参与边缘计算的节点，包括所有拥有输入数据的节点及拥有输出函数的节点；输入数据为边缘计算中用于实现计算任务的计算的数据；输出函数为参与节点利用得到的中间值得到需要输出的计算结果的函数；计算负载为每个输入数据在参与节点中被计算的总次数，每个输入数据对应的总次数均相同，并且该总次数的具体值一般设置好边缘计算网络后即可确定；数据总集合包含有全部的输入数据；函数总集合包含有全部的输出函数；数据子集合为每个参与节点上包含的输入数据，即任一个参与节点均具有包括有自身包含输入数据的数据子集合，因此参与节点与数据子集合一一对应；函数子集合包含每个参与节点上的输出函数，即任一个参与节点均具有包括有自身包含的输出函数的函数子集合，因此参与节点与函数子集合一一对应；另外，输入数据及映射函数实现计算可得到对应的中间值，而参与节点而基于该中间值通过输出函数计算得到需要输出的计算结果。另外，如现有技术中，每个参与节点均具有相同用于计算得到中间值的映射函数。
S12：基于网络参数、按照任一参与节点上的任一输入数据对应的全部输出函数的中间值均应被计算的原则，得到计算任务布置方案。
计算任务即为基于输入数据及映射函数计算对应中间值的任务，而计算任务布置方案即为布置的每个参与节点需要实现的计算任务的方案。按照上述原则得到的计算任务布置方案中，如果一个参与节点具有一个输入数据，则这个参与节点的计算任务则包含该输入数据对应的全部输出函数的中间值的计算。而得到计算任务布置方案中主要使用的网络参数为参与节点、全部输入数据的数据总集合、全部输出函数的函数总集合、每个参与节点上输入数据的数据子集合、每个参与节点上输出函数的函数子集合，已知上述得到计算任务布置方案的原则后，可以基于网络参数按照上述原则实现计算任务的布置。在获知网络参数及布置原则的前提下，得到对应计算任务布置方案与现有技术中对应技术方案的实现原理一致，在此不再赘述。其中，计算任务布置方案可以为基于MapReduce边缘计算实现的，而MapReduce边缘计算与现有技术中对应技术方案的实现原理一致，在此不再赘述。
需要说明的是，本申请中的计算任务布置方案可以为计算任务布置图，也即可以基于网络参数绘制对应的边缘计算网络的图，进而在该图上标出每个参与节点需实现的计算任务，即可得到计算任务布置图；当然还可以根据实际需要进行其他设定，均在本发明的保护范围之内。
另外，计算任务布置方案中还可以用字母等标记方式标记出需要计算的各个中间值，由此通过计算任务布置方案可以确定出参与节点、输入数据、输出函数及中间值，每个中间值对应一个计算任务。
S13：基于计算负载及计算任务布置方案进行编码分布式计算得到边缘计算网络内数据迁移的编码方案；确定任一参与节点为目标节点，确定目标节点上任一输出函数及对应输入数据均位于目标节点、且除目标节点之外的其他参与节点均不具有该任一输出函数时该任一输出函数对应中间值的计算任务为特定计算任务，确定除目标节点之外其他参与节点的特定计算任务为异常计算任务，删除计算任务布置方案中的异常计算任务。
需要说明的是，基于计算负载及计算任务布置方案进行编码分布式计算得到边缘计算网络内数据迁移的编码方案与现有技术中对应技术方案的实现原理一致，在此不再赘述；从而通过这种方式能够使得通信负载达到最小值。将异常计算任务删除即为将除目标节点之外其他参与节点的特定计算任务删除，即仅仅需要目标节点进行特定计算任务，这时，由于目标节点具有特定计算任务对应输入数据，因此目标节点可自己计算得到特定计算任务对应中间值，并利用该中间值通过自身具有的输出函数实现对应计算结果的输出；由于其他参与节点不具有特定计算任务对应的输出函数，则说明其他参与节点不需要特定计算任务对应的中间值，因此将其他参与节点的特定计算任务删除也即无需其他计算再进行特定计算任务，从而不仅没有影响数据传输，还能够减少不需要的数据计算，进而减少了计算冗余。
S14：基于编码方案及计算任务布置方案实现边缘计算。
该步骤与现有技术中对应技术方案的实现原理一致，在此不再赘述。
本发明公开的技术方案中，在基于边缘计算网络的网络参数得到对应的计算任务布置方案后，通过编码分布式计算得到边缘计算网络内数据迁移的编码方案，而通过这种方式能够使得通信负载达到最小值；同时，对于输入数据及输出函数均位于目标节点、且其他参与节点不具有输出函数的特定计算任务，将计算任务布置方案中其他参与节点的特定计算任务删除，仅允许目标节点实现特定计算任务的计算，由此，满足了目标节点对特定计算任务对应中间值的需求，还能够避免不需特定计算任务对应中间值的参与节点对该中间值的计算，从而无需改变数据迁移的同时大大减少了计算冗余，节约了网络计算资源。
本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法，还可以包括：
确定出异常计算任务的同时确定正常计算任务，正常计算任务为除异常计算任务之外的需要正常进行的计算任务；
判断预先设置的标记是否为删除标记，如果是，则执行删除计算任务布置方案中的异常计算任务的步骤，如果否，则基于由异常计算任务及正常计算任务得到的新的计算任务布置方案及编码方案实现边缘计算。
计算任务包括两种，一种为需要正常进行的计算任务，另一种为无需进行的计算任务，本申请中需要正常进行的计算认为即为正常计算任务，而无需进行的计算任务即为异常计算任务，因此确定出异常计算任务的同时还能够确定出正常计算任务。其中，预先设置的标记可以为用户根据实际需要进行设定的，如果该标记为删除标记，则执行删除异常计算任务的步骤，也即利用确定出的异常计算任务更新计算任务布置方案后实现边缘计算，如果该标记不为删除标记，则基于异常计算任务及正常计算任务得到的新的计算任务布置方案实现边缘计算，其中基于异常计算任务及正常计算任务得到新的计算任务布置方案即为：得到包括异常计算任务及正常计算任务的计算任务布置方案，且该方案中异常计算任务无需进行，而正常计算任务需要正常进行，进而基于此实现边缘计算。从而增加了方案灵活性。
另外，本申请中的边缘计算网络可以为局域网或者无线网络，且数据传输方式可以使用广播通信方式。当然还可根据实际需要进行其他设定，均在本发明的保护范围之内。
本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法，定义矩阵M及矩阵Pi，并将M,P1,...,P|A|均初始化为全0矩阵；其中，M为|O|×|I|维矩阵，其第o行第k列对应输入数据k输出函数o的中间值，Pi为|O|×|I|维矩阵，表示参与节点i上能够计算得到的中间值集合，I表示数据总集合，O表示函数总集合，A表示参与节点的集合，Ii表示参与节点i的数据子集合，Oi表示参与节点i的函数子集合；
对于任一个参与节点i，如果且则确定Mo,k＝1；
对于任一个参与节点i，如果且则确定
对于任一个参与节点i，如果Mo,k＝1、且则确定
确定对应的计算任务为异常计算任务，或确定及对应的计算任务分别为异常计算任务及正常计算任务。
本实施例中的上述步骤是需要依次实现的，计算负载的取值范围为：1≤l≤|A|。其中，如果Mo,k＝1，则说明对应的中间值vo,k在某一参与节点i被计算并且为该参与节点i所需要，其中，k∈Ii，o∈Oi；否则，则说明对应的中间值vo,k可以在某一参与节点i被计算并且被除该参与节点i之外的其他参与节点所需要。此外，通过上述步骤，可以返回一个P＝{P1...P|A|}，该矩阵中如果则说明对应的中间值vo,k需要在参与节点i上计算；如果那么vo,k不需要在参与节点i上计算。所有矩阵元素都初始化为0。由此得到的P中包含的Pi表示参与节点i上的实际需要进行的计算任务。因此，本申请也可以通过上述算法得到的P直接实现对应的边缘计算。从而通过这种算法有效且快速的实现了各类计算任务的确定。
另外，简单来说，本申请公开的上述计算冗余削减算法的主要思想是减少不需要参与数据迁移的中间值部分的计算冗余。如果一个参与节点本地计算了一个属于他自己输出函数的中间值，并且其他参与节点并不需要该中间值，则其他参与节点上的该值的计算就可以削减，因为，该计算任务不参与数据迁移以及编解码操作。
本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法，实现边缘计算之后，还可以包括：
将完成边缘计算的提示信息发送至指定终端。
指定终端可以为用户预先指定的终端，由此能够使得用户及时获知边缘计算的完成信息，进而实现其他对应操作，方便了用户使用。
下面在实施例过程中，使用控制变量法，保持其他变量不变，改变某一变量，收集结果，对不同变量影响下的编码分布式计算方法能达到的计算总量进行数据验证，控制变量法的主要变量如下：
|A|：分布式边缘计算中参与计算的参与节点数目，|A|∈[l,10]；
|I|：输入数据数目，|I|∈[500,5000]；
|O|：需要解决的输出函数数目，
l：基于MapReduce的分布式边缘计算的计算负载，l∈(1,|A|]；
图2-图9为评估结果。具体地，当l＝1时不存在任何计算冗余，每个中间值都是被需要的；当l＝|A|时，通信负载为0；因此，l的范围被设为(1,|A|]。为了保证每个参与节点解出指数个输出函数，有同时，|A|，|I|，|O|的默认值设为|A|＝10,|I|＝2520,|O|＝10。此外，l的默认值设为2。
在图2中，随着计算负载l的增加，上界也一直在增加。很显然，当计算负载l增加，每个节点本地计算的中间值数目增加，计算总量增加。但是，由CRR方案得到的计算总量确是随着l的增加，先增加后减少。这是由于当l＝1或者l＝|A|时，CRR方案的计算总量是|I||O|达到了计算总量的最小值。但是需要注意，l＝1时不存在可削减计算冗余。但是l＝|A|时无需数据迁移。当l从1开始增加的时候，计算量显然会增加，作为以计算资源换取通信负载的代价。但是，当l＝|A|时，CRR计算任务分配的计算总量达到最小值，所以计算总量一定在当l足够大时开始降低。由此图总结得，大部分的本地中间值计算对编码分布式计算方案没有任何作用，即这些都是可削减的计算冗余。此外，随着计算负载的增加，计算冗余也在增加。
在图3中，参与节点数、输出函数个数以及计算负载都被设为默认值，|A|＝10,|O|＝10,l＝2。当输入数据数目增加的时候，上界和CRR的计算总量都在增加。这是显而易见的，因为在固定数目的节点上给定计算负载，越多的输入数据意味着每个节点需要计算更多的中间值。
在图4中，参与节点数、输入数据数以及计算负载都被设为默认值，|A|＝10,|I|＝2520,l＝2。随着输出函数数目增加，上界和CRR的计算总量都在增加。这是因为越多的输出函数导致每个对应数据计算的中间值的增加。
在图5中，计算负载、输入数据数目以及输出函数数目都被设为默认值，l＝2,|I|＝2520,|O|＝10。由于节点数目不能少于计算负载，因而，节点数目从2变到10。当|A|增加时，上界保持不变。这是由于上界等于l|I||O|，与|A|无关。但是CRR的计算总量随着|A|的增加，在增加且越来越接近上界。当参与计算的节点增加时，保持输入数据以及输出函数不变，每个节点的计算量减少了，对应的输出函数的中间值也减少了。那么，需要的参与编码的中间值数目增加，可削减的计算冗余空间减少。因此，CRR的计算总量随着|A|的增加而增加且越来越接近上界。
此外，图4中还评估了CRR的计算总量相对于上界的冗余削减百分比。参数的选择与图2-图5中相同。在图6中，节点数目、输入输出数目都是默认值，数据显示，冗余削减百分比随着计算负载的增加呈线性增长。这意味着，当计算负载越大的是，可削减的冗余越多。
图7和图8中仅分别改变了输入数据以及输出函数的数目，其他参数保持不变。图7和图8中显示对于不同的输入数据或者输出函数数目，冗余削减百分比保持不变，即虽然随着输入数据或者输出函数数目的变多，计算总量会变多，但是可削减的计算冗余也在变多，且占比不变。
但是，在图9中，可看出，仅改变参与计算的参与节点数目，其他参数保持不变的时候，冗余削减百分比与参与计算的节点数呈反比，即随着节点数目的增加，在计算总量保持不变的情况下，可削减的既然冗余在减少。
以上这组实验揭示了计算负载以及参与计算的节点数会影响CRR方案的计算冗余削减百分比，而输入数据数目以及输出函数数目，不会影响计算冗余削减百分比。
本发明实施例还提供了一种基于边缘计算环境的编码分布式计算装置，可以包括：
参数获取模块，用于：获取边缘计算网络的网络参数，网络参数包括参与节点、全部输入数据的数据总集合、全部输出函数的函数总集合、每个参与节点上输入数据的数据子集合、每个参与节点上输出函数的函数子集合及计算负载；
第一方案获取模块，用于：基于网络参数、按照任一参与节点上的任一输入数据对应的全部输出函数的中间值均应被计算的原则，得到计算任务布置方案；
第二方案获取模块，用于：基于计算负载及计算任务布置方案进行编码分布式计算得到边缘计算网络内数据迁移的编码方案；确定任一参与节点为目标节点，确定目标节点上任一输出函数及对应输入数据均位于目标节点、且除目标节点之外的其他参与节点均不具有该任一输出函数时该任一输出函数对应中间值的计算任务为特定计算任务，确定除目标节点之外其他参与节点的特定计算任务为异常计算任务，删除计算任务布置方案中的异常计算任务；
边缘计算模块，用于：基于编码方案及计算任务布置方案实现边缘计算。
本发明实施例提供的一种基于边缘计算环境的编码分布式计算装置，第二方案获取模块还用于：确定出异常计算任务的同时确定正常计算任务，正常计算任务为除异常计算任务之外的需要正常进行的计算任务；
边缘计算模块还用于：判断预先设置的标记是否为删除标记，如果是，则执行删除计算任务布置方案中的异常计算任务的步骤，如果否，则基于由异常计算任务及正常计算任务得到的新的计算任务布置方案及编码方案实现边缘计算。
本发明实施例提供的一种基于边缘计算环境的编码分布式计算装置，第二方案获取模块可以包括：
第一确定单元，用于：定义矩阵M及矩阵Pi，并将M,P1,...,P|A|均初始化为全0矩阵；其中，M为|O|×|I|维矩阵，其第o行第k列对应输入数据k输出函数o的中间值，Pi为|O|×|I|维矩阵，表示参与节点i上能够计算得到的中间值集合，I表示数据总集合，O表示函数总集合，A表示参与节点的集合，Ii表示参与节点i的数据子集合，Oi表示参与节点i的函数子集合；对于任一个参与节点i，如果且则确定Mo,k＝1；对于任一个参与节点i，如果且则确定对于任一个参与节点i，如果Mo,k＝1、且则确定
第二确定单元，用于：确定对应的计算任务为异常计算任务，或确定及对应的计算任务分别为异常计算任务及正常计算任务。
本发明实施例提供的一种基于边缘计算环境的编码分布式计算装置，还可以包括：
提示模块，用于：实现边缘计算之后，将完成边缘计算的提示信息发送至指定终端。
本发明实施例还提供了一种基于边缘计算环境的编码分布式计算设备，可以包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现如上任一项基于边缘计算环境的编码分布式计算方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可以实现如上任一项基于边缘计算环境的编码分布式计算方法的步骤。
需要说明的是，本发明实施例提供的一种基于边缘计算环境的编码分布式计算装置、设备及计算机可读存储介质中相关部分的说明请参见本发明实施例提供的一种基于边缘计算环境的编码分布式计算方法中对应部分的详细说明，在此不再赘述。另外本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种基于边缘计算环境的编码分布式计算方法，其特征在于，包括：
获取边缘计算网络的网络参数，所述网络参数包括参与节点、全部输入数据的数据总集合、全部输出函数的函数总集合、每个参与节点上输入数据的数据子集合、每个参与节点上输出函数的函数子集合及计算负载；
基于所述网络参数、按照任一参与节点上的任一输入数据对应的全部输出函数的中间值均应被计算的原则，得到计算任务布置方案；
基于所述计算负载及所述计算任务布置方案进行编码分布式计算得到所述边缘计算网络内数据迁移的编码方案；确定任一参与节点为目标节点，确定目标节点上任一输出函数及对应输入数据均位于目标节点、且除目标节点之外的其他参与节点均不具有该任一输出函数时该任一输出函数对应中间值的计算任务为特定计算任务，确定除目标节点之外其他参与节点的特定计算任务为异常计算任务，删除所述计算任务布置方案中的异常计算任务；
基于所述编码方案及所述计算任务布置方案实现边缘计算。
2.根据权利要求1所述的方法，其特征在于，还包括：
确定出异常计算任务的同时确定正常计算任务，所述正常计算任务为除异常计算任务之外的需要正常进行的计算任务；
判断预先设置的标记是否为删除标记，如果是，则执行删除所述计算任务布置方案中的异常计算任务的步骤，如果否，则基于由异常计算任务及正常计算任务得到的新的计算任务布置方案及所述编码方案实现边缘计算。
3.根据权利要求2所述的方法，确定异常计算任务，或确定异常计算任务及正常计算任务，包括：
定义矩阵M及矩阵Pi，并将M,P1,...,P|A|均初始化为全0矩阵；其中，M为|O|×|I|维矩阵，其第o行第k列对应输入数据k输出函数o的中间值，Pi为|O|×|I|维矩阵，表示参与节点i上能够计算得到的中间值集合，I表示数据总集合，O表示函数总集合，A表示参与节点的集合，Ii表示参与节点i的数据子集合，Oi表示参与节点i的函数子集合；
对于任一个参与节点i，如果且则确定Mo,k＝1；
对于任一个参与节点i，如果且则确定
对于任一个参与节点i，如果Mo,k＝1、且则确定
确定Poi,k＝0对应的计算任务为异常计算任务，或确定Poi,k＝0及Poi,k＝1对应的计算任务分别为异常计算任务及正常计算任务。
4.根据权利要求3所述的方法，其特征在于，所述实现边缘计算之后，还包括：
将完成边缘计算的提示信息发送至指定终端。
5.一种基于边缘计算环境的编码分布式计算装置，其特征在于，包括：
参数获取模块，用于：获取边缘计算网络的网络参数，所述网络参数包括参与节点、全部输入数据的数据总集合、全部输出函数的函数总集合、每个参与节点上输入数据的数据子集合、每个参与节点上输出函数的函数子集合及计算负载；
第一方案获取模块，用于：基于所述网络参数、按照任一参与节点上的任一输入数据对应的全部输出函数的中间值均应被计算的原则，得到计算任务布置方案；
第二方案获取模块，用于：基于所述计算负载及所述计算任务布置方案进行编码分布式计算得到所述边缘计算网络内数据迁移的编码方案；确定任一参与节点为目标节点，确定目标节点上任一输出函数及对应输入数据均位于目标节点、且除目标节点之外的其他参与节点均不具有该任一输出函数时该任一输出函数对应中间值的计算任务为特定计算任务，确定除目标节点之外其他参与节点的特定计算任务为异常计算任务，删除所述计算任务布置方案中的异常计算任务；
边缘计算模块，用于：基于所述编码方案及所述计算任务布置方案实现边缘计算。
6.根据权利要求5所述的装置，其特征在于，所述第二方案获取模块还用于：确定出异常计算任务的同时确定正常计算任务，所述正常计算任务为除异常计算任务之外的需要正常进行的计算任务；
所述边缘计算模块还用于：判断预先设置的标记是否为删除标记，如果是，则执行删除所述计算任务布置方案中的异常计算任务的步骤，如果否，则基于由异常计算任务及正常计算任务得到的新的计算任务布置方案及所述编码方案实现边缘计算。
7.根据权利要求6所述的装置，所述第二方案获取模块包括：
第一确定单元，用于：定义矩阵M及矩阵Pi，并将M,P1,...,P|A|均初始化为全0矩阵；其中，M为|O|×|I|维矩阵，其第o行第k列对应输入数据k输出函数o的中间值，Pi为|O|×|I|维矩阵，表示参与节点i上能够计算得到的中间值集合，I表示数据总集合，O表示函数总集合，A表示参与节点的集合，Ii表示参与节点i的数据子集合，Oi表示参与节点i的函数子集合；对于任一个参与节点i，如果且则确定Mo,k＝1；对于任一个参与节点i，如果且则确定对于任一个参与节点i，如果Mo,k＝1、且则确定
第二确定单元，用于：确定对应的计算任务为异常计算任务，或确定及对应的计算任务分别为异常计算任务及正常计算任务。
8.根据权利要求7所述的装置，其特征在于，还包括：
提示模块，用于：所述实现边缘计算之后，将完成边缘计算的提示信息发送至指定终端。
9.一种基于边缘计算环境的编码分布式计算设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述基于边缘计算环境的编码分布式计算方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于边缘计算环境的编码分布式计算方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810635631.9A CN108809520B (zh) | 2018-06-20 | 2018-06-20 | 一种基于边缘计算环境的编码分布式计算方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810635631.9A CN108809520B (zh) | 2018-06-20 | 2018-06-20 | 一种基于边缘计算环境的编码分布式计算方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108809520A true CN108809520A (zh) | 2018-11-13 |
| CN108809520B CN108809520B (zh) | 2021-03-26 |
Family
ID=64083596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810635631.9A Active CN108809520B (zh) | 2018-06-20 | 2018-06-20 | 一种基于边缘计算环境的编码分布式计算方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108809520B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110336643A (zh) * | 2019-07-05 | 2019-10-15 | 苏州大学 | 一种基于边缘计算环境的数据处理方法 |
| CN111049814A (zh) * | 2019-12-04 | 2020-04-21 | 苏州大学 | 一种在边缘计算环境中针对污染攻击的计算验证的方法 |
| CN111333010A (zh) * | 2020-05-19 | 2020-06-26 | 八维通科技有限公司 | 基于蓝牙定位实现的加油站防止加错油方法及系统 |
| CN112769522A (zh) * | 2021-01-20 | 2021-05-07 | 广西师范大学 | 一种基于Partition结构的编码分布式计算方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101547347A (zh) * | 2009-04-30 | 2009-09-30 | 上海大学 | 可伸缩视频流的覆盖网络分层组播资源最优分配方法 |
| CN103368694A (zh) * | 2013-07-05 | 2013-10-23 | 华中科技大学 | 一种采用空间网络编码的网络传输方法 |
| US20150200867A1 (en) * | 2014-01-15 | 2015-07-16 | Cisco Technology, Inc. | Task scheduling using virtual clusters |
-
2018
- 2018-06-20 CN CN201810635631.9A patent/CN108809520B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101547347A (zh) * | 2009-04-30 | 2009-09-30 | 上海大学 | 可伸缩视频流的覆盖网络分层组播资源最优分配方法 |
| CN103368694A (zh) * | 2013-07-05 | 2013-10-23 | 华中科技大学 | 一种采用空间网络编码的网络传输方法 |
| US20150200867A1 (en) * | 2014-01-15 | 2015-07-16 | Cisco Technology, Inc. | Task scheduling using virtual clusters |
Non-Patent Citations (2)
| Title |
|---|
| RUIMIN ZHAO等: "Optimal Transmission Topology Construction and Secure Linear Network Coding Design for Multicast with Integral Link Rates", 《2016 IEEE 18TH INTERNATIONAL CONFERENCE ON HIGH PERFORMANCE COMPUTING AND COMMUNICATIONS; IEEE 14TH INTERNATIONAL CONFERENCE ON SMART CITY; IEEE 2ND INTERNATIONAL CONFERENCE ON DATA SCIENCE AND SYSTEMS》 * |
| 温正清: "基于网络编码的安全多数据流传输方案研究", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110336643A (zh) * | 2019-07-05 | 2019-10-15 | 苏州大学 | 一种基于边缘计算环境的数据处理方法 |
| CN111049814A (zh) * | 2019-12-04 | 2020-04-21 | 苏州大学 | 一种在边缘计算环境中针对污染攻击的计算验证的方法 |
| CN111049814B (zh) * | 2019-12-04 | 2021-09-28 | 苏州大学 | 一种在边缘计算环境中针对污染攻击的计算验证的方法 |
| CN111333010A (zh) * | 2020-05-19 | 2020-06-26 | 八维通科技有限公司 | 基于蓝牙定位实现的加油站防止加错油方法及系统 |
| CN112769522A (zh) * | 2021-01-20 | 2021-05-07 | 广西师范大学 | 一种基于Partition结构的编码分布式计算方法 |
| CN112769522B (zh) * | 2021-01-20 | 2022-04-19 | 广西师范大学 | 一种基于Partition结构的编码分布式计算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108809520B (zh) | 2021-03-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108809520A (zh) | 一种基于边缘计算环境的编码分布式计算方法及装置 | |
| Li et al. | SMDP-based coordinated virtual machine allocations in cloud-fog computing systems | |
| Li et al. | Resource optimization for delay-tolerant data in blockchain-enabled IoT with edge computing: A deep reinforcement learning approach | |
| Papadimitriou | Algorithms, games, and the internet | |
| Jang et al. | Joint optimization of service function placement and flow distribution for service function chaining | |
| Jiang et al. | Energy-efficient multi-constraint routing algorithm with load balancing for smart city applications | |
| Moreno et al. | Efficiency and reliability of epidemic data dissemination in complex networks | |
| Lenzen | Optimal deterministic routing and sorting on the congested clique | |
| Fotakis et al. | The structure and complexity of Nash equilibria for a selfish routing game | |
| Xiang et al. | QoS routing based on genetic algorithm | |
| CN109600230B (zh) | 一种区块链共识机制实现系统及其实现方法 | |
| CN103036792B (zh) | 一种最大化最小公平多数据流传输调度方法 | |
| Gelenbe et al. | Genetic algorithms for route discovery | |
| CN110365787A (zh) | 一种应用容器并基于微服务框架的边缘计算最优化布局方法 | |
| CN108111335A (zh) | 一种调度和链接虚拟网络功能的方法及系统 | |
| CN109803292A (zh) | 一种基于强化学习的多次级用户移动边缘计算的方法 | |
| CN110519090A (zh) | 一种fpga云平台的加速卡分配方法、系统及相关组件 | |
| D’Oro et al. | Auction-based resource allocation in OpenFlow multi-tenant networks | |
| Ashlagi et al. | On the value of correlation | |
| CN103795629B (zh) | 标签交换路径的全局并发优化方法、装置及系统 | |
| Long et al. | An efficient task offloading approach based on multi-objective evolutionary algorithm in cloud-edge collaborative environment | |
| Georgiadis et al. | Exchange of services in networks: competition, cooperation, and fairness | |
| Hosen et al. | MSRM-IoT: A Reliable Resource Management for Cloud, Fog, and Mist-Assisted IoT Networks | |
| CN114760023A (zh) | 基于联邦学习的模型训练方法、装置及存储介质 | |
| CN107943561A (zh) | 一种面向云计算平台的科学工作流任务调度方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20221010 Address after: 610041 No. 1607, 16th Floor, Building 10, No. 399, West Section of Fucheng Avenue, Chengdu High-tech Zone, Chengdu (Sichuan) Pilot Free Trade Zone, Sichuan Province Patentee after: Sichuan Edge Computing Technology Co.,Ltd. Address before: No. 8, Xiangcheng District Ji Xue Road, Suzhou, Jiangsu Patentee before: SOOCHOW University |