CN111597043B - 一种全场景边缘计算方法、装置及系统 - Google Patents

一种全场景边缘计算方法、装置及系统 Download PDF

Info

Publication number
CN111597043B
CN111597043B CN202010408448.2A CN202010408448A CN111597043B CN 111597043 B CN111597043 B CN 111597043B CN 202010408448 A CN202010408448 A CN 202010408448A CN 111597043 B CN111597043 B CN 111597043B
Authority
CN
China
Prior art keywords
edge
node
edge computing
computing
calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010408448.2A
Other languages
English (en)
Other versions
CN111597043A (zh
Inventor
张锐
兰毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Planetary Computing Power Shenzhen Technology Co ltd
Original Assignee
Planetary Computing Power Shenzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Planetary Computing Power Shenzhen Technology Co ltd filed Critical Planetary Computing Power Shenzhen Technology Co ltd
Priority to CN202010408448.2A priority Critical patent/CN111597043B/zh
Publication of CN111597043A publication Critical patent/CN111597043A/zh
Application granted granted Critical
Publication of CN111597043B publication Critical patent/CN111597043B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45562—Creating, deleting, cloning virtual machine instances
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/502—Proximity

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种全场景边缘计算方法、装置及系统，该全场景边缘计算方法包括如下步骤：资源调度节点接收用户的计算请求，生成全场景边缘计算任务并生成镜像文件dockerfile；获取边缘计算节点执行的无差别计算程序或者利用源代码编译程序；选择边缘调度算法并根据边缘调度算法选择可用的边缘计算节点，将边缘计算任务拆分为各个边缘计算节点能够执行的工作任务并分发。本发明采用分布式架构，物理成本更低，任何规模大小的计算能力都可以接入进来，对外提供更强大算力服务。本发明采用并行方式运行，数据的读取、计算效率更加高效。平台支持多场景计算，对不同的边缘计算节点进行统一封装，用户不需要配置、了解服务器运行环境，可以更加关注业务功能。

Description

一种全场景边缘计算方法、装置及系统
技术领域
本发明属于边缘计算技术领域，涉及一种全场景边缘计算方法、装置及系统。
背景技术
边缘计算是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在云端发起，在边缘侧运行，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的需求。边缘计算采用分布式运算的架构，将数据与运算，由网络中心节点移到边缘节点来处理。边缘计算过程是，将原本完全由中心节点处理大型服务加以分解，切割成更小与更容易管理的部分，分散到边缘节点去处理。通过选择最合适的边缘节点提供智能分析处理服务，减少时延，提升效率，提高安全隐私保护。从行业应用来看，边缘计算大致分为四类，分别是物联网边缘计算、P2P边缘计算、服务器边缘计算、运营商边缘计算。
目前，国内尚未形成成熟的服务器边缘计算产品和方案，一些传统提供云计算解决方案的公司，如阿里云、腾讯云等还是主要集中在云服务上，工作核心也是在加大力度推动各行各业上云，物联网边缘计算在智慧城市、智慧家居、工业互联网等方面应用比较多。运营商边缘计算也在逐步启动建设中。华为推出了开源的kubeEdge，核心功能还是提供一个基于k8s的容器化的工具，主要还是解决的是云边端系统的协同问题，没有与AI、大数据等分布式计算业务结合起来，没有形成一个标准的全场景计算框架，不是一个标准的边缘计算解决方案。
在国外，出现了一些边缘计算开源项目，但比较多是物联网边缘计算，但物联网的软硬件和接入方式的多样性给数据接入功能带来困难，影响了边缘计算应用的部署。
目前边缘计算主要还是网络设备信息通信技术和服务器虚拟化技术，而且聚焦于特定行业应用，不同场景采用的解决方案不同，没有形成一个统一的整体支持多场景(多场景具体但不限于：AI训练、AI应用、大数据存储及分析、物联网、渲染、流媒体等)运算的边缘计算框架。
发明内容
本发明旨在至少解决现有技术中存在的技术问题，特别创新地提出了一种全场景边缘计算方法、装置及系统。
为了实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种全场景边缘计算方法，其包括如下步骤：
资源调度节点接收用户的计算请求，生成全场景边缘计算任务并生成镜像文件dockerfile；
资源调度节点将用户计算请求的可分离的数据集保存到存储设备；
资源调度节点获取边缘计算节点执行的无差别计算程序或者利用源代码编译程序；
资源调度节点选择边缘调度算法并选择可用的边缘计算节点，将所述边缘计算任务拆分为各个边缘计算节点能够执行的工作任务并分发。
本发明的全场景边缘计算方法采用分布式架构，比传统云计算方式建设数据中心等所需要的物理成本更低，任何规模大小的计算能力都可以接入进来，整合成统一的多场景边缘计算平台，从而对外提供更强大算力服务。本发明采用并行方式运行，支持数据并行和计算并行，在数据的读取、计算效率方面更加高效。平台支持多场景计算，对不同的边缘计算节点进行统一封装，用户不需要配置、了解服务器运行环境，从而可以更加关注业务功能，更便捷。
根据本发明的一种优选实施方式，所述全场景边缘计算任务包括多种应用场景的类型单元、任务的类别单元、可采用的与应用场景对应的边缘计算调度算法单元、可分离数据集单元、数据模型单元、执行程序的镜像文件、边缘计算节点列表单元。
本发明生成任务，再通过调度算法确定符合该应用场景的若干边缘计算节点，并把任务拆分成多个工作，并触发节点按照一定逻辑顺序执行。不同应用场景的基础镜像不一样，从而保证边缘计算框架能支持多种应用场景。
根据本发明的另一种优选实施方式，所述边缘计算节点的计算过程包括如下几个步骤：
边缘计算节点获取镜像文件dockerfile并启动无差别计算程序或者利用源代码编译程序；
边缘计算节点的执行程序根据可分离数据模型对存储设备内的可分离数据集执行模型操作，获取该边缘计算节点直接使用的数据；
边缘计算节点的执行程序完成计算过程并保存结果数据集；
边缘计算节点将结果数据集保存到存储设备；
边缘计算节点生成算力凭证。
选择出的最优的边缘计算节点来执行边缘计算，大大提高了计算效率。
为了实现本发明的上述目的，根据本发明的第二个方面，本发明提供了一种运行全场景边缘计算方法的装置，其包括节点管理子系统、资源管理子系统和调度算法子系统；所述节点管理子系统接收用户的计算请求，生成边缘计算任务，将用户计算请求的可分离的数据集并保存到存储设备，所述节点管理子系统还进行边缘调度节点的基本信息和动态信息查询，获取边缘计算节点的任务执行情况，并负责新增节点、删除指定节点、修改节点；所述资源管理子系统获取边缘计算节点执行的无差别计算程序或者利用源代码编译程序，并为所述程序生成创建镜像文件dockerfile；所述调度算法子系统根据边缘调度算法选择可用的边缘计算节点，将所述边缘计算任务拆分为各个边缘计算节点能够执行的工作任务并分发，所述调度算法子系统把dockerfile分别下发到边缘计算节点，并查看所有边缘计算节点执行的任务和执行情况，并查看指定所述调度算法子系统上的镜像。
本发明的运行全场景边缘计算方法的装置包括节点管理子系统、资源管理子系统和调度算法子系统，采用并行方式运行，支持数据并行和计算并行，在数据的读取、计算效率方面更加高效。平台支持多场景计算，对不同的边缘计算节点进行统一封装，用户不需要配置、了解服务器运行环境，从而可以更加关注业务功能，更便捷。
为了实现本发明的上述目的，根据本发明的第三个方面，本发明提供了一种全场景边缘计算系统，其包括资源调度节点及与其通信的多个边缘计算节点，所述资源调度节点接收用户的计算请求并按照本发明的边缘计算方法选择可用的边缘计算节点并将边缘计算任务拆分为各个边缘计算节点能够执行的工作任务并分发，边缘计算节点并发或者顺序获取工作任务进行计算并生成结果数据集；资源调度节点获取边缘计算节点的结果数据集并发送给用户。
本发明采用分布式架构，比传统云计算方式建设数据中心等所需要的物理成本更低，任何规模大小的计算能力都可以接入进来，整合成统一的多场景边缘计算平台，从而对外提供更强大算力服务。本发明采用并行方式运行，支持数据并行和计算并行，在数据的读取、计算效率方面更加高效。平台支持多场景计算，对不同的边缘计算节点进行统一封装，用户不需要配置、了解服务器运行环境，从而可以更加关注业务功能，更便捷。
附图说明
图1是本发明一种优选实施方式中全场景边缘计算方法的执行框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明提供了一种全场景边缘计算方法，如图1所示，其包括如下步骤：
资源调度节点与用户连接，资源调度节点接收用户的计算请求，生成全场景边缘计算任务并生成镜像文件dockerfile。
具体资源调度节点内的节点管理单元接收用户的计算请求，生成全场景边缘计算任务，并将节点信息和任务信息都传输给存储器进行存储。在本实施方式中，全场景边缘计算任务形成的数据结构中包括多种应用场景的类型单元、任务的类别单元、可采用的与应用场景对应的边缘计算调度算法单元、可分离数据集单元、数据模型单元、执行程序的镜像文件单元、边缘计算节点列表单元。
资源管理接到请求后，生成全场景边缘计算任务(taskfile)，再通过调度算法确定符合该应用场景的若干边缘计算节点，并把任务拆分成多个工作(job)，并触发节点按照一定逻辑顺序执行。
Taskfile是多场景边缘计算框架的核心，它描述了任务的细节，类型单元task_type定义了多种任务场景(包括AI、大数据、云渲染、物联网等),任务的类别单元task_category定义了任务的类别(单机、串行、并行)，边缘计算调度算法单元task_ESA定义了边缘计算调度算法(不同应用场景调度算法不一样)，可分离数据集单元task_dds定义了可分离数据集，数据模型单元task_ddm定义了数据模型，执行程序的镜像文件task_docker定义了NCP(无差别计算程序，用户提供的二进制可执行文件)的镜像文件，边缘计算节点列表单元task_ECN定义了通过调度算法ESA确定的执行NCP的ECN(边缘计算节点)列表，不同应用场景的基础镜像不一样，从而保证边缘计算框架能支持多种应用场景。具体每个单元的字段长度可根据实际情况设置。
资源调度节点的节点管理单元将用户计算请求的任务信息的可分离的数据集保存到存储设备，同时也把节点信息保存到存储设备，存储设备包含分布式对象存储服务和分布式newsql数据库。资源调度节点将用户计算请求的可分离的数据集并保存到存储设备时采用纠删码存储数据。
资源调度节点获取边缘计算节点执行的无差别计算程序或者利用源代码编译程序。无差别计算程序是在边缘计算节点执行计算的二进制程序，通常在每个边缘计算节点的程序都是一分样的，但可以通过环境变量、分布式配置实现额外参数配置。无差别计算程序通常运行在docker等容器里，也可以直接运行，利用源代码编译程序可以为用户提供的二进制可执行文件。
资源调度节点选择边缘调度算法并根据边缘调度算法选择可用的边缘计算节点，将所述边缘计算任务拆分为各个边缘计算节点能够执行的工作任务(job)并分发。具体可采用但不限于如下几个算法：局域网工作证明调度算法(LAN-POW)，局域网工作速度调度算法(LAN-ROW)，广域网工作证明调度算法(WAN-POW)，广域网工作速度调度算法(WAN-ROW)。
资源调度节点利用边缘调度框架和算法实现任务的分发和调度。
发明的还可以包括以下步骤：边缘计算节点并发或者顺序获取工作任务进行计算并生成结果数据集。边缘计算节点接收计算任务并进行计算，实现边缘计算。
在本发明另外的优选实施方式中还可以包括以下步骤：资源调度节点获取边缘计算节点的结果数据集并发送给用户，实现计算结果的反馈。
在本实施方式中，边缘计算节点的计算过程包括如下几个步骤：
边缘计算节点获取镜像文件dockerfile并启动无差别计算程序或者利用源代码编译程序；
边缘计算节点的执行程序根据可分离数据模型对存储设备内的可分离数据集执行模型操作，获取该边缘计算节点直接使用的数据；
边缘计算节点的执行程序完成计算过程并保存结果数据集；
边缘计算节点将结果数据集保存到存储设备；
边缘计算节点生成算力凭证。
在具体选择执行的边缘计算节点时，本发明采用如下方法：
获取X个计算任务并确定每个计算任务的优先级，所述X为正整数，例如根据不同的任务类型(或者计算场景)设置优先权等级，例如有多个计算场景(包括深度学习，加强学习，生成对抗，物联网，大数据，云渲染，VASP等，可根据实际需要设置它们的优先级，例如将深度学习，加强学习设置为一级，将生成对抗，物联网设置为二级，将大数据，云渲染，VASP设置为三级，技术越高优先级越高)。
将X个计算任务根据优先级高低分配到不同优先级等级的队列中，形成Y个不同优先级等级的就绪队列，所述Y为大于1的正整数。
让不同优选等级队列执行时间Ty，所述Ty为第y个队列中任务的总执行时间，y＝1、2、……、Y，若有任务未在Ty内执行完，则被暂停，将该任务放到该优先级就绪队列队尾重新排队，每个任务执行时选择最优的n个边缘计算节点，所述n为正整数。
在本实施方式中，选择最优的n个边缘计算节点的方法为：
Q[ij]表示第i个队列的第j个任务，任务t＝Q[ij]需要在n(m>n)台节点处理。
计算m个边缘计算节点中每个边缘计算节点的当前服务能力S[i]和当前系统具备的边缘计算整体服务能力∑S[i]，其中i为边缘计算节点的序号，0<i≤m，m为正整数。
第i台边缘计算节点当前服务能力值S[i]＝(服务器CPU核数*P1+服务器GPU核数*P2+内存*P3)*(1-当前任务数/最大任务数量)*P[i]，P1、P2、P3是权重系数，P1+P2+P3＝1，例如P1＝P2＝P3＝1/3。P[i]表示第i台边缘计算节点当前的综合指数0<n≤N，其中，N为总的计算场景数，Fin为第i台边缘计算节点支持第n种计算场景的指数；
支持不同计算场景的边缘计算节点综合指数不一样，一般来说，原则是专业性越强综合指数值越低，具体数值可设置。假如深度学习是F1＝0.2，增强学习是F2＝0.2，生成对抗是F3＝0.15，物联网是F4＝0.3,大数据是F5＝0.35，云渲染是F6＝0.2，VASP是F7＝0.1，如果第i台节点所有应用场景都支持，那么该节点综合指数为P[i]＝∑Fn(0<n<N)＝1.5。
第i台边缘计算节点在Fn计算场景方面的当前服务能力值S[in]＝(服务器CPU核数*P1+服务器GPU核数*P2+内存*P3)*(1-当前任务数/最大任务数量)*(P[i]*Fn)；
当∑S[i]在阈值内时，根据S[i]的大小排序，选择排序靠前的n个边缘计算节点。
本发明量化了边缘计算节点的服务能力，保证用户任务选择最优的节点来执行。
根据本发明的一种优选实施方式，不同优选等级队列的任务执行时间Ty相同或者不同或不完全相同。通过设置任务执行时间Ty的长短，可以根据任务量动态调整不同场景任务的执行时间，提高效率。根据本发明的另一种优选实施方式，不同优选等级队列的任务执行时间Ty的长短与优先级等级成正比。优先等级高，执行时间长，保证优先级高的任务先执行完成。
根据本发明的再另一种优选实施方式，在同一优先级等级队列中排序靠前的任务先执行。先到先服务，提高了服务效率。
本发明还提供了一种边缘计算调度系统，其包括资源调度节点和多个边缘计算节点，所述资源调度节点接收客户的多个计算任务并按照本发明所述的方法将控制每个任务的执行，任务执行时选择最优的n个边缘计算节点。本发明的边缘计算调度系统使不同优先级的任务位于不同的队列中，轮询执行，任务不会长时间阻塞，确保所有任务得到正常执行。另外还能够量化边缘计算节点的服务能力，保证用户任务选择最优的节点来执行。
本发明还提供了一种全场景边缘计算装置，其包括节点管理子系统、资源管理子系统和调度算法子系统。其中，节点管理子系统接收用户的计算请求，生成边缘计算任务，将用户计算请求的可分离的数据集并保存到存储设备，所述节点管理子系统还进行边缘调度节点的基本信息和动态信息查询，获取边缘计算节点的任务执行情况，并负责新增节点、删除指定节点、修改节点。资源管理子系统获取边缘计算节点执行的无差别计算程序或者利用源代码编译程序。调度算法子系统根据边缘调度算法选择可用的边缘计算节点，将所述边缘计算任务拆分为各个边缘计算节点能够执行的工作任务并分发，所述调度算法子系统把dockerfile分别下发到边缘计算节点，并查看所有边缘计算节点执行的任务和执行情况，并查看指定所述调度算法子系统上的镜像。
节点管理子系统对边缘计算节点基本信息进行维护(包括增删查改)，具体维护信息包括ip、位置、所属局域网、硬件配置(CPU、GPU、内存、硬盘)、责任人、拥有者、描述、历史工作job列表等。还可对边缘计算节点动态信息查询，包括当前CPU/GPU使用情况、内存、硬盘使用情况，服务器网络情况(是否在线)、当前运行的计算job(数量、job详情)、POW。以及与区块链系统集成，采用定时机制同步节点基本信息；与微服务系统集成，注册提供API接口，包括节点job情况、节点job历史记录等；查询系统边缘调度节点基本信息和动态信息，新增节点、删除指定节点、修改节点、设置查看开启关闭同步定时任务。
资源管理子系统需要执行任务额包括：根据任务的工作job信息，把任务分别下发到边缘计算节点；查看所有执行的任务，包括最后完整的任务文件，定时轮训任务文件(taskfile)，当task_jobs_status所有字段都是1(完成)时，即表示所有边缘计算节点都已经计算完成，汇总所有边缘计算节点的结果数据(rds_file)，作为计算结果返回给用户。
本发明还提供了一种全场景边缘计算系统，其包括资源调度节点及与其通信的多个边缘计算节点，所述资源调度节点接收用户的计算请求并按照本发明的方法选择可用的边缘计算节点并将边缘计算任务拆分为各个边缘计算节点能够执行的工作任务并分发，边缘计算节点并发或者顺序获取工作任务进行计算并生成结果数据集；资源调度节点获取边缘计算节点的结果数据集并发送给用户。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

Claims (8)

1.一种全场景边缘计算方法，其特征在于，包括如下步骤：
资源调度节点接收用户的计算请求，生成全场景边缘计算任务并生成镜像文件dockerfile，所述全场景边缘计算任务包括多种应用场景的类型单元、任务的类别单元、可采用的与应用场景对应的边缘计算调度算法单元、可分离数据集单元、数据模型单元、执行程序的镜像文件、边缘计算节点列表单元；
资源调度节点将用户计算请求的可分离的数据集保存到存储设备；
资源调度节点获取边缘计算节点执行的无差别计算程序或者利用源代码编译程序；
资源调度节点选择边缘调度算法并选择可用的边缘计算节点，将所述边缘计算任务拆分为各个边缘计算节点能够执行的工作任务并分发；
资源调度节点选择可用的边缘计算节点的方法为：
计算m个边缘计算节点中每个边缘计算节点的当前服务能力S[i]和当前系统具备的边缘计算整体服务能力∑S[i]，其中i为边缘计算节点的序号，0<i≤m，m为正整数；
第i台边缘计算节点当前服务能力值S[i]＝(服务器CPU核数*P1+服务器GPU核数*P2+内存*P3)*(1-当前任务数/最大任务数量)*P[i]，P1、P2、P3是权重系数，P1+P2+P3＝1，P[i]表示第i台边缘计算节点当前的综合指数0<n≤N，其中，N为总的计算场景数，Fin为第i台边缘计算节点支持第n种计算场景的指数；
第i台边缘计算节点在Fn计算场景方面的当前服务能力值S[in]＝(服务器CPU核数*P1+服务器GPU核数*P2+内存*P3)*(1-当前任务数/最大任务数量)*(P[i]*Fn)；
当∑S[i]在阈值内时，根据S[i]的大小排序，选择排序靠前的n个边缘计算节点。
2.如权利要求1所述的全场景边缘计算方法，其特征在于，还包括以下步骤：边缘计算节点并发或者顺序获取工作任务进行计算并生成结果数据集。
3.如权利要求2所述的全场景边缘计算方法，其特征在于，还包括以下步骤：资源调度节点获取边缘计算节点的结果数据集并发送给用户。
4.如权利要求1或2所述的全场景边缘计算方法，其特征在于，所述边缘计算节点的计算过程包括如下几个步骤：
边缘计算节点获取镜像文件dockerfile并启动无差别计算程序或者利用源代码编译程序；
边缘计算节点的执行程序根据可分离数据模型对存储设备内的可分离数据集执行模型操作，获取该边缘计算节点直接使用的数据；
边缘计算节点的执行程序完成计算过程并保存结果数据集；
边缘计算节点将结果数据集保存到存储设备；
边缘计算节点生成算力凭证。
5.如权利要求1或2所述的全场景边缘计算方法，其特征在于，资源调度节点将用户计算请求的可分离的数据集并保存到存储设备时采用纠删码存储数据。
6.如权利要求1所述的全场景边缘计算方法，其特征在于，资源调度节点将所述边缘计算任务拆分为各个边缘计算节点能够执行的工作任务并分发的方法为：
获取X个计算任务并确定每个计算任务的优先级，所述X为正整数；
将所述X个计算任务根据优先级高低分配到不同优先级等级的队列中，形成Y个不同优先级等级的就绪队列，所述Y为大于1的正整数；
让不同优先等级队列执行时间Ty，所述Ty为第y个队列中任务的总执行时间，y＝1、2、……、Y，若有任务未在Ty内执行完，则被暂停，将该任务放到该优先级就绪队列队尾重新排队，每个任务执行时选择最优的n个边缘计算节点，所述n为正整数。
7.一种运行权利要求1-6之一所述的全场景边缘计算方法的装置，其特征在于，包括节点管理子系统、资源管理子系统和调度算法子系统；
所述节点管理子系统接收用户的计算请求，生成边缘计算任务，将用户计算请求的可分离的数据集并保存到存储设备，所述节点管理子系统还进行边缘调度节点的基本信息和动态信息查询，获取边缘计算节点的任务执行情况，并负责新增节点、删除指定节点、修改节点；
所述资源管理子系统获取边缘计算节点执行的无差别计算程序或者利用源代码编译程序，并为所述程序生成创建镜像文件dockerfile；
所述调度算法子系统根据边缘调度算法选择可用的边缘计算节点，将所述边缘计算任务拆分为各个边缘计算节点能够执行的工作任务并分发，所述调度算法子系统把dockerfile分别下发到边缘计算节点，并查看所有边缘计算节点执行的任务和执行情况，并查看指定所述调度算法子系统上的镜像。
8.一种全场景边缘计算系统，其特征在于，包括资源调度节点及与其通信的多个边缘计算节点，所述资源调度节点接收用户的计算请求并按照权利要求1-6之一所述的方法选择可用的边缘计算节点并将边缘计算任务拆分为各个边缘计算节点能够执行的工作任务并分发，边缘计算节点并发或者顺序获取工作任务进行计算并生成结果数据集；资源调度节点获取边缘计算节点的结果数据集并发送给用户。
CN202010408448.2A 2020-05-14 2020-05-14 一种全场景边缘计算方法、装置及系统 Active CN111597043B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010408448.2A CN111597043B (zh) 2020-05-14 2020-05-14 一种全场景边缘计算方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010408448.2A CN111597043B (zh) 2020-05-14 2020-05-14 一种全场景边缘计算方法、装置及系统

Publications (2)

Publication Number Publication Date
CN111597043A CN111597043A (zh) 2020-08-28
CN111597043B true CN111597043B (zh) 2024-05-10

Family

ID=72187178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010408448.2A Active CN111597043B (zh) 2020-05-14 2020-05-14 一种全场景边缘计算方法、装置及系统

Country Status (1)

Country Link
CN (1) CN111597043B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112068964A (zh) * 2020-09-15 2020-12-11 杭州雾联科技有限公司 一种切片式边缘算力管理方法
CN112148449B (zh) * 2020-09-22 2024-06-04 行星算力(深圳)科技有限公司 一种局域网的基于边缘计算的调度算法及系统
CN112685769B (zh) * 2020-12-25 2024-07-23 联想(北京)有限公司 区块链的数据处理方法、装置及电子设备
CN113590328B (zh) * 2021-08-02 2023-06-27 重庆大学 基于区块链的边缘计算服务交互方法与系统
CN113672353B (zh) * 2021-08-24 2024-02-13 支付宝(杭州)信息技术有限公司 一种基于容器的任务执行方法及装置
CN115550375B (zh) * 2022-08-31 2024-03-15 云南电网有限责任公司信息中心 基于容器化技术实现区块链轻量化的系统、方法及设备
CN115941258A (zh) * 2022-10-26 2023-04-07 山东浪潮科学研究院有限公司 边缘计算任务分发方法、装置、设备及介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109067890A (zh) * 2018-08-20 2018-12-21 广东电网有限责任公司 一种基于docker容器的CDN节点边缘计算系统
CN109347985A (zh) * 2018-12-03 2019-02-15 群蜂信息技术(上海)有限公司 一种基于边缘计算的多业务处理方法、装置及边缘服务器
CN110198278A (zh) * 2019-04-15 2019-09-03 湖南大学 一种车联网云端和边缘联合任务调度的Lyapunov优化方法
CN110633144A (zh) * 2019-08-23 2019-12-31 成都华为技术有限公司 一种边缘云的融合管理的方法及装置
CN110677288A (zh) * 2019-09-25 2020-01-10 浙江九州云信息科技有限公司 一种通用于多场景部署的边缘计算系统及方法
CN110717300A (zh) * 2019-09-27 2020-01-21 云南电网有限责任公司 面向电力物联实时在线监测业务的边缘计算任务分配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109067890A (zh) * 2018-08-20 2018-12-21 广东电网有限责任公司 一种基于docker容器的CDN节点边缘计算系统
CN109347985A (zh) * 2018-12-03 2019-02-15 群蜂信息技术(上海)有限公司 一种基于边缘计算的多业务处理方法、装置及边缘服务器
CN110198278A (zh) * 2019-04-15 2019-09-03 湖南大学 一种车联网云端和边缘联合任务调度的Lyapunov优化方法
CN110633144A (zh) * 2019-08-23 2019-12-31 成都华为技术有限公司 一种边缘云的融合管理的方法及装置
CN110677288A (zh) * 2019-09-25 2020-01-10 浙江九州云信息科技有限公司 一种通用于多场景部署的边缘计算系统及方法
CN110717300A (zh) * 2019-09-27 2020-01-21 云南电网有限责任公司 面向电力物联实时在线监测业务的边缘计算任务分配方法

Also Published As

Publication number Publication date
CN111597043A (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN111597043B (zh) 一种全场景边缘计算方法、装置及系统
US10474504B2 (en) Distributed node intra-group task scheduling method and system
CN108182105B (zh) 基于Docker容器技术的局部动态迁移方法及控制系统
CN1956457B (zh) 用于安排网格计算系统中的网格作业的方法和设备
CN109257399B (zh) 云平台应用程序管理方法及管理平台、存储介质
Wang et al. A new algorithm for grid independent task schedule: genetic simulated annealing
CN109150738A (zh) 工业互联网资源管理方法及系统、可读存储介质和终端
Jangiti et al. Scalable and direct vector bin-packing heuristic based on residual resource ratios for virtual machine placement in cloud data centers
Li et al. Resource scheduling based on improved spectral clustering algorithm in edge computing
Yao et al. An intelligent scheduling algorithm for complex manufacturing system simulation with frequent synchronizations in a cloud environment
He et al. Energy-efficient framework for virtual machine consolidation in cloud data centers
Huang et al. Computation offloading for multimedia workflows with deadline constraints in cloudlet-based mobile cloud
CN111597025B (zh) 一种边缘计算调度算法及系统
CN105550025A (zh) 分布式基础设施即服务（IaaS）调度方法及系统
Guo Ant colony optimization computing resource allocation algorithm based on cloud computing environment
Shakil et al. A latency-aware max-min algorithm for resource allocation in cloud
CN107454137B (zh) 一种在线业务按需服务的方法、装置与设备
Cao et al. Online cost-rejection rate scheduling for resource requests in hybrid clouds
Zhu et al. Research on fog resource scheduling based on cloud-fog collaboration technology in the electric internet of things
Yadav et al. Trust-aware framework for application placement in fog computing
Kontos et al. Cloud-Native Applications' Workload Placement over the Edge-Cloud Continuum.
Pham et al. A general and practical consolidation framework in CloudNFV
Wen et al. Load balancing consideration of both transmission and process responding time for multi-task assignment
CN114286304A (zh) 一种基于二维动态匹配的mec资源分配方法
Du et al. OctopusKing: A TCT-aware task scheduling on spark platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant