CN114168279B - 海量数据的任务调度方法及系统 - Google Patents

海量数据的任务调度方法及系统 Download PDF

Info

Publication number
CN114168279B
CN114168279B CN202111406163.6A CN202111406163A CN114168279B CN 114168279 B CN114168279 B CN 114168279B CN 202111406163 A CN202111406163 A CN 202111406163A CN 114168279 B CN114168279 B CN 114168279B
Authority
CN
China
Prior art keywords
service
node
fog
task
service request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111406163.6A
Other languages
English (en)
Other versions
CN114168279A (zh
Inventor
李珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Yishu Hechuang Technology Co.,Ltd.
Original Assignee
Beijing Euronet Alliance Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Euronet Alliance Technology Co ltd filed Critical Beijing Euronet Alliance Technology Co ltd
Priority to CN202111406163.6A priority Critical patent/CN114168279B/zh
Publication of CN114168279A publication Critical patent/CN114168279A/zh
Application granted granted Critical
Publication of CN114168279B publication Critical patent/CN114168279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5072—Grid computing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0226—Incentive systems for frequent usage, e.g. frequent flyer miles programs or point systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Software Systems (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种海量数据的任务调度方法，包括：服务请求节点获取计算任务，所述计算任务为时延敏感型任务；所述服务请求节点生成博弈策略，并基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点；所述服务请求节点接收第一雾节点反馈的任务卸载响应，并基于所述任务卸载响应，所述第一雾节点向所述服务请求节点提供计算任务卸载，其中，所述第一雾节点属于接收了所述服务报酬及计算任务信息的所述一个或多个雾节点中的其中一个或多个雾节点。

Description

海量数据的任务调度方法及系统
技术领域
本发明属于信息技术领域，具体地，涉及一种海量数据的任务调度的方法及系统。
背景技术
大数据是指一种规模大到在获取、存储、分析方面大大超出了传统数据库软件工具(如MySQL，Oracle，PostgreSQL等)能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征；是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
近年来，基于大数据的数据存储、数据迁移、数据读取等研究已经进入了一个高速发展期，由于大数据的流量呈现爆发式增长，因此，云计算、雾计算等新型IT架构应运而生。
然而，针对低时延、高可靠的任务而言，传统的云计算和雾计算处理方式已经不能够满足要求，因此，服务请求节点可以请求其余的节点(例如雾节点)来进行任务协同调度，帮助服务请求节点处理部分任务(任务卸载)。但是，目前的任务调度中，并不是所有的云或雾节点都愿意进行任务之间的协同调度，导致低时延、高可靠的任务往往得不到优先处理或高质量(QoS)处理。
发明内容
本发明提供了一种海量数据的任务调度的方法及系统，提出了基于博弈的激励机制，有效解决了现有技术中低时延、高可靠的任务得不到优先处理或高质量处理问题，有效提升了时延敏感型任务的任务调度效率，增强了任务处理时效。
为了实现上述目的，本发明提供了一种海量数据的任务调度的方法，包括：
服务请求节点获取计算任务，所述计算任务为时延敏感型任务；
所述服务请求节点生成博弈策略，并基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点；
所述服务请求节点接收第一雾节点反馈的任务卸载响应，并基于所述任务卸载响应，所述第一雾节点向所述服务请求节点提供计算任务卸载，其中，所述第一雾节点属于接收了所述服务报酬及计算任务信息的所述一个或多个雾节点中的其中一个或多个雾节点。
可选地，所述基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点，包括：
当所述雾节点为一个时，所述服务请求节点确定最优服务报酬，并将所述最优服务报酬及所述计算任务信息分发给所述雾节点；
当所述雾节点为多个时，所述服务请求节点对所述多个雾节点的KPI性能进行预估，并基于预估结果，为每个雾节点定制对应的服务报酬，并将所述计算任务信息及所述定制的服务报酬分发至所述对应的多个雾节点中。
可选地，将所述定制的服务报酬分发至所述对应的多个雾节点中，包括：
所述服务请求节点将第一定制的服务报酬发送至雾中心节点中，所述雾中心节点为所述多个雾节点中的中心控制节点；
所述雾中心节点将所述第一定制的服务报酬分发至所述其余多个雾节点中，以使所述其余多个雾节点单独对所述服务请求节点进行反馈；
所述服务请求节点在预定时间内未收到任一雾节点反馈的任务卸载响应后，基于分时策略，在预设定周期内将第二定制的服务报酬发送至雾中心节点中，以便所述雾中心节点将所述第二定制的服务报酬分发至所述其余多个雾节点中，以使所述其余多个雾节点单独对所述服务请求节点进行反馈。
可选地，将所述定制的服务报酬分发至所述对应的多个雾节点中，包括：
所述服务请求节点将所有定制的服务报酬发送至雾中心节点中，所述雾中心节点为所述多个雾节点中的中心控制节点，所述所有定制的服务报酬包括每一雾节点对应的服务报酬；
所述雾中心节点将所述所有定制的服务报酬进行拆分，并将拆分后的服务报酬依次分发至对应的雾节点中。
可选地，当所述雾节点为多个时，所述基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点，包括：
所述服务请求节点获取所述多个雾节点的ID、IP地址和类型；
所述服务请求节点基于所述多个雾节点的ID、IP地址和类型，识别出与所述服务请求节点同一个运营商的一个或多个雾节点；
基于识别出的所述一个或多个雾节点，所述服务请求节点生成路由表，并制定所述服务报酬，将所述服务报酬及所述计算任务信息根据所述路由表，按照最短路径发送至所述识别出的一个或多个雾节点。
可选地，当所述雾节点为多个、且所述计算任务为多个时，所述基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点，包括：
所述服务请求节点基于所述博弈策略，制定服务报酬总包以及分包策略，所述服务报酬总包为所述多个计算任务的服务报酬总和，所述分包策略为所述服务报酬总包的分配方案；
所述服务请求节点将所述服务报酬总包及分包策略发送至雾中心节点，所述雾中心节点为所述多个雾节点的中心控制节点；
所述雾中心节点将所述服务报酬总包及分包策略分发至所述其余每一个雾节点中，并实时收集所述其余每一个雾节点的反馈，并将所述其余每一个雾节点的反馈透发至所述服务请求节点中。
可选地，若所述服务请求节点接收到两个及以上的雾节点的任务卸载响应，则所述方法还包括：
制定任务分配策略，并基于所述任务分配策略，将所述多个计算任务依次分配给所述两个及以上的雾节点，以使所述两个及以上的雾节点向所述服务请求节点提供不同计算任务的卸载。
可选地，所述基于所述博弈策略，制定服务报酬，包括：
所述服务请求节点计算收入和成本，获取净收益，所述净收益为所述收入减去所述成本；
所述服务请求节点对所述净收益进行优化，根据优化的净收益向每个服务节点提供所述服务报酬。
可选地，所述服务请求节点对所述净收益进行优化，包括：
所述服务请求节点基于如下公式对净收益进行优化：
Figure BDA0003372893840000041
s.t.ωi≥0.
其中，收入为Ft和成本为Gt，服务报酬为
Figure BDA0003372893840000042
其中，所述收入根据服务请求节点支付的任务计算单价、任务数据量的大小和服务节点自身的计算速率来确定；所述成本根据提供给服务请求节点的计算能力大小、任务数据量的大小、服务节点CPU周期和服务节点每比特数据处理能耗来确定。
本发明实施例还提供了一种海量数据的任务调度系统，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述的方法。
本发明实施例的方法及系统具有下列优点：
本发明实施例中，服务请求节点生成博弈策略，并基于所述博弈策略，制定具备激励性质的服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点，通过该激励机制，使得不同的雾节点在一定程度上愿意进行多任务的调度，有效提升了时延敏感型任务的任务调度效率，增强了任务处理时效。
附图说明
图1为一个实施例中海量数据的任务调度的方法流程图；
图2为一个实施例中场景一的逻辑示意图；
图3a为一个实施例中场景二的逻辑示意图；
图3b为另一个实施例中场景二的逻辑示意图；
图3c为另一个实施例中场景二的逻辑示意图；
图4为一个实施例中场景三的逻辑示意图；
图5为一个实施例中场景四的逻辑示意图；
图6为一个实施例中系统的硬件组成示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，本发明实施例提供一种海量数据的任务调度方法，包括：
S101.服务请求节点获取计算任务，所述计算任务为时延敏感型任务；
服务请求节点可以是终端，也可以是网络节点，其具备基础的数据处理能力，也具备数据收发能力，由于处于数据大爆发时代，单一的网络节点或移动终端的能力已经不满足各种任务处理的需要，因此，需要一种任务卸载方案来保证不同任务的处理和执行，尤其是时延敏感型(低时延)任务，其对时延的要求很高，常常需要在较短的时间内完成该任务，例如智能驾驶等场景，长时延通常是不可接收的。
为了满足低时延、高可靠的要求，雾计算应运而生，在雾计算中，可以允许资源受限的终端设备或网络节点将资源匮乏的移动设备的数据处理卸载到其他雾节点中，以保证良好的低时延，高可靠路径。因此，本发明以雾计算为背景，介绍多种任务卸载解决方案。
S102.所述服务请求节点生成博弈策略，并基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点；
在雾计算网络中，为了更好地确保时延要求，服务请求节点产生计算任务后，除本地计算外，需卸载到服务节点中进行处理。但网络中有很多服务节点并非由运营商部署，其具有许多空闲的计算资源。但很多服务请求节点产生的任务为时延敏感型，需要付出大量计算能力，服务节点会承担因自身能耗过高而造成性能受损的风险。若不考虑经济因素，雾节点缺少参与任务卸载的积极性和驱动力，不愿无私地贡献自身计算能力，不利于网络性能的提升。因此，在本发明实施例中，引入了一种基于博弈的激励机制，综合考虑了服务请求节点和雾节点的自身特性和网络环境，在激励服务请求节点参与卸载服务的同时，通过博弈过程，服务请求节点向雾节点支付最优的任务卸载报酬，雾节点向服务请求节点提供最优的计算能力。降低了服务请求节点任务卸载时延，实现了服务请求节点和雾节点各自净收益的最大化，达到了全局最优点。
在本发明实施例中，博弈策略的定义是：服务请求节点综合自身情况，提供最优的服务报酬，雾节点综合自身情况，参与卸载并提供最优的计算能力。具体而言，包括如下三个方面：
(1)服务请求节点作为博弈的领导者，首先预测雾节点提供的计算能力大小，依据自身特性和网络环境计算收入和成本之间的净收益，然后优化自身净收益，根据最优净收益向雾节点提供任务卸载报酬价格。
(2)雾节点作为博弈的跟随者，依据服务请求节点给出的卸载报酬价格，以及自身特性和网络环境，计算收入和成本之间的净收益，然后优化自身净收益，确定向服务请求节点提供的最优计算能力。
(3)服务请求节点以最优卸载服务价格支付给雾节点报酬，雾节点以最优计算能力参与卸载服务。
具体而言，基于所述博弈策略而制定服务报酬，包括如下步骤：
服务请求节点计算收入和成本，获取净收益，所述净收益为所述收入减去所述成本；对所述净收益进行优化，根据优化的净收益向每个服务节点提供所述服务报酬。
其中，所述服务请求节点基于如下公式对净收益进行优化：
Figure BDA0003372893840000071
s.t.ωi≥0.
收入为Ft和成本为Gt，服务报酬为
Figure BDA0003372893840000072
其中，所述收入根据服务请求节点支付的任务计算单价、任务数据量的大小和服务节点自身的计算速率来确定；所述成本根据提供给服务请求节点的计算能力大小、任务数据量的大小、服务节点CPU周期和服务节点每比特数据处理能耗来确定。例如，计算速率越高，其收入越高，时延越小，收入越高。
而成本则根据支付给雾节点的任务计算单价、任务数据量的大小、雾节点的计算速率来确定。例如，当支付给雾节点的任务计算单价一定时，雾节点的计算速率越高、任务数据量越大时，需支付给雾节点的报酬越多，服务请求节点的成本也就越高。
此外，在本发明实施例中，考虑到不同雾节点的计算能力、能够接收的报价不同，因此，在本发明实施例中，针对不同场景，分别作出以下说明：
场景一：一对一；
在场景一中，如图2所示，假设雾节点为一个时，则该服务请求节点确定最优服务报酬，并将所述最优服务报酬及所述计算任务信息分发给该雾节点，并等待该雾节点的反馈或响应。场景一是最为简单的情况，即单点发送给单点，并等待雾节点的反馈，适用于局域网或小范围物联网场景。
场景二：一对多；
在场景二中，一个服务请求节点对应多个雾节点。即，当雾节点为多个时，服务请求节点对多个雾节点的KPI性能进行预估，并基于预估结果，为每个雾节点定制对应的服务报酬，并将计算任务信息及定制的服务报酬分发至对应的多个雾节点中。其中，KPI性能包括计算速率、CPU利用率、存储利用率等指标，对KPI性能进行预估，可采用时间序列的机器学习或深度学习方法进行预测或预估，该预估技术属于公知，本发明实施例对比不再累述。
具体而言，场景二又可以分为三种情况，分别如图3a、3b和图3c所示。
在图3a中，服务请求节点分别针对不同的雾节点制定不同的服务报酬，对于雾节点1制定报酬1(图中简称为B1)，针对雾节点2制定报酬2(B2)....
在图3b中，雾节点呈现星型结构，具备一中心雾节点(雾节点A)，该中心雾节点分别与其他雾节点进行直连，负责与其他雾节点进行收发。在图3b中，服务请求节点采用了分时发送的机制，即T1时刻先发第一定制的服务报酬(图中简称为B1)，若无雾节点对此响应，则T2时刻再发第二定制的服务报酬(图中简称为B2)，以此类推，直到有雾节点对该服务请求节点反馈任务卸载响应为止。具体而言：
服务请求节点将第一定制的服务报酬发送至雾中心节点(图中为A节点)中，雾中心节点为多个雾节点中的中心控制节点；
雾中心节点将第一定制的服务报酬分发至其余多个雾节点(图中为B,C,D节点)中，以使其余多个雾节点单独对服务请求节点进行反馈，例如，D节点单独对该服务请求节点进行任务卸载响应，那么服务请求节点与D节点即可进行后续的任务卸载操作；
若服务请求节点在预定时间内未收到任一雾节点反馈的任务卸载响应，则基于分时策略，在预设定周期内将第二定制的服务报酬发送至雾中心节点中，以便雾中心节点将第二定制的服务报酬分发至其余多个雾节点中，以使其余多个雾节点单独对服务请求节点进行反馈。
在图3c中，与前者方案不同的是，服务请求节点采取了总包+拆分的方式，打包发送给雾中心节点，所谓总包即该服务报酬既包括了节点A的服务报酬B1，也包括了节点B,C,D的服务报酬B2,B3和B4，即所有定制的服务报酬Q＝B1+B2+B3+B4。拆分即是将Q拆分为B1,B2,B3和B4，然后分别发送给对应的雾节点。具体而言：
服务请求节点将所有定制的服务报酬发送至雾中心节点中，雾中心节点为多个雾节点中的中心控制节点，所有定制的服务报酬包括每一雾节点对应的服务报酬；
雾中心节点将所有定制的服务报酬进行拆分，并将拆分后的服务报酬依次分发至对应的雾节点中，若任一一个雾节点同意该服务报酬，即可通过中心雾节点或自身发送任务卸载响应给服务请求节点，完成后续的任务卸载动作。
场景三：同一运营商；
当雾节点为多个时，若服务请求节点和其中一个或多个雾节点属于同一运营商时，其支付报酬会有一定程度的优惠，且同一运营商的雾节点更愿意将最优的计算能力提供给该服务请求节点。因此，服务请求节点可以通过路由路径寻找的方式找寻该同一运营商的雾节点，并提供优惠服务报酬给该雾节点，该雾节点响应的概率也较大。具体而言：
服务请求节点获取多个雾节点的ID、IP地址和类型；
服务请求节点基于多个雾节点的ID、IP地址和类型，识别出与服务请求节点同一个运营商的一个或多个雾节点，具体地，ID、IP地址和类型可以由不同的运营商来制定，通过识别该ID号，和/或IP地址，和/或类型，即可反推出该雾节点是否是与服务请求节点同一个运营商；
基于识别出的一个或多个雾节点，服务请求节点生成路由表，并制定服务报酬，将服务报酬及计算任务信息根据路由表，按照最短路径发送至识别出的一个或多个雾节点。
如图4所示，服务请求节点根据路由表LIST，将服务报酬和计算任务信息发送给雾节点A，雾节点A根据路由信息，透发给雾节点C，雾节点C之后再透发给雾节点D，最终雾节点D和该服务请求节点属于同一运营商，能够及时高效地提供任务卸载响应。
场景四：集群式分配；
集群式分配的方案适用于当雾节点为多个、且计算任务为多个时，集群式分配即将总包和分包策略统一发送给雾中心节点，由雾中心节点根据分包策略，将总包进行报酬切割，并将切割后的单个服务报酬发送给对应的雾节点中。如图5所示，其总包为Q，分包策略为：1：2：2：5。即总包包括了给雾节点1(雾中心节点)的B1报酬，该报酬为总包Q的1/10；给雾节点2的B2报酬，该报酬为总包Q的1/5；给雾节点3的B3报酬，该报酬为总包Q的1/5；给雾节点4的B4报酬，该报酬为总包Q的1/2。
具体而言：
服务请求节点基于博弈策略，制定服务报酬总包以及分包策略，服务报酬总包为多个计算任务的服务报酬总和，分包策略为服务报酬总包的分配方案；
服务请求节点将服务报酬总包及分包策略发送至雾中心节点，雾中心节点为多个雾节点的中心控制节点；
雾中心节点将服务报酬总包及分包策略分发至其余每一个雾节点中，并实时收集其余每一个雾节点的反馈，并将其余每一个雾节点的反馈透发至服务请求节点中。例如，对于雾节点4给的报酬较高，则雾节点4愿意进行该任务的调度，则通过雾中心节点发送任务卸载响应至服务请求节点，完成后续的任务卸载操作。
此外，若所述服务请求节点接收到两个及以上的雾节点(例如雾节点1和雾节点4)的任务卸载响应，则所述方法还包括：
制定任务分配策略，并基于所述任务分配策略，将所述多个计算任务依次分配给所述两个及以上的雾节点，以使所述两个及以上的雾节点向所述服务请求节点提供不同计算任务的卸载。例如，将任务1和2分配给雾节点1来处理，任务3，4和5分配给雾节点4来处理。
S103.所述服务请求节点接收第一雾节点反馈的任务卸载响应，并基于所述任务卸载响应，所述第一雾节点向所述服务请求节点提供计算任务卸载，其中，所述第一雾节点属于接收了所述服务报酬及计算任务信息的所述一个或多个雾节点中的其中一个或多个雾节点。
需要说明的是，第一雾节点是任何一个或多个能够反馈任务卸载响应的雾节点。其中，雾节点确定最优计算能力的过程为：
(1)服务请求节点作为博弈的跟随者，根据自身特征和网络环境，计算收入Fi和成本Gi，得出净收益Ui＝Fi-Gi。
(2)通过数学方法优化雾节点净收益，根据优化的净收益向雾节点提供最优任务计算能力百分比
Figure BDA0003372893840000111
影响雾节点净收益的因素：
1)雾节点收入：雾节点的收入取决于服务请求节点提供的任务卸载报酬。影响收入的因素有：服务请求节点支付的任务计算单价、任务数据量的大小、雾节点自身的计算速率。当收到来自服务请求节点的任务计算单价一定，雾节点自身计算速率越高、任务数据量越大时，雾节点收到来自服务请求节点的报酬越多，收入越高。
2)雾节点成本：雾节点的成本取决于参与任务卸载的能耗，由于任务处理结果通常很小，因此可以省去任务结果的传输能耗。影响成本的因素有：提供给服务请求节点的计算能力大小、任务数据量的大小、雾节点CPU周期、雾节点每比特数据处理能耗。当提供给服务请求节点的计算能力越高、任务数据量越大、CPU周期越大、每比特数据处理能耗越高，雾节点自身能量消耗越大，成本也就越高。
雾节点净收益和任务计算能力百分比的优化：
Figure BDA0003372893840000121
s.t.τi≥0.
本发明实施例还提供了一种海量数据的任务调度系统，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述的方法。
本发明实施例的方法及系统具有下列优点：
本发明实施例中，服务请求节点生成博弈策略，并基于所述博弈策略，制定具备激励性质的服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点，通过该激励机制，使得不同的雾节点在一定程度上愿意进行多任务的调度，有效提升了时延敏感型任务的任务调度效率，增强了任务处理时效。
本发明实施例还提供一种系统，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现上述的方法。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机可执行指令，该计算机可执行指令用于执行上述实施例中的方法。
图6为一个实施例中系统的硬件组成示意图。可以理解的是，图6仅仅示出了系统的简化设计。在实际应用中，系统还可以分别包含必要的其他元件，包含但不限于任意数量的输入/输出系统、处理器、控制器、存储器等，而所有可以实现本申请实施例的大数据管理方法的系统都在本申请的保护范围之内。
存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read至only memory，ROM)、可擦除可编程只读存储器(erasable programmable readonly memory，EPROM)、或便携式只读存储器(compact disc read至only memory，CD至ROM)，该存储器用于相关指令及数据。
输入系统用于输入数据和/或信号，以及输出系统用于输出数据和/或信号。输出系统和输入系统可以是独立的器件，也可以是一个整体的器件。
处理器可以包括是一个或多个处理器，例如包括一个或多个中央处理器(centralprocessing unit，CPU)，在处理器是一个CPU的情况下，该CPU可以是单核CPU，也可以是多核CPU。处理器还可以包括一个或多个专用处理器，专用处理器可以包括GPU、FPGA等，用于进行加速处理。
存储器用于存储网络设备的程序代码和数据。
处理器用于调用该存储器中的程序代码和数据，执行上述方法实施例中的步骤。具体可参见方法实施例中的描述，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。所显示或讨论的相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。该计算机指令可以存储在计算机可读存储介质中，或者通过该计算机可读存储介质进行传输。该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是只读存储器(read至onlymemory，ROM)，或随机存储存储器(random access memory，RAM)，或磁性介质，例如，软盘、硬盘、磁带、磁碟、或光介质，例如，数字通用光盘(digital versatile disc，DVD)、或者半导体介质，例如，固态硬盘(solid state disk，SSD)等。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种海量数据的任务调度方法，其特征在于，包括：
服务请求节点获取计算任务，所述计算任务为时延敏感型任务；
所述服务请求节点生成博弈策略，并基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点；
所述服务请求节点接收第一雾节点反馈的任务卸载响应，并基于所述任务卸载响应，所述第一雾节点向所述服务请求节点提供计算任务卸载，其中，所述第一雾节点属于接收了所述服务报酬及计算任务信息的所述一个或多个雾节点中的其中一个或多个雾节点；
其中，所述基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点，包括：
当所述雾节点为一个时，所述服务请求节点确定最优服务报酬，并将所述最优服务报酬及所述计算任务信息分发给所述雾节点；
当所述雾节点为多个时，所述服务请求节点对所述多个雾节点的KPI性能进行预估，并基于预估结果，为每个雾节点定制对应的服务报酬，并将所述计算任务信息及所述定制的服务报酬分发至所述对应的多个雾节点中。
2.根据权利要求1所述的方法，其特征在于，将所述定制的服务报酬分发至所述对应的多个雾节点中，包括：
所述服务请求节点将所有定制的服务报酬发送至雾中心节点中，所述雾中心节点为所述多个雾节点中的中心控制节点，所述所有定制的服务报酬包括每一雾节点对应的服务报酬；
所述雾中心节点将所述所有定制的服务报酬进行拆分，并将拆分后的服务报酬依次分发至对应的雾节点中。
3.根据权利要求1所述的方法，其特征在于，当所述雾节点为多个时，所述基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点，包括：
所述服务请求节点获取所述多个雾节点的ID、IP地址和类型；
所述服务请求节点基于所述多个雾节点的ID、IP地址和类型，识别出与所述服务请求节点同一个运营商的一个或多个雾节点；
基于识别出的所述一个或多个雾节点，所述服务请求节点生成路由表，并制定所述服务报酬，将所述服务报酬及所述计算任务信息根据所述路由表，按照最短路径发送至所述识别出的一个或多个雾节点。
4.根据权利要求1所述的方法，其特征在于，当所述雾节点为多个、且所述计算任务为多个时，所述基于所述博弈策略，制定服务报酬，并将所述服务报酬及所述计算任务信息分发至一个或多个雾节点，包括：
所述服务请求节点基于所述博弈策略，制定服务报酬总包以及分包策略，所述服务报酬总包为所述多个计算任务的服务报酬总和，所述分包策略为所述服务报酬总包的分配方案；
所述服务请求节点将所述服务报酬总包及分包策略发送至雾中心节点，所述雾中心节点为所述多个雾节点的中心控制节点；
所述雾中心节点将所述服务报酬总包及分包策略分发至其余每一个雾节点中，并实时收集所述其余每一个雾节点的反馈，并将所述其余每一个雾节点的反馈透发至所述服务请求节点中。
5.根据权利要求4所述的方法，其特征在于，若所述服务请求节点接收到两个及以上的雾节点的任务卸载响应，则所述方法还包括：
制定任务分配策略，并基于所述任务分配策略，将所述多个计算任务依次分配给所述两个及以上的雾节点，以使所述两个及以上的雾节点向所述服务请求节点提供不同计算任务的卸载。
6.根据权利要求1所述的方法，其特征在于，所述基于所述博弈策略，制定服务报酬，包括：
所述服务请求节点计算收入和成本，获取净收益，所述净收益为所述收入减去所述成本；
所述服务请求节点对所述净收益进行优化，根据优化的净收益向每个服务节点提供所述服务报酬。
7.根据权利要求6所述的方法，其特征在于，所述服务请求节点对所述净收益进行优化，包括：
所述服务请求节点基于如下公式对净收益进行优化：
其中，Ut为净收益，收入为和成本为，服务报酬为，其中，所述收入根据服务请求节点支付的任务计算单价、任务数据量的大小和服务节点自身的计算速率来确定；所述成本根据提供给服务请求节点的计算能力大小、任务数据量的大小、服务节点CPU周期和服务节点每比特数据处理能耗来确定。
8.一种海量数据的任务调度系统，其特征在于，包括存储器和处理器，所述存储器上存储有计算机可执行指令，所述处理器运行所述存储器上的计算机可执行指令时实现权利要求1至7任一项所述的方法。
CN202111406163.6A 2021-11-24 2021-11-24 海量数据的任务调度方法及系统 Active CN114168279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111406163.6A CN114168279B (zh) 2021-11-24 2021-11-24 海量数据的任务调度方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111406163.6A CN114168279B (zh) 2021-11-24 2021-11-24 海量数据的任务调度方法及系统

Publications (2)

Publication Number Publication Date
CN114168279A CN114168279A (zh) 2022-03-11
CN114168279B true CN114168279B (zh) 2023-04-28

Family

ID=80480731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111406163.6A Active CN114168279B (zh) 2021-11-24 2021-11-24 海量数据的任务调度方法及系统

Country Status (1)

Country Link
CN (1) CN114168279B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800027A (zh) * 2018-12-27 2019-05-24 上海无线通信研究中心 基于服务节点自主参与的网络节点间任务卸载方法及系统
CN109802998A (zh) * 2018-12-28 2019-05-24 上海无线通信研究中心 一种基于博弈的雾网络协同调度激励方法及系统
CN111614754A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 面向雾计算的成本效率优化的动态自适应任务调度方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9001733B2 (en) * 2012-07-17 2015-04-07 International Business Machines Corporation Offloading running a needed edge application to a neighboring basestation in a mobile data network
CN112512061B (zh) * 2020-11-05 2022-11-22 上海大学 一种多接入边缘计算系统中的任务卸载与分派方法
CN113010321B (zh) * 2021-04-02 2023-02-17 曲阜师范大学 一种时延确定性任务卸载方法及装置、计算机存储介质
CN112887435B (zh) * 2021-04-13 2022-05-20 中南大学 一种提高边缘计算中任务卸载合作率的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109800027A (zh) * 2018-12-27 2019-05-24 上海无线通信研究中心 基于服务节点自主参与的网络节点间任务卸载方法及系统
CN109802998A (zh) * 2018-12-28 2019-05-24 上海无线通信研究中心 一种基于博弈的雾网络协同调度激励方法及系统
CN111614754A (zh) * 2020-05-20 2020-09-01 重庆邮电大学 面向雾计算的成本效率优化的动态自适应任务调度方法

Also Published As

Publication number Publication date
CN114168279A (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
Keshavarznejad et al. Delay-aware optimization of energy consumption for task offloading in fog environments using metaheuristic algorithms
Bitam et al. Fog computing job scheduling optimization based on bees swarm
Xu et al. A heuristic offloading method for deep learning edge services in 5G networks
US20170329643A1 (en) Distributed node intra-group task scheduling method and system
CN115422284A (zh) 存储设备、分布式存储系统以及数据处理方法
CN107295109A (zh) 自组织网络云计算中的任务卸载与功率分配联合决策方法
CN112491964B (zh) 移动辅助边缘计算方法、装置、介质和设备
CN103620578A (zh) 经由网络分割的本地云计算
WO2018201856A1 (en) System and method for self organizing data center
Besharati et al. An incentive-compatible offloading mechanism in fog-cloud environments using second-price sealed-bid auction
Shen et al. Probabilistic network-aware task placement for mapreduce scheduling
CN112714164A (zh) 一种物联网系统及其任务调度方法
Sharmin et al. Toward sustainable micro-level fog-federated load sharing in internet of vehicles
Tran-Dang et al. Task priority-based resource allocation algorithm for task offloading in fog-enabled IoT systems
CN113849302A (zh) 任务执行方法及装置、存储介质及电子装置
Seyed Aboutorabi et al. An optimized meta-heuristic bees algorithm for players’ frame rate allocation problem in cloud gaming environments
Nguyen et al. Parked vehicles task offloading in edge computing
CN115421930A (zh) 任务处理方法、系统、装置、设备及计算机可读存储介质
CN111044062B (zh) 路径规划、推荐方法和装置
Besharati et al. An auction-based bid prediction mechanism for fog-cloud offloading using Q-Learning
CN114168279B (zh) 海量数据的任务调度方法及系统
CN116582173B (zh) 基于卫星的分布式网络处理数据的方法、装置及存储介质
Kiran et al. Optimising resource allocation for virtual network functions in SDN/NFV‐enabled MEC networks
Zhou et al. Approach for minimising network effect of VNF migration
Chhabra et al. Recent task scheduling-based heuristic and meta-heuristics methods in cloud computing: A review

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20221025

Address after: 250000 Room 403, block a, development building, No. 3218, East 2nd Ring Road, Licheng District, Jinan City, Shandong Province

Applicant after: Shandong zeju Big Data Technology Co.,Ltd.

Address before: 561000 room 17011, unit 1, building C, Jianbo International Plaza, No. 188, Huangguoshu street, Huaxi street, Xixiu District, Anshun City, Guizhou Province

Applicant before: Guizhou Anhe Shengda Enterprise Management Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221214

Address after: 561000 room 17011, unit 1, building C, Jianbo International Plaza, No. 188, Huangguoshu street, Huaxi street, Xixiu District, Anshun City, Guizhou Province

Applicant after: Guizhou Anhe Shengda Enterprise Management Co.,Ltd.

Address before: 250000 Room 403, block a, development building, No. 3218, East 2nd Ring Road, Licheng District, Jinan City, Shandong Province

Applicant before: Shandong zeju Big Data Technology Co.,Ltd.

TA01 Transfer of patent application right

Effective date of registration: 20230406

Address after: Room C401-1, 4th Floor, Room 101, 2nd to 6th Floors, Building 1, No. 2 Guanzhuang Road, Chaoyang District, Beijing, 100101

Applicant after: Beijing Euronet Alliance Technology Co.,Ltd.

Address before: 561000 room 17011, unit 1, building C, Jianbo International Plaza, No. 188, Huangguoshu street, Huaxi street, Xixiu District, Anshun City, Guizhou Province

Applicant before: Guizhou Anhe Shengda Enterprise Management Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20231214

Address after: Room 303, Building 1, Tsinghua Science and Technology Park, No. 1666 Zuchongzhi South Road, Yushan Town, Kunshan City, Suzhou City, Jiangsu Province, 215300

Patentee after: Jiangsu Yishu Hechuang Technology Co.,Ltd.

Address before: Room C401-1, 4th Floor, Room 101, 2nd to 6th Floors, Building 1, No. 2 Guanzhuang Road, Chaoyang District, Beijing, 100101

Patentee before: Beijing Euronet Alliance Technology Co.,Ltd.

TR01 Transfer of patent right