CN108268313A - 数据处理的方法和装置 - Google Patents

数据处理的方法和装置 Download PDF

Info

Publication number
CN108268313A
CN108268313A CN201611265649.1A CN201611265649A CN108268313A CN 108268313 A CN108268313 A CN 108268313A CN 201611265649 A CN201611265649 A CN 201611265649A CN 108268313 A CN108268313 A CN 108268313A
Authority
CN
China
Prior art keywords
paas
target
performs
prediction
period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611265649.1A
Other languages
English (en)
Inventor
丁晓宁
单海军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Hangzhou Huawei Digital Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Huawei Digital Technologies Co Ltd filed Critical Hangzhou Huawei Digital Technologies Co Ltd
Priority to CN201611265649.1A priority Critical patent/CN108268313A/zh
Publication of CN108268313A publication Critical patent/CN108268313A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供了一种数据处理的方法和装置，该方法包括：接收平台即服务PaaS任务请求，该PaaS任务请求用于请求处理目标PaaS任务；根据该PaaS任务请求，确定预测执行时长；根据该预测执行时长，生成执行表项，该执行表项包括不同的执行时段与价格的映射关系；根据用户的选择操作，确定该执行表项中的目标执行时段；在该目标执行时段内，处理该目标PaaS任务。本申请实施例用户可以综合PaaS任务对完成时限和价格的需求，选择合理的执行时段和费用完成处理PaaS任务，提高了用户体验。

Description

数据处理的方法和装置
技术领域
本申请实施例涉及计算机领域，并且更具体地，涉及数据处理的方法和装置。
背景技术
云计算(Cloud Computing)的一种分类方式是从垂直方向把云计算分为三个不同的层次：基础设施即服务(Infrastructure as a Service，IaaS)，平台即服务(Platformas a Service，PaaS)，以及软件即服务(Software as a Service，SaaS)。
在PaaS平台上运行的用户程序可以分为两类：服务和任务。其中，服务通常指长期持续运行的程序，例如一个浏览器(Web)网站服务器或一个数据库服务器。服务程序只要部署启动后就会长期运行，随时接受客户端(例如浏览器)发送的请求，只要不人为停止，该服务程序会一直运行下去；而任务通常是一次执行、完成特定任务或只执行一定时间的程序。例如，典型的任务包括：大数据任务、科学计算、金融分析、视频编码、图像处理以及软件测试任务等。
现有的PaaS任务定价和调度机制，当用户提交一个任务时，该任务被放入一个全局的等待队列中。一个调度器循环地、按顺序地处理队列中的每个任务。因此，现有技术PaaS平台的数据处理系统的无法根据用户的需求处理任务，用户的体验较差。
发明内容
本申请实施例提供一种数据处理的方法和装置，能够提高用户体验。
一方面，提供了一种数据处理的方法，包括：接收平台即服务PaaS任务请求，该PaaS任务请求用于请求处理目标PaaS任务；根据该PaaS任务请求，确定预测执行时长；根据该预测执行时长，生成执行表项，该执行表项包括不同的执行时段与价格的映射关系；根据用户的选择操作，确定该执行表项中的目标执行时段；在该目标执行时段内，处理该目标PaaS任务。
PaaS平台通过接收PaaS任务请求，根据该PaaS任务请求确定预测执行时长，并根据预测执行时长生成包括不同执行时段和价格的映射关系的执行表项，再根据用户的选择操作选择执行表项中的目标执行时段，在目标执行时段内，处理目标PaaS任务，这样用户可以综合PaaS任务对完成时限和价格的需求，选择合理的执行时段和费用完成处理PaaS任务，提高了用户体验。
在一些可能的实现方式中，该根据该PaaS任务请求，确定预测执行时长包括：根据该PaaS任务请求和历史执行记录，确定该预测执行时长。
PaaS平台根据历史执行记录可以确定PaaS任务请求的PaaS任务对应的预测执行时长，提高了预测执行时长的准确度。
在一些可能的实现方式中，该根据该PaaS任务请求和历史执行记录，确定该预测执行时长包括：根据该PaaS任务请求，确定该目标PaaS任务的目标数据集大小；根据该目标数据集大小和该历史执行记录，确定该预测执行时长，该历史执行记录包括不同的数据集大小和执行时长的映射关系。
PaaS平台具体地可以根据目标PaaS任务的目标数据集大小，根据包括不同的数据集大小和执行时长的映射关系的历史记录，预测目标数据集大小对应的执行时长，提高了目标执行时长的准确度。
在一些可能的实现方式中，该方法还包括:根据该PaaS任务请求，确定预测执行资源；获取资源占用状态、以及该资源占用状态与价格的映射关系，该资源占用状态用于指示不同时间点的资源占用情况；其中，该根据该预测执行时长，生成执行表项包括：根据该预测执行时长、该预测执行资源和资源占用状态，确定至少一个执行时段；根据该至少一个执行时段、该资源占用状态与价格的映射关系，生成该执行表项。
这样对PaaS平台未来的时间进行划分时间段，不仅考虑满足预测执行时长，还需要考虑在该时段内能够满足预测执行资源，使得划分的时间段能够更加准确，PaaS平台估计出不同时间段对应的价格，即生成执行表项。
在一些可能的实现方式中，该方法还包括：根据该PaaS任务请求和该历史执行记录，确定信心级别，该信心级别表示该预测执行时长的评估准确度；其中，该根据该至少一个执行时段、该资源占用状态与价格的映射关系，生成该执行表项包括：根据该至少一个执行时段、该资源占用状态与价格的映射关系和该信心级别，生成该执行表项。
这样用户在选择目标执行时段时，还可以考虑预测执行时长的评估准确度，例如该预测执行时长的信心级别较低时，用户尽可能选择远大于预测执行时长的目标执行时段，以避免由于预测执行时长的不准确使得选择出目标执行时段不足以完成PaaS任务，也就是说，本申请实施例能够控制预测准确度带来的经济风险。
在一些可能的实现方式中，该方法还包括：预测该目标执行时段内能够完成处理该PaaS任务的资源利用率最低的第一时刻；其中，该在该目标执行时段内，处理该PaaS任务包括：在该第一时刻，启动处理该目标PaaS任务。
PaaS平台可以在目标执行时段的起始时刻启动处理该PaaS任务，也可以预测该目标执行时段内能够完成处理该PaaS任务的资源利用率最小的第一时刻启动处理该PaaS任务。相比传统方案中，PaaS平台按顺序地处理队列中的每个任务，并不管数据中心中的机器是否空闲，从而能够在资源利用率较低的状态下处理PaaS任务，尽可能避开高峰期，提高了资源利用率。
在一些可能的实现方式中，在启动处理该PaaS任务之前，该方法还包括：实时检测该目标执行时段内各个时刻的资源利用率；确定第二时刻的资源利用率小于该第一时刻的资源利用率，该第二时刻早于该第一时刻；在该第二时刻，启动处理该目标PaaS任务。
调度器实时监控资源的实际使用情况，选择一个最佳时机启动PaaS任务，从而有效地平衡PaaS平台中数据中心的高峰期和低峰期的资源利用率。此外，由于资源在低峰期的成本价更低，本申请实施例能够使得用户以较低的价格完成任务，在降低用户成本的同时，提高了PaaS平台的竞争力。
第二方面，提供了一种提供了数据处理的装置，该装置包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的模块。
第三方面，提供了一种数据处理的装置，包括：处理器、存储器和通信接口。处理器与存储器和通信接口连接。存储器用于存储指令，处理器用于执行该指令，通信接口用于在处理器的控制下与其他网元进行通信。该处理器执行该存储器存储的指令时，该执行使得该处理器执行第一方面或第一方面的任意可能的实现方式中的数据处理的方法。
第四方面，提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码用于指示执行上述第一方面或第一方面的任一种可能的实现方式中的数据处理的的方法的指令。
基于上述技术方案，通过接收PaaS任务请求，根据该PaaS任务请求确定预测执行时长，并根据预测执行时长生成包括不同执行时段和价格的映射关系的执行表项，再根据用户的选择操作选择执行表项中的目标执行时段，在目标执行时段内，处理目标PaaS任务，这样用户可以综合PaaS任务对完成时限和价格的需求，选择合理的执行时段和费用完成处理PaaS任务，提高了用户体验。
附图说明
图1是传统方案的PaaS平台的数据处理系统的架构图；
图2是本申请实施例的数据处理的方法的示意图；
图3是本申请另一个实施例的数据处理的方法的示意流程图；
图4是本申请又一个实施例的数据处理的方法的示意流程图；
图5是本申请又一个实施例的数据处理的方法的示意流程图；
图6是本申请又一个实施例的数据处理的方法的示意流程图；
图7是本申请实施例的数据处理的装置的示意性框图；
图8是本申请实施例的数据处理的装置的结构的示意性框图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。
PaaS平台上执行任务的流程如下所示：
1、用户用某种编程语言编写想要执行的任务代码，然后将其编译为可执行文件；
2、用户将该可执行文件按照PaaS平台的要求打包成一个镜像，由于不同PaaS平台对镜像格式有不同的要求，因此同一个可执行文件由不同PaaS平台打包后生成不同的镜像，例如，常见的进程镜像或容器镜像等；
3、用户将镜像上传到PaaS平台；
4、PaaS平台寻找一台空闲的机器，在空闲的机器上启动任务镜像；
5、在任务执行完毕后，PaaS平台清理任务相关的资源；
6、PaaS平台根据执行本次任务消耗的资源生成账单。
通常任务的重要程度不同，对完成期限的要求也不同。和业务相关的关键任务通常对完成期限有明确的、严格的要求。例如，用户提交的一个数据统计任务，要在规定的报表公布时间前完成任务。这样的任务要求提交后，越早执行越好，最好能够立刻执行。另一些任务则对完成期限无严格要求，例如，个人的一个数据分析任务，只需在一个合理时间内得到结果就可以，延迟几个小时和早几个小时对用户的影响并不是很大，用户能够很好的接受。
对PaaS平台而言，在不同时间段运行任务也会有不同的成本。在低峰期往往没有足够多的服务或任务，PaaS平台所在的数据中心大量机器被闲置浪费，机器处于空转、休眠或关机闲置状态，造成了资源浪费。而在高峰期有太多的服务或任务被提交，机器又供不应求，造成大量的任务堆积在队列中无法得到及时调度。
如图1为传统方案的PaaS平台的数据处理系统的架构图。如图1所示，该数据处理系统包括接收模块110，调度器120，存储模块130。其中，接收模块110通过图形界面或应用程序界面(Application Program Interface，API)接收用户提交的PaaS任务，并将该PaaS任务放入存储模块130(也可以称为一个集中的任务队列)中，调度器120循环扫描PaaS任务队列，根据PaaS任务在队列中的先后顺序调度和启动PaaS任务。
图2示出了本申请实施例的数据处理的方法200的示意图。如图2所示，该方法200的执行主体可以是PaaS平台，该方法200包括：
S210，接收平台即服务PaaS任务请求，该PaaS任务请求用于请求处理PaaS任务；
S220，根据该PaaS任务请求，确定预测执行时长；
S230，根据该预测执行时长，生成执行表项，该执行表项包括不同的执行时段与价格的映射关系；
S240，根据用户的选择操作，确定该执行表项中的目标执行时段；
S250，在该目标执行时段内，处理该PaaS任务。
PaaS平台接收PaaS任务请求，根据该PaaS任务请求预测完成目标PaaS任务所需的执行时长(表示为预测执行时长)。PaaS平台可以根据预测执行时长对未来的时间划分不同时段，并确定不同时段对应的价格，进而生成执行表项，执行表项包括不同执行时段与价格的映射关系，之后可以根据用户对执行时段与价格的需求选择出执行表项中的满足的目标执行时段，最后PaaS平台可以在目标执行时段内，处理PaaS任务。这样用户可以综合PaaS任务对完成时限和价格的需求，选择合理的执行时段和费用完成处理PaaS任务，避免了PaaS平台按照顺序处理队列中的每个PaaS任务以及可能在高峰期处理PaaS任务造成的费用过高，本申请实施例提高了用户体验。
不同时段对应的价格，可以是由PaaS运营商设定，或者PaaS平台根据历史记录进行评估确定，通常情况下，完成期限越往后，给出的定价越低。例如，PaaS平台在下午2点接收到用户提交的任务，则PaaS平台给出的执行表项可以是，下午3点前完成需要80美元，晚上9点前完成需要65美元，明天中午12点前完成需要50美元。
需要说明的是，本申请实施例PaaS平台接收用户提交的PaaS任务可以是PaaS平台的接收模块通过图形界面或API接收。
应理解，执行表项中包括的执行时段应大于等于预测的执行时长，这样PaaS平台可以在选择的目标执行时段内选择合适的时刻启动处理PaaS任务，或者也可以在目标执行时段的起始时刻启动处理PaaS任务，本申请对此不进行限定。
还应理解，下述实施例中可以将执行表项称为“出价(offer)列表”，每个offer里包括完成时限和对应的价格。
可选地，PaaS平台可以存储历史执行PaaS任务的记录(表示为历史执行记录)。具体地，PaaS平台可以记录每一次任务执行的PaaS任务以及对应该PaaS任务的相关信息，例如执行某一个PaaS任务的镜像标识(Identity，ID)、数据集大小和完成时长等。这样PaaS平台接收到一个PaaS任务(表示为目标PaaS任务)，PaaS平台根据该目标PaaS任务的镜像ID找到历史记录中该镜像ID对应的不同数据集大小完成所需的时长等，从而预测出完成该目标PaaS任务所需的时长。
可选地，PaaS平台还可以根据PaaS任务请求预测完成该PaaS任务所需的资源大小(表示为预测执行资源)，这样对PaaS平台未来的时间进行划分时间段，不仅考虑满足预测执行时长，还需要考虑在该时段内能够满足预测执行资源，使得划分的时间段能够更加准确，PaaS平台估计出不同时间段对应的价格，即生成执行表项。
需要说明的是，PaaS平台判断不同时间段内是否能够满足预测执行资源，还需要根据负载历史记录、当前运行的任务和正在等待处理的任务等确定资源占用情况等，本申请对此不进行限定。
应理解，PaaS平台生成执行表项后，也是将每个用户选择的选项放入一个队列中，并在目标执行时段内处理PaaS业务。
可选地，PaaS平台还可以根据PaaS任务请求和历史执行记录确定信心级别，该信心级别标识表示预测执行时长的评估准确度。这样用户在选择目标执行时段时，还可以考虑预测执行时长的评估准确度，例如该预测执行时长的信心级别较低时，用户尽可能选择远大于预测执行时长的目标执行时段，以避免由于预测执行时长的不准确使得选择出目标执行时段不足以完成PaaS任务，也就是说，本申请实施例能够控制预测准确度带来的经济风险。
具体而言，PaaS平台根据PaaS任务请求确定目标PaaS任务的镜像ID，根据该镜像ID找到历史执行记录。对于PaaS任务为大数据类任务和非大数据类任务可以采用不同的算法。图3为本申请实施例的示意图，具体流程如下所示：
301，确定目标PaaS任务的镜像ID；
302，查找该目标PaaS任务对应的历史数据记录；
303，确定该目标PaaS任务是否为大数据类任务，若为大数据类任务则执行304，若为非大数据类任务则执行305；
304，若该目标PaaS任务为大数据类任务，则确定该目标PaaS任务对应的目标数据集大小，根据历史数据记录和该目标数据集的大小，进行线性回归预(linear regression)测算法的运算；
305，若该目标PaaS任务为非大数据类任务，则该目标PaaS任务无关联数据集大小，则根据时间序列预测(time series forecasting)算法对该目标PaaS任务进行运算；
306，步骤304和步骤305都可以得到预测执行时长和对该预测执行时长的准确度评估的信心级别，可以将该信心级别表示为r，且通常0<r<1。
可选地，作为一个实施例，PaaS平台根据PaaS任务请求确定预测执行资源后，还可以根据预测执行时长、预测执行资源、资源占用状态和信心级别生成执行表项。
具体而言，运维人员可以设定PaaS平台中数据中心承载不同负载的资源状态对应的价格，例如可以设置不同负载情况下资源的价格函数。具体地，PaaS平台可以根据数据中心负载历史记录、当前运行的任务和正在等待处理的任务，生成未来一段时间内不同时间与资源负载的映射关系的资源负载预测函数。PaaS平台根据资源负载预测函数，确定满足预测执行资源且能够维持预测执行时长的多个时间段，并根据不同负载情况下资源的价格函数确定每个时间段对应的价格。如图4所示的示意图，具体步骤如下：
401，运维人员设置不同负载情况下资源的价格函数P(l)；
402，根据数据中心负载历史记录、当前运行的任务和正在等待处理的任务，生成未来一段时间内的资源负载预测函数L(t)；
403，根据预测执行时长，以及资源负载预测函数L(t)，确定满足该预测执行时长和预测执行资源的N个时间段，假设每个时间段的结束时刻分别为t1，t2，…，tn，为描述方便，下述以t1，t2，…，tn分别表示对应的时间段；
404，对每个时间段ti，可以根据时段价格P(l)、预测执行时长D、信心级别G(r)确定总价P＝D*P(L(ti))*G(r)，其中，G(r)可以由运维人员设置调整。
405，输出N个执行表项{<t1,p1>，<t2,p2>，…，<tn,pn>}，通常情况下处理时间越长对应的价格越低，即t0<t1<t2<…<tn,p1>p2>…>pn。
可选地，PaaS平台可以在目标执行时段的起始时刻启动处理该PaaS任务，也可以预测该目标执行时段内能够完成处理该PaaS任务的资源利用率最小的第一时刻启动处理该PaaS任务。相比传统方案中，PaaS平台按顺序地处理队列中的每个任务，并不管数据中心中的机器是否空闲，本申请实施例能够在资源利用率较低的状态下处理PaaS任务，尽可能避开高峰期，提高了资源利用率。
可选地，PaaS平台也可以在到达第一时刻之前检测到资源利用率更低的第二时刻时，启动处理该PaaS任务，这样调度器不再是机械地按照队列中的顺序启动任务，而是实时监控资源的实际使用情况，选择一个最佳时机启动PaaS任务，从而有效地平衡PaaS平台中数据中心的高峰期和低峰期的资源利用率。此外，由于资源在低峰期的成本价更低，本申请实施例能够使得用户以较低的价格完成任务，在降低用户成本的同时，提高了PaaS平台的竞争力。
具体地，作为一个实施例可以如图5所示，PaaS平台等待到达第一时刻，并在第一时刻启动处理该PaaS任务，假设根据预测得到该第一时刻对应数据中心的第一资源利用率，具体步骤如下：
501，PaaS平台实时检测数据中心的资源负载水平，即获知数据中心的资源利用率；
502，PaaS平台将实时获取的资源利用率与第一资源利用率作比较；
503，启动处理PaaS任务，若PaaS平台在第一时刻(t1)之前的第二时刻(t2)检测到第二资源利用率小于第一资源利用率，且预测在预测执行时长内的资源利用率都能够小于第一资源利用率，则在第二时刻启动处理PaaS任务；
504，若PaaS平台没有检测到小于第一资源利用率的时刻，仍然实时检测，直到到达第一时刻，在第一时刻(如图5中的ti-D，该ti为目标执行时段内的结束时刻)启动处理该PaaS任务。
应理解，若PaaS平台开始执行处理该PaaS任务，但是由于资源拥挤或其他状况等，直到到达了预设时段的结束时刻仍然没有完成该PaaS任务，则该PaaS平台可以强制执行停止该PaaS任务的处理，以避免影响下一个时段的数据处理。
因此，本申请实施例的数据处理的方法，通过接收PaaS任务请求，根据该PaaS任务请求确定预测执行时长，并根据预测执行时长生成包括不同执行时段和价格的映射关系的执行表项，再根据用户的选择操作选择执行表项中的目标执行时段，在目标执行时段内，处理目标PaaS任务，这样用户可以综合PaaS任务对完成时限和价格的需求，选择合理的执行时段和费用完成处理PaaS任务，提高了用户体验。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图6是本申请一个实施例的数据处理的方法的详细流程图。本申请实施例中的各种术语的含义与前述各个实施例相同。
601，PaaS平台接收用户提交的PaaS任务请求，该任务请求用于请求PaaS平台处理目标PaaS任务；
602，PaaS平台根据该PaaS任务请求，预测完成PaaS任务所需的预测执行时长；
具体地，PaaS平台可以根据PaaS任务请求和历史执行记录，确定预测执行时长。
可选地，PaaS平台还可以根据该Paas任务请求，确定预测执行资源。
可选地，PaaS平台还可以根据Paas任务请求和历史执行记录确定信心级别。
603，PaaS平台根据预测执行时长，生成offer列表；
可选地，PaaS平台还可以根据预测执行时长和预测执行资源生成执行表项。
可选地，PaaS平台还可以根据该预测执行时长、该预测执行资源和该信心级别，生成该执行表项。
604，PaaS平台根据用户的选择，确定目标offer中的目标执行时段；
605，PaaS平台在目标执行时段的起始时刻，启动处理该目标PaaS任务。
606，PaaS平台在目标执行时段的第二时刻，启动处理该目标PaaS任务。该第二时刻早于第一时刻，第一时刻为PaaS平台提前预测的在目标执行时段内资源利用率最低的时刻。
607，若PaaS平台在目标执行时段到达第一时刻之前仍然没有启动处理该目标PaaS任务，则在到达第一时刻时启动处理该目标PaaS任务。
应理解，步骤605、606和607在执行时只能选择一种方式。
因此，本申请实施例的数据处理的方法，通过接收PaaS任务请求，根据该PaaS任务请求确定预测执行时长，并根据预测执行时长生成包括不同执行时段和价格的映射关系的执行表项，再根据用户的选择操作选择执行表项中的目标执行时段，在目标执行时段内，处理目标PaaS任务，这样用户可以综合PaaS任务对完成时限和价格的需求，选择合理的执行时段和费用完成处理PaaS任务，提高了用户体验。
上文中详细描述了根据本申请实施例的数据处理的方法，下面将描述根据本申请实施例的数据处理的的装置。
图7示出了根据本申请实施例的数据处理的装置700的示意性框图。如图7所示，该装置700包括：
接收模块710，用于接收平台即服务PaaS任务请求，该PaaS任务请求用于请求处理PaaS任务；
预测模块720，用于根据该接收模块710接收的该PaaS任务请求，确定预测执行时长；
生成模块730，还用于根据该预测模块720确定的该预测执行时长，生成执行表项，该执行表项包括不同的执行时段与价格的映射关系；
调度模块740，还用于根据用户的选择操作，确定该生成模块730生成的该执行表项中的目标执行时段；
处理模块750，还用于在该调度模块740确定的该目标执行时段内，处理该PaaS任务。
可选地，该预测模块720具体用于：
根据该PaaS任务请求和历史执行记录，确定该预测执行时长。
可选地，该预测模块720具体用于：
根据该PaaS任务请求，确定该目标PaaS任务的目标数据集大小；
根据该目标数据集大小和该历史执行记录，确定该预测执行时长，该历史执行记录包括不同的数据集大小和执行时长的映射关系。
可选地，该处理模块750，还用于根据该PaaS任务请求，确定预测执行资源；
该处理模块750，还用于获取资源占用状态、以及该资源占用状态与价格的映射关系，该资源占用状态用于指示不同时间点的资源占用情况；
该生成模块730具体用于：
根据该预测执行时长、该预测执行资源和资源占用状态，确定至少一个执行时段；
根据该至少一个执行时段、该资源占用状态与价格的映射关系，生成该执行表项。
可选地，该处理模块750具体用于：
根据该PaaS任务请求和该历史执行记录，确定信心级别，该信心级别表示该预测执行时长的评估准确度；
该生成模块730具体用于：
根据该至少一个执行时段、该资源占用状态与价格的映射关系和该信心级别，生成该执行表项。
可选地，该预测模块720还用于：
预测该目标执行时段内能够完成处理该PaaS任务的资源利用率最低的第一时刻；
该处理模块750具体用于：
在该第一时刻，启动处理该目标PaaS任务。
可选地，在启动处理该PaaS任务之前，该处理模块750，还用于实时检测该目标执行时段内各个时刻的资源利用率；
该处理模块750，还用于确定第二时刻的资源利用率小于该第一时刻的资源利用率，该第二时刻早于该第一时刻；
该处理模块750，还用于在该第二时刻，启动处理该目标PaaS任务。
因此，本申请实施例的数据处理的装置，通过接收PaaS任务请求，根据该PaaS任务请求确定预测执行时长，并根据预测执行时长生成包括不同执行时段和价格的映射关系的执行表项，再根据用户的选择操作选择执行表项中的目标执行时段，在目标执行时段内，处理目标PaaS任务，这样用户可以综合PaaS任务对完成时限和价格的需求，选择合理的执行时段和费用完成处理PaaS任务，提高了用户体验。
根据本申请实施例的数据处理的装置可对应于根据本申请实施例的数据处理的方法的执行主体，并且数据处理的装置中的各个模块的上述和其它操作和/或功能分别为了实现前述各个方法的相应流程，为了简洁，在此不再赘述。
图8示出了本申请实施例提供的数据处理的装置的结构示意图。如图8所示，该装置包括至少一个处理器802(例如具有计算和处理能力的通用处理器CPU、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)等)，处理器802用于对装置内各模块和器件进行管理和调度。图7所示的实施例中的预测模块720、生成模块730、调度模块740和处理模块750都可以通过处理器802实现。该装置还包括至少一个收发器805(接收器/发送器)，存储器806。图7所示的实施例中的接收模块710可以通过收发器805实现。数据处理的装置的各个组件通过内部连接通路互相通信，传递控制和/或数据信号。
上述本申请实施例揭示的方法可以应用于处理器802，或者用于执行存储器806中存储的可执行模块，例如计算机程序。存储器806可能包含高速随机存取存储器(RAM:Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，存储器可以包括只读存储器和随机存取存储器，并向处理器提供需要的信令或数据、程序等等。存储器的一部分还可以包括非易失行随机存取存储器(NVRAM)。通过至少一个收发器805(可以是有线或者无线)实现与至少一个其他网元之间的通信连接。
在一些实施方式中，存储器806存储了程序8061，处理器802执行程序8061，用于执行以下操作：
通过收发器805接收平台即服务PaaS任务请求，该PaaS任务请求用于请求处理目标PaaS任务；
根据该PaaS任务请求，确定预测执行时长；
根据该预测执行时长，生成执行表项，该执行表项包括不同的执行时段与价格的映射关系；
根据用户的选择操作，确定该执行表项中的目标执行时段；
在该目标执行时段内，处理该目标PaaS任务。
需要说明的是，该数据处理的装置可以具体为图7所示的实施例中的装置700，并且可以用于执行图5或图6所示的方法实施例中与数据处理的装置对应的各个步骤和/或流程。
从本申请实施例提供的以上技术方案可以看出，通过接收PaaS任务请求，根据该PaaS任务请求确定预测执行时长，并根据预测执行时长生成包括不同执行时段和价格的映射关系的执行表项，再根据用户的选择操作选择执行表项中的目标执行时段，在目标执行时段内，处理目标PaaS任务，这样用户可以综合PaaS任务对完成时限和价格的需求，选择合理的执行时段和费用完成处理PaaS任务，提高了用户体验。
本申请实施例还提供一种计算机存储介质，该计算机存储介质可以存储用于指示上述任一种方法的程序指令。
可选地，该存储介质具体可以为存储器806。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种数据处理的方法，其特征在于，包括：
接收平台即服务PaaS任务请求，所述PaaS任务请求用于请求处理目标PaaS任务；
根据所述PaaS任务请求，确定预测执行时长；
根据所述预测执行时长，生成执行表项，所述执行表项包括不同的执行时段与价格的映射关系；
根据用户的选择操作，确定所述执行表项中的目标执行时段；
在所述目标执行时段内，处理所述目标PaaS任务。
2.根据权利要求1所述的方法，其特征在于，所述根据所述PaaS任务请求，确定预测执行时长包括：
根据所述PaaS任务请求和历史执行记录，确定所述预测执行时长。
3.根据权利要求2所述的方法，其特征在于，所述根据所述PaaS任务请求和历史执行记录，确定所述预测执行时长包括：
根据所述PaaS任务请求，确定所述目标PaaS任务的目标数据集大小；
根据所述目标数据集大小和所述历史执行记录，确定所述预测执行时长，所述历史执行记录包括不同的数据集大小和执行时长的映射关系。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括:
根据所述PaaS任务请求，确定预测执行资源；
获取资源占用状态、以及所述资源占用状态与价格的映射关系，所述资源占用状态用于指示不同时间点的资源占用情况；
其中，所述根据所述预测执行时长，生成执行表项包括：
根据所述预测执行时长、所述预测执行资源和资源占用状态，确定至少一个执行时段；
根据所述至少一个执行时段、所述资源占用状态与价格的映射关系，生成所述执行表项。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
根据所述PaaS任务请求和所述历史执行记录，确定信心级别，所述信心级别表示所述预测执行时长的评估准确度；
其中，所述根据所述至少一个执行时段、所述资源占用状态与价格的映射关系，生成执行表项包括：
根据所述至少一个执行时段、所述资源占用状态与价格的映射关系和所述信心级别，生成所述执行表项。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：
预测所述目标执行时段内能够完成处理所述目标PaaS任务的资源利用率最低的第一时刻；
其中，所述在所述目标执行时段内，处理所述目标PaaS任务包括：
在所述第一时刻，启动处理所述目标PaaS任务。
7.根据权利要求6所述的方法，其特征在于，在启动处理所述目标PaaS任务之前，所述方法还包括：
实时检测所述目标执行时段内各个时刻的资源利用率；
确定第二时刻的资源利用率小于所述第一时刻的资源利用率，所述第二时刻早于所述第一时刻；
在所述第二时刻，启动处理所述目标PaaS任务。
8.一种数据处理的装置，其特征在于，包括：
接收模块，用于接收平台即服务PaaS任务请求，所述PaaS任务请求用于请求处理PaaS任务；
预测模块，用于根据所述接收模块接收的所述PaaS任务请求，确定预测执行时长；
生成模块，还用于根据所述预测模块确定的所述预测执行时长，生成执行表项，所述执行表项包括不同的执行时段与价格的映射关系；
调度模块，还用于根据用户的选择操作，确定所述生成模块生成的所述执行表项中的目标执行时段；
处理模块，还用于在所述调度模块确定的所述目标执行时段内，处理所述PaaS任务。
9.根据权利要求8所述的装置，其特征在于，所述预测模块具体用于：
根据所述PaaS任务请求和历史执行记录，确定所述预测执行时长。
10.根据权利要求9所述的装置，其特征在于，所述预测模块具体用于：
根据所述PaaS任务请求，确定所述目标PaaS任务的目标数据集大小；
根据所述目标数据集大小和所述历史执行记录，确定所述预测执行时长，所述历史执行记录包括不同的数据集大小和执行时长的映射关系。
11.根据权利要求8至10中任一项所述的装置，其特征在于，所述处理模块，还用于根据所述PaaS任务请求，确定预测执行资源；
所述处理模块，还用于获取资源占用状态、以及所述资源占用状态与价格的映射关系，所述资源占用状态用于指示不同时间点的资源占用情况；
所述生成模块具体用于：
根据所述预测执行时长、所述预测执行资源和资源占用状态，确定至少一个执行时段；
根据所述至少一个执行时段、所述资源占用状态与价格的映射关系，生成所述执行表项。
12.根据权利要求11所述的装置，其特征在于，所述处理模块具体用于：
根据所述PaaS任务请求和所述历史执行记录，确定信心级别，所述信心级别表示所述预测执行时长的评估准确度；
所述生成模块具体用于：
根据所述至少一个执行时段、所述资源占用状态与价格的映射关系和所述信心级别，生成所述执行表项。
13.根据权利要求8至12中任一项所述的装置，其特征在于，所述预测模块还用于：
预测所述目标执行时段内能够完成处理所述目标PaaS任务的资源利用率最低的第一时刻；
所述处理模块具体用于：
在所述第一时刻，启动处理所述目标PaaS任务。
14.根据权利要求13所述的装置，其特征在于，在启动处理所述目标PaaS任务之前，所述处理模块，还用于实时检测所述目标执行时段内各个时刻的资源利用率；
所述处理模块，还用于确定第二时刻的资源利用率小于所述第一时刻的资源利用率，所述第二时刻早于所述第一时刻；
所述处理模块，还用于在所述第二时刻，启动处理所述目标PaaS任务。
CN201611265649.1A 2016-12-30 2016-12-30 数据处理的方法和装置 Pending CN108268313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611265649.1A CN108268313A (zh) 2016-12-30 2016-12-30 数据处理的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611265649.1A CN108268313A (zh) 2016-12-30 2016-12-30 数据处理的方法和装置

Publications (1)

Publication Number Publication Date
CN108268313A true CN108268313A (zh) 2018-07-10

Family

ID=62771075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611265649.1A Pending CN108268313A (zh) 2016-12-30 2016-12-30 数据处理的方法和装置

Country Status (1)

Country Link
CN (1) CN108268313A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148550A (zh) * 2019-06-28 2020-12-29 伊姆西Ip控股有限责任公司 用于管理服务的方法、设备和计算机程序产品
CN112395311A (zh) * 2019-08-13 2021-02-23 阿里巴巴集团控股有限公司 一种请求的处理时长的预测方法及装置
CN114003378A (zh) * 2021-10-26 2022-02-01 深圳证券信息有限公司 容器集群负载均衡方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110320233A1 (en) * 2010-05-30 2011-12-29 Sonian, Inc. Method and system for arbitraging computing resources in a cloud computing environment
CN103377407A (zh) * 2012-04-25 2013-10-30 华为技术有限公司 云业务处理方法及相关装置和系统
CN103533043A (zh) * 2013-10-11 2014-01-22 北京邮电大学 一种基于rest的云存储服务的计费方法
CN103699446A (zh) * 2013-12-31 2014-04-02 南京信息工程大学 基于量子粒子群优化算法的多目标工作流动态调度方法
US8869124B2 (en) * 2003-03-24 2014-10-21 International Business Machines Corporation Method and program product for costing and planning the re-hosting of computer-based applications
CN104333569A (zh) * 2014-09-23 2015-02-04 同济大学 基于用户满意度的云任务调度算法
US9152467B2 (en) * 2013-01-18 2015-10-06 Nec Laboratories America, Inc. Method for simultaneous scheduling of processes and offloading computation on many-core coprocessors
CN105074664A (zh) * 2013-02-11 2015-11-18 亚马逊科技公司 成本最小化的任务调度程序
US9430280B1 (en) * 2013-02-11 2016-08-30 Amazon Technologies, Inc. Task timeouts based on input data characteristics
WO2016176414A1 (en) * 2015-04-28 2016-11-03 Solano Labs, Inc. Cost optimization of cloud computing resources
WO2016195703A1 (en) * 2015-06-05 2016-12-08 Hewlett Packard Enterprise Development Lp Pricing of cloud resources

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8869124B2 (en) * 2003-03-24 2014-10-21 International Business Machines Corporation Method and program product for costing and planning the re-hosting of computer-based applications
US20110320233A1 (en) * 2010-05-30 2011-12-29 Sonian, Inc. Method and system for arbitraging computing resources in a cloud computing environment
CN103377407A (zh) * 2012-04-25 2013-10-30 华为技术有限公司 云业务处理方法及相关装置和系统
US9152467B2 (en) * 2013-01-18 2015-10-06 Nec Laboratories America, Inc. Method for simultaneous scheduling of processes and offloading computation on many-core coprocessors
CN105074664A (zh) * 2013-02-11 2015-11-18 亚马逊科技公司 成本最小化的任务调度程序
US9430280B1 (en) * 2013-02-11 2016-08-30 Amazon Technologies, Inc. Task timeouts based on input data characteristics
CN103533043A (zh) * 2013-10-11 2014-01-22 北京邮电大学 一种基于rest的云存储服务的计费方法
CN103699446A (zh) * 2013-12-31 2014-04-02 南京信息工程大学 基于量子粒子群优化算法的多目标工作流动态调度方法
CN104333569A (zh) * 2014-09-23 2015-02-04 同济大学 基于用户满意度的云任务调度算法
WO2016176414A1 (en) * 2015-04-28 2016-11-03 Solano Labs, Inc. Cost optimization of cloud computing resources
WO2016195703A1 (en) * 2015-06-05 2016-12-08 Hewlett Packard Enterprise Development Lp Pricing of cloud resources

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148550A (zh) * 2019-06-28 2020-12-29 伊姆西Ip控股有限责任公司 用于管理服务的方法、设备和计算机程序产品
CN112148550B (zh) * 2019-06-28 2024-03-08 伊姆西Ip控股有限责任公司 用于管理服务的方法、设备和计算机程序产品
CN112395311A (zh) * 2019-08-13 2021-02-23 阿里巴巴集团控股有限公司 一种请求的处理时长的预测方法及装置
CN114003378A (zh) * 2021-10-26 2022-02-01 深圳证券信息有限公司 容器集群负载均衡方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US9755988B2 (en) Method and system for arbitraging computer resources in a cloud computing environment
US10783472B2 (en) Applying machine learning to dynamically scale computing resources to satisfy a service level agreement (SLA)
US10691647B2 (en) Distributed file system metering and hardware resource usage
US20150067028A1 (en) Message driven method and system for optimal management of dynamic production workflows in a distributed environment
US9020829B2 (en) Quality of service aware scheduling for composite web service workflows
US10672067B2 (en) Bid advising in resource allocation data analytics frameworks
US11321634B2 (en) Minimizing risk using machine learning techniques
US10832195B2 (en) Automated procurement device
CN108268313A (zh) 数据处理的方法和装置
Hung et al. Inventory rationing decision models during replenishment lead time
JP6594801B2 (ja) 需給調整装置、需給調整システム、及び需給調整方法
US20140358608A1 (en) Automatic prioritization of incident response as a historical function of customer state
US20140169548A1 (en) Managing Reserve Agents In A Contact Center
US20210019681A1 (en) Identifying and utilizing the availability of enterprise resources
US20160379296A1 (en) Method and apparatus for algorithmic control of the acceptance of orders by an e-commerce enterprise
Weng et al. Control methods for dynamic time-based manufacturing under customized product lead times
KR20210061249A (ko) 기계학습 기반 공정 스케줄링 장치 및 방법
US20230289214A1 (en) Intelligent task messaging queue management
WO2006082808A1 (ja) 納期回答プログラム、納期回答方法、及びこの方法を実行するシステム
JP2006107167A (ja) スケジューリングシステム，スケジューリングプログラム及びスケジューリング方法
US20230130752A1 (en) System and method for optimizing platform conversion through dynamic management of capacity in an ecommerce environment
CN114004504A (zh) 学习任务的调度方法和装置、电子设备和存储介质
CN114358380A (zh) 用于工程车辆调度的方法、设备及处理器
Reijers Case prediction in BPM systems: a research challenge
US10852908B2 (en) Method and system for controlling a display screen based upon a prediction of compliance of a service request with a service level agreement (SLA)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20200416

Address after: 518129 Bantian HUAWEI headquarters office building, Longgang District, Guangdong, Shenzhen

Applicant after: HUAWEI TECHNOLOGIES Co.,Ltd.

Address before: 301, A building, room 3, building 301, foreshore Road, No. 310052, Binjiang District, Zhejiang, Hangzhou

Applicant before: Huawei Technologies Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180710