CN104915205A - 一种适用于在线数据密集型应用的请求多副本任务执行方法 - Google Patents
一种适用于在线数据密集型应用的请求多副本任务执行方法 Download PDFInfo
- Publication number
- CN104915205A CN104915205A CN201510312591.0A CN201510312591A CN104915205A CN 104915205 A CN104915205 A CN 104915205A CN 201510312591 A CN201510312591 A CN 201510312591A CN 104915205 A CN104915205 A CN 104915205A
- Authority
- CN
- China
- Prior art keywords
- copy
- node
- rear end
- delay
- designated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种适用于在线数据密集型应用的请求多副本任务执行方法，该方法包括有设置执行任务系统所需的初始量和参考量的步骤，记录副本的各个时间特性的步骤，判断时延的步骤和检查、更新后端从节点状态参考量的步骤；本发明所要解决的是如何减少多副本执行在保障“在线数据密集型应用”服务质量时占用的额外资源的技术问题，该方法通过利用滑动窗口提取副本特征，并对后端从节点进行性能预测，动态调节任务的多副本比例，使“在线数据密集型应用”系统能够有效地适应负载水平的动态波动；从而提高了“在线数据密集型应用”系统资源的使用效率的技术效果。
Description
技术领域
本发明涉及云计算的在线数据密集型应用，更特别地说，是指一种适用于在线数据密集型应用中，且具有面向低响应时延应用的、能够节省计算资源的请求多副本调度方法。
背景技术
云计算(Cloud Computing)是网络计算(Grid Computing)、分布式计算(Distributed Computing)、并行计算(Parallel ComPuting)、效用计算(UtilityComPuting)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机技术和网络技术发展融合的产物。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统，并借助SaaS、PaaS、IaaS、MSP等先进的商业模式把这强大的计算能力分布到终端用户手中。
云计算的基本原理是：在大量的分布式计算机集群上，通过虚拟技术使这些硬件基础设施形成集群，实现不同的资源池(如存储资源池、网络资源池、计算机资源池、数据资源池和软件资源池)，对这些资源池实现自动管理，部署成不同的服务(Service)供用户(User)使用。
由于云计算分为SaaS、PaaS和IaaS三种类型，目前各个厂商还没有统一的标准，不同的厂商又提供了不同的解决方案，直接导致了用户(User)在选择解决方案时的困惑。2013年8月第1版《云计算应用技术》，作者万川梅，第9页和第10页介绍了云计算的构成，如图1所示。图中的“任务执行(Task Execution)”是为了响应用户(User)的需求。
近年来，在线数据密集型(On Line Data Intensive，OLDI)应用成为云计算研究中的热话题。应用(Application)对于访问延迟和吞吐量等性能参数有很高的要求，所述应用(Application)如社交网络、信息检索和电子商务等。
在线数据密集型应用的发展十分迅速，“在线”表示应用(Application)需要与用户(User)进行大量交互，“数据密集”意味着应用(Application)的单次请求往往牵涉到成百上千台服务器以及TB级的数据量。这类应用(Application)通常要求单次请求的响应时间(Response time)为秒级甚至毫秒级，过长的响应时间不仅影响了用户(User)体验，更损害了服务提供商的收益。例如对于搜索服务bing，其响应时间每超过500毫秒就会导致其收益降低1.2％；而电子商务则对响应时间更为敏感，来自amazon的数据显示，响应时间每超过100毫秒将导致商品销售量下滑1％。因此，保障这类延迟受限类应用的服务质量(Quality of service)具有重要的商业价值。
目前，在线数据密集型(On Line Data Intensive，OLDI)应用采用从后端从节点的角度彻底解决任务运行时间的不确定性，然而这种不确定性的影响因素是来自多方面的，包括网络拥塞，后端从节点内其它后台进程的干扰、调度策略、能耗管控等等。这些因素很难得到彻底解决，而且由于应用(Application)的多样性，寻求一种具有普适性的解决方案也并不现实。因此，目前的研究主要集中于提高后端主节点对后端从节点不稳定性的容忍程度，典型的方法为多副本执行，但这种方法实质上是通过占用大量物理资源(Physical Resources)实现的，而事实上，这些物理资源(Physical Resources)并不都是必需的。此外，当系统负载(Load)较高时，盲目的多副本执行会加重后端从节点的负载，反而使任务运行时间的不确定性更为严重，进而影响到应用的服务质量。
发明内容
为了克服在线数据密集型应用中传统多副本执行方法存在的物理资源(PhysicalResources)浪费、以及无法满足高负载(Load)下应用的服务质量(Quality ofservice)的缺陷，本发明提出一种适用于在线数据密集型应用的请求多副本任务执行方法。
本发明技术方案是：将在线数据密集型应用(On Line Data IntensiveApplication，OLDIA)如何根据后端从节点(Back-end slave node)的运行状态(Running Status)、任务运行特征(Task Running Characteristics)以及应用的实时负载(Application Realtime Load)来动态调节多副本(Multi Replica)的任务执行，从而合理分配物理资源(Physical Resources)，提高了应用的服务质量(Quality of service)。与传统的多副本任务执行策略相比，对于保障相同服务质量目标，使用的物理资源更少，同时在应用负载较高时，各后端从节点能够自适应地调节任务的多副本执行比例。
本发明公开了一种适用于在线数据密集型应用的请求多副本任务执行方法，该方法包括有设置执行任务系统所需的初始量和参考量的步骤，记录副本的各个时间特性的步骤，判断时延的步骤和检查、更新后端从节点状态参考量的步骤。
本发明提出了一种适用于在线数据密集型应用的请求多副本任务执行方法，所要解决的是如何减少多副本执行在保障“在线数据密集型应用”服务质量时占用的额外资源的技术问题，该方法通过利用滑动窗口提取副本特征，并对后端从节点进行性能预测，动态调节任务的多副本比例，使“在线数据密集型应用”系统能够有效地适应负载水平的动态波动；从而提高了“在线数据密集型应用”系统资源的使用效率的技术效果。
本发明提出的一种适用于在线数据密集型应用的请求多副本任务执行方法的优点在于：
①与传统的多副本执行方法相比，对于保障相同服务质量目标，本发明方法使用了更少的计算资源。运行于在线数据密集型应用中，能够提高在线数据密集型应用的响应。
②面对较高的负载水平，本发明方法能够始终保持在线数据密集型应用的服务质量目标，更有效地适应负载水平的动态波动。
③本发明方法不改变传统在线数据密集型应用的架构，具有广泛的适应性；以及在置入现有的在线数据密集型应用时，接口设置简单。
附图说明
图1是云计算的结构框图。
图2是传统在线数据密集型应用的架构框图。
图3是本发明后端从节点的状态转移框图。
图4是本发明适用于在线数据密集型应用的请求多副本任务执行的原理图。
图5为本发明适用于在线数据密集型应用的请求多副本任务执行的流程图。
图6是本发明后端从节点运行副本的时间关系示意图。
| 100.状态过滤模块 | 200.副本等待队列模块 | 300.预测过滤模块 |
| 400.服务时延监控模块 | 500.响应时延监控模块 |
具体实施方式
下面将结合附图对本发明做进一步的详细说明。
在图1所示的云计算体系中，“任务执行(Task Execution)”是为了响应用户(User)的需求。而“任务执行”的服务质量通常采用响应时延(或称响应时间)来评价。
针对在线数据密集型(On Line Data Intensive，OLDI)应用普遍采用了主从架构，如图2所示，首先，前端节点(Front-end node)向后端主节点(Back-endmaster node)发送请求(Request)，后端主节点将请求解析为一组并行的副本(Replica)，并将副本(Replica)发送至相应后端从节点(Back-end slave node)上。这种方式可以有效降低请求的响应时间(Response time)，但请求的响应时间(Response time)取决于同组中运行时间(Run time)最长的副本(Replica)。
本发明方法的技术方案为：后端主节点将所有副本(Multi Replica)同时发送至多个后端从节点(即后端A从节点、后端B从节点、后端N从节点)上，然后采用运行时间最短的返回结果；各后端从节点可以根据自身状态，在副本(Replica)开始前就对副本运行时间(Run time)能否符合服务质量要求做出判断，若不符合，则该副本不必再占用该后端从节点的物理资源。
为了克服在线数据密集型应用中传统多副本执行方法存在的物理资源(PhysicalResources)浪费、以及无法满足高负载(Load)下应用的服务质量(Quality ofservice)的缺陷，本发明提出一种适用于在线数据密集型应用的面向低响应时延应用且节省计算资源的请求多副本执行方法。
在本发明中，后端主节点的标识号记为bm。后端从节点的标识号记为bs，设置后端从节点的个数为N个，在线数据密集型应用的系统中，如图2所示后端A从节点记为bsA，后端B从节点记为bsB，后端N从节点记为bsN，也称为任意一个后端从节点bsN。
在本发明中，任意一后端从节点bsN在滑动窗口Windows时间内，统计接收到的所有副本(Multi Replica)运行于在线数据密集型应用系统中的服务时延记为SL，其服务时延的平均值记为ASL。
在本发明中，任意一后端从节点bsN在滑动窗口Windows时间内，统计接收到的所有副本(Multi Replica)运行于在线数据密集型应用系统中的响应时延记为RL，其响应时延的平均值记为ARL，其响应时延的方差记为VRL。
在本发明中，每个任务(Task)对应的所有副本(Multi Replica)采用集合形式表达为R＝{r1,r2,…,rk}，r1表示第一个副本，r2表示第二个副本，rk表示最后一个副本，k表示副本的标识号；为了方便说明，rk也称为任意一个副本。
参见图4、图5所示，本发明提出了一种适用于在线数据密集型应用的请求多副本任务执行方法，该方法包括有下列步骤：
步骤A，初始化系统并设置初始量和参考量
步骤A-1，设置服务质量目标；
初始化在线数据密集型应用中的任务执行系统，并设置服务质量目标SLO(单位，秒)；
步骤A-2，对后端从节点进行标记；
初始化在线数据密集型应用中的任务执行系统，对后端多个从节点进行标记，后端从节点记为bs(单位，个)；任务执行系统中后端从节点的总数为N；任意一个后端从节点的标识记为bsN。
步骤A-3，设置任务对应的副本；
初始化在线数据密集型应用中的任务执行系统，设置任务执行系统中每个任务(Task)对应的副本(Replica)总数为k，副本标记为r；
在本发明中则有：每个任务对应的所有副本(Multi Replica)采用集合形式表达为R＝{r1,r2,…,rk}，r1表示第一个副本，r2表示第二个副本，rk表示最后一个副本，k表示副本的标识号；为了方便说明，rk也称为任意一个副本。
步骤A-4，设置无效周期数、恢复周期数；
初始化在线数据密集型应用中的任务执行系统，设置后端从节点bsN的无效周期数和恢复周期数所述的和所述的构成了后端从节点bsN的状态参考量，执行步骤B；在本发明中，初始时，
状态条件一：表示后端从节点bsN处于无效状态。参见图3所示，在本发明中，处于无效状态的所述bsN只接收被标记后的任意副本rk，同时不更新响应时延监控模块的响应时延RL。
状态条件二：表示后端从节点bsN处于恢复状态。参见图3所示，在本发明中，处于恢复状态的所述bsN能够接收任意副本rk，同时不更新响应时延监控模块的响应时延RL。
状态条件三：时，表示后端从节点bsN处于运行状态。参见图3所示，在本发明中，处于运行状态的所述bsN能够接收任意副本rk，同时更新响应时延监控模块的响应时延RL。
步骤B，副本标记及分发副本
在本发明中，为了避免所有后端从节点(Back-end slave node)均不接收或运行副本(Replica)，则后端主节点(Back-end master node)需要在分发副本(Replica)之前，随机选取部分副本(Replica)进行标记，形成标记副本(survivor)。
步骤B－1，副本标记；
从R＝{r1,r2,…,rk}中选取w个副本作为任务的标记副本，0＜w＜k；则将所述R＝{r1,r2,…,rk}记为标记后副本的表达形式为 s为副本被标记的标识的。
步骤B－2，分发副本；
后端主节点(Back-end master node)将同一任务(Task)的所述分发至N个后端从节点(Back-end slavenode)上，执行步骤C；由于副本数小于后端从节点个数(k∈N)，将会造成有的后端从节点未接收到副本。
在本发明中，后端主节点(Back-end master node)将同一任务(Task)的多个副本(Multi Replica)分发至多个后端从节点(Back-end slave node)上，以提升应用的服务质量(Quality of service)。
步骤C，获取排队时延；
在本发明中，将r1副本到达后端从节点bsN的时间记为
在本发明中，将r2副本到达后端从节点bsN的时间记为
在本发明中，将副本到达后端从节点bsN的时间记为
在本发明中，将副本到达后端从节点bsN的时间记为
在本发明中，将副本到达后端从节点bsN的时间记为
在本发明中，将rk副本到达后端从节点bsN的时间记为
在本发明中，后端从节点bsN运行所述r1副本的时间记为
在本发明中，后端从节点bsN运行所述r2副本的时间记为
在本发明中，后端从节点bsN运行所述副本的时间记为
在本发明中，后端从节点bsN运行所述副本的时间记为
在本发明中，后端从节点bsN运行所述副本的时间记为
在本发明中，后端从节点bsN运行所述rk副本的时间记为
在本发明中，计算后端从节点bsN运行所述r1副本的排队时延记为且
在本发明中，计算后端从节点bsN运行所述r2副本的排队时延记为且
在本发明中，计算后端从节点bsN运行所述副本的排队时延记为且
在本发明中，计算后端从节点bsN运行所述副本的排队时延记为且
在本发明中，计算后端从节点bsN运行所述副本的排队时延记为且
在本发明中，计算后端从节点bsN运行所述rk副本的排队时延记为且执行步骤D；
在本发明中，参见图6所示，通过副本到达后端从节点的时间与后端从节点运行该副本的时间作减值比较，来计算副本的排队时延，能够实时体现出副本在“在线数据密集型应用”中的排队时间长短。
步骤D，检查副本中是否是标记副本；
步骤D-1，在本发明中，任意一后端从节点bsN对接收到任意一副本rk进行检查，从而获取所述rk副本是否是带有标记的副本；
步骤D-2，若后端从节点bsN接收到的副本rk为标记副本则执行步骤H；
步骤D-3，若后端从节点bsN接收到的副本rk不是标记副本则执行步骤E；
步骤E，判断后端从节点的运行状态；
步骤E-1，若后端从节点bsN满足状态条件一时，后端从节点bsN处于无效状态，则结束在线数据密集型应用中的任务执行。
在本发明中，由于部分副本在状态过滤模块100中满足了状态条件一而被终止，从而实现了计算资源的节省。
步骤E-2，若后端从节点bsN不满足状态条件一时，后端从节点bsN不处于无效状态，则执行步骤F。
步骤F，获取副本排队时延，并计算副本的预期响应时延
参见图6所示，在本发明中，计算r1副本的预期响应时延且
在本发明中，计算r2副本的预期响应时延且
在本发明中，计算副本的预期响应时延且
在本发明中，计算副本的预期响应时延且
在本发明中，计算副本的预期响应时延且
在本发明中，计算rk副本的预期响应时延且执行步骤G。
步骤G，检查副本的预期响应时延是否满足服务质量目标
若则结束在线数据密集型应用中的任务执行；若则执行步骤H；
在预测过滤模块300中，由于部分副本的预期响应时延超过了服务质量目标SLO而被终止执行，从而实现了计算资源的节省。
若则结束在线数据密集型应用中的任务执行；若则执行步骤H；
若则结束在线数据密集型应用中的任务执行；若则执行步骤H；
若则结束在线数据密集型应用中的任务执行；若则执行步骤H；
若则结束在线数据密集型应用中的任务执行；若则执行步骤H；
则结束在线数据密集型应用中的任务执行；则执行步骤H；
步骤H，获取副本的服务时延和响应时延
在本发明中，完成时间(Finish Time)是指任务执行(Task Execution)结束的时间。
在本发明中，服务时延(Service latency)是指任务执行(Task Execution)从开始至结束的所需时间。
在本发明中，响应时延(Response latency)是指任务(Task)到达后端从节点(Back-end slave node)至任务执行完成所需时间。
参见图6所示，在本发明中，将后端从节点bsN执行完成r1副本的时间记为
在本发明中，将后端从节点bsN执行完成r2副本的时间记为
在本发明中，将后端从节点bsN执行完成副本的时间记为
在本发明中，将后端从节点bsN执行完成副本的时间记为
在本发明中，将后端从节点bsN执行完成副本的时间记为
在本发明中，将后端从节点bsN执行完成rk副本的时间记为
在本发明中，计算后端从节点bsN运行所述r1副本的服务时延记为且
在本发明中，计算后端从节点bsN运行所述r2副本的服务时延记为且
在本发明中，计算后端从节点bsN运行所述副本的服务时延记为且
在本发明中，计算后端从节点bsN运行所述副本的服务时延记为且
在本发明中，计算后端从节点bsN运行所述副本的服务时延记为且
在本发明中，计算后端从节点bsN运行所述rk副本的服务时延记为且
在本发明中，计算后端从节点bsN运行所述r1副本的响应时延记为且
在本发明中，计算后端从节点bsN运行所述r2副本的响应时延记为且
在本发明中，计算后端从节点bsN运行所述副本的响应时延记为且
在本发明中，计算后端从节点bsN运行所述副本的响应时延记为且
在本发明中，计算后端从节点bsN运行所述副本的响应时延记为且
在本发明中，计算后端从节点bsN运行所述rk副本的响应时延记为且执行步骤I。
在本发明中，后端从节点(Back-end slave node)采用滑动窗口技术，实时监控任务流中各个副本(Replica)的服务时延(service latency)及响应时延(Response latency)，从而获得副本的服务时延及响应时延。通过服务时延来控制预测过滤模块300，通过响应时延来控制状态过滤模块100。
步骤I，计算动态参考值
设置服务时延监控模块400的滑动窗口Windows存储的服务时延的个数，记为V，若服务时延监控模块400收到的服务时延的个数记为v；当v＜V时，则服务时延监控模块400继续接收的服务时延；当v≥V时，则服务时延监控模块400将先接收的服务时延剔除。
计算服务时延监控模块400的存储的服务时延的平均值ASL， 表示后端从节点运行完成所有副本的服务时延的总和，中的上标
设置响应时延监控模块500的滑动窗口Windows存储的响应时延的个数，记为U，若响应时延监控模块500收到的响应时延的个数记为u；当u＜U时，则响应时延监控模块500继续接收的响应时延；当u≥U时，则响应时延监控模块500将先接收的响应时延剔除。
计算响应时延监控模块500的存储的响应时延的平均值ARL，且 表示后端从节点运行完成所有副本的响应时延的总和，中的上标
计算响应时延监控模块500的存储的响应时延的方差VRL，且执行步骤J。
步骤J，检查节点状态参考量
步骤J-1，检查后端从节点bsN若不满足状态条件三，则更新即递减1；执行步骤J-2；
步骤J-2，检查后端从节点bsN若满足状态条件一，则更新无效周期数即递减1；同时结束在线数据密集型应用中的任务执行；检查后端从节点bsN若不满足状态条件一，执行步骤J-3；
步骤J-3，检查后端从节点bsN若满足状态条件三，则后端从节点bsN处于运行状态，执行步骤K；
步骤K，更新节点状态参考量
依据ARL和VRL更新后端从节点bsN的状态参考量，即无效周期数和恢复周期数
若且VRL＜ζ，η表示预设的响应时延偏移量上限，ζ表示预设的响应时延方差上限；表明系统负载较高，一方面更新恢复周期数为副本等待队列模块200中的副本数；另一方面更新无效周期数将所述的更新为0≤λ≤1；λ表示预设的无效周期数的比例参数。
本发明根据动态参考量ASL、ARL和VRL自适应调整后端从节点的预测过滤模块300及状态过滤模块100的相关参数，从而达到控制后端从节点(Back-end slavenode)是否运行或接收后续任务，从而达到节省计算资源的目的。
在本发明步骤A中，后端从节点的状态转移图如图3所示，后端从节点在初始化后处于运行状态，当负载过高时，节点进入无效状态，此时节点不接收任何任务(含有副本标记的除外)且关闭响应时延监控模块500，并设置无效周期数和恢复周期数，副本等待队列200中每运行完成一个副本，则周期数减一；当运行至无效周期数为零时，后端从节点进入恢复状态，此时节点可以接受任务，但不启用响应时延监控模块500。直至恢复周期数为零，后端从进入运行状态，此时节点可以接收任务，且开启响应时延监控模块500。
本发明的应用实例如图4所示，后端主节点将请求解析为一组任务，分别提交至相应的任务发送模块，任务发送模块将同一任务的多个副本分发至多个后端从节点，并选取一部分进行副本标记。后端从节点收到任务后，若任务含有副本标记，则后续所有过滤模块(状态过滤模块100、预测过滤模块300)均对其无效。若节点处于无效状态，表示节点不接收任务，状态过滤模块100直接向后端主节点返回空结果，否则，将任务插入节点的副本等待队列200中。当任务即将开始运行时，预测过滤模块300根据预测参数计算任务的预期响应时延，若预期响应时延大于服务质量目标，则直接返回空结果，不再运行该任务，否则开始运行任务。任务完成后，将任务的服务时延和响应时延发送至相应监控模块(服务时延监控模块400、响应时延监控模块500)。监控模块维护其监控指标的滑动窗口，并实时更新滑动窗口中监控指标的移动平均值和移动方差，作为参数提供给相应过滤模块(状态过滤模块100、预测过滤模块300)。此外，响应时延监控模块500的启用与否取决于节点状态，只有节点处于工作状态时才接收监控数据。这是由于在非工作状态下，任务的响应时延受到了高负载的影响，不具有参考价值。
本发明面向在线数据密集型应用，利用滑动窗口和性能预测技术，通过对任务特征及节点状态的准确预测，节省了更多的资源，并提升了应用在高负载时的服务质量。与原有的多副本执行策略相比，对于相同的服务质量目标，本发明使用的额外资源更少，同时在负载较高时，缓解了原有多副本执行策略对任务运行时间不确定性影响。
本发明减少了多副本执行在保障在线数据密集型应用服务质量时占用的额外资源，从而提高了系统资源的使用效率，通过利用滑动窗口提取任务特征值，并对节点进行性能预测，动态调节任务的多副本比例，使系统能够有效地适应负载水平的动态波动。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (3)
1.一种适用于在线数据密集型应用的请求多副本任务执行方法，所述在线数据密集型应用属于云计算机系统中的任务执行单元，其特征在于：请求多副本任务执行方法包括有下列步骤：
步骤A，初始化系统并设置初始量和参考量
步骤A-1，设置服务质量目标SLO；
步骤A-2，对后端从节点进行标记，记为bsN；
步骤A-3，设置任务对应的副本；
初始化在线数据密集型应用中的任务执行系统，设置任务执行系统中每个任务对应的副本总数为k，副本标记为r；
每个任务对应的所有副本采用集合形式表达为R＝{r1,r2,…,rk}，r1表示第一个副本，r2表示第二个副本，rk表示最后一个副本，k表示副本的标识号；
步骤A-4，设置无效周期数、恢复周期数；
初始化在线数据密集型应用中的任务执行系统，设置后端从节点bsN的无效周期数和恢复周期数执行步骤B；
步骤B，副本标记及分发副本
步骤B－1，副本标记；
从R＝{r1,r2,…,rk}中选取w个副本作为任务的标记副本，0＜w＜k；则将所述R＝{r1,r2,…,rk}记为标记后副本的表达形式为 s为副本被标记的标识的；
步骤B－2，分发副本；
后端主节点将同一任务的所述分发至N个后端从节点上，执行步骤C；
步骤C，获取排队时延；
计算后端从节点bsN运行r1副本的排队时延记为且 表示后端从节点bsN运行r1副本的时间，表示r1副本到达后端从节点bsN的时间；
计算后端从节点bsN运行r2副本的排队时延记为且 表示后端从节点bsN运行r2副本的时间，表示r2副本到达后端从节点bsN的时间；
计算后端从节点bsN运行副本的排队时延记为且 表示后端从节点bsN运行副本的时间，表示副本到达后端从节点bsN的时间；
计算后端从节点bsN运行副本的排队时延记为且 表示后端从节点bsN运行副本的时间，表示副本到达后端从节点bsN的时间；
计算后端从节点bsN运行副本的排队时延记为且 表示后端从节点bsN运行副本的时间，表示副本到达后端从节点bsN的时间；
计算后端从节点bsN运行rk副本的排队时延记为且 表示后端从节点bsN运行rk副本的时间，表示rk副本到达后端从节点bsN的时间；执行步骤D；
步骤D，检查副本中是否是标记副本；
步骤D-1，任意一后端从节点bsN对接收到任意一副本rk进行检查，从而获取所述rk副本是否是带有标记的副本；
步骤D-2，若后端从节点bsN接收到的副本rk为标记副本则执行步骤H；
步骤D-3，若后端从节点bsN接收到的副本rk不是标记副本则执行步骤E；
步骤E，判断后端从节点的运行状态；
步骤E-1，若后端从节点bsN满足状态条件一时，后端从节点bsN处于无效状态，则结束在线数据密集型应用中的任务执行；
步骤E-2，若后端从节点bsN不满足状态条件一时，后端从节点bsN不处于无效状态，则执行步骤F；
步骤F，获取副本排队时延，并计算副本的预期响应时延
计算r1副本的预期响应时延且
计算r2副本的预期响应时延且
计算副本的预期响应时延且
计算副本的预期响应时延且
计算副本的预期响应时延且
计算rk副本的预期响应时延且执行步骤G；
步骤G，检查副本的预期响应时延是否满足服务质量目标
若则结束在线数据密集型应用中的任务执行；若则执行步骤H；
若则结束在线数据密集型应用中的任务执行；若则执行步骤H；
若则结束在线数据密集型应用中的任务执行；若则执行步骤H；
若则结束在线数据密集型应用中的任务执行；若则执行步骤H；
若则结束在线数据密集型应用中的任务执行；若则执行步骤H；
则结束在线数据密集型应用中的任务执行；则执行步骤H；
步骤H，获取副本的服务时延和响应时延
计算后端从节点bsN运行所述r1副本的服务时延记为且 表示后端从节点bsN执行完成r1副本的时间；
计算后端从节点bsN运行所述r2副本的服务时延记为且 表示后端从节点bsN执行完成r2副本的时间；
计算后端从节点bsN运行所述副本的服务时延记为且 表示后端从节点bsN执行完成副本的时间；
计算后端从节点bsN运行所述副本的服务时延记为且 表示后端从节点bsN执行完成副本的时间；
计算后端从节点bsN运行所述副本的服务时延记为且 表示后端从节点bsN执行完成副本的时间；
计算后端从节点bsN运行所述rk副本的服务时延记为且 表示后端从节点bsN执行完成rk副本的时间；
计算后端从节点bsN运行所述r1副本的响应时延记为且
计算后端从节点bsN运行所述r2副本的响应时延记为且
计算后端从节点bsN运行所述副本的响应时延记为且
计算后端从节点bsN运行所述副本的响应时延记为且
计算后端从节点bsN运行所述副本的响应时延记为且
计算后端从节点bsN运行所述rk副本的响应时延记为且执行步骤I；
步骤I，计算动态参考值
设置服务时延监控模块400的滑动窗口Windows存储的服务时延的个数，记为V，若服务时延监控模块400收到的服务时延的个数记为v；当v＜V时，则服务时延监控模块400继续接收的服务时延；当v≥V时，则服务时延监控模块400将先接收的服务时延剔除；
计算服务时延监控模块400的存储的服务时延的平均值ASL，
设置响应时延监控模块500的滑动窗口Windows存储的响应时延的个数，记为U，若响应时延监控模块500收到的响应时延的个数记为u；当u＜U时，则响应时延监控模块500继续接收的响应时延；当u≥U时，则响应时延监控模块500将先接收的响应时延剔除；
计算响应时延监控模块500的存储的响应时延的平均值ARL，且
计算响应时延监控模块500的存储的响应时延的方差VRL，且执行步骤J；
步骤J，检查节点状态参考量
步骤J-1，检查后端从节点bsN若不满足状态条件三，则更新即递减1；执行步骤J-2；
步骤J-2，检查后端从节点bsN若满足状态条件一，则更新无效周期数即递减1；同时结束在线数据密集型应用中的任务执行；检查后端从节点bsN若不满足状态条件一，执行步骤J-3；
步骤J-3，检查后端从节点bsN若满足状态条件三，则后端从节点bsN处于运行状态，执行步骤K；
步骤K，更新节点状态参考量
依据ARL和VRL更新后端从节点bsN的状态参考量，即无效周期数和恢复周期数
若且VRL＜ζ，η表示预设的响应时延偏移量上限，ζ表示预设的响应时延方差上限；表明系统负载较高，一方面更新恢复周期数为副本等待队列模块200中的副本数；另一方面更新无效周期数将所述的更新为0≤λ≤1；λ表示预设的无效周期数的比例参数。
2.根据权利要求1所述的一种适用于在线数据密集型应用的请求多副本任务执行方法，其特征在于：初始时，无效周期数恢复周期数
3.根据权利要求1所述的一种适用于在线数据密集型应用的请求多副本任务执行方法，其特征在于：依据无效周期数和恢复周期数设置的状态条件有：
状态条件一：且RCbs≠0，表示后端从节点bsN处于无效状态；处于无效状态的所述bsN只接收被标记后的任意副本rk，同时不更新响应时延监控模块的响应时延RL；
状态条件二：且RCbs≠0，表示后端从节点bsN处于恢复状态；处于恢复状态的所述bsN能够接收任意副本rk，同时不更新响应时延监控模块的响应时延RL；
状态条件三：且RCbs＝0时，表示后端从节点bsN处于运行状态；处于运行状态的所述bsN能够接收任意副本rk，同时更新响应时延监控模块的响应时延RL。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510312591.0A CN104915205B (zh) | 2015-06-08 | 2015-06-08 | 一种适用于在线数据密集型应用的请求多副本任务执行方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510312591.0A CN104915205B (zh) | 2015-06-08 | 2015-06-08 | 一种适用于在线数据密集型应用的请求多副本任务执行方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104915205A true CN104915205A (zh) | 2015-09-16 |
| CN104915205B CN104915205B (zh) | 2019-05-07 |
Family
ID=54084289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510312591.0A Expired - Fee Related CN104915205B (zh) | 2015-06-08 | 2015-06-08 | 一种适用于在线数据密集型应用的请求多副本任务执行方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104915205B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106326006A (zh) * | 2016-08-23 | 2017-01-11 | 成都卡莱博尔信息技术股份有限公司 | 针对数据平台任务流的任务管理系统 |
| CN108632104A (zh) * | 2017-03-20 | 2018-10-09 | 上海中兴软件有限责任公司 | 一种网络质量评估工具的指标权重验证方法及装置 |
| CN111756580A (zh) * | 2020-06-28 | 2020-10-09 | 涵涡智航科技(玉溪)有限公司 | 一种多节点系统的协同作业同步方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102223404A (zh) * | 2011-06-07 | 2011-10-19 | 武汉理工大学 | 一种基于访问成本和传输时间的副本选择方法 |
| US20130343408A1 (en) * | 2012-06-21 | 2013-12-26 | Brent Aaron Cook | High-speed cld-based tcp segmentation offload |
| CN103593452A (zh) * | 2013-11-21 | 2014-02-19 | 北京科技大学 | 一种基于MapReduce机制的数据密集型成本优化方法 |
-
2015
- 2015-06-08 CN CN201510312591.0A patent/CN104915205B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102223404A (zh) * | 2011-06-07 | 2011-10-19 | 武汉理工大学 | 一种基于访问成本和传输时间的副本选择方法 |
| US20130343408A1 (en) * | 2012-06-21 | 2013-12-26 | Brent Aaron Cook | High-speed cld-based tcp segmentation offload |
| CN103593452A (zh) * | 2013-11-21 | 2014-02-19 | 北京科技大学 | 一种基于MapReduce机制的数据密集型成本优化方法 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106326006A (zh) * | 2016-08-23 | 2017-01-11 | 成都卡莱博尔信息技术股份有限公司 | 针对数据平台任务流的任务管理系统 |
| CN108632104A (zh) * | 2017-03-20 | 2018-10-09 | 上海中兴软件有限责任公司 | 一种网络质量评估工具的指标权重验证方法及装置 |
| CN108632104B (zh) * | 2017-03-20 | 2021-04-30 | 上海中兴软件有限责任公司 | 一种网络质量评估工具的指标权重验证方法及装置 |
| CN111756580A (zh) * | 2020-06-28 | 2020-10-09 | 涵涡智航科技(玉溪)有限公司 | 一种多节点系统的协同作业同步方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104915205B (zh) | 2019-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108829494B (zh) | 基于负载预测的容器云平台智能资源优化方法 | |
| WO2020206705A1 (zh) | 一种基于集群节点负载状态预测的作业调度方法 | |
| CN109714400B (zh) | 一种面向容器集群的能耗优化资源调度系统及其方法 | |
| CN105487930B (zh) | 一种基于Hadoop的任务优化调度方法 | |
| CN109039954B (zh) | 多租户容器云平台虚拟计算资源自适应调度方法及系统 | |
| CN103699446B (zh) | 基于量子粒子群优化算法的多目标工作流动态调度方法 | |
| CN105141697A (zh) | 一种多QoS约束的云计算任务调度方法 | |
| CN111431961A (zh) | 一种云数据中心的节能任务分配方法 | |
| CN111294234B (zh) | 一种基于智能合约优化模型的并行区块链分片方法 | |
| CN107168770B (zh) | 一种低能耗的云数据中心工作流调度与资源供给方法 | |
| CN103401939A (zh) | 一种采用混合调度策略的负载均衡方法 | |
| CN106951059A (zh) | 基于dvs与改进蚁群算法的云数据中心节能方法 | |
| CN104102543A (zh) | 一种云计算环境中负载调整的方法和装置 | |
| Deng et al. | Dynamic virtual machine consolidation for improving energy efficiency in cloud data centers | |
| CN113515351A (zh) | 一种基于能耗与QoS协同优化的资源调度实现方法 | |
| CN111813506A (zh) | 一种基于粒子群算法资源感知计算迁移方法、装置及介质 | |
| Dong et al. | A high-efficient joint’cloud-edge’aware strategy for task deployment and load balancing | |
| CN104915205A (zh) | 一种适用于在线数据密集型应用的请求多副本任务执行方法 | |
| Zhang et al. | Resource management in cloud computing with optimal pricing policies | |
| CN104754063A (zh) | 本地云计算资源调度方法 | |
| Li et al. | Computation offloading and service allocation in mobile edge computing | |
| CN109976879B (zh) | 一种基于资源使用曲线互补的云计算虚拟机放置方法 | |
| CN115185650A (zh) | 一种异构边缘算力网络任务调度方法 | |
| Huang et al. | Computation offloading for multimedia workflows with deadline constraints in cloudlet-based mobile cloud | |
| Cui et al. | Shadows on the Cloud: An Energy-aware, Profit Maximizing Resilience Framework for Cloud Computing. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210419 Address after: 100160, No. 4, building 12, No. 128, South Fourth Ring Road, Fengtai District, Beijing, China (1515-1516) Patentee after: Kaixi (Beijing) Information Technology Co.,Ltd. Address before: 100191 Haidian District, Xueyuan Road, No. 37, Patentee before: BEIHANG University |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190507 Termination date: 20210608 |