CN104765870A - 关于网络数据的延迟调度方法 - Google Patents
关于网络数据的延迟调度方法 Download PDFInfo
- Publication number
- CN104765870A CN104765870A CN201510200121.5A CN201510200121A CN104765870A CN 104765870 A CN104765870 A CN 104765870A CN 201510200121 A CN201510200121 A CN 201510200121A CN 104765870 A CN104765870 A CN 104765870A
- Authority
- CN
- China
- Prior art keywords
- node
- locality
- task
- network data
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了关于网络数据的延迟调度方法，包括以下步骤：步骤A：启动作业管理器开始作业；步骤B：在节点管理器估算当前作业的本地性资源信息；步骤C：RM更新本地性资源列表，找出各作业获取本地性资源所需要的最短时间；步骤D：根据最短时间的比较判断各个作业是否值得等待；步骤E：若步骤D的结果是：值得等待，则继续执行等待策略；若步骤D的结果是：不值得等待，则直接调度非本地任务。
Description
技术领域
本发明涉及互联网领域，具体而言，涉及关于网络数据的延迟调度方法。
背景技术
MapReduce在本文中简写为map，MapReduce是Google提出的一种并行计算模型，其开源版本Hadoop被Yahoo和Facebook等公司使用，广泛应用于web服务、数据挖掘和文本处理领域，研究表明，在hadoop集群中，超过80%的作业时间小于10分钟，Facebook和Microsoft也存在同样的情况，在国内的，例如淘宝网，80%的作业响应时间小于4分钟，任务执行时间小于20s。因此，短作业环境下的作业调度，对云平台的吞吐率和服务质量非常重要。
对于目前普通作业而言，由于输入数据大，传输时间长，为获取更好的本地性而进行短时间等待的策略能提高作业的本地性和响应时间，但对于短作业而言，由于数据量小，任务执行时间短，不合理的等待反而会影响其作业性能，造成系统吞吐率下降。
发明内容
本发明的主要目的在于提供一种热点视频信息推送方法，以解决现有技术中向用户推送信息不准确的问题。
为了实现上述目的，提供了关于网络数据的延迟调度方法。
关于网络数据的延迟调度方法，包括以下步骤：
步骤A：启动作业管理器开始作业；
步骤B：在节点管理器估算当前作业的本地性资源信息；
步骤C：RM更新本地性资源列表，找出各作业获取本地性资源所需要的最短时间；
步骤D：根据最短时间的比较判断各个作业是否值得等待；
步骤E：若步骤D的结果是：值得等待，则继续执行等待策略；若步骤D的结果是：不值得等待，则直接调度非本地任务。
本发明的设计思路是：数据的非本地化计算和为了获得更好的本地性而等待过长都会浪费计算资源，当节点请求到达时，该节点若没有该作业的所需数据，而delay算法在等待次数未达到阀值钱，需要一直跳过新的任务请求，直到具有本地性的节点出现才进行任务分配。如果能够提前对系统中该作业的未处理数据和空闲计算资源情况作出预测，判断出在未来某一时间段内是否出现符合该作业要求的本地性资源以进行合理调度，则可以避免集群资源浪费。本发明就是采用上述设计思想进行设计，例如：当节点1请求到来时，系统会根据当前作业1的本地性资源列表进行判断，如果未来某一段时间内，作业1有本地性资源到来，则调度作业2的任务给节点1，否则立即调度作业1任务给节点1，避免其等待时间过长。
作业管理器包括资源管理器和节点管理器，资源管理器和节点管理器之间采用心跳通信。
节点管理器包括多个节点，每个节点包括多个作业。
设任意一个节点i上的作业J正在运行map任务，其已完成的进度为Pm，则剩余进度为1-Pm，设该任务已运行的时间为Tm，则该Map任务剩余时间T1可以有下式计算得出：T1=（1-Pm）Tm/Pm。
步骤B的具体过程为：节点管理器对任意一个节点i上的作业J正在执行的任务进行监控，作业管理器在通过NM启动任务时，将该作业J在NM上未处理任务集合记为Si，当每次NM向资源管理器发生心跳前，NM都需要统计下个周期记为Th；map任务记为t，其剩余时间记为T1；则下个心跳周期内，节点i能够产生的作业J的本地资源集合为Ri，Ri=Si∩Di{Di∈t|t.T1＜Th}；NM获得其上运行的作业的本地性资源集合后，通过心跳反馈给RM用以进行本地性资源预测。
将对应的本地性资源信息给资源管理器，资源管理器更新其所有的本地性资源集合，各作业从本地性资源按照剩余时间从大到小排序，找出最快结束的容器时间，设为Tmin，设Tb为一个作业所耗费的传输时间，B1为该作业的数据量，Bh为带宽，则Tb=B1/Bh；若Tmin小于Tb，则说明延迟值得等待，相反则说明一个作业传输时间内，没有本地性资源到达，应调度非本地性任务。
附图说明
图1为资源管理器与各个节点之间的通讯示意图。
图2为延迟调度方法过程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相 互组合。下面将结合实施例来详细说明本发明。
为了实现上述目的，提供了关于网络数据的延迟调度方法。
关于网络数据的延迟调度方法，包括以下步骤：
步骤A：启动作业管理器开始作业；
步骤B：在节点管理器估算当前作业的本地性资源信息；
步骤C：RM更新本地性资源列表，找出各作业获取本地性资源所需要的最短时间；
步骤D：根据最短时间的比较判断各个作业是否值得等待；
步骤E：若步骤D的结果是：值得等待，则继续执行等待策略；若步骤D的结果是：不值得等待，则直接调度非本地任务。
本发明的设计思路是：数据的非本地化计算和为了获得更好的本地性而等待过长都会浪费计算资源，当节点请求到达时，该节点若没有该作业的所需数据，而delay算法在等待次数未达到阀值钱，需要一直跳过新的任务请求，直到具有本地性的节点出现才进行任务分配。如果能够提前对系统中该作业的未处理数据和空闲计算资源情况作出预测，判断出在未来某一时间段内是否出现符合该作业要求的本地性资源以进行合理调度，则可以避免集群资源浪费。本发明就是采用上述设计思想进行设计，例如：当节点1请求到来时，系统会根据当前作业1的本地性资源列表进行判断，如果未来某一段时间内，作业1有本地性资源到来，则调度作业2的任务给节点1，否则立即调度作业1任务给节点1，避免其等待时间过长。
作业管理器包括资源管理器和节点管理器，资源管理器和节点管理器之间采用心跳通信。
节点管理器包括多个节点，每个节点包括多个作业。
设任意一个节点i上的作业J正在运行map任务，其已完成的进度为Pm，则剩余进度为1-Pm，设该任务已运行的时间为Tm，则该Map任务剩余时间T1可以有下式计算得出：T1=（1-Pm）Tm/Pm。
步骤B的具体过程为：节点管理器对任意一个节点i上的作业J正在执行的任务进行监控，作业管理器在通过NM启动任务时，将该作业J在NM上未处理任务集合记为Si，当每次NM向资源管理器发生心跳前，NM都需要统计下个周期记为Th；map任务记为t，其剩余时间记为T1；则下个心跳周期内，节点i能够产生的作业J的本地资源集合为Ri，Ri=Si∩Di{Di∈t|t.T1＜Th}；NM获得其上运行的作业的本地性资源集合后，通过心跳反馈给RM用以进行本地性资源预测。
将对应的本地性资源信息给资源管理器，资源管理器更新其所有的本地性资源集合，各作业从本地性资源按照剩余时间从大到小排序，找出最快结束的容器时间，设为Tmin，设Tb为一个作业所耗费的传输时间，B1为该作业的数据量，Bh为带宽，则Tb=B1/Bh；若Tmin小于Tb，则说明延迟值得等待，相反则说明一个作业传输时间内，没有本地性资源到达，应调度非本地性任务。
Claims (6)
1.关于网络数据的延迟调度方法，其特征在于：包括以下步骤：
步骤A：启动作业管理器开始作业；
步骤B：在节点管理器估算当前作业的本地性资源信息；
步骤C：RM更新本地性资源列表，找出各作业获取本地性资源所需要的最短时间；
步骤D：根据最短时间的比较判断各个作业是否值得等待；
步骤E：若步骤D的结果是：值得等待，则继续执行等待策略；若步骤D的结果是：不值得等待，则直接调度非本地任务。
2.根据权利要求1所述的关于网络数据的延迟调度方法，其特征在于：作业管理器包括资源管理器和节点管理器，资源管理器和节点管理器之间采用心跳通信。
3.根据权利要求2所述的关于网络数据的延迟调度方法，其特征在于：节点管理器包括多个节点，每个节点包括多个作业。
4.根据权利要求3所述的关于网络数据的延迟调度方法，其特征在于：设任意一个节点i上的作业J正在运行map任务，其已完成的进度为Pm，则剩余进度为1-Pm，设该任务已运行的时间为Tm，则该Map任务剩余时间T1可以有下式计算得出：T1=（1-Pm）Tm/Pm。
5.根据权利要求4所述的关于网络数据的延迟调度方法，其特征在于：步骤B的具体过程为：节点管理器对任意一个节点i上的作业J正在执行的任务进行监控，作业管理器在通过NM启动任务时，将该作业J在NM上未处理任务集合记为Si，当每次NM向资源管理器发生心跳前，NM都需要统计下个周期记为Th；map任务记为t，其剩余时间记为T1；则下个心跳周期内，节点i能够产生的作业J的本地资源集合为Ri，Ri=Si∩Di{Di∈t|t.T1＜Th}；NM获得其上运行的作业的本地性资源集合后，通过心跳反馈给RM用以进行本地性资源预测。
6.根据权利要求5所述的关于网络数据的延迟调度方法，其特征在于：将对应的本地性资源信息给资源管理器，资源管理器更新其所有的本地性资源集合，各作业从本地性资源按照剩余时间从大到小排序，找出最快结束的容器时间，设为Tmin，设Tb为一个作业所耗费的传输时间，B1为该作业的数据量，Bh为带宽，则Tb=B1/Bh；若Tmin小于Tb，则说明延迟值得等待，相反则说明一个作业传输时间内，没有本地性资源到达，应调度非本地性任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510200121.5A CN104765870A (zh) | 2015-04-26 | 2015-04-26 | 关于网络数据的延迟调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510200121.5A CN104765870A (zh) | 2015-04-26 | 2015-04-26 | 关于网络数据的延迟调度方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104765870A true CN104765870A (zh) | 2015-07-08 |
Family
ID=53647698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510200121.5A Pending CN104765870A (zh) | 2015-04-26 | 2015-04-26 | 关于网络数据的延迟调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104765870A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845708A (zh) * | 2017-01-20 | 2017-06-13 | 北京理工大学 | 一种基于不确定度的数据流处理系统多目标优化方法 |
| WO2017113074A1 (zh) * | 2015-12-28 | 2017-07-06 | 华为技术有限公司 | 一种资源的分配方法、装置和系统 |
| CN113419437A (zh) * | 2021-06-30 | 2021-09-21 | 四川虹美智能科技有限公司 | 基于mvvm框架和mqtt协议的智能家居数据同步方法及装置 |
-
2015
- 2015-04-26 CN CN201510200121.5A patent/CN104765870A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017113074A1 (zh) * | 2015-12-28 | 2017-07-06 | 华为技术有限公司 | 一种资源的分配方法、装置和系统 |
| CN106845708A (zh) * | 2017-01-20 | 2017-06-13 | 北京理工大学 | 一种基于不确定度的数据流处理系统多目标优化方法 |
| CN106845708B (zh) * | 2017-01-20 | 2019-12-06 | 北京理工大学 | 一种基于不确定度的数据流处理系统多目标优化方法 |
| CN113419437A (zh) * | 2021-06-30 | 2021-09-21 | 四川虹美智能科技有限公司 | 基于mvvm框架和mqtt协议的智能家居数据同步方法及装置 |
| CN113419437B (zh) * | 2021-06-30 | 2022-04-19 | 四川虹美智能科技有限公司 | 基于mvvm框架和mqtt协议的智能家居数据同步方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11449774B2 (en) | Resource configuration method and apparatus for heterogeneous cloud services | |
| US10474504B2 (en) | Distributed node intra-group task scheduling method and system | |
| CN109033001B (zh) | 用于分配gpu的方法和装置 | |
| CN106919449B (zh) | 一种计算任务的调度控制方法及电子设备 | |
| CN110738389A (zh) | 工作流处理方法、装置、计算机设备和存储介质 | |
| CN110569252B (zh) | 一种数据处理系统及方法 | |
| CN109117252B (zh) | 基于容器的任务处理的方法、系统及容器集群管理系统 | |
| CN103294548B (zh) | 一种基于分布式文件系统的io请求调度方法和系统 | |
| CN105068874A (zh) | 一种结合Docker技术的资源按需动态分配方法 | |
| CN110166507B (zh) | 多资源调度方法和装置 | |
| CN109257399B (zh) | 云平台应用程序管理方法及管理平台、存储介质 | |
| CN108737560A (zh) | 云计算任务智能调度方法及系统、可读存储介质、终端 | |
| CN110187960A (zh) | 一种分布式资源调度方法及装置 | |
| CN116702907B (zh) | 一种服务器无感知的大语言模型推理系统、方法和设备 | |
| CN104765870A (zh) | 关于网络数据的延迟调度方法 | |
| CN105808346B (zh) | 一种任务调度方法与装置 | |
| CN105373426A (zh) | 一种基于Hadoop的车联网内存感知实时作业调度方法 | |
| CN113672357A (zh) | 任务调度的方法、装置和系统 | |
| CN114301980A (zh) | 容器集群的调度方法、装置、系统及计算机可读介质 | |
| CN102609316A (zh) | 一种网络计算资源的管理系统及方法 | |
| CN113312553A (zh) | 一种用户标签的确定方法和装置 | |
| CN106534312B (zh) | 一种面向移动设备的服务请求选择与调度方法 | |
| CN102184124A (zh) | 任务调度方法及系统 | |
| CN116582407A (zh) | 一种基于深度强化学习的容器化微服务编排系统及方法 | |
| Omer et al. | Optimization model for time sensitive IoT requests |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20170621 Address after: 610000 Chengdu high tech Zone, Sichuan Tianyi street, No. 3, building 38 Applicant after: Chengdu Chuan Hang Information technology company limited Applicant after: Suzhou Chong Xing Mdt InfoTech Ltd Address before: 610000 Chengdu high tech Zone, Sichuan Tianyi street, No. 3, building 38 Applicant before: Chengdu Chuan Hang Information technology company limited |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150708 |