CN112019581A - 一种调度任务处理实体的方法及装置 - Google Patents
一种调度任务处理实体的方法及装置 Download PDFInfo
- Publication number
- CN112019581A CN112019581A CN201910465639.XA CN201910465639A CN112019581A CN 112019581 A CN112019581 A CN 112019581A CN 201910465639 A CN201910465639 A CN 201910465639A CN 112019581 A CN112019581 A CN 112019581A
- Authority
- CN
- China
- Prior art keywords
- task processing
- entity
- state
- resource
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 301
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000008569 process Effects 0.000 claims abstract description 29
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 5
- 239000000523 sample Substances 0.000 description 26
- 230000004044 response Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
- H04L67/63—Routing a service request depending on the request content or context
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/501—Performance criteria
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5011—Pool
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/503—Resource availability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/505—Clust
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/509—Offload
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本申请公开了一种调度任务处理实体的方法及装置,属于通信领域。所述方法包括:第一任务处理实体接收待处理任务所要的资源需求信息;根据实体状态信息表和所述资源需求信息确定m个第二任务处理实体,所述实体状态信息表包括至少一个第二任务处理实体的实体信息,在所述实体状态信息表中记录的所述m个第二任务处理实体中的每个第二任务处理实体的状态均为闲状态且所述每个第二任务处理实体的空闲资源信息满足所述资源需求信息;从所述m个第二任务处理实体中查询出包括的空闲资源满足所述资源需求信息的第二任务处理实体,调度所述查询的第二任务处理实体处理所述待处理任务。本申请能够提高调度任务处理实体的效率。
Description
技术领域
本申请涉及通信领域,特别涉及一种调度任务处理实体的方法及装置。
背景技术
在面向万物感知,万物互联的场景中,边缘计算成为趋势,边缘计算已经逐步在物联网、大数据和人工智能等行业有所应用。边缘计算利用靠近数据源的集群来处理数据,边缘计算距离用户更近,在边缘的集群实现了对数据的过滤和分析,具有效果高、低时延等特征。
位于边缘的集群中包括集群列表,该集群列表中包括至少一个其他集群的标识。该集群在接收到一个用于处理数据的任务时,如果自身的空闲资源无法满足处理该任务所需要的资源,集群列表包括的每个集群的标识对应的集群中随机选择一个集群;查询选择的集群中的空闲资源是否满足该任务所需要的资源,如果满足,调度选择的集群来处理该任务,如果不满足,则集群列表中重新选择一个集群的标识,然后再按上述步骤查询选择的该集群。
在实现本申请的过程中,发明人发现现有技术至少存在以下问题:
有时可能经过多次选择才能查询到满足任务所需要资源的集群,查询集群所花费的时间较长,导致成功调度集群所需要的时延高。
发明内容
本申请实施例提供了一种调度任务处理实体的方法及装置,以提高调度任务处理实体的效率。所述技术方案如下:
一方面,本申请提供了一种调度任务处理实体的方法,在所述方法中:第一任务处理实体接收任务处理请求消息,所述任务处理请求消息携带待处理任务所要的资源需求信息,所述资源需求信息至少包括处理所述待处理任务所需要的资源类型和资源需求量,所述第一任务处理实体为集群或设备;在所述第一任务处理实体包括的空闲资源不满足所述资源需求信息时,所述第一任务处理实体根据实体状态信息表和所述资源需求信息确定m个第二任务处理实体,所述实体状态信息表包括所述第一任务处理实体接收的至少一个第二任务处理实体发送的实体信息,第二任务处理实体发送的实体信息包括所述第二任务处理实体的标识、状态和空闲资源信息,所述空闲资源信息至少包括所述第二任务处理实体中的空闲资源的资源类型和空闲资源数量,在所述实体状态信息表中记录的所述m个第二任务处理实体中的每个第二任务处理实体的状态均为闲状态且所述每个第二任务处理实体中的所述资源类型对应的空闲资源数量大于所述资源需求量,m为大于或等于1的整数;所述第一任务处理实体从所述m个第二任务处理实体中查询出当前包括的空闲资源满足所述资源需求信息的第二任务处理实体,调度所述查询的第二任务处理实体处理所述待处理任务。由于m个第二任务处理实体中的每个第二任务处理实体的状态均为闲状态且所述每个第二任务处理实体的空闲资源信息满足所述资源需求信息,可以减少查询范围,且查询到空闲资源满足资源需求信息的第二任务处理实体的概率变大,提高了查询效率,进而提高调度效率。
在一种可能的实现方式中,所述第一任务处理实体获取所述第一任务处理实体的实体信息,向实体列表中的每个任务处理实体发送所述实体信息,所述实体列表包括除所述第一任务处理实体以外的至少一个任务处理实体的标识。以便其他的任务处理实体基于第一任务处理实体的实体信息建立实体状态信息表。
在一种可能的实现方式中,所述第一任务处理实体获取所述第一任务处理实体包括的每种资源类型、所述每种资源类型对应的空闲资源数量和资源总量;所述第一任务处理实体根据所述每种资源类型对应的空闲资源数量和资源总量确定所述第一任务处理实体的状态。
在一种可能的实现方式中,获取所述集群中的每个节点包括的每种资源类型对应的空闲资源数量和资源总量;根据所述每个节点包括的每种资源类型、所述每种资源类型对应的空闲资源数量和资源总量确定所述每个节点的状态;根据所述每个节点的状态确定所述集群的状态。
在一种可能的实现方式中,根据节点包括的每种资源类型对应的空闲资源数量和资源总量,获取所述节点中的每种资源类型对应的资源使用率;在所述每种资源类型对应的资源使用率中的最大资源使用率大于或等于预设使用率阈值时,确定所述节点的状态为忙状态;在所述最大资源使用率小于预设使用率阈值时,确定所述节点的状态为闲状态。
在一种可能的实现方式中,获取忙状态的节点数目和所述集群的节点总数目;根据所述忙状态的节点数目和所述节点总数目,获取忙状态的节点所占的比率和闲状态的节点数目;在所述比率大于或等于预设比率阈值且所述闲状态的节点数目小于预设数目阈值时,确定所述集群的状态为忙状态;在所述比率大于或等于预设比率阈值且所述闲状态的节点数目大于或等于预设数目阈值时或者在所述比率小于预设比率阈值时,确定所述集群的状态为闲状态。
在一种可能的实现方式中,所述第一任务处理实体向所述m个第二任务处理实体中的每个第二任务处理实体发送查询请求消息,所述查询请求消息携带所述资源需求信息,所述查询请求消息用于第二任务处理实体查询其包括的空闲资源是否满足所述资源需求信息;接收所述每个第二任务处理实体发送的查询结果;选择第一次接收的空闲资源满足所述资源需求信息的查询结果;调度发送所述选择的查询结果的第二任务处理实体处理所述待处理任务。由于并发向m个第二任务处理实体发送查询请求消息,并选择第一次接收的空闲资源满足所述资源需求信息的查询结果,这样不需要等待接收完每个第二任务处理实体发送的查询结果,进一步提高了调度效率。
在一种可能的实现方式中,所述第一任务处理实体接收至少一个第二任务处理实体的实体信息;所述第一任务处理实体从所述至少一个第二任务处理实体的实体信息中获取状态为闲状态的n个第二任务处理实体的实体信息,n为大于或等于1的整数;所述第一任务处理实体根据所述n个第二任务处理实体中的每个第二任务处理实体的实体信息,通过预测模型确定状态即将变为忙状态的第二任务处理实体;所述第一任务处理实体从所述n个第二任务处理实体的实体信息中去除即将变为忙状态的第二任务处理实体的实体信息,将剩下的第二任务处理实体的实体信息构成实体状态信息表。由于去除了即将变为忙状态的第二任务处理实体的实体信息,这样根据实体状态信息表确定m个第二任务处理实体,查询该m个第二任务处理实体,且查询到空闲资源满足资源需求信息的第二任务处理实体的概率会得到大幅提高。
另一方面,本申请提供了一种调度任务处理实体的装置,用于执行一方面或一方面的任意一种可选的实现方式中的方法。具体地,所述装置包括用于执行一方面或一方面的任意一种可选的实现方式的方法的单元。
另一方面,本申请提供了一种调度任务处理实体的装置,所述装置包括:至少一个处理器,至少一个存储器和至少一个收发器,所述至少一个处理器通过总线与所述至少一个存储器和至少一个收发器连接;所述至少一个存储器存储有一个或多个程序,所述一个或多个程序被配置成由所述至少一个处理器执行,所述一个或多个程序包含用于执行一方面或一方面的任意一种可能的实现方式的方法的指令。
另一方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述一方面或个方面任意可选的实现方式的方法。
另一方面,本申请提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述一方面或一方面任意可选的实现方式的方法。
附图说明
图1是本申请实施例提供的一种网络架构示意图;
图2是本申请实施例提供的另一种网络架构示意图;
图3是本申请实施例提供的另一种网络架构示意图;
图4是本申请实施例提供的一种获取集群状态信息表的方法流程图;
图5是本申请实施例提供的一种调度集群的方法流程图;
图6是本申请实施例提供的一种获取设备状态信息表的方法流程图;
图7是本申请实施例提供的一种调度设备的方法流程图;
图8是本申请实施例提供的一种调度任务处理实体的装置结构示意图;
图9是本申请实施例提供的另一种调度任务处理实体的装置结构示意图。
具体实施方式
下面将结合附图对本申请实施方式作进一步地详细描述。
参见图1,本申请实施例提供了一种网络架构,该网络架构是一个分布式的网络架构,包括多个任务处理实体。该多个任务处理实体分布在同一个局域网,或该多个任务处理实体分布在不同的局域网,该多个任务处理实体之间通过网络连接。
对于任一个任务处理实体,为了便于说明称该任务处理实体为第一任务处理实体,第一任务处理实体可以接收至少一个第二任务处理实体发送的实体信息,第二任务处理实体发送的实体信息包括第二任务处理实体的标识、状态和空闲资源信息,该空闲资源信息至少包括第二任务处理实体中的各空闲资源的资源类型和空闲资源数量,根据至少一个第二任务处理实体发送的实体信息生成实体状态信息表,该实体状态信息表用于保存状态为闲状态的第二任务处理实体的实体信息。
这样,第一任务处理实体可以接收任务处理请求消息,该任务处理请求消息携带待处理任务所需要的资源需求信息,该资源需求信息包括待处理任务所需要的资源类型和资源需求量。在第一任务处理实体包括的空闲资源不满足该资源需求信息时,第一任务处理实体根据实体状态信息表和该资源需求信息确定m个第二任务处理实体,该m个第二任务处理实体中的每个第二任务处理实体的状态均为闲状态且每个第二任务处理实体中的该资源类型对应的空闲资源数量大于该资源需求量,m为大于或等于1的整数。
第一任务处理实体从该m个第二任务处理实体中查询出包括的空闲资源满足该资源需求信息的第二任务处理实体,调度查询的第二任务处理实体处理待处理任务。
第一任务处理实体包括的空闲资源满足该资源需求信息是指:第一任务处理实体中的该资源类型对应的空闲资源数量大于该资源需求量。第一任务处理实体包括的空闲资源不满足该资源需求信息是指:第一任务处理实体中的该资源类型对应的空闲资源数量小于或等于该资源需求量。
任务处理实体可以为集群或设备,集群可以为边缘集群,该设备可以为边缘设备或端侧设备。
在任务处理实体为集群的情况时,参见图2,该网络架构包括多个集群,该多个集群中的任意两个集群之间建立有网络连接。
对于该多个集群中的任一个集群,为了便于说明称该集群为第一集群,第一集群包括至少一个节点,该至少一个节点中存在一个主节点,为了便于说明称该主节点为第一主节点,第一主节点可以与其他的每个节点之间建立有网络连接。
第一主节点用于管理第一集群包括的至少一个节点,例如,第一主节点可以接收来自终端的任务处理请求消息,从该至少一个节点中选择节点,触发选择的节点处理该任务处理请求消息对应的任务。
可选的,第一主节点可以获取第一集群中的每个节点当前包括的每种资源类型对应的空闲资源数量和资源总量。
对于第一集群中的任一个节点,在该节点上电启动时,第一主节点可以获取该节点包括的每种资源类型对应的空闲资源数量和资源总量,并保存该节点包括的每种资源类型对应的空闲资源数量和资源总量。之后,第一主节点可以定期或不定期地查询该节点当前包括的每种资源类型对应的空闲资源数量,将保存的该节点中的每种资源类型对应的空闲资源数量分别更新为当前查询的每种资源类型对应的空闲资源数量。或者,在该节点包括的某种资源类型对应的空闲资源发生变化时,该节点向第一主节点发送该资源类型和当前空闲资源数量,第一主节点接收该资源类型和当前空闲资源数量,将保存的该节点中的该资源类型对应的空闲资源数量更新为接收的当前空闲资源数量。
这样,第一主节点接收任务处理请求消息,该任务处理请求消息携带待处理任务所需要的资源需求信息,该资源需求信息至少包括资源类型和资源需求量等,根据每个节点当前包括的该资源类型对应的空闲资源数量和该资源需求量,确定第一集群中是否存在目标节点,目标节点是第一集群中包括的该资源类型对应的空闲资源满足该资源需求信息的节点,如果存在目标节点,则从目标节点中选择一个节点,触发选择的节点处理该任务处理请求消息对应的任务。
如果不存在目标节点,第一主节点可以查询包括该资源类型对应的空闲资源满足该资源需求信息的其他集群,向该其他集群转发该任务处理请求消息,由该其他集群处理该任务处理请求消息对应的任务。
第一主节点可以根据集群状态信息表和该资源需求信息确定m个第二集群,该集群状态信息表包括除第一集群以外的至少一个第二集群的集群信息,第二集群的集群信息包括第二集群的标识、第二集群的状态和第二集群中的节点包括的每个资源类型对应的空闲资源数量,在该集群状态信息表中记录的该m个第二集群的状态均为闲状态且该m个第二集群中的每个第二集群包括的该资源类型对应的空闲资源数量大于该资源需求量,m为大于或等于1的整数;查询该m个第二集群中的每个第二集群当前实际包括的空闲资源是否满足该资源需求信息,在查询出满足该资源需求信息的第二集群时,调度查询出的第二集群处理待处理任务。
由于在集群状态信息表中记录的该m个第二集群中的每个第二集群包括的该资源类型对应的空闲资源数量大于该资源需求量且该m个第二集群的状态均为闲状态,这样可以减少查询的范围,且该m个第二集群中的每个第二集群当前实际包括的该资源类型对应的空闲资源数量大于该资源需求量的概率较大,所以在查询该m个第二集群时能够很快查询到当前实际空闲资源满足该资源需求信息的第二集群,从而提高了查询效率,进而提高了调度效率。
第一主节点可以获取第一集群的集群信息,向其他集群广播第一集群的集群信息。可选的,第一主节点可以周期性地、随机地或在事件触发等情况下获取并广播第一集群的集群信息。
第一集群的集群信息包括第一集群的标识、状态和第一集群中的节点包括的每种资源类型对应的空闲资源数量。第一主节点通过如下方式获取第一集群的集群信息,可以为:
第一主节点获取其保存的第一集群的标识,以及,获取第一集群中的每个节点当前包括的每种资源类型对应的空闲资源数量和资源总量;根据每个节点包括的每种资源类型对应的空闲资源数量和资源总量确定每个节点的状态;根据每个节点的状态确定第一集群的状态,从而得到第一集群的集群信息。
对于每个节点,为了便于说明称该节点为目标节点,对于目标节点的状态,第一主节点通过如下方式来确定,可以为:
第一主节点可以根据目标节点包括的每种资源类型对应的空闲资源数量和资源总量获取目标节点中的每种资源类型对应的资源使用率;在每个资源类型对应的资源使用率中的最大资源使用率大于或等于预设使用率阈值时,确定目标节点的状态为忙状态;在每个资源类型对应的资源使用率中的最大资源使用率小于预设使用率阈值时,确定目标节点的状态为闲状态。
对于第一集群的状态,第一主节点通过如下方式来确定,可以为:
第一主节点获取第一集群包括的忙状态的节点数目和第一集群包括的总节点数目;根据该忙状态的节点数目和该总节点数目,获取该忙状态的节点所占的比率和闲状态的节点数目;在该比率大于或等于预设比率阈值且该闲状态的节点数目小于预设数目阈值时,确定第一集群的状态为忙状态;在该比率大于或等于预设比率阈值且该闲状态的节点数目大于或等于预设数目阈值时或者在该比率小于预设比率阈值时,确定第一集群的状态为闲状态。
可选的,第一主节点中可以包括集群资源池,该集群资源池包括除第一集群以外的至少一个第二集群的标识,第一主节点可以根据该集群资源池包括的每个第二集群的标识,向每个第二集群广播其获取的集群信息。
该网络架构中的每个集群的主节点均按上述方式广播其所在的集群的集群信息。这样对于第一主节点中的集群状态信息表,第一主节点通过如下方式获取到该集群状态信息表,可以为:
第一主节点接收除第一集群以外的至少一个第二集群的集群信息,第二集群的集群信息包括第二集群的标识和状态,以及第二集群中的节点包括的每种资源类型对应的空闲资源量;从该至少一个第二集群的集群信息中获取第二集群的状态为闲状态的n个第二集群的集群信息,n为大于或等于m的整数;根据该n个第二集群中的每个第二集群的集群信息,通过预测模型确定第二集群的状态即将变为忙状态的第二集群;从该n个第二集群的集群信息中去除即将变为忙状态的第二集群的集群信息,将剩下的第二集群的集群信息构成集群状态信息表。
可选的,预测模型可以是事先经过训练的机器学习算法或卷积神经网络等。事先可以预设多个第一样本数据,对于每个第一样本数据,该第一样本数据为一个群集的集群信息,该集群的状态为闲状态。技术人员对该群集的集群信息进行分析,得出该集群是否即将变为忙状态,将分析的结果保存到该第一样本数据中得到第二样本数据。使用得到的第二样本数据训练机器学习算法或卷积神经网络,得到预测模型。
第一主节点可以将该n个第二集群的集群信息输入到预测模型,对于任一个第二集群的集群信息,由该预测模型根据该第二集群的集群信息中包括的节点中的每种资源类型对应的空闲资源数量,预测该第二集群的状态是否即将变为忙状态;第一主节点获取预测模型输出的对该第二集群进行预测得到的预测结果,如果该预测结果是该第二集群的状态即将变为忙状态,则丢弃该第二集群的集群信息,否则,将该第二集群的集群信息添加到集群状态信息表中。
对于该网络架构中的每个集群,该集群可以周期性地、随机地或在事件触发下广播该集群的集群信息。
所以第一主节点可以持续性地接到不同的第二集群发送的集群信息,并根据接收的集群信息定期或不定期地构建集群状态信息表。
可选的,第一主节点还可以将上一次构建的集群状态信息表替换为当前构成的集群状态信息表。
在任务处理实体为设备的情况时,参见图3,该网络架构包括多个设备,该多个设备中的任意两个设备之间建立有网络连接。
对该多个设备中的任一个设备,为了便于说明称为第一设备。第一设备可以接收任务处理请求消息,该任务处理请求消息携带待处理任务所需要的资源需求信息,该资源需求信息包括待处理任务所需要的资源类型和资源需求量等,当自身包括的空闲资源满足该资源需求信息时,处理该任务处理请求消息对应的任务。当自身包括的空闲资源不满足该资源需求信息时,可以查询包括的空闲资源满足该资源需求信息的第二设备,调度查询的第二设备处理待处理任务。
第一设备可以根据设备状态信息表和该资源需求信息确定m个第二设备,该设备状态信息表包括除第一设备以外的至少一个第二设备的设备信息,第二设备的设备信息包括第二设备的标识、第二设备的状态和第二设备包括的每种空闲资源对应的资源类型和空闲资源数量,在该设备状态信息表中记录的该m个第二设备的状态均为闲状态且该m个第二设备中的该资源类型对应的空闲资源数量大于该资源需求量,m为大于或等于1的整数;查询该m个第二设备中的每个第二设备当前实际包括的空闲资源是否满足该资源需求信息,在查询出满足该资源需求信息的第二设备时,调度查询出的第二设备处理待处理任务。
由于在设备状态信息表中记录的该m个第二设备中的该资源类型对应的空闲资源数量大于该资源需求量且该m个第二设备的状态均为闲状态,这样可以减小查询的范围,且该m个第二设备中的每个第二设备当前实际包括的该资源类型的空闲资源数量大于该资源需求量的概率较大,所以在查询该m个第二设备时能够很快查询到当前实际的空闲资源满足该资源需求信息的第二设备,从而提高了查询效率,进而提高了调度效率。
第一设备可以获取其设备信息,向其他设备广播该设备信息。可选的,第一设备可以周期性地、随机地或在事件触发等情况下获取并广播其设备信息。
第一设备的设备信息包括第一设备的标识、状态和第一设备包括的每种资源类型对应的空闲资源数量。
可选的,第一设备中可以包括设备列表,该设备列表包括除第一设备以外的至少一个其他设备的标识,第一设备可以根据该设备列表包括的每个设备的标识,向每个设备广播其获取的设备信息。
该网络架构中的每个设备均按上述方式广播各自的设备信息。这样对于第一设备的设备状态信息表,第一设备通过如下方式获取到该设备状态信息表,可以为:
第一设备接收除第一设备以外的至少一个第二设备的设备信息,第二设备的设备信息包括第二设备的标识和状态,以及第二设备包括的每种空闲资源的资源类型和空闲资源数量;从该至少一个第二设备的设备信息中获取状态为闲状态的n个第二设备的设备信息,n为大于或等于m的整数;根据该n个第二设备中的每个第二设备的设备信息,通过预测模型确定状态即将变为忙状态的第二设备;从该n个第二设备的设备信息中去除即将变为忙状态的第二设备的设备信息,将剩下的第二设备的设备信息构成设备状态信息表。
第一设备可以将该n个第二设备的设备信息输入到预测模型,对于每个第二设备,由该预测模型根据该第二设备的设备信息包括的每种资源类型对应的空闲资源数量,预测该第二设备的状态是否即将变为忙状态;第一设备获取预测模型输出的对该第二设备进行预测得到的预测结果,如果该预测结果是该第二设备的状态即将变为忙状态,则丢弃该第二设备的设备信息,否则,将该第二设备的设备信息添加到设备状态信息表中。
事先可以预设多个第一样本数据,对于每个第一样本数据,该第一样本数据为一个设备的设备信息,该设备的状态为闲状态。技术人员对该设备的设备信息进行分析,得出该设备是否即将变为忙状态,将分析的结果保存到该第一样本数据中得到第二样本数据。使用得到的第二样本数据训练机器学习算法或卷积神经网络,得到预测模型。
对于除第一设备以外的至少一个设备中的每个设备,该设备可以周期性地、随机地或在事件触发下广播其设备信息。
第一设备可以每次接收到该至少一个设备的设备信息,基于每次接收的设备信息按上述方式构成设备状态信息表。
可选的,第一设备还可以将上一次构建的设备状态信息表替换为当前构成的设备状态信息表。
在图1或图2所示的网络架构中,集群中的主节点需要获取并保存集群状态信息表,这样才能保证在主节点所在集群包括的空闲资源无法满足处理任务所需的资源需求信息时,主节点才可以基于该集群状态信息表高效地查询空闲资源满足该资源需求信息的其他集群,并调度查询的集群处理待处理任务。参见图4,本申请提供了一种获取集群状态信息表的方法,该方法可以应用于图1或图2所示的网络架构,该方法包括:
步骤101:第一集群的第一主节点获取第一集群中的每个节点当前包括的每种空闲资源的资源类型和空闲资源数量,以及每个资源类型对应的资源总量。
第一集群是该网络架构中的任一个集群。
可选的,节点包括的资源类型可以为中央处理器(central processing unit,CPU)、图形处理器(graphics processing unit,GPU)和/或内存等。节点当前包括的每种空闲资源数量和资源总量可以为节点当前包括的空闲CPU数量和CPU总数量、空闲GPU数量和GPU总数量、和/或,空闲内存大小和内存总大小等。
对于图1或图2所示的网络架构中的任一个集群中的主节点,该主节点周期性地、随机地或在事件触发等情况下执行本步骤。
在本步骤中,列举了如下两种实现方式,对于其他实现方式在本步骤中不一一列举。该两实现方式分别为:
第一种实现方式:第一主节点可以查询第一集群中的每个节点当前包括的每种资源类型对应的空闲资源数量,以及获取每个节点包括的每种资源类型对应的资源总量。
在第一种实现方式中,第一主节点在确定获取第一集群的集群信息时,可以向第一集群中的每个节点发送查询请求消息。对于第一集群中的任一个节点,该节点在接收该查询请求消息时获取其当前包括的每种资源类型对应的空闲资源数量,向第一主节点发送查询响应消息,该查询响应消息包括每种资源类型和每种资源类型对应的空闲资源数量。
可选的,该节点也可以获取其包括的每种资源类型对应的资源总量,发送给主节点的查询响应消息也可以包括每种资源类型对应的资源总量。
第一主节点接收该查询响应消息,从该查询响应消息中提取该节点当前包括的每种资源类型和每种资源类型对应的空闲资源总量。
可选的,在该查询响应消息还包括该节点中的每种资源类型对应的资源总量时,第一主节点从该查询响应消息中提取该节点中的每种资源类型对应的资源总量。
可选的,在该查询响应消息不包括该节点中的每种资源类型对应的资源总量时,第一主节点可以根据该节点的标识,从标识、资源类型和资源总量的对应关系中获取该节点包括的每种资源类型对应的资源总量。
可选的,当第一集群创建时,可以采用人工方式向第一主节点输入第一集群中的节点包括的每种资源类型和每种资源类型对应的资源总量,或者,第一主节点查询第一集群中的节点包括的每种资源类型和每种资源类型对应的资源总量,或者,第一集群中的节点主动向第一主节点发送其包括的每种资源类型和每种资源类型对应的资源总量。第一主节点在得到节点包括的每种资源类型和每种资源类型对应的资源总量时,可以将节点的标识、节点包括的每种资源类型和每种资源类型对应的资源总量对应保存在标识、资源类型和资源总量的对应关系中。
可选的,当存在节点加入第一集群时,可以采用人工方式向第一主节点输入该节点包括的每种资源类型和每种资源类型对应的资源总量,或者,第一主节点查询该节点包括的每种资源类型和每种资源类型对应的资源总量,或者,该节点向第一主节点发送其包括的每种资源类型和每种资源类型对应的资源总量。第一主节点将该节点的标识、该节点包括的每种资源类型和每种资源类型对应的资源总量对应保存在标识、资源类型和资源总量的对应关系中。
在第一种方式中,第一主节点可以接收到第一集群中的每个节点发送的查询响应消息,从而基于每个节点的查询响应消息得到每个节点包括的每种资源类型、每种资源类型对应的空闲资源数量和资源总量。
第二种实现方式:第一主节点可以保存有标识、资源类型、空闲资源数量和资源总量的对应关系,该对应关系用于保存第一集群中的节点的标识、该节点当前包括的资源类型、该资源类型对应的空闲资源数量和资源总量。第一主节点可以从该对应关系中获取第一集群包括的每个节点中的每种资源类型、每种资源类型对应的空闲资源数量和资源总量。
第一主节点保存的标识、资源类型、空闲资源数量和资源总量的对应关系可以是在第一集群创建时建立的。当第一集群创建时,第一主节点可以查询第一集群中的节点包括的每种资源类型、每种资源类型对应空闲资源数量和资源总量,或者,第一集群中的节点向第一主节点发送其包括的每种资源类型、每种资源类型对应空闲资源数量和资源总量。第一主节点在得到节点包括的每种资源类型、每种资源类型对应的空闲资源数量和资源总量时,可以将节点的标识、节点包括的每种资源类型、每种资源类型对应的空闲资源数量和资源总量对应保存在标识、资源类型、空闲资源数量和资源总量的对应关系中。
第一主节点在建立标识、资源类型、空闲资源数量和资源总量的对应关系后,可以在如下几个种情况下对标识、资源类型、空闲资源数量和资源总量的对应关系进行更新。该几种情况分别为:
第一种情况,当存在节点加入第一集群时,第一主节点可以查询该节点包括的每种资源类型对应的空闲资源数量和资源总量,或者,该节点向第一主节点发送其包括的每种资源类型对应的空闲资源数量和资源总量。第一主节点将该节点的标识、该节点包括的每种资源类型、每种资源类型对应的空闲资源数量和资源总量对应保存在标识、资源类型、空闲资源数量和资源总量的对应关系中。
第二种情况,第一主节点可以周期性地查询第一集群中的节点当前包括的每种资源类型对应的空闲资源数量,将该标识、资源类型、空闲资源数量和资源总量的对应关系中该节点的标识对应的每种资源类型对应的空闲资源数量分别更新为节点当前包括的每种资源类型对应的空闲资源数量。
第三种情况,在第一集群中的节点包括的某种资源类型对应的空闲资源发生变化时,该节点向第一主节点发送该资源类型和当前空闲资源数量。第一主节点接收该资源类型和当前空闲资源数量,将该标识、资源类型、空闲资源数量和资源总量的对应关系中该节点的标识对应的该资源类型对应的空闲资源数量更新为该当前空闲资源数量。
步骤102:第一主节点根据每个节点包括的每种资源类型对应的空闲资源数量和资源总量确定每个节点的状态。
节点的状态可以为忙状态或闲状态。在本步骤中,对于每个节点,根据该节点包括的每种资源类型对应的空闲资源数量和资源总量获取该节点中的每种资源类型对应的资源使用率;在每种资源类型对应的资源使用率中的最大资源使用率大于或等于预设使用率阈值时,确定该节点的状态为忙状态;在每种资源类型对应的资源使用率中的最大资源使用率小于预设使用率阈值时,确定该节点的状态为闲状态。
可选的,在本步骤中,根据该节点包括的每种资源类型对应的空闲资源数量和资源总量,可以通过如下第一公式获取该节点中的每种资源类型对应的资源使用率,以及通过如下第二公式确定该节点的状态。
在第一公式中,Pi为第i种资源类型对应的资源使用率,Idlei为第i种资源类型对应的空闲资源数量,Totali为第i种资源类型对应的空闲资源数量和资源总量。
在第一公式中,State(Node)为节点的状态,M为预设使用率阈值,max(Pi)为每种资源类型对应的资源使用率中的最大资源使用率。
第二公式表示:当max(Pi)大于或等于M时,State(Node)等于忙状态;当max(Pi)小于M时,State(Node)等于闲状态。
对于该集群中的每个节点,该节点也可以通过上述第一公式和第二公式确定自身的状态,向第一主节点发送其自身的状态。
步骤103:第一主节点根据第一集群包括的每个节点的状态确定第一集群的状态。
第一集群的状态可以为忙状态或闲状态。在本步骤中,第一主节点获取忙状态的节点数目和第一集群的总节点数目;根据忙状态的节点数目和节点总数目,获取忙状态的节点所占的比率和闲状态的节点数目;在该比率大于或等于预设比率阈值且闲状态的节点数目小于预设数目阈值时,确定第一集群的状态为忙状态;在该比率大于或等于预设比率阈值且闲状态的节点数目大于或等于预设数目阈值时或者在比率小于预设比率阈值时,确定第一集群的状态为闲状态。
可选的,第一主节点中保存有标识、资源类型、空闲资源数量和资源总量的对应关系,或,保存有标识、资源类型和资源总量的对应关系。第一主节点可以统计其保存的上述两个对应关系中的任一个对应关系中包括的节点的标识数目,得到第一集群的节点总数目。
可选的,在本步骤中,根据忙状态的节点数目和节点总数目,通过如下第三公式获取忙状态的节点所占的比率和闲状态的节点数目,以及确定第一集群的状态。
第三公式为:
在第三公式中,State(cluster)为第一集群的状态,q为忙状态的节点所占的比率,x为忙状态的节点数目,y为第一集群的总节点数目,W为预设比率阈值,u为预设比率阈值。
第三公式表示:当q大于或等于W且y-x小于u时,State(cluster)等于忙状态;当q大于或等于W且y-x大于或等于u时,State(cluster)等于闲状态;当q小于W时,State(cluster)等于闲状态。
步骤104:第一主节点向集群资源池中的每个第二集群广播第一集群的集群信息,该集群信息包括第一集群的标识、状态和空闲资源信息,该空闲资源信息至少包括第一集群中的节点包括的每种空闲资源的资源类型和空闲资源数量,集群资源池包括除第一集群以外的至少一个第二集群的标识。
可选的,第一主节点中保存有第一集群的标识,该集群信息中的第一集群的标识可以是主节点获取其保存的第一集群的标识。
可选的,第一主节点还可以保存有第一集群的集群类型,该集群信息还可以包括该集群类型和/或第一集群包括的闲状态的节点数目等信息。
可选的,第一主节点中包括集群资源池,该集群资源池可以是第一主节点事先建立的,或者,可以是技术人员事先在第一主节点中配置的。
当图1或图2所示网络架构中的多个集群位于同一个局域网内,第一主节点可以周期性地广播探测消息,该探测消息可以包括第一集群的标识。同样,第一主节点也可以接收其他集群的主节点发送的探测消息,将该探测消息包括的其他集群的标识添加到集群资源池中。
可选的,在第一主节点周期性的广播探测消息的情况下,在每个周期的起始时刻至第一时刻之间随机选择一个时刻,在选择的时刻广播探测消息,其中,第一时刻与该起始时刻之间的时间长度为第一预设长度,第一预设长度小于该周期的周期长度。
由于第一主节点在每个周期的起始时刻至第一时刻之间随机选择一个时刻并在选择的时刻广播探测消息,这样可以防止局域网内的所有集群内的主节点同时广播探测消息,从而避免造成冲突和广播风暴。
可选的,该周期的周期长度可以保持不变,或者,第一主节点可以逐渐地增大该周期的周期长度,以前减小广播探测消息的数量,减少消息的通信量,以减少对网络资源的占用。
例如,第一主节点在第一次广播探测消息后,每隔一段时间增加该周期的周期长度。该一段时间的时间长度大于该周期的周期长度。
可选的,该一段时间的时间长度可以等于该周期的周期长度的z倍,z为大于1的数值,且z可以为整数或为非整数。
可选的,每次间隔的一段时间的时间长度可以相等,该时间长度可以是第二预设长度,也可以是第一主节点自己确定的长度。或者,每次间隔的一段时间的时间长度也可以不相等,该时间长度可以由第一主节点设置。
当图1或图2所示网络架构中的多个集群跨局域网,可以由用户在第一主节点中配置集群资源池。
步骤105:第一主节点接收除第一集群以外的至少一个第二集群的集群信息,将该至少一个第二集群中的状态为闲状态的第二集群的集群信息组成集群状态信息表。
在图1所示的网络架构中的每个集群内的主节点均按101至104的步骤广播各自所在集群的集群信息。所以对于第一集群的第一主节点,第一主节点会接收到除第一集群以外的至少一个第二集群的集群信息。
在本步骤中,第二主节点可以从该至少一个第二集群的集群信息中获取状态为闲状态的n个第二集群的集群信息,n为大于0的整数,将该n个第二集群的集群信息组成集群状态信息表。或者,第一主节点根据该n个第二集群中的每个第二集群的集群信息,通过预测模型确定状态即将变为忙状态的第二集群,从该n个第二集群的集群信息中去除即将变为忙状态的第二集群的集群信息,将剩下的第二集群的集群信息构成集群状态信息表。
由于图1或图2所示网络架构中的每个集群的主节点随机、周期性或事件触发等情况下广播各自所在集群的集群信息。所以第一主节点可以在每当接收到集群资源池中的每个第二集群的集群信息时,根据接收的集群信息得到集群状态信息表;或者,第一主节点可以每间隔一段时间生成集群状态信息表,每次间隔的时间长度可以相等也可以不相等,该间隔的时间长度可以是第一主节点设置的或可以是预设值,第一主节点可以根据第一时间到当前时间之间接收的集群信息生成集群状态信息表,第一时间为上次生成集群状态信息表的时间。
在本申请实施例中,由于第一主节点生成了集群状态信息表,该集群状态信息表包括当前状态为闲状态的集群的集群信息,这样第一主节点在查询集群时,根据该集群状态信息表,可以先确定出m个第二集群,在集群状态信息表中该m个第二集群的状态为闲状态且该m个第二集群包括的该任务所需要资源类型对应的空闲资源数量大于该任务所需要的资源需求量,再查询该m个第二集群,可以提高查询效率。
参见图5,本申请实施例提供了一种调度任务处理实体的方法,该方法可以应用于图1或图2所示的网络架构,且在该方法中任务处理实体为集群,包括:
步骤201:第一集群中的第一主节点接收终端发送任务处理请求消息,该任务处理请求消息携带待处理任务所需的资源需求信息。
第一集群是该网络架构中的任一个集群,该资源需求信息可以包括资源类型和资源需求量。
步骤202:第一主节点确定第一集群中是否存在空闲资源满足该资源需要信息的节点,如果不存在,则执行步骤203。
第一主节点可以获取第一集群中的每个节点包括的该资源类型对应的空闲资源数量,确定是否存在该资源类型对应的空闲资源数量大于该资源需求量的节点,如果不存在该节点,则确定第一集群中不存在空闲资源满足该资源需要信息的节点,如果存在该节点,则确定第一集群中存在空闲资源满足该资源需要信息的节点。
如果确定出第一集群中存在空闲资源满足该资源需要信息的节点,则第一主节点可以在该确定的节点中选择节点,向选择的节点发送该任务处理请求消息,由选择的节点处理待处理任务。
步骤203:第一主节点根据集群状态信息表和该资源需求信息确定m个第二集群,该m个第二集群的状态均为闲状态且该m个第二集群中的每个第二集群包括的该资源类型对应的空闲资源数量大于该资源需求量,m为大于或等于1的整数。
第一主节点中存储有集群状态信息表,该集群状态信息表包括第一集群以外的至少一个第二集群的集群信息,第二集群的集群信息包括第二集群的标识、第二集群的状态和空闲资源信息,该空闲资源信息包括第二集群中的节点包括的每种空闲资源的资源类型和空闲资源数量等信息。第一主节点可以通过图4所示的方法获取并存储该集群状态信息表,在此不再详细说明。
在本步骤中,第一主节点从集群状态信息表中确定闲状态的第二集群,对于确定的每个第二集群,如果该第二集群中的某个节点包括的该资源类型对应的空闲资源数量大于该资源类型对应的资源需求量,则确定该第二集群包括的该资源类型对应的空闲资源数量大于该资源需求量。从该资源类型对应的空闲资源数量大于该资源需求量的第二集群中选择m个第二集群。
步骤204:第一主节点查询该m个第二集群中当前实际的空闲资源满足该资源需求信息的第二集群,调度查询的第二集群处理待处理任务。
在本步骤中,第一主节点从该m个第二集群中的每个第二集群的集群信息中读取每个第二集群的标识,根据每个第二集群的标识并发地向每个第二集群发送查询请求消息,该查询请求消息携带待处理任务所需的资源需求信息。
该资源需求信息包括资源类型和资源需求量。对于该m个第二集群中的每个第二集群,该第二集群的第二主节点接收该查询请求消息,查询该第二集群是否存在某个节点包括的该资源类型对应的空闲资源数量是否大于该资源需求量;如果查询出存在节点包括的该资源类型对应的空闲资源数量大于该资源需求量,向第一主节点发送查询结果,该查询结果是该第二集群包括的空闲资源满足该资源需求信;如果查询出不存在节点包括的该资源类型对应的空闲资源数量大于该资源需求量,向第一主节点发送查询结果,该查询结果是该第二集群包括的空闲资源不满足该资源需求信。
第一主节点接收每个第二集群发送的查询结果,选择发送的查询结果为空闲资源满足该资源需求信息的第二集群,调度选择的第二集群处理待处理任务。
可选的,第一主节点可以选择第一次接收的空闲资源满足该资源需求信息的查询结果,确定发送选择的查询结果的第二集群,调度确定的第二集群处理待处理任务。
在本申请实施例中,由于第一主节点生成了集群状态信息表,该集群状态信息表包括状态为闲状态的第二集群的集群信息,这样第一主节点在为待处理任务查询集群时,根据该集群状态信息表,可以先确定出闲状态且包括空闲资源满足该任务所需要的资源需求信息的第二集群,再查询确定的集群,查询的范围变小,由于每个第二集群包括当前实际的空闲资源满足该资源需求信息的概率较大,所以在查询该m个第二集群时能够很快查询到当前实际的空闲资源满足该资源需求信息的第二集群,可以提高查询效率,进而提高了调度效率。
在图1或图3所示的网络架构中,该网络架构中的设备获取并保存设备状态信息表,这样才能保证在该设备包括的空闲资源无法满足处理任务所需资源类型的空闲资源时,该设备才可以基于该设备状态信息表高效地查询并调度空闲资源满足处理任务所需要的其他设备。参见图6,本申请提供了一种获取设备状态信息表的方法,该方法可以应用于图1或图3所示的网络架构,该方法包括:
步骤301:第一设备获取其当前包括的每种空闲资源的资源类型和空闲资源数量,以及每个资源类型对应的资源总量,第一设备是该网络架构中的任一设备。
可选的,第一设备包括的资源类型可以为CPU、GPU和/或内存等。第一设备当前包括的每种空闲资源数量和资源总量可以为第一设备当前包括的空闲CPU数量和CPU总数量、空闲GPU数量和GPU总数量、和/或,空闲内存大小和内存总大小等。
第一设备可以周期性地、随机地或在事件触发等情况下获取其设备信息,在第一设备确定获取其设备信息时,开始执行本步骤。
步骤302:第一设备根据每种资源类型对应的空闲资源数量和资源总量确定第一设备的状态。
第一设备的状态可以为忙状态或闲状态。在本步骤中,根据每种资源类型对应的空闲资源数量和资源总量获取每种资源类型对应的资源使用率;在每种资源类型对应的资源使用率中的最大资源使用率大于或等于预设使用率阈值时,确定第一设备的状态为忙状态;在每种资源类型对应的资源使用率中的最大资源使用率小于预设使用率阈值时,确定第一设备的状态为闲状态。
步骤303:第一设备向设备列表中的每个第二设备广播第一设备的设备信息,第一设备的设备信息包括第一设备的标识、状态和空闲资源信息,该空闲资源信息至少包括第一设备中的每种空闲资源的资源类型和空闲资源数量,该设备列表包括除第一设备以外的至少一个第二设备的标识。
可选的,第一设备包括设备列表,该设备列表可以是在执行本步骤之前由第一设备建立的,或者,可以是技术人员事先在第一设备中配置的。
当图3所示网络架构中的多个设备位于同一个局域网内,第一设备可以周期性地广播探测消息,该探测消息可以包括第一设备的标识。同样,第一设备也可以接收其他设备发送的探测消息,将该探测消息包括的其他设备的标识添加到设备列表中。
可选的,第一设备可以周期性地广播探测消息,在每个周期的起始时刻至第一时刻之间随机选择一个时刻,在选择的时刻广播探测消息,其中,第一时刻与该起始时刻之间的时间长度为第一预设长度且第一预测长度小于该周期的周期长度。
由于第一设备在每个周期的起始时刻至第一时刻之间随机选择一个时刻并在选择的时刻广播探测消息,这样可以防止局域网内的所有设备同时广播探测消息,从而避免造成冲突和广播风暴。
可选的,该周期的周期长度可以保持不变,或者,第一设备可以逐渐地增大该周期的周期长度,以前减小广播探测消息的数量,减少消息的数量,以减少对网络资源的占用。
例如,第一设备在第一次广播探测消息后,每隔一段时间增加该周期的周期长度。每次间隔的一段时间的时间长度大于该周期的周期长度。
可选的,该间隔的时间长度可以等于该周期的周期长度的z倍,z为大于1的数值,且z可以为整数或为非整数。
可选的,该间隔的时间长度可以相等,间隔的时间长度可以是第二预设长度,也可以是第一设备自己确定的长度。或者,该间隔的时间长度也可以不相等,该间隔的时间长度可以由第一设备设置。
当图1或图3所示网络架构中的多个设备跨局域网,可以由用户在第一设备中配置设备列表。
步骤304:第一设备接收至少一个第二设备的设备信息,将第二设备中的状态为闲状态的第二设备的设备信息组成设备状态信息表。
在图3所示的网络架构中的每个设备均按301至303的步骤广播各自的设备信息。所以第一设备会接收到除自身以外的至少一个第二设备的设备信息。
在本步骤中,第一设备可以从第二设备的设备信息中获取状态为闲状态的n个第二设备的设备信息,n为大于0的整数,将该n个第二设备的设备信息组成集群状态信息表。或者,第一设备根据该n个第二设备的设备信息,通过预测模型确定状态即将变为忙状态的第二设备,从该n个第二设备的设备信息中去除即将变为忙状态的第二设备的设备信息,将剩下的第二设备的设备信息构成设备状态信息表。
由于图1所示网络架构中的每个设备随机、周期性或事件触发等情况下广播各自的设备信息。所以对于第一设备可以在每当接收到设备列表中的每个第二设备的设备信息时,根据接收的设备信息得到设备状态信息表;或者,第一设备可以每间隔一段时间生成设备状态信息表,该间隔的时间长度可以相等也可以不相等,该间隔的时间长度可以是第一设备设置的或可以是预设值,第一设备在生成设备状态信息表时,根据第一时间到当前时间之间接收的设备信息生成设备状态信息表。第一时间是上次生成设备状态信息表的时间。
在本申请实施例中,由于第一设备生成了设备状态信息表,该设备状态信息表包括当前状态为闲状态的第二设备的设备信息,这样第一设备在为待处理任务查询设备时,根据该设备状态信息表,可以先确定出闲状态且包括属于该任务所需要资源类型的空闲资源满足该任务所需要资源需求量的第二设备,再查询并调度确定的第二设备,可以提高查询效率,进而提高调度设备的效率。
参见图7,本申请实施例提供了一种调度任务处理实体的方法,该方法可以应用于图1或图3所示的网络架构,且该方法中的任务处理实体为设备,包括:
步骤401:第一设备获取任务处理请求消息,该任务处理请求消息携带待处理任务所需的资源需求信息,该资源需求信息包括待处理任务的资源类型和资源需求量。
第一设备可以是与终端相连的边缘设备或端侧设备,第一设备可以接收与其相连的终端发送的任务处理请求消息。
步骤402:第一设备确定其包括的空闲资源是否满足该资源需求信息,如果不满足,则执行步骤403,如果满足,则处理待处理任务。
步骤403:第一设备根据设备状态信息表和该资源需求信息确定m个第二设备,该m个第二设备的状态均为闲状态且该m个第二设备中存在包括该资源类型对应的空闲资源满足该资源类型对应的资源需求量,m为大于或等于1的整数。
第一设备中存储有设备状态信息表,该设备状态信息表包括除第一设备以外的第二设备的设备信息,第二设备的设备信息包括第二设备的标识、第二设备的状态和第二设备包括的每种资源类型对应的空闲资源数量等信息。第一设备可以通过图6所示的方法获取并存储设备状态信息表,在此不再详细说明。
在本步骤中,第一设备从设备状态信息表中确定闲状态的第二设备,根据确定每个第二设备的设备信息,从确定的每个第二设备中确定包括的该资源类型对应的空闲资源数量大于该资源需求量的第二设备,从包括的该资源类型对应的空闲资源数量大于该资源需求量的第二设备中选择m个第二设备。
步骤404:第一设备查询该m个第二设备中当前包括的空闲资源满足该资源需求信息的第二设备,调度查询到的第二设备处理待处理任务。
在本步骤中,第一设备从该m个第二设备的集群信息中读取每个第二设备的标识,根据每个第二设备的标识并发地向每个第二设备发送查询请求消息,该查询请求消息携带待处理任务所需的资源需求信息。
对于该m个第二中的任一个第二设备,该第二设备该查询请求消息,查询当前实际包括的该资源类型对应的空闲资源数量是否大于该资源需求量;如果查询出当前实际包括的该资源类型对应的空闲资源数量大于该资源需求量,向第一设备发送查询结果,该查询结果为空闲资源满足该资源需求信息;如果查询出当前实际包括的该资源类型对应的空闲资源数量不大于该资源需求量,发送查询结果,该查询结果为空闲资源不满足该资源需求信息。
第一设备接收每个第二设备发送的查询结果,选择发送的查询结果为空闲资源满足该资源需求信息的第二设备,调度选择的第二设备处理待处理任务。
可选的,第一主节点可以选择第一次接收的空闲资源满足该资源需求信息的查询结果,确定发送选择的查询结果的第二设备,调度确定的第二设备处理待处理任务。
在本申请实施例中,由于第一设备生成了设备状态信息表,该设备状态信息表包括当前状态为闲状态的第二设备的设备信息,这样第一设备在为待处理任务查询第二设备时,根据该设备状态信息表,可以先确定出闲状态且包括空闲资源满足该任务所需要的资源需求信息的第二设备,再查询确定的设备,查询的范围变小,由于每个第二设备当前实际包括的空闲资源满足该资源需求信息的概率较大,所以在查询该m个第二设备时能够很快查询到当前实际的空闲资源满足该资源需求信息的第二设备,可以提高查询效率,进而提高了调度效率。
参见图8,本申请实施列提供了一种调度任务处理实体的装置500,所述装置500可以部署在上述实施例中的第一任务处理实体,在实现时可以部署在上述第一主节点或第一设备中。所述装置500包括:
接收单元501,用于接收任务处理请求消息,所述任务处理请求消息携带待处理任务所要的资源需求信息,所述资源需求信息至少包括处理所述待处理任务所需要的资源类型和资源需求量,所述第一任务处理实体为集群或设备;
处理单元502,用于在所述装置包括的空闲资源不满足所述资源需求信息时,根据实体状态信息表和所述资源需求信息确定m个第二任务处理实体,所述实体状态信息表包括所述第一任务处理实体接收的至少一个第二任务处理实体发送的实体信息,第二任务处理实体发送的实体信息包括所述第二任务处理实体的标识、状态和空闲资源信息,所述空闲资源信息至少包括所述第二任务处理实体中的空闲资源的资源类型和空闲资源数量,在所述实体状态信息表中记录的所述m个第二任务处理实体中的每个第二任务处理实体的状态均为闲状态且所述每个第二任务处理实体中的所述资源类型对应的空闲资源数量大于所述资源需求量,m为大于或等于1的整数;
所述处理单元502,还用于从所述m个第二任务处理实体中查询出当前包括的空闲资源满足所述资源需求信息的第二任务处理实体,调度所述查询的第二任务处理实体处理所述待处理任务。
可选的,所述装置500还包括发送单元503;
所述处理单元,还用于获取所述装置的实体信息;
所述发送单元503,用于向实体列表中的每个任务处理实体发送所述实体信息,所述实体列表包括除所述装置500以外的至少一个任务处理实体的标识。
可选的,所述处理单元502,用于:
获取所述装置包括的每种资源类型对应的空闲资源数量和资源总量;根据所述每种资源类型对应的空闲资源数量和资源总量确定所述装置的状态。
可选的,所述装置500为集群,所述处理单元502,用于:
获取所述集群中的每个节点包括的每种资源类型、所述每种资源类型对应的空闲资源数量和资源总量;
根据所述每个节点包括的每种资源类型对应的空闲资源数量和资源总量确定所述每个节点的状态;
根据所述每个节点的状态确定所述集群的状态。
可选的,所述处理单元502,用于:
根据节点包括的每种资源类型、所述每种资源类型对应的空闲资源数量和资源总量,获取所述节点中的每种资源类型对应的资源使用率;
在所述每种资源类型对应的资源使用率中的最大资源使用率大于或等于预设使用率阈值时,确定所述节点的状态为忙状态;在所述最大资源使用率小于预设使用率阈值时,确定所述节点的状态为闲状态。
可选的,所述发送单元503,用于向所述m个第二任务处理实体中的每个第二任务处理实体发送查询请求消息,所述查询请求消息携带所述资源需求信息,所述查询请求消息用于第二任务处理实体查询其包括的空闲资源是否满足所述资源需求信息;
所述接收单元501,还用于接收所述每个第二任务处理实体发送的查询结果;
所述处理单元502,还用于选择第一次接收的空闲资源满足所述资源需求信息的查询结果;调度发送所述选择的查询结果的第二任务处理实体处理所述待处理任务。
可选的,所述处理单元502,用于:
获取忙状态的节点数目和所述集群的节点总数目;
根据所述忙状态的节点数目和所述节点总数目,获取忙状态的节点所占的比率和闲状态的节点数目;
在所述比率大于或等于预设比率阈值且所述闲状态的节点数目小于预设数目阈值时,确定所述集群的状态为忙状态;在所述比率大于或等于预设比率阈值且所述闲状态的节点数目大于或等于预设数目阈值时或者在所述比率小于预设比率阈值时,确定所述集群的状态为闲状态。
可选的,所述接收单元501,还用于接收至少一个第二任务处理实体的实体信息;
所述处理单元502,还用于从所述至少一个第二任务处理实体的实体信息中获取状态为闲状态的n个第二任务处理实体的实体信息,n为大于或等于1的整数;根据所述n个第二任务处理实体中的每个第二任务处理实体的实体信息,通过预测模型确定状态即将变为忙状态的第二任务处理实体;从所述n个第二任务处理实体的实体信息中去除即将变为忙状态的第二任务处理实体的实体信息,将剩下的第二任务处理实体的实体信息构成实体状态信息表。
在本申请实施例中,由于处理单元生成了实体状态信息表,该实体状态信息表包括当前状态为闲状态的第二任务处理实体的实体信息,这样处理单元在为待处理任务查询第二任务处理实体时,根据该实体状态信息表,可以先确定出闲状态且包括空闲资源满足该任务所需要的资源需求信息的第二任务处理实体,可以提高查询效率,进而提高了调度效率。
参见图9,图9所示为本申请实施例提供的一种调度任务处理实体的装置600示意图。该装置600包括至少一个处理器601,总线系统602,存储器603以及至少一个收发器604。
该装置600是一种硬件结构的装置,可以用于实现图8所述的装置中的功能模块。例如,本领域技术人员可以想到图8所示的装置500中的处理单元502可以通过该至少一个处理器601调用存储器603中的代码来实现,图8所示的装置500中的接收单元501和发送单元503可以通过该收发器604来实现。
可选的,上述处理器601可以是一个通用中央处理器(central processing unit,CPU),微处理器,特定应用集成电路(application-specific integrated circuit,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
上述总线系统602可包括一通路,在上述组件之间传送信息。
上述收发器604,用于与其他设备或通信网络通信。
上述存储器603可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory,EEPROM)、只读光盘(compactdisc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理器相连接。存储器也可以和处理器集成在一起。
其中,存储器603用于存储执行本申请方案的应用程序代码,并由处理器601来控制执行。处理器601用于执行存储器603中存储的应用程序代码,从而实现本专利方法中的功能。
在具体实现中,作为一种实施例,处理器601可以包括一个或多个CPU,例如图9中的CPU0和CPU1。
在具体实现中,作为一种实施例,该装置600可以包括多个处理器,例如图9中的处理器601和处理器607。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,该装置600还可以包括输出设备605和输入设备606。输出设备605和处理器601通信,可以以多种方式来显示信息。例如,输出设备605可以是液晶显示器(liquid crystal display,LCD)等。输入设备606和处理器601通信,可以以多种方式接受用户的输入。例如,输入设备606可以是触摸屏设备或传感设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (16)
1.一种调度任务处理实体的方法,其特征在于,所述方法包括:
第一任务处理实体接收任务处理请求消息,所述任务处理请求消息携带待处理任务所需要的资源需求信息,所述资源需求信息至少包括处理所述待处理任务所需要的资源类型和资源需求量,所述第一任务处理实体为集群或设备;
在所述第一任务处理实体包括的空闲资源不满足所述资源需求信息时,所述第一任务处理实体根据实体状态信息表和所述资源需求信息确定m个第二任务处理实体,所述实体状态信息表包括所述第一任务处理实体接收的至少一个第二任务处理实体发送的实体信息,第二任务处理实体发送的实体信息包括所述第二任务处理实体的标识、状态和空闲资源信息,所述空闲资源信息至少包括所述第二任务处理实体中的空闲资源的资源类型和空闲资源数量,在所述实体状态信息表中记录的所述m个第二任务处理实体中的每个第二任务处理实体的状态均为闲状态且所述每个第二任务处理实体中的所述资源类型对应的空闲资源数量大于所述资源需求量,m为大于或等于1的整数;
所述第一任务处理实体从所述m个第二任务处理实体中查询出当前包括的空闲资源满足所述资源需求信息的第二任务处理实体,调度所述查询的第二任务处理实体处理所述待处理任务。
2.如权利要求1所述的方法,其特征在于,所述第一任务处理实体根据实体状态信息表和所述资源需求信息确定m个第二任务处理实体之前,还包括:
所述第一任务处理实体获取所述第一任务处理实体的实体信息,向实体列表中的每个任务处理实体发送所述实体信息,所述实体列表包括除所述第一任务处理实体以外的至少一个任务处理实体的标识。
3.如权利要求2所述的方法,其特征在于,所述第一任务处理实体获取所述第一任务处理实体的实体信息,包括:
所述第一任务处理实体获取所述第一任务处理实体包括的每种资源类型、所述每种资源类型对应的空闲资源数量和资源总量;
所述第一任务处理实体根据所述每种资源类型对应的空闲资源数量和资源总量确定所述第一任务处理实体的状态。
4.如权利要求3所述的方法,其特征在于,所述第一任务处理实体为集群,所述第一任务处理实体获取所述第一任务处理实体包括的每种资源类型对应的空闲资源数量和资源总量,包括:
获取所述集群中的每个节点包括的每种资源类型、所述每种资源类型对应的空闲资源数量和资源总量;
所述第一任务处理实体根据所述每种资源类型对应的空闲资源数量和资源总量确定第一任务处理实体的状态,包括:
根据所述每个节点包括的每种资源类型对应的空闲资源数量和资源总量确定所述每个节点的状态;
根据所述每个节点的状态确定所述集群的状态。
5.如权利要求4所述的方法,其特征在于,所述根据所述每个节点包括的每种资源类型对应的空闲资源数量和资源总量确定所述每个节点的状态,包括:
根据节点包括的每种资源类型对应的空闲资源数量和资源总量,获取所述节点中的每种资源类型对应的资源使用率;
在所述每种资源类型对应的资源使用率中的最大资源使用率大于或等于预设使用率阈值时,确定所述节点的状态为忙状态;在所述最大资源使用率小于预设使用率阈值时,确定所述节点的状态为闲状态。
6.如权利要求4或5所述的方法,其特征在于,所述根据所述每个节点的状态确定所述集群的状态,包括:
获取忙状态的节点数目和所述集群的节点总数目;
根据所述忙状态的节点数目和所述节点总数目,获取忙状态的节点所占的比率和闲状态的节点数目;
在所述比率大于或等于预设比率阈值且所述闲状态的节点数目小于预设数目阈值时,确定所述集群的状态为忙状态;在所述比率大于或等于预设比率阈值且所述闲状态的节点数目大于或等于预设数目阈值时或者在所述比率小于预设比率阈值时,确定所述集群的状态为闲状态。
7.如权利要求1-6任一项所述的方法,其特征在于,所述第一任务处理实体从所述m个第二任务处理实体中查询出当前包括的空闲资源满足所述资源需求信息的第二任务处理实体,调度所述查询的第二任务处理实体处理所述待处理任务,包括:
所述第一任务处理实体向所述m个第二任务处理实体中的每个第二任务处理实体发送查询请求消息,所述查询请求消息携带所述资源需求信息,所述查询请求消息用于第二任务处理实体查询其包括的空闲资源是否满足所述资源需求信息;
所述第一任务处理实体接收所述每个第二任务处理实体发送的查询结果;
所述第一任务处理实体选择第一次接收的空闲资源满足所述资源需求信息的查询结果;
所述第一任务处理实体调度发送所述选择的查询结果的第二任务处理实体处理所述待处理任务。
8.如权利要求1-7任一项所述的方法,其特征在于,所述第一任务处理实体根据实体状态信息表和所述资源需求信息确定m个第二任务处理实体之前,还包括:
所述第一任务处理实体接收至少一个第二任务处理实体的实体信息;
所述第一任务处理实体从所述至少一个第二任务处理实体的实体信息中获取状态为闲状态的n个第二任务处理实体的实体信息,n为大于或等于1的整数;
所述第一任务处理实体根据所述n个第二任务处理实体中的每个第二任务处理实体的实体信息,通过预测模型确定状态即将变为忙状态的第二任务处理实体;
所述第一任务处理实体从所述n个第二任务处理实体的实体信息中去除即将变为忙状态的第二任务处理实体的实体信息,将剩下的第二任务处理实体的实体信息构成实体状态信息表。
9.一种调度任务处理实体的装置,其特征在于,所述装置包括:
接收单元,用于接收任务处理请求消息,所述任务处理请求消息携带待处理任务所要的资源需求信息,所述资源需求信息至少包括处理所述待处理任务所需要的资源类型和资源需求量,所述第一任务处理实体为集群或设备;
处理单元,用于在所述装置包括的空闲资源不满足所述资源需求信息时,根据实体状态信息表和所述资源需求信息确定m个第二任务处理实体,所述实体状态信息表包括所述第一任务处理实体接收的至少一个第二任务处理实体发送的实体信息,第二任务处理实体发送的实体信息包括所述第二任务处理实体的标识、状态和空闲资源信息,所述空闲资源信息至少包括所述第二任务处理实体中的空闲资源的资源类型和空闲资源数量,在所述实体状态信息表中记录的所述m个第二任务处理实体中的每个第二任务处理实体的状态均为闲状态且所述每个第二任务处理实体中的所述资源类型对应的空闲资源数量大于所述资源需求量,m为大于或等于1的整数;
所述处理单元,还用于从所述m个第二任务处理实体中查询出当前包括的空闲资源满足所述资源需求信息的第二任务处理实体,调度所述查询的第二任务处理实体处理所述待处理任务。
10.如权利要求9所述的装置,其特征在于,所述装置还包括第一发送单元;
所述处理单元,还用于获取所述装置的实体信息;
所述发送单元,用于向实体列表中的每个任务处理实体发送所述实体信息,所述实体列表包括除所述装置以外的至少一个任务处理实体的标识。
11.如权利要求10所述的装置,其特征在于,所述处理单元,用于:
获取所述装置包括的每种资源类型对应的空闲资源数量和资源总量;根据所述每种资源类型对应的空闲资源数量和资源总量确定所述装置的状态。
12.如权利要求11所述的装置,其特征在于,所述装置为集群,所述处理单元,用于:
获取所述集群中的每个节点包括的每种资源类型、所述每种资源类型对应的空闲资源数量和资源总量;
根据所述每个节点包括的每种资源类型对应的空闲资源数量和资源总量确定所述每个节点的状态;
根据所述每个节点的状态确定所述集群的状态。
13.如权利要求12所述的装置,其特征在于,所述处理单元,用于:
根据节点包括的每种资源类型、所述每种资源类型对应的空闲资源数量和资源总量,获取所述节点中的每种资源类型对应的资源使用率;
在所述每种资源类型对应的资源使用率中的最大资源使用率大于或等于预设使用率阈值时,确定所述节点的状态为忙状态;在所述最大资源使用率小于预设使用率阈值时,确定所述节点的状态为闲状态。
14.如权利要求12或13所述的装置,其特征在于,所述处理单元,用于:
获取忙状态的节点数目和所述集群的节点总数目;
根据所述忙状态的节点数目和所述节点总数目,获取忙状态的节点所占的比率和闲状态的节点数目;
在所述比率大于或等于预设比率阈值且所述闲状态的节点数目小于预设数目阈值时,确定所述集群的状态为忙状态;在所述比率大于或等于预设比率阈值且所述闲状态的节点数目大于或等于预设数目阈值时或者在所述比率小于预设比率阈值时,确定所述集群的状态为闲状态。
15.如权利要求9-14任一项所述的装置,其特征在于,所述装置还包括:第二发送单元;
所述第二发送单元,用于向所述m个第二任务处理实体中的每个第二任务处理实体发送查询请求消息,所述查询请求消息携带所述资源需求信息,所述查询请求消息用于第二任务处理实体查询其包括的空闲资源是否满足所述资源需求信息;
所述接收单元,还用于接收所述每个第二任务处理实体发送的查询结果;
所述处理单元,还用于选择第一次接收的空闲资源满足所述资源需求信息的查询结果;调度发送所述选择的查询结果的第二任务处理实体处理所述待处理任务。
16.如权利要求9-15任一项所述的装置,其特征在于,
所述接收单元,还用于接收至少一个第二任务处理实体的实体信息;
所述处理单元,还用于从所述至少一个第二任务处理实体的实体信息中获取状态为闲状态的n个第二任务处理实体的实体信息,n为大于或等于1的整数;根据所述n个第二任务处理实体中的每个第二任务处理实体的实体信息,通过预测模型确定状态即将变为忙状态的第二任务处理实体;从所述n个第二任务处理实体的实体信息中去除即将变为忙状态的第二任务处理实体的实体信息,将剩下的第二任务处理实体的实体信息构成实体状态信息表。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910465639.XA CN112019581B (zh) | 2019-05-30 | 2019-05-30 | 一种调度任务处理实体的方法及装置 |
PCT/CN2020/092718 WO2020238989A1 (zh) | 2019-05-30 | 2020-05-27 | 一种调度任务处理实体的方法及装置 |
US17/538,617 US20220083375A1 (en) | 2019-05-30 | 2021-11-30 | Method and apparatus for scheduling task processing entity |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910465639.XA CN112019581B (zh) | 2019-05-30 | 2019-05-30 | 一种调度任务处理实体的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112019581A true CN112019581A (zh) | 2020-12-01 |
CN112019581B CN112019581B (zh) | 2022-02-25 |
Family
ID=73500964
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910465639.XA Active CN112019581B (zh) | 2019-05-30 | 2019-05-30 | 一种调度任务处理实体的方法及装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220083375A1 (zh) |
CN (1) | CN112019581B (zh) |
WO (1) | WO2020238989A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112422633B (zh) * | 2020-10-27 | 2023-09-08 | 京东方科技集团股份有限公司 | 用户请求响应方法、装置、计算机可读存储介质及设备 |
US11909818B2 (en) * | 2021-11-19 | 2024-02-20 | Avaya Management L.P. | Reaching a quorum with a number of master nodes |
CN115379019A (zh) * | 2022-08-19 | 2022-11-22 | 济南浪潮数据技术有限公司 | 一种服务调度方法、装置、设备及存储介质 |
CN115391018A (zh) * | 2022-09-30 | 2022-11-25 | 中国建设银行股份有限公司 | 任务调度方法、装置和设备 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101488977A (zh) * | 2009-03-09 | 2009-07-22 | 杭州华三通信技术有限公司 | 多点处理资源的调度方法及多点控制单元 |
CN101741912A (zh) * | 2009-12-30 | 2010-06-16 | 中兴通讯股份有限公司 | 一种处理计算任务的方法、网络设备及分布式网络系统 |
CN102469126A (zh) * | 2010-11-10 | 2012-05-23 | 中国移动通信集团公司 | 一种应用调度系统、方法和相关装置 |
CN103458052A (zh) * | 2013-09-16 | 2013-12-18 | 北京搜狐新媒体信息技术有限公司 | 一种基于IaaS云平台的资源调度方法和装置 |
CN103560943A (zh) * | 2013-10-31 | 2014-02-05 | 北京邮电大学 | 支持海量数据实时处理的网络分析系统和方法 |
CN104901989A (zh) * | 2014-03-07 | 2015-09-09 | 中国科学院声学研究所 | 一种现场服务提供系统及方法 |
CN105868222A (zh) * | 2015-09-17 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 一种任务调度方法及装置 |
CN106777371A (zh) * | 2017-01-23 | 2017-05-31 | 北京齐尔布莱特科技有限公司 | 日志收集系统和方法 |
CN106878356A (zh) * | 2015-12-11 | 2017-06-20 | 中国移动通信集团公司 | 一种调度方法及计算节点 |
WO2017162075A1 (zh) * | 2016-03-25 | 2017-09-28 | 阿里巴巴集团控股有限公司 | 任务调度方法和装置 |
US9870269B1 (en) * | 2013-09-05 | 2018-01-16 | Amazon Technologies, Inc. | Job allocation in a clustered environment |
CN107807815A (zh) * | 2017-10-19 | 2018-03-16 | 北京京东尚科信息技术有限公司 | 分布式处理任务的方法和装置 |
CN107832204A (zh) * | 2017-11-29 | 2018-03-23 | 郑州云海信息技术有限公司 | 一种基于mdc的服务器cpu能耗预测方法 |
CN108206768A (zh) * | 2016-12-20 | 2018-06-26 | 阿里巴巴集团控股有限公司 | 集群监测和切换方法及装置 |
-
2019
- 2019-05-30 CN CN201910465639.XA patent/CN112019581B/zh active Active
-
2020
- 2020-05-27 WO PCT/CN2020/092718 patent/WO2020238989A1/zh active Application Filing
-
2021
- 2021-11-30 US US17/538,617 patent/US20220083375A1/en active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101488977A (zh) * | 2009-03-09 | 2009-07-22 | 杭州华三通信技术有限公司 | 多点处理资源的调度方法及多点控制单元 |
CN101741912A (zh) * | 2009-12-30 | 2010-06-16 | 中兴通讯股份有限公司 | 一种处理计算任务的方法、网络设备及分布式网络系统 |
CN102469126A (zh) * | 2010-11-10 | 2012-05-23 | 中国移动通信集团公司 | 一种应用调度系统、方法和相关装置 |
US9870269B1 (en) * | 2013-09-05 | 2018-01-16 | Amazon Technologies, Inc. | Job allocation in a clustered environment |
CN103458052A (zh) * | 2013-09-16 | 2013-12-18 | 北京搜狐新媒体信息技术有限公司 | 一种基于IaaS云平台的资源调度方法和装置 |
CN103560943A (zh) * | 2013-10-31 | 2014-02-05 | 北京邮电大学 | 支持海量数据实时处理的网络分析系统和方法 |
CN104901989A (zh) * | 2014-03-07 | 2015-09-09 | 中国科学院声学研究所 | 一种现场服务提供系统及方法 |
CN105868222A (zh) * | 2015-09-17 | 2016-08-17 | 乐视网信息技术(北京)股份有限公司 | 一种任务调度方法及装置 |
CN106878356A (zh) * | 2015-12-11 | 2017-06-20 | 中国移动通信集团公司 | 一种调度方法及计算节点 |
WO2017162075A1 (zh) * | 2016-03-25 | 2017-09-28 | 阿里巴巴集团控股有限公司 | 任务调度方法和装置 |
CN108206768A (zh) * | 2016-12-20 | 2018-06-26 | 阿里巴巴集团控股有限公司 | 集群监测和切换方法及装置 |
CN106777371A (zh) * | 2017-01-23 | 2017-05-31 | 北京齐尔布莱特科技有限公司 | 日志收集系统和方法 |
CN107807815A (zh) * | 2017-10-19 | 2018-03-16 | 北京京东尚科信息技术有限公司 | 分布式处理任务的方法和装置 |
CN107832204A (zh) * | 2017-11-29 | 2018-03-23 | 郑州云海信息技术有限公司 | 一种基于mdc的服务器cpu能耗预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112019581B (zh) | 2022-02-25 |
WO2020238989A1 (zh) | 2020-12-03 |
US20220083375A1 (en) | 2022-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112019581B (zh) | 一种调度任务处理实体的方法及装置 | |
US11068307B2 (en) | Computing node job assignment using multiple schedulers | |
EP3907609A1 (en) | Improved quantum ant colony algorithm-based spark platform task scheduling method | |
US8434085B2 (en) | Scalable scheduling of tasks in heterogeneous systems | |
CN110896404B (zh) | 数据处理的方法、装置和计算节点 | |
CN106302632B (zh) | 一种基础镜像的下载方法以及管理节点 | |
WO2021238796A1 (zh) | 下载任务异步处理方法、装置、系统和存储介质 | |
CN106815080B (zh) | 分布式图数据处理方法和装置 | |
CN111338787B (zh) | 一种数据处理方法及装置、存储介质、电子装置 | |
EP0676693B1 (en) | Method and system for dynamically selecting a communication mode | |
Machida et al. | Performability analysis of adaptive drone computation offloading with fog computing | |
CA2631255A1 (en) | Scalable scheduling of tasks in heterogeneous systems | |
CN111355751A (zh) | 任务调度方法及装置 | |
CN115334010A (zh) | 查询信息的处理方法和装置、存储介质及电子装置 | |
CN115729961A (zh) | 数据查询方法、装置、设备和计算机可读存储介质 | |
CN113965563B (zh) | 基于模型的业务处理方法及装置、服务器 | |
CN113434271A (zh) | 任务执行方法及装置、存储介质、电子装置 | |
CN113760494A (zh) | 任务调度方法和装置 | |
CN114546631A (zh) | 任务调度方法、控制方法、核心、电子设备、可读介质 | |
CN111309467A (zh) | 任务分发方法及装置、电子设备及存储介质 | |
CN112308354A (zh) | 系统过负荷控制方法及装置 | |
JPH0855091A (ja) | 分散処理システムおよび分散処理システムにおける負荷分散方法 | |
CN113204434B (zh) | 基于k8s的计划任务执行方法、装置及计算机设备 | |
JPH09146883A (ja) | トランザクション処理タスク数制御方式 | |
JPH11195007A (ja) | 分散処理システム及び分散処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |