CN111381956B - 一种任务处理的方法、装置及云分析系统 - Google Patents
一种任务处理的方法、装置及云分析系统 Download PDFInfo
- Publication number
- CN111381956B CN111381956B CN201811628664.7A CN201811628664A CN111381956B CN 111381956 B CN111381956 B CN 111381956B CN 201811628664 A CN201811628664 A CN 201811628664A CN 111381956 B CN111381956 B CN 111381956B
- Authority
- CN
- China
- Prior art keywords
- target
- task
- analysis
- analysis chip
- chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 417
- 238000003672 processing method Methods 0.000 title abstract description 4
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000002159 abnormal effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请提供一种任务处理的方法、装置及云分析系统,所述云分析系统包括任务调度节点以及至少一个计算节点,当所述方法应用于任务调度节点时,所述方法包括:接收待进行任务分析的目标任务;依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片;将所述目标任务发送至所述目标分析芯片所处的计算节点,以由该计算节点将所述目标任务下发至所述目标分析芯片进行处理。本申请保障了云分析系统中的各分析芯片的处理任务达到负载均衡,保证了系统能够稳定的运行,避免出现任务堆积在某一个分析芯片上导致出现单个芯片寿命异常的问题。
Description
技术领域
本申请涉及云分析技术领域,尤其涉及一种任务处理的方法、装置及云分析系统。
背景技术
云分析系统用于接收作业任务(图片任务或者视频任务),对该任务进行目标分析,最后输出目标属性等,并对整个分析资源进行管理和调度。当前云分析系统中一般包括任务调度节点和计算节点。其中,一个计算节点可以包括多张显卡,而每一块显卡可同时支持多路视频(或图片)任务进行分析。
当用户向任务调度节点请求任务分析时,在相关技术中,任务调度节点会根据计算节点的空闲资源数,将任务下发给特定的显卡进行任务分析。而资源总数和空闲资源数是由显卡支持的分析路数决定的。例如:一个计算节点有8张显卡,每一张显卡可同时进行10路视频或图片任务分析,任务调度节点就会得到80个资源。目前用户向云分析系统请求多个任务进行分析时,任务调度节点根据空闲资源数,随机将任务下发到不同的显卡进行分析。这样会存在以下问题:
1)当下发的任务没有跑满整个资源时,实际在底层的显卡分析的任务不是负载均衡的。例如,以上述例子为例:任务调度节点发现有80路资源,用户提交20路视频资源进行分析,这时候可能出现前两张显卡资源占满,其余6张显卡是空闲的,使得前两张显卡负载过高,其余显卡负载低,显卡资源没有充分利用起来。
2)长期负载不稳定,可能出现显卡寿命短等异常问题,例如某些显卡长时间进行任务分析,其余显卡较为空闲,这样会对部分显卡寿命造成影响,加速部分显卡的老化。
发明内容
有鉴于此,本申请提供一种任务处理的方法、装置及云分析系统。
具体地,本申请是通过如下技术方案实现的:
第一方面,本申请提供了一种任务处理的方法,所述方法应用于云分析系统的任务调度节点中,所述云分析系统还包括至少一个计算节点,所述方法包括:
接收待进行任务分析的目标任务;
依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片;
将所述目标任务发送至所述目标分析芯片所处的计算节点,以由该计算节点将所述目标任务下发至所述目标分析芯片进行处理。
优选地,所述将所述目标任务发送至所述目标分析芯片所处的计算节点之后,还包括:
接收所述计算节点在接收到所述目标任务后上报的所述目标分析芯片更新后的优先级;
将已记录的所述目标分析芯片的优先级更新为接收的所述优先级。
优选地,所述依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片,包括:
选择优先级最高的分析芯片作为目标分析芯片;
若选择的分析芯片的数量大于1,则从选择的所有分析芯片中随机选取一个作为目标分析芯片。
优选地,所述将所述目标任务发送至所述目标分析芯片所处的计算节点,包括:
根据所述目标分析芯片的标识以及所述目标任务生成任务分析消息;
将所述任务分析消息发送至所述目标分析芯片所处的计算节点。
优选地,在所述依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片之前,还包括:
接收各计算节点周期性发送的该计算节点集成的一个或多个分析芯片的芯片信息,其中,所述芯片信息包括所述分析芯片的优先级。
第二方面,本申请提供了一种任务处理的方法,所述方法应用于云分析系统的计算节点中,所述云分析系统还包括任务调度节点,所述方法包括:
接收所述任务调度节点发送的目标任务,其中,所述目标任务携带目标分析芯片的标识,所述目标分析芯片由所述任务调度节点根据已获取的所有分析芯片的优先级确定;
将所述目标任务下发至所述目标分析芯片的标识对应的目标分析芯片,以由所述目标分析芯片对所述目标任务进行任务分析处理。
优选地,在所述将所述目标任务下发至所述目标分析芯片的标识对应的目标分析芯片之后,还包括:
对所述目标分析芯片的优先级进行更新;
将所述目标分析芯片更新后的优先级发送至所述任务调度节点中,以由所述任务调度节点将已记录的所述目标分析芯片的优先级更新为所述更新后的优先级。
优选地,所述对所述目标分析芯片的优先级进行更新,包括:
在将所述目标任务下发至所述目标分析芯片以后,降低所述目标分析芯片的优先级。
优选地,所述对所述目标分析芯片的优先级进行更新,还包括:
当检测到所述目标分析芯片对所述目标任务处理完成以后,提升所述目标分析芯片的优先级。
优选地,所述方法还包括:
周期性获取本节点集成的一个或多个分析芯片的芯片信息,所述芯片信息包括所述分析芯片最新的优先级;
将所述芯片信息发送至所述任务调度节点中。
第三方面,本申请提供了一种任务处理的装置,所述装置应用于云分析系统的任务调度节点中,所述云分析系统还包括至少一个计算节点,所述装置包括:
第一目标任务接收模块,用于接收待进行任务分析的目标任务;
目标分析芯片确定模块,用于依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片;
目标任务发送模块,用于将所述目标任务发送至所述目标分析芯片所处的计算节点,以由该计算节点将所述目标任务下发至所述目标分析芯片进行处理。
第四方面,本申请提供了一种任务处理的装置,所述装置应用于云分析系统的计算节点中,所述云分析系统还包括任务调度节点,所述装置包括:
第二目标任务接收模块,用于接收所述任务调度节点发送的目标任务,其中,所述目标任务携带目标分析芯片的标识,所述目标分析芯片由所述任务调度节点根据已获取的所有分析芯片的优先级确定;
目标任务下发模块,用于将所述目标任务下发至所述目标分析芯片的标识对应的目标分析芯片,以由所述目标分析芯片对所述目标任务进行任务分析处理。
第五方面,本申请提供了一种云分析系统,所述云分析系统包括任务调度节点以及至少一个计算节点;
所述任务调度节点包括:
第一目标任务接收模块,用于接收待进行任务分析的目标任务;
目标分析芯片确定模块,用于依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片;
目标任务发送模块,用于将所述目标任务发送至所述目标分析芯片所处的计算节点,以由该计算节点将所述目标任务下发至所述目标分析芯片进行处理;
所述计算节点包括:
第二目标任务接收模块,用于接收所述任务调度节点发送的目标任务,其中,所述目标任务携带目标分析芯片的标识,所述目标分析芯片由所述任务调度节点根据已获取的所有分析芯片的优先级确定;
目标任务下发模块,用于将所述目标任务下发至所述目标分析芯片的标识对应的目标分析芯片,以由所述目标分析芯片对所述目标任务进行任务分析处理。
本申请实施例提供的技术方案可以包括以下有益效果:
在本申请实施例中,任务调度节点在选取用于执行任务分析的目标分析芯片时可以根据接收的各分析芯片的优先级进行选取,使得分析任务能够均衡分配到每一个分析芯片中,保障了云分析系统中的各分析芯片的处理任务达到负载均衡,保证了系统能够稳定的运行,避免出现任务堆积在某一个分析芯片上导致出现单个芯片寿命异常的问题。
附图说明
图1是本申请一示例性实施例示出的在任务调度节点中进行任务处理的方法实施例的步骤流程图;
图2是本申请一示例性实施例示出的云分析系统的架构图;
图3是本申请一示例性实施例示出的在计算节点中进行任务处理的方法实施例的步骤流程图;
图4是本申请的装置所在设备的一种硬件结构图;
图5是本申请一示例性实施例示出的应用在任务调度节点中的任务处理装置实施例的结构框图;
图6是本申请一示例性实施例示出的应用在计算节点中的任务处理装置实施例的结构框图;
图7是本申请一示例性实施例示出的一种云分析系统实施例的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
参考图1,示出了本申请一示例性实施例示出的一种任务处理的方法实施例的步骤流程图,本申请实施例应用于云分析系统的任务调度节点中。其中,云分析系统负责接收作业任务(图片任务或者视频任务等),对该作业任务进行目标分析,最后输出目标属性等,并对整个分析资源进行管理和调度。云分析系统对外通过虚拟IP方式提供唯一入口,用户不需要关心有几个中心节点,只需要调用固定不变的接口向云分析系统提交待进行分析的作业任务。
如图2的云分析系统的架构图所示,云分析系统可以包括任务调度节点以及计算节点,任务调度节点通过对外提供的WebServices协议接收第三方发送的任务配置信息(计划任务、临时任务),以确定需要分析的视频或者图片任务,并按照一定的策略将其下发给特定的计算节点进行分析,并管理计算节点的相关任务状态和信息等。而计算节点是对视频或者图片等作业任务进行分析的单元,其分析数据由任务调度节点下发。
如图2所示,每个计算节点中可以包括多个分析芯片,计算节点获取到任务后会下派任务到分析芯片,真正的任务执行由分析芯片内部完成。其中,每个分析芯片可同时支持多路视频(或图片)作业任务进行分析。作为一种示例,分析芯片可以包括CPU(CentralProcessing Unit,中央处理器)、GPU(Graphics Processing Unit,图形处理器)、显卡等,例如,分析芯片可以包括P4显卡,P4显卡是一款用于推理分析的高性能GPU显卡,专为人工智能、深度学习、神经网络推演而生。
本申请实施例从任务调度节点侧进行说明,具体可以包括如下步骤:
步骤101,接收待进行任务分析的目标任务;
任务调度节点可以接收来自第三方的目标任务,其中,该目标任务可以包括视频或图片等分析任务。
步骤102,依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片;
当任务调度节点接收到目标任务以后,可以根据已获取的各个计算节点的分析芯片的信息,确定用于进行任务分析的目标分析芯片。在本申请实施例中,任务调度节点可以根据已获取的各分析芯片的优先级确定目标分析芯片。
在本申请实施例的一种优选实施例中,任务调度节点可以采用如下方式获取各分析芯片的优先级:
接收各计算节点周期性发送的该计算节点集成的一个或多个分析芯片的芯片信息,其中,所述芯片信息包括所述分析芯片的优先级。
具体的,任务调度节点通过计算节点获取其内集成的分析芯片最新的芯片信息,作为一种示例,芯片信息可以包括分析芯片标识以及优先级。本申请实施例可以为每个分析芯片设置优先级,以便于后续的任务调度。其中,每个分析芯片的初始优先级都是相同的,后续可以根据各个分析芯片处理的作业任务的情况降低或者提高该分析芯片对应的优先级。
除了优先级以外,芯片信息还可以包括每个分析芯片的空闲资源数,即每个分析芯片空闲的可分析路数。
在具体实现中,计算节点与任务调度节点的可以通过心跳来维护两者的连接关系,计算节点可以按照一定的时间间隔向任务调度节点发送心跳包,该心跳包中就可以包括计算节点内集成的分析芯片的芯片信息。
任务调度节点接收到各计算节点发送的其内集成的分析芯片的芯片信息以后,可以汇总接收到的各分析芯片的芯片信息,以从接收到的各分析芯片中按照优先级确定目标分析芯片。
在一种实施例中,为了确保任务调度节点获取的各分析芯片的芯片信息为最新的芯片信息,则任务调度节点在接收到目标任务以后,在进行任务调度之前,可以首先生成芯片信息获取请求,并将该芯片信息获取请求发送至各个与任务调度节点相连的计算节点中。各个计算节点接收到芯片信息获取请求以后,则可以获取本节点集成的各分析芯片实时的芯片信息,并将该芯片信息发送至任务调度节点。
在本申请实施例的一种优选实施例中,步骤102进一步可以包括如下子步骤:
选择优先级最高的分析芯片作为目标分析芯片;若选择的分析芯片的数量大于1,则从选择的所有分析芯片中随机选取一个作为目标分析芯片。
在实现时,当任务调度节点接收到各个连接的计算节点发送的芯片信息以后,可以按照各分析芯片的优先级对分析芯片进行排序,并选择优先级最高的分析芯片作为目标分析芯片。
在实际中,优先级最高的分析芯片的数量可能会超过一个,此时,可以随机选择一个优先级最高的分析芯片作为目标分析芯片。
本申请实施例中,任务调度节点按照分析芯片的优先级来选取目标分析芯片,使得优先级高的分析芯片可以优先获得作业任务,保障了云分析系统中的各个分析芯片的负载均衡。
步骤103,将所述目标任务发送至所述目标分析芯片所处的计算节点,以由该计算节点将所述目标任务下发至所述目标分析芯片进行处理。
当确定目标分析芯片以后,任务调度节点则可以通过该目标分析芯片所处的计算节点向该目标分析芯片下发目标任务。
在本申请实施例的一种优选实施例中,步骤103可以包括如下子步骤:
根据所述目标分析芯片的标识以及所述目标任务生成任务分析消息;将所述任务分析消息发送至所述目标分析芯片所处的计算节点。
具体的,任务调度节点可以先确定目标分析芯片对应的计算节点,然后向目标分析芯片对应的计算节点发送任务分析消息,作为一种示例,任务分析消息可以包括目标分析芯片的标识以及目标任务。当该计算节点接收到任务分析消息以后,可以将该目标任务下派至对应的目标分析芯片,以由该目标分析芯片对该目标任务进行任务分析。
在本申请实施例的一种优选实施例中,还可以包括如下步骤:
接收所述计算节点在接收到所述目标任务后上报的所述目标分析芯片更新后的优先级;将已记录的所述目标分析芯片的优先级更新为接收的所述优先级。
在本实施例中,计算节点在向目标分析芯片下派目标任务以后,可以更新目标分析芯片的优先级,例如将目标分析芯片的优先级降低一级,然后将目标分析芯片更新后的优先级发送至任务调度节点,任务调度节点根据该更新后的优先级,对本地记录的目标分析芯片的优先级进行更新,以将目标分析芯片的优先级更新为该接收的更新后的优先级。
需要说明的是,计算节点对目标分析芯片的优先级进行更新以后,也可以不实时将该更新后的优先级发送至任务调度节点,而是在下次心跳包中获取目标分析芯片最新的优先级发送至任务调度节点,本申请实施例对此不作限制。
在本申请实施例中,任务调度节点在选取用于执行任务分析的目标分析芯片时可以根据接收的各分析芯片的优先级进行选取,使得分析任务能够均衡分配到每一个分析芯片中,保障了云分析系统中的各分析芯片的处理任务达到负载均衡,保证了系统能够稳定的运行,避免出现任务堆积在某一个分析芯片上导致出现单个芯片寿命异常的问题。
参考图3,示出了本申请另一示例性实施例示出的一种任务处理的方法实施例的步骤流程图,本申请实施例从计算节点侧进行说明,具体可以包括如下步骤:
步骤301,接收所述任务调度节点发送的目标任务;
其中,目标任务携带目标分析芯片的标识。
在本实施例中,目标分析芯片由任务调度节点根据其已获取的所有分析芯片的优先级确定,而分析芯片的优先级通过该分析芯片所处的计算节点发送至任务调度节点。
在一种实施方式中,计算节点通过如下方式向任务调度节点发送其所集成的各分析芯片的优先级:
周期性获取本节点集成的一个或多个分析芯片的芯片信息;将所述芯片信息发送至所述任务调度节点中。
作为一种示例,芯片信息可以包括分析芯片的标识以及最新的优先级。本申请实施例可以为每个分析芯片设置优先级,以便于后续的任务调度。其中,每个分析芯片的初始优先级都是相同的,后续可以根据各分析芯片处理的作业任务的情况降低或者提高该分析芯片对应的优先级。
除了优先级以外,芯片信息还可以包括每个分析芯片的空闲资源数,即每个分析芯片空闲的可分析路数。
在具体实现中,任务调度节点与计算节点可以通过心跳来维护两者的连接关系,计算节点可以周期性地向任务调度节点发送心跳包,该心跳包中可以包括本计算节点内集成的各分析芯片最新的芯片信息。
除了上述周期性地向任务调度节点发送芯片信息以外,在其他实施例中,计算节点还可以在接收到任务调度节点发送的信息获取请求后,获取本节点集成的各分析芯片最新的芯片信息并发送至任务调度节点,从而保证任务调度节点进行任务调度时依据的芯片信息是最新的芯片信息。
步骤302,将所述目标任务下发至所述目标分析芯片的标识对应的目标分析芯片,以由所述目标分析芯片对所述目标任务进行任务分析处理。
当计算节点接收到目标任务以后,可以将该目标任务下发至对应的目标分析芯片中,以由该目标分析芯片对该目标任务进行任务分析。
在本申请实施例的一种优选实施例中,在步骤302之后,还可以包括如下步骤:
对所述目标分析芯片的优先级进行更新;将所述目标分析芯片更新后的优先级发送至所述任务调度节点中,以由所述任务调度节点将已记录的所述目标分析芯片的优先级更新为所述更新后的优先级。
在一种实施方式中,上述对目标分析芯片的优先级进行更新的步骤,进一步包括:
在将所述目标任务下发至所述目标分析芯片以后,降低所述目标分析芯片的优先级。
在实现时,计算节点在将目标任务下发至目标分析芯片以后,可以按照预设的升降级规则降低目标分析芯片的优先级。例如,目标分析芯片的优先级为100,当计算节点将目标任务下发至该目标分析芯片以后,可以将对应的优先级更新为90(假设预先规定的升降级规则为处理一个作业任务,降级10分)。
在一种实施方式中,上述对目标分析芯片的优先级进行更新的步骤,还可以包括如下步骤:
当检测到所述目标分析芯片对所述目标任务处理完成以后,提升所述目标分析芯片的优先级。
在具体实现中,当计算节点检测到目标分析芯片对目标任务处理完成以后,还可以提升目标分析芯片的优先级,例如,在上例中,将目标分析芯片的优先级由90提升为100。
当计算节点对目标分析芯片的优先级进行更新后,可以将目标分析芯片更新后的优先级发送至任务调度节点中,任务调度节点接收到更新后的优先级时,可以将已记录的该目标分析芯片的优先级更新为接收的该更新后的优先级。
需要说明的是,计算节点对目标分析芯片的优先级进行更新以后,也可以不实时将该更新后的优先级发送至任务调度节点,而是在下次心跳包中获取目标分析芯片最新的优先级发送至任务调度节点,本申请实施例对此不作限制。
在实际中,计算节点除了对目标分析芯片的优先级进行更新以外,还可以更新目标分析芯片的空闲资源数。具体的,在将目标任务下发至目标分析芯片以后,减少目标分析芯片的空闲资源数;当检测到目标分析芯片对目标任务处理完成以后,增加目标分析芯片的空闲资源数。例如,假设目标分析芯片的空闲资源数为10,当计算节点将目标任务下发至该目标分析芯片以后,可以将对应的空闲资源数更新为9,当目标任务处理完成以后,将该空闲资源数由9更新为10。
在本申请实施例中,计算节点接收到目标任务以后,根据该目标任务携带的目标分析芯片的标识,将该目标任务下发至对应的目标分析芯片中处理,从而实现将分析任务分配至优先级最高的目标分析芯片中处理,保障了云分析系统中的各个分析芯片的处理任务达到负载均衡。
与前述方法的实施例相对应,本申请还提供了任务处理装置的实施例。
本申请的装置实施例可以应用在服务器中。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在服务器的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图4所示,为本申请的装置所在设备的一种硬件结构图,除了图4所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的设备通常根据该装置的实际功能,还可以包括其他硬件,对此不再赘述。
请参考图5,示出了本申请一示例性实施例示出的一种任务处理装置实施例的结构框图,所述装置应用于云分析系统的任务调度节点中,所述云分析系统还包括至少一个计算节点。
本申请实施例具体可以包括如下模块:
第一目标任务接收模块501,用于接收待进行任务分析的目标任务;
目标分析芯片确定模块502,用于依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片;
目标任务发送模块503,用于将所述目标任务发送至所述目标分析芯片所处的计算节点,以由该计算节点将所述目标任务下发至所述目标分析芯片进行处理。
在本申请实施例的一种优选实施例中,所述装置还包括:
更新信息接收模块,用于接收所述计算节点在接收到所述目标任务后上报的所述目标分析芯片更新后的优先级;
优先级更新模块,用于将已记录的所述目标分析芯片的优先级更新为接收的所述优先级。
在本申请实施例的一种优选实施例中,所述目标分析芯片确定模块502具体用于:
选择优先级最高的分析芯片作为目标分析芯片;
若选择的分析芯片的数量大于1,则从选择的所有分析芯片中随机选取一个作为目标分析芯片。
在本申请实施例的一种优选实施例中,所述目标任务发送模块503具体用于:
根据所述目标分析芯片的标识以及所述目标任务生成任务分析消息;
将所述任务分析消息发送至所述目标分析芯片所处的计算节点。
在本申请实施例的一种优选实施例中,所述装置还包括:
芯片信息接收模块,用于接收各计算节点周期性发送的该计算节点集成的一个或多个分析芯片的芯片信息,其中,所述芯片信息包括所述分析芯片的优先级。
请参考图6,示出了本申请另一示例性实施例示出的一种任务处理装置实施例的结构框图,所述装置应用于云分析系统的计算节点中,所述云分析系统还包括任务调度节点;
所述装置具体可以包括如下模块:
第二目标任务接收模块601,用于接收所述任务调度节点发送的目标任务,其中,所述目标任务携带目标分析芯片的标识,所述目标分析芯片由所述任务调度节点根据已获取的所有分析芯片的优先级确定;
目标任务下发模块602,用于将所述目标任务下发至所述目标分析芯片的标识对应的目标分析芯片,以由所述目标分析芯片对所述目标任务进行任务分析处理。
在本申请实施例的一种优选实施例中,所述装置还包括:
优先级更新模块,用于对所述目标分析芯片的优先级进行更新;
优先级发送模块,用于将所述目标分析芯片更新后的优先级发送至所述任务调度节点中,以由所述任务调度节点将已记录的所述目标分析芯片的优先级更新为所述更新后的优先级。
在本申请实施例的一种优选实施例中,所述优先级更新模块包括:
降级子模块,用于在将所述目标任务下发至所述目标分析芯片以后,降低所述目标分析芯片的优先级。
在本申请实施例的一种优选实施例中,所述优先级更新模块还包括:
升级子模块,用于当检测到所述目标分析芯片对所述目标任务处理完成以后,提升所述目标分析芯片的优先级。
在本申请实施例的一种优选实施例中,所述装置还包括:
芯片信息获取模块,用于周期性获取本节点集成的一个或多个分析芯片的芯片信息,所述芯片信息包括所述分析芯片最新的优先级;
芯片信息发送模块,用于将所述芯片信息发送至所述任务调度节点中。
请参考图7,示出了本申请一示例性实施例示出的一种云分析系统实施例的结构框图,所述云分析系统可以包括任务调度节点50以及至少一个计算节点60;
所述任务调度节点50包括:
第一目标任务接收模块501,用于接收待进行任务分析的目标任务;
目标分析芯片确定模块502,用于依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片;
目标任务发送模块503,用于将所述目标任务发送至所述目标分析芯片所处的计算节点,以由该计算节点将所述目标任务下发至所述目标分析芯片进行处理;
所述计算节点60包括:
第二目标任务接收模块601,用于接收所述任务调度节点发送的目标任务,其中,所述目标任务携带目标分析芯片的标识,所述目标分析芯片由所述任务调度节点根据已获取的所有分析芯片的优先级确定;
目标任务下发模块602,用于将所述目标任务下发至所述目标分析芯片的标识对应的目标分析芯片,以由所述目标分析芯片对所述目标任务进行任务分析处理。
对于装置及系统实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述方法实施例的步骤。
本申请实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法实施例的步骤。
本说明书中描述的主题及功能操作的实施例可以在以下中实现:数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序,即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地,程序指令可以被编码在人工生成的传播信号上,例如机器生成的电、光或电磁信号,该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行,以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行,并且装置也可以实现为专用逻辑电路。
适合用于执行计算机程序的计算机包括,例如通用和/或专用微处理器,或任何其他类型的中央处理单元。通常,中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常,计算机还将包括用于存储数据的一个或多个大容量存储设备,例如磁盘、磁光盘或光盘等,或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据,抑或两种情况兼而有之。然而,计算机不是必须具有这样的设备。此外,计算机可以嵌入在另一设备中,例如车载终端、移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备,仅举几例。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备,例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
虽然本说明书包含许多具体实施细节,但是这些不应被解释为限制任何发明的范围或所要求保护的范围,而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面,在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外,虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护,但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除,并且所要求保护的组合可以指向子组合或子组合的变型。
类似地,虽然在附图中以特定顺序描绘了操作,但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行,以实现期望的结果。在某些情况下,多任务和并行处理可能是有利的。此外,上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离,并且应当理解,所描述的程序组件和系统通常可以一起集成在单个软件产品中,或者封装成多个软件产品。
由此,主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下,权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外,附图中描绘的处理并非必需所示的特定顺序或顺次顺序,以实现期望的结果。在某些实现中,多任务和并行处理可能是有利的。
以上所述仅为本申请的较佳实施例而已,并不用以限制本申请,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本申请保护的范围之内。
Claims (11)
1.一种任务处理的方法,其特征在于,所述方法应用于云分析系统的任务调度节点中,所述云分析系统还包括至少一个计算节点,每个计算节点包括多个分析芯片,所述方法包括:
接收待进行任务分析的目标任务;
依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片;
将所述目标任务发送至所述目标分析芯片所处的计算节点,以由该计算节点将所述目标任务下发至所述目标分析芯片进行处理;
接收所述计算节点在接收到所述目标任务后上报的所述目标分析芯片更新后的优先级;
将已记录的所述目标分析芯片的优先级更新为接收的所述优先级。
2.根据权利要求1所述的方法,其特征在于,所述依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片,包括:
选择优先级最高的分析芯片作为目标分析芯片;
若选择的分析芯片的数量大于1,则从选择的所有分析芯片中随机选取一个作为目标分析芯片。
3.根据权利要求1所述的方法,其特征在于,所述将所述目标任务发送至所述目标分析芯片所处的计算节点,包括:
根据所述目标分析芯片的标识以及所述目标任务生成任务分析消息;
将所述任务分析消息发送至所述目标分析芯片所处的计算节点。
4.根据权利要求1所述的方法,其特征在于,在所述依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片之前,还包括:
接收各计算节点周期性发送的该计算节点集成的一个或多个分析芯片的芯片信息,其中,所述芯片信息包括所述分析芯片的优先级。
5.一种任务处理的方法,其特征在于,所述方法应用于云分析系统的计算节点中,所述云分析系统还包括任务调度节点,每个计算节点包括多个分析芯片,所述方法包括:
接收所述任务调度节点发送的目标任务,其中,所述目标任务携带目标分析芯片的标识,所述目标分析芯片由所述任务调度节点根据已获取的所有分析芯片的优先级确定;
将所述目标任务下发至所述目标分析芯片的标识对应的目标分析芯片,以由所述目标分析芯片对所述目标任务进行任务分析处理;
对所述目标分析芯片的优先级进行更新;
将所述目标分析芯片更新后的优先级发送至所述任务调度节点中,以由所述任务调度节点将已记录的所述目标分析芯片的优先级更新为所述更新后的优先级。
6.根据权利要求5所述的方法,其特征在于,所述对所述目标分析芯片的优先级进行更新,包括:
在将所述目标任务下发至所述目标分析芯片以后,降低所述目标分析芯片的优先级。
7.根据权利要求6所述的方法,其特征在于,所述对所述目标分析芯片的优先级进行更新,还包括:
当检测到所述目标分析芯片对所述目标任务处理完成以后,提升所述目标分析芯片的优先级。
8.根据权利要求5-7任一项所述的方法,其特征在于,还包括:
周期性获取本节点集成的一个或多个分析芯片的芯片信息,所述芯片信息包括所述分析芯片最新的优先级;
将所述芯片信息发送至所述任务调度节点中。
9.一种任务处理的装置,其特征在于,所述装置应用于云分析系统的任务调度节点中,所述云分析系统还包括至少一个计算节点,每个计算节点包括多个分析芯片,所述装置包括:
第一目标任务接收模块,用于接收待进行任务分析的目标任务;
目标分析芯片确定模块,用于依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片;
目标任务发送模块,用于将所述目标任务发送至所述目标分析芯片所处的计算节点,以由该计算节点将所述目标任务下发至所述目标分析芯片进行处理;接收所述计算节点在接收到所述目标任务后上报的所述目标分析芯片更新后的优先级;将已记录的所述目标分析芯片的优先级更新为接收的所述优先级。
10.一种任务处理的装置,其特征在于,所述装置应用于云分析系统的计算节点中,所述云分析系统还包括任务调度节点,每个计算节点包括多个分析芯片,所述装置包括:
第二目标任务接收模块,用于接收所述任务调度节点发送的目标任务,其中,所述目标任务携带目标分析芯片的标识,所述目标分析芯片由所述任务调度节点根据已获取的所有分析芯片的优先级确定;
目标任务下发模块,用于将所述目标任务下发至所述目标分析芯片的标识对应的目标分析芯片,以由所述目标分析芯片对所述目标任务进行任务分析处理;对所述目标分析芯片的优先级进行更新;将所述目标分析芯片更新后的优先级发送至所述任务调度节点中,以由所述任务调度节点将已记录的所述目标分析芯片的优先级更新为所述更新后的优先级。
11.一种云分析系统,其特征在于,所述云分析系统包括任务调度节点以及至少一个计算节点,每个计算节点包括多个分析芯片;
所述任务调度节点包括:
第一目标任务接收模块,用于接收待进行任务分析的目标任务;
目标分析芯片确定模块,用于依据已获取的各计算节点中分析芯片的优先级确定用于执行所述目标任务的目标分析芯片;
目标任务发送模块,用于将所述目标任务发送至所述目标分析芯片所处的计算节点,以由该计算节点将所述目标任务下发至所述目标分析芯片进行处理,接收所述计算节点在接收到所述目标任务后上报的所述目标分析芯片更新后的优先级;将已记录的所述目标分析芯片的优先级更新为接收的所述优先级;
所述计算节点包括:
第二目标任务接收模块,用于接收所述任务调度节点发送的目标任务,其中,所述目标任务携带目标分析芯片的标识,所述目标分析芯片由所述任务调度节点根据已获取的所有分析芯片的优先级确定;
目标任务下发模块,用于将所述目标任务下发至所述目标分析芯片的标识对应的目标分析芯片,以由所述目标分析芯片对所述目标任务进行任务分析处理;对所述目标分析芯片的优先级进行更新;将所述目标分析芯片更新后的优先级发送至所述任务调度节点中,以由所述任务调度节点将已记录的所述目标分析芯片的优先级更新为所述更新后的优先级。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811628664.7A CN111381956B (zh) | 2018-12-28 | 2018-12-28 | 一种任务处理的方法、装置及云分析系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811628664.7A CN111381956B (zh) | 2018-12-28 | 2018-12-28 | 一种任务处理的方法、装置及云分析系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111381956A CN111381956A (zh) | 2020-07-07 |
CN111381956B true CN111381956B (zh) | 2024-02-27 |
Family
ID=71218119
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811628664.7A Active CN111381956B (zh) | 2018-12-28 | 2018-12-28 | 一种任务处理的方法、装置及云分析系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111381956B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103309738A (zh) * | 2013-05-31 | 2013-09-18 | 中国联合网络通信集团有限公司 | 用户作业调度方法及装置 |
CN106095572A (zh) * | 2016-06-08 | 2016-11-09 | 东方网力科技股份有限公司 | 一种大数据处理的分布式调度系统及方法 |
CN106528280A (zh) * | 2015-09-15 | 2017-03-22 | 阿里巴巴集团控股有限公司 | 一种任务分配方法和系统 |
CN106886503A (zh) * | 2017-02-08 | 2017-06-23 | 无锡十月中宸科技有限公司 | 异构系统、数据处理方法及装置 |
CN107247629A (zh) * | 2017-07-04 | 2017-10-13 | 北京百度网讯科技有限公司 | 云计算系统及用于控制服务器的云计算方法和装置 |
CN107256458A (zh) * | 2017-06-06 | 2017-10-17 | 华北电力大学(保定) | 一种多处理器片上系统的性能良品率优化方法和装置 |
CN108228349A (zh) * | 2017-12-26 | 2018-06-29 | 北京市商汤科技开发有限公司 | 用于处理任务的方法、系统和存储介质 |
CN108255589A (zh) * | 2017-08-29 | 2018-07-06 | 平安科技(深圳)有限公司 | 任务调度方法及服务器 |
CN108446176A (zh) * | 2018-02-07 | 2018-08-24 | 平安普惠企业管理有限公司 | 一种任务分配方法、计算机可读存储介质及终端设备 |
CN108563500A (zh) * | 2018-05-08 | 2018-09-21 | 深圳市零度智控科技有限公司 | 基于云平台的任务调度方法、云平台及计算机存储介质 |
CN108628674A (zh) * | 2018-05-11 | 2018-10-09 | 深圳市零度智控科技有限公司 | 基于云平台的任务调度方法、云平台及计算机存储介质 |
CN108769254A (zh) * | 2018-06-25 | 2018-11-06 | 星环信息科技(上海)有限公司 | 基于抢占式调度的资源共享使用方法、系统及设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10031782B2 (en) * | 2012-06-26 | 2018-07-24 | Juniper Networks, Inc. | Distributed processing of network device tasks |
-
2018
- 2018-12-28 CN CN201811628664.7A patent/CN111381956B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103309738A (zh) * | 2013-05-31 | 2013-09-18 | 中国联合网络通信集团有限公司 | 用户作业调度方法及装置 |
CN106528280A (zh) * | 2015-09-15 | 2017-03-22 | 阿里巴巴集团控股有限公司 | 一种任务分配方法和系统 |
CN106095572A (zh) * | 2016-06-08 | 2016-11-09 | 东方网力科技股份有限公司 | 一种大数据处理的分布式调度系统及方法 |
CN106886503A (zh) * | 2017-02-08 | 2017-06-23 | 无锡十月中宸科技有限公司 | 异构系统、数据处理方法及装置 |
CN107256458A (zh) * | 2017-06-06 | 2017-10-17 | 华北电力大学(保定) | 一种多处理器片上系统的性能良品率优化方法和装置 |
CN107247629A (zh) * | 2017-07-04 | 2017-10-13 | 北京百度网讯科技有限公司 | 云计算系统及用于控制服务器的云计算方法和装置 |
CN108255589A (zh) * | 2017-08-29 | 2018-07-06 | 平安科技(深圳)有限公司 | 任务调度方法及服务器 |
CN108228349A (zh) * | 2017-12-26 | 2018-06-29 | 北京市商汤科技开发有限公司 | 用于处理任务的方法、系统和存储介质 |
CN108446176A (zh) * | 2018-02-07 | 2018-08-24 | 平安普惠企业管理有限公司 | 一种任务分配方法、计算机可读存储介质及终端设备 |
CN108563500A (zh) * | 2018-05-08 | 2018-09-21 | 深圳市零度智控科技有限公司 | 基于云平台的任务调度方法、云平台及计算机存储介质 |
CN108628674A (zh) * | 2018-05-11 | 2018-10-09 | 深圳市零度智控科技有限公司 | 基于云平台的任务调度方法、云平台及计算机存储介质 |
CN108769254A (zh) * | 2018-06-25 | 2018-11-06 | 星环信息科技(上海)有限公司 | 基于抢占式调度的资源共享使用方法、系统及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN111381956A (zh) | 2020-07-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108537543B (zh) | 区块链数据的并行处理方法、装置、设备和存储介质 | |
CN108268321B (zh) | 用于迁移工作负载的方法和机架系统 | |
CN109976771B (zh) | 一种应用的部署方法及装置 | |
US11570276B2 (en) | Forecasting requests based on context data for a network-based service | |
US9774665B2 (en) | Load balancing of distributed services | |
US8434085B2 (en) | Scalable scheduling of tasks in heterogeneous systems | |
US20160260095A1 (en) | Containerized Computational Task Execution Management Using a Secure Distributed Transaction Ledger | |
CN109152061B (zh) | 通道调配方法、装置、服务器及存储介质 | |
US10165058B2 (en) | Dynamic local function binding apparatus and method | |
CN109033814B (zh) | 智能合约触发方法、装置、设备及存储介质 | |
CN111221638B (zh) | 并发任务的调度处理方法、装置、设备和介质 | |
US20170185454A1 (en) | Method and Electronic Device for Determining Resource Consumption of Task | |
US11979336B1 (en) | Quota-based resource scheduling | |
CN112286672A (zh) | 用于调度任务的方法、计算设备和计算机存储介质 | |
CN111092814B (zh) | 业务办理请求报文分配方法及设备 | |
US8924481B2 (en) | Apparatus for routing requests | |
US20200404047A1 (en) | Configurable connection reset for customized load balancing | |
CN114745392A (zh) | 流量调度方法 | |
US9501321B1 (en) | Weighted service requests throttling | |
CN111381956B (zh) | 一种任务处理的方法、装置及云分析系统 | |
CN110825342A (zh) | 存储调度器件和用于处理信息的系统、方法及装置 | |
CN113098841A (zh) | 一种登录云电脑的排队方法及计算机设备和可读存储介质 | |
US9148749B2 (en) | Evaluating wireless network access connections via near field communications | |
US20190141112A1 (en) | Cognitive storage management for a mobile computing device | |
CN116074541B (zh) | 一种资源处理方法、系统、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |