CN108228327A - 一种任务的处理方法和装置 - Google Patents

一种任务的处理方法和装置 Download PDF

Info

Publication number
CN108228327A
CN108228327A CN201711488820.XA CN201711488820A CN108228327A CN 108228327 A CN108228327 A CN 108228327A CN 201711488820 A CN201711488820 A CN 201711488820A CN 108228327 A CN108228327 A CN 108228327A
Authority
CN
China
Prior art keywords
task
processing
goal
queue
processing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711488820.XA
Other languages
English (en)
Other versions
CN108228327B (zh
Inventor
李敏
张志新
梁全存
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Priority to CN201711488820.XA priority Critical patent/CN108228327B/zh
Publication of CN108228327A publication Critical patent/CN108228327A/zh
Application granted granted Critical
Publication of CN108228327B publication Critical patent/CN108228327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例提供了一种任务的处理方法和装置,该方法包括:接收目标设备发送的任务;将所述任务存储在预设的存储区域中,作为待分发的目标任务;接收处理设备的处理请求;依据所述处理请求从所述存储区域提取所述目标任务;将所述目标任务发送至所述处理设备进行处理。处理设备根据自身情况主动请求任务,实时性强,提高了任务与处理设备的匹配度,提高了任务处理的成功率,而上层可以无需关心处理设备的处理能力,方便用户动态地对处理设备进行增加、删除等调整,此外,将任务的分发与任务的处理进行解耦,提高了系统的扩展性,可以增加更多的处理策略。

Description

一种任务的处理方法和装置
技术领域
本发明涉及计算机处理的技术领域,特别是涉及一种任务的处理方法和一种任务的处理装置。
背景技术
在一个大规模部署的计算集群中,由于业务需求,业务系统会下发大量的任务给调度中心,调度中心调度相应的计算设备进行处理。
目前,计算设备每间隔一定的时间上报负载情况给调度中心,调度中心根据计算设备的负载情况主动下发任务。
但是,计算设备上报负载情况存在延迟,调度中心下发的任务不一定匹配计算设备,导致任务处理效率较低。
发明内容
鉴于上述问题,提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种任务的处理方法和相应的一种任务的处理装置。
依据本发明的一个方面,提供了一种任务的处理方法,包括:
接收目标设备发送的任务;
将所述任务存储在预设的存储区域中,作为待分发的目标任务;
接收处理设备的处理请求;
依据所述处理请求从所述存储区域提取所述目标任务;
将所述目标任务发送至所述处理设备进行处理。
可选地,所述存储区域包括数据库与任务队列;
所述将所述任务存储在预设的存储区域中,作为待分发的目标任务,包括:
将所述任务存储至所述数据库中;
从所述数据库中提取所述任务;
将所述任务作为待分发的目标任务存储至所述任务队列中。
可选地,所述从所述数据库中提取所述任务,包括:
每间隔预设的时间段,从所述数据库中提取指定数量的任务。
可选地,所述将所述任务作为待分发的目标任务存储至所述任务队列中,包括:
查询所述任务的优先级;
确定所述优先级对应的任务队列;
将所述任务作为待分发的目标任务存储至所述任务队列中。
可选地,所述接收处理设备的处理请求,包括:
接收处理设备在具有空闲资源时发送的处理请求。
可选地,所述依据所述处理请求从所述存储区域提取所述目标任务,包括:
从所述任务队列中提取所述目标任务。
可选地,所述从所述任务队列中提取所述目标任务,包括:
判断当前的任务队列中是否具有目标任务,当前的任务队列初始为优先级最高的任务队列;
若是,则提取所述目标任务;
若否,则转移至下一优先级的任务队列,返回执行所述判断当前的任务队列中是否具有目标任务。
可选地,还包括:
接收所述处理设备发送的、所述目标任务的处理状态。
可选地,还包括:
当所述处理状态为处理失败时,将所述目标任务重新存储至所述存储区域中。
可选地,所述将所述目标任务重新存储至所述存储区域中,包括:
查询所述目标任务的任务标识;
在所述数据库中查找所述任务标识对应的任务;
将所述任务作为待分发的目标任务存储至所述任务队列中。
根据本发明的另一方面,提供了一种任务的处理装置,包括:
任务接收模块,用于接收目标设备发送的任务;
任务存储模块,用于将所述任务存储在预设的存储区域中,作为待分发的目标任务;
处理请求接收模块,用于接收处理设备的处理请求;
目标任务提取模块,用于依据所述处理请求从所述存储区域提取所述目标任务;
目标任务分发模块,用于将所述目标任务发送至所述处理设备进行处理。
可选地,所述存储区域包括数据库与任务队列;
所述任务存储模块包括:
数据库存储子模块,用于将所述任务存储至所述数据库中;
任务提取子模块,用于从所述数据库中提取所述任务;
任务队列存储子模块,用于将所述任务作为待分发的目标任务存储至所述任务队列中。
可选地,所述任务提取子模块包括:
间隔提取单元,用于每间隔预设的时间段,从所述数据库中提取指定数量的任务。
可选地,所述任务队列存储子模块包括:
优先级查询单元,用于查询所述任务的优先级;
任务队列查询单元,用于确定所述优先级对应的任务队列;
对应存储单元,将所述任务作为待分发的目标任务存储至所述任务队列中。
可选地,所述处理请求接收模块包括:
空闲请求接收子模块,用于接收处理设备在具有空闲资源时发送的处理请求。
可选地,所述目标任务提取模块包括:
任务队列提取子模块,用于从所述任务队列中提取所述目标任务。
可选地,所述任务队列提取子模块包括:
目标任务判断单元,用于判断当前的任务队列中是否具有目标任务,当前的任务队列初始为优先级最高的任务队列;若是,则调用剩余任务提取单元,若否,则调用任务队列转移单元;
剩余任务提取单元,用于提取所述目标任务;
任务队列转移单元用于转移至下一优先级的任务队列,返回调用所述目标任务判断单元。
可选地,还包括:
处理状态接收模块,用于接收所述处理设备发送的、所述目标任务的处理状态。
可选地,还包括:
目标任务重存模块,用于当所述处理状态为处理失败时,将所述目标任务重新存储至所述存储区域中。
可选地,所述目标任务重存模块包括:
任务标识查询子模块,用于查询所述目标任务的任务标识;
数据库查询子模块,用于在所述数据库中查找所述任务标识对应的任务;
任务队列重存子模块,用于将所述任务作为待分发的目标任务存储至所述任务队列中。
本发明实施例接收目标设备发送的任务并存储在预设的存储区域中,作为待分发的目标任务,当接收到处理设备的处理请求时,从存储区域提取目标任务,将目标任务发送至该处理设备进行处理,处理设备根据自身情况主动请求任务,实时性强,提高了任务与处理设备的匹配度,提高了任务处理的成功率,而上层可以无需关心处理设备的处理能力,方便用户动态地对处理设备进行增加、删除等调整,此外,将任务的分发与任务的处理进行解耦,提高了系统的扩展性,可以增加更多的处理策略。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了根据本发明一个实施例的一种任务的处理方法实施例的步骤流程示意图;
图2示出了根据本发明一个实施例的另一种任务的处理方法实施例的步骤流程示意图;以及
图3示出了根据本发明一个实施例的一种任务的处理装置实施例的结构示意框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1,示出了根据本发明一个实施例的一种任务的处理方法实施例的步骤流程示意图,具体可以包括如下步骤:
步骤101,接收目标设备发送的任务。
在具体实现中,本发明实施例可以应用在计算集群的调度中心中,该调度中心可以为独立的服务器,也可以为某个服务器中的集成的模块,本发明实施例对此不加以限制。
该调度中心可以提供API(Application Programming Interface,应用程序编程接口)接口,供计算集群中用于处理业务的目标设备进行调用。
不同的目标设备可以调用该API接口,将相关的任务发送至该调度中心。
需要说明的是,对于不同的业务,目标设备的任务有所不同,例如,对于视频业务,该任务可以包括转码、添加水印、去除水印、去除片头/片尾等,本发明实施例对此不加以限制。
步骤102,将所述任务存储在预设的存储区域中,作为待分发的目标任务。
在调度中心中,可以预先设置存储区域,若接收到目标设备的任务,则可以将该任务存储至该存储区域中,作为目标任务,待分发至处理设备。
在本发明的一个实施例中,存储区域包括数据库与任务队列,该任务队列可以设置在缓存中,例如,在Redis(一种内存存储的数据结构服务器)中设置任务队列,则在本发明实施例中,步骤102可以包括如下子步骤:
子步骤S11,将所述任务存储至所述数据库中。
子步骤S12,从所述数据库中提取所述任务。
子步骤S13,将所述任务作为待分发的目标任务存储至所述任务队列中。
在具体实现中,对于目标设备的任务,可以首先存储在数据库中,每间隔预设的时间段,从数据库中提取指定数量的任务,再写入任务队列中,等待处理设备进行获取。
在本发明实施例的一个示例中,子步骤S13进一步可以包括如下子步骤:
子步骤S131,查询所述任务的优先级。
子步骤S132,确定所述优先级对应的任务队列。
子步骤S133,将所述任务作为待分发的目标任务存储至所述任务队列中。
在本示例中,目标设备可以根据业务的需求,对任务设置相应的优先级。
例如,对于视频业务,某些时事新闻、热点剧集等视频,需求尽快上线,可以设置较高的优先级;某些经典剧集、培训讲座等视频,可以暂缓几天之后上线,可以设置较低的优先级。
在调度中心中,可以对每个优先级设置一个任务队列,将该优先级下的任务写入该任务队列中。
步骤103,接收处理设备的处理请求。
在本发明实施例中,处理设备处于计算集群的底层,对于调度中心而言,可以不关心处理设备的能力,由处理设备主动向调度中心发送处理请求,主动获取任务。
在具体实现中,处理设备可以检测自身的资源情况,在具有空闲资源时,向调度中心发送处理请求,即调度中心可以接收处理设备在具有空闲资源时发送的处理请求。
所谓空闲资源,可以指未被占用的处理资源,如CPU(Central Processing Unit,中央处理器)、内存等,这些空闲资源,可以整合为任务资源,如果具有空闲的任务资源,则可以向调度中心发送处理请求。
例如,某个处理设备可以同时进行2000个任务,在该处理设备中启动一个检测进程,检测当前正在处理的目标任务,如果未满2000个,则可以向调度中心发送处理请求。
步骤104,依据所述处理请求从所述存储区域提取所述目标任务。
对于处理设备的处理请求,调度中心可以提取相应的目标任务,待分发至该处理设备进行处理。
在本发明的一个实施例中,步骤104可以包括如下子步骤:
子步骤S21,从所述任务队列中提取所述目标任务。
在本发明实施例中,目标设备的任务可以从数据库中提取,并写入任务队列,作为待分发的目标任务,相应地,可以任务队列中提取所需的目标任务。
在本发明实施例的一个示例中,子步骤S21进一步可以包括如下子步骤:
子步骤S211,判断当前的任务队列中是否具有目标任务,若是,则执行子步骤S212,若否,则子步骤S213。
子步骤S212,提取所述目标任务。
子步骤S213,转移至下一优先级的任务队列,返回执行子步骤S211。
在本示例中,若任务配置有优先级,且同一优先级的任务存储在同一任务队列中,使得任务队列也具有相应的优先级。
此时,可以按照优先级的顺序,从高到低分发目标任务。
在具体实现中,当前的任务队列初始为优先级最高的任务队列,如果当前的任务队列具有目标任务,则可以按照FIFO(First Input First Output,先入先出)的方式提取目标任务,如果当前的任务队列没有目标任务,则转移至下一优先级的任务队列,作为当前的任务队列,重新进行任务的提取。
步骤105,将所述目标任务发送至所述处理设备进行处理。
调度中心将提取的目标任务分发至处理设备,处理设备按照目标任务的要求进行相应的处理,例如,转码、添加水印、去除水印、去除片头/片尾,等等。
本发明实施例接收目标设备发送的任务并存储在预设的存储区域中,作为待分发的目标任务,当接收到处理设备的处理请求时,从存储区域提取目标任务,将目标任务发送至该处理设备进行处理,处理设备根据自身情况主动请求任务,实时性强,提高了任务与处理设备的匹配度,提高了任务处理的成功率,而上层可以无需关心处理设备的处理能力,方便用户动态地对处理设备进行增加、删除等调整,此外,将任务的分发与任务的处理进行解耦,提高了系统的扩展性,可以增加更多的处理策略。
参照图2,示出了根据本发明一个实施例的另一种任务的处理方法实施例的步骤流程示意图,具体可以包括如下步骤:
步骤201,接收目标设备发送的任务。
步骤202,将所述任务存储在预设的存储区域中,作为待分发的目标任务。
步骤203,接收处理设备的处理请求。
步骤204,依据所述处理请求从所述存储区域提取所述目标任务。
步骤205,将所述目标任务发送至所述处理设备进行处理。
步骤206,接收所述处理设备发送的所述目标任务的处理状态。
在本发明实施例中,处理设备可以与调度中心维持心跳,向调度中心上报处理该目标任务时生成的处理状态,例如,处理进度、处理成功、处理失败,等等。
目标任务分发至处理设备之后,存储在数据库中的该目标任务的相关信息(如任务标识、任务内容等)并不会删除,因此,可以在数据库中记录该目标任务的处理状态。
步骤207,当所述处理状态为处理失败时,将所述目标任务重新存储至所述存储区域中。
如果该处理设备处理该任务时处理失败,则可以将该目标任务重新存储至存储区域中,等待重新分配至其他处理设备进行处理。
在本发明的一个实施例中,步骤207可以包括如下子步骤:
子步骤S31,查询所述目标任务的任务标识。
子步骤S31,在所述数据库中查找所述任务标识对应的任务。
子步骤S32,将所述任务作为待分发的目标任务存储至所述任务队列中。
在本发明实施例中,目标任务分发至处理设备之后,存储在任务队列中的该任务的相关信息(如任务标识、任务内容等)会进行删除。
处理设备可以上传的目标任务的处理状态中,具有目标任务的任务标识,如任务ID。
若检测到处理设备上报该目标任务(以任务标识表征)处理失败,则可以在数据库中查找该目标任务的相关信息,将其重新写入任务队列中,等待重新分配其他处理设备进行处理。
需要说明的是,为了保证该目标任务的处理进度,可以提高其目标任务的优先级,优先分发至处理设备进行处理。
当然,也可以不调整该目标任务的优先级,按照原优先级存储至任务队列中,本发明实施例对此不加以限制。
对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图3,示出了根据本发明一个实施例的一种任务的处理装置实施例的结构示意框图,具体可以包括如下模块:
任务接收模块301,用于接收目标设备发送的任务;
任务存储模块302,用于将所述任务存储在预设的存储区域中,作为待分发的目标任务;
处理请求接收模块303,用于接收处理设备的处理请求;
目标任务提取模块304,用于依据所述处理请求从所述存储区域提取所述目标任务;
目标任务分发模块305,用于将所述目标任务发送至所述处理设备进行处理。
在本发明的一个实施例中,所述存储区域包括数据库与任务队列;
所述任务存储模块302包括:
数据库存储子模块,用于将所述任务存储至所述数据库中;
任务提取子模块,用于从所述数据库中提取所述任务;
任务队列存储子模块,用于将所述任务作为待分发的目标任务存储至所述任务队列中。
在本发明的一个实施例中,所述任务提取子模块包括:
间隔提取单元,用于每间隔预设的时间段,从所述数据库中提取指定数量的任务。
在本发明的一个实施例中所述任务队列存储子模块包括:
优先级查询单元,用于查询所述任务的优先级;
任务队列查询单元,用于确定所述优先级对应的任务队列;
对应存储单元,将所述任务作为待分发的目标任务存储至所述任务队列中。
在本发明的一个实施例中,所述处理请求接收模块303包括:
空闲请求接收子模块,用于接收处理设备在具有空闲资源时发送的处理请求。
在本发明的一个实施例中所述目标任务提取模块304包括:
任务队列提取子模块,用于从所述任务队列中提取所述目标任务。
在本发明的一个实施例中所述任务队列提取子模块包括:
目标任务判断单元,用于判断当前的任务队列中是否具有目标任务,当前的任务队列初始为优先级最高的任务队列;若是,则调用剩余任务提取单元,若否,则调用任务队列转移单元;
剩余任务提取单元,用于提取所述目标任务;
任务队列转移单元用于转移至下一优先级的任务队列,返回调用所述目标任务判断单元。
在本发明的一个实施例中还包括:
处理状态接收模块,用于接收所述处理设备发送的、所述目标任务的处理状态。
在本发明的一个实施例中还包括:
目标任务重存模块,用于当所述处理状态为处理失败时,将所述目标任务重新存储至所述存储区域中。
在本发明的一个实施例中所述目标任务重存模块包括:
任务标识查询子模块,用于查询所述目标任务的任务标识;
数据库查询子模块,用于在所述数据库中查找所述任务标识对应的任务;
任务队列重存子模块,用于将所述任务作为待分发的目标任务存储至所述任务队列中。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的任务的处理设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
本发明实施例公开了A1、一种任务的处理方法,包括:
接收目标设备发送的任务;
将所述任务存储在预设的存储区域中,作为待分发的目标任务;
接收处理设备的处理请求;
依据所述处理请求从所述存储区域提取所述目标任务;
将所述目标任务发送至所述处理设备进行处理。
A2、如A1所述的方法,所述存储区域包括数据库与任务队列;
所述将所述任务存储在预设的存储区域中,作为待分发的目标任务,包括:
将所述任务存储至所述数据库中;
从所述数据库中提取所述任务;
将所述任务作为待分发的目标任务存储至所述任务队列中。
A3、如A2所述的方法,所述从所述数据库中提取所述任务,包括:
每间隔预设的时间段,从所述数据库中提取指定数量的任务。
A4、如A2所述的方法,所述将所述任务作为待分发的目标任务存储至所述任务队列中,包括:
查询所述任务的优先级;
确定所述优先级对应的任务队列;
将所述任务作为待分发的目标任务存储至所述任务队列中。
A5、如A1或A2或A3或A4所述的方法,所述接收处理设备的处理请求,包括:
接收处理设备在具有空闲资源时发送的处理请求。
A6、如A2或A3或A4所述的方法,所述依据所述处理请求从所述存储区域提取所述目标任务,包括:
从所述任务队列中提取所述目标任务。
A7、如A6所述的方法,所述从所述任务队列中提取所述目标任务,包括:
判断当前的任务队列中是否具有目标任务,当前的任务队列初始为优先级最高的任务队列;
若是,则提取所述目标任务;
若否,则转移至下一优先级的任务队列,返回执行所述判断当前的任务队列中是否具有目标任务。
A8、如A1或A2或A3或A4所述的方法,还包括:
接收所述处理设备发送的、所述目标任务的处理状态。
A9、如A8所述的方法,还包括:
当所述处理状态为处理失败时,将所述目标任务重新存储至所述存储区域中。
A10、如A9所述的方法,所述将所述目标任务重新存储至所述存储区域中,包括:
查询所述目标任务的任务标识;
在所述数据库中查找所述任务标识对应的任务;
将所述任务作为待分发的目标任务存储至所述任务队列中。
本发明实施例还公开了B11、一种任务的处理装置,包括:
任务接收模块,用于接收目标设备发送的任务;
任务存储模块,用于将所述任务存储在预设的存储区域中,作为待分发的目标任务;
处理请求接收模块,用于接收处理设备的处理请求;
目标任务提取模块,用于依据所述处理请求从所述存储区域提取所述目标任务;
目标任务分发模块,用于将所述目标任务发送至所述处理设备进行处理。
B12、如B11所述的装置,所述存储区域包括数据库与任务队列;
所述任务存储模块包括:
数据库存储子模块,用于将所述任务存储至所述数据库中;
任务提取子模块,用于从所述数据库中提取所述任务;
任务队列存储子模块,用于将所述任务作为待分发的目标任务存储至所述任务队列中。
B13、如B12所述的装置,所述任务提取子模块包括:
间隔提取单元,用于每间隔预设的时间段,从所述数据库中提取指定数量的任务。
B14、如B12所述的装置,所述任务队列存储子模块包括:
优先级查询单元,用于查询所述任务的优先级;
任务队列查询单元,用于确定所述优先级对应的任务队列;
对应存储单元,将所述任务作为待分发的目标任务存储至所述任务队列中。
B15、如B11或B12或B13或B14所述的装置,所述处理请求接收模块包括:
空闲请求接收子模块,用于接收处理设备在具有空闲资源时发送的处理请求。
B16、如B12或B13或B14所述的装置,所述目标任务提取模块包括:
任务队列提取子模块,用于从所述任务队列中提取所述目标任务。
B17、如B16所述的装置,所述任务队列提取子模块包括:
目标任务判断单元,用于判断当前的任务队列中是否具有目标任务,当前的任务队列初始为优先级最高的任务队列;若是,则调用剩余任务提取单元,若否,则调用任务队列转移单元;
剩余任务提取单元,用于提取所述目标任务;
任务队列转移单元用于转移至下一优先级的任务队列,返回调用所述目标任务判断单元。
B18、如B11或B12或B13或B14所述的装置,还包括:
处理状态接收模块,用于接收所述处理设备发送的、所述目标任务的处理状态。
B19、如B18所述的装置,还包括:
目标任务重存模块,用于当所述处理状态为处理失败时,将所述目标任务重新存储至所述存储区域中。
B20、如B19所述的装置,所述目标任务重存模块包括:
任务标识查询子模块,用于查询所述目标任务的任务标识;
数据库查询子模块,用于在所述数据库中查找所述任务标识对应的任务;
任务队列重存子模块,用于将所述任务作为待分发的目标任务存储至所述任务队列中。

Claims (10)

1.一种任务的处理方法,包括:
接收目标设备发送的任务;
将所述任务存储在预设的存储区域中,作为待分发的目标任务;
接收处理设备的处理请求;
依据所述处理请求从所述存储区域提取所述目标任务;
将所述目标任务发送至所述处理设备进行处理。
2.如权利要求1所述的方法,其特征在于,所述存储区域包括数据库与任务队列;
所述将所述任务存储在预设的存储区域中,作为待分发的目标任务,包括:
将所述任务存储至所述数据库中;
从所述数据库中提取所述任务;
将所述任务作为待分发的目标任务存储至所述任务队列中。
3.如权利要求2所述的方法,其特征在于,所述从所述数据库中提取所述任务,包括:
每间隔预设的时间段,从所述数据库中提取指定数量的任务。
4.如权利要求2所述的方法,其特征在于,所述将所述任务作为待分发的目标任务存储至所述任务队列中,包括:
查询所述任务的优先级;
确定所述优先级对应的任务队列;
将所述任务作为待分发的目标任务存储至所述任务队列中。
5.如权利要求1或2或3或4所述的方法,其特征在于,所述接收处理设备的处理请求,包括:
接收处理设备在具有空闲资源时发送的处理请求。
6.如权利要求2或3或4所述的方法,其特征在于,所述依据所述处理请求从所述存储区域提取所述目标任务,包括:
从所述任务队列中提取所述目标任务。
7.如权利要求6所述的方法,其特征在于,所述从所述任务队列中提取所述目标任务,包括:
判断当前的任务队列中是否具有目标任务,当前的任务队列初始为优先级最高的任务队列;
若是,则提取所述目标任务;
若否,则转移至下一优先级的任务队列,返回执行所述判断当前的任务队列中是否具有目标任务。
8.如权利要求1或2或3或4所述的方法,其特征在于,还包括:
接收所述处理设备发送的、所述目标任务的处理状态。
9.如权利要求8所述的方法,其特征在于,还包括:
当所述处理状态为处理失败时,将所述目标任务重新存储至所述存储区域中。
10.一种任务的处理装置,包括:
任务接收模块,用于接收目标设备发送的任务;
任务存储模块,用于将所述任务存储在预设的存储区域中,作为待分发的目标任务;
处理请求接收模块,用于接收处理设备的处理请求;
目标任务提取模块,用于依据所述处理请求从所述存储区域提取所述目标任务;
目标任务分发模块,用于将所述目标任务发送至所述处理设备进行处理。
CN201711488820.XA 2017-12-29 2017-12-29 一种任务的处理方法和装置 Active CN108228327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711488820.XA CN108228327B (zh) 2017-12-29 2017-12-29 一种任务的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711488820.XA CN108228327B (zh) 2017-12-29 2017-12-29 一种任务的处理方法和装置

Publications (2)

Publication Number Publication Date
CN108228327A true CN108228327A (zh) 2018-06-29
CN108228327B CN108228327B (zh) 2021-01-15

Family

ID=62647318

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711488820.XA Active CN108228327B (zh) 2017-12-29 2017-12-29 一种任务的处理方法和装置

Country Status (1)

Country Link
CN (1) CN108228327B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120679A (zh) * 2018-07-27 2019-01-01 平安科技(深圳)有限公司 任务分配方法及装置
CN109542605A (zh) * 2018-11-27 2019-03-29 长沙智擎信息技术有限公司 一种基于Kubernetes系统架构的容器组生命周期管理方法
CN111104168A (zh) * 2018-10-25 2020-05-05 杭州嘉楠耘智信息科技有限公司 一种计算结果提交方法及装置
CN114003384A (zh) * 2021-11-01 2022-02-01 北京深演智能科技股份有限公司 任务管理的方法、装置和设备
CN114979411A (zh) * 2021-05-06 2022-08-30 中移互联网有限公司 一种分布式图像处理方法、装置、设备及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070016906A1 (en) * 2005-07-18 2007-01-18 Mistletoe Technologies, Inc. Efficient hardware allocation of processes to processors
CN103458527A (zh) * 2012-06-01 2013-12-18 中兴通讯股份有限公司 前导检测任务处理调度方法及装置
CN103942101A (zh) * 2013-01-21 2014-07-23 中国科学院声学研究所 一种基于多核网络处理器的实时任务调度方法及系统
CN106598735A (zh) * 2016-12-13 2017-04-26 广东金赋科技股份有限公司 一种分布式计算方法、主控节点、计算节点和系统
WO2017113277A1 (zh) * 2015-12-31 2017-07-06 华为技术有限公司 数据处理方法、装置和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070016906A1 (en) * 2005-07-18 2007-01-18 Mistletoe Technologies, Inc. Efficient hardware allocation of processes to processors
CN103458527A (zh) * 2012-06-01 2013-12-18 中兴通讯股份有限公司 前导检测任务处理调度方法及装置
CN103942101A (zh) * 2013-01-21 2014-07-23 中国科学院声学研究所 一种基于多核网络处理器的实时任务调度方法及系统
WO2017113277A1 (zh) * 2015-12-31 2017-07-06 华为技术有限公司 数据处理方法、装置和系统
CN106598735A (zh) * 2016-12-13 2017-04-26 广东金赋科技股份有限公司 一种分布式计算方法、主控节点、计算节点和系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120679A (zh) * 2018-07-27 2019-01-01 平安科技(深圳)有限公司 任务分配方法及装置
CN111104168A (zh) * 2018-10-25 2020-05-05 杭州嘉楠耘智信息科技有限公司 一种计算结果提交方法及装置
CN109542605A (zh) * 2018-11-27 2019-03-29 长沙智擎信息技术有限公司 一种基于Kubernetes系统架构的容器组生命周期管理方法
CN114979411A (zh) * 2021-05-06 2022-08-30 中移互联网有限公司 一种分布式图像处理方法、装置、设备及系统
CN114979411B (zh) * 2021-05-06 2023-07-04 中移互联网有限公司 一种分布式图像处理方法、装置、设备及系统
CN114003384A (zh) * 2021-11-01 2022-02-01 北京深演智能科技股份有限公司 任务管理的方法、装置和设备

Also Published As

Publication number Publication date
CN108228327B (zh) 2021-01-15

Similar Documents

Publication Publication Date Title
CN108228327A (zh) 一种任务的处理方法和装置
US12073298B2 (en) Machine learning service
US11863644B2 (en) Push notification delivery system with feedback analysis
CN103748555B (zh) 在云中基于多维用户请求模式快速供应虚拟机
US8909568B1 (en) Predictive analytic modeling platform
KR101468201B1 (ko) 문서들로부터 토픽들의 병렬 생성
US7653902B2 (en) Determining software deployment parameters
EP3798930A2 (en) Machine learning training resource management
CN110378529B (zh) 一种数据生成的方法、装置、可读存储介质和电子设备
CN104765609B (zh) 软件关联资源推荐方法、获取方法及相应的装置
CN109558444A (zh) 数据检索方法及装置
CN109472540A (zh) 业务处理方法和装置
US9424490B2 (en) System and method for classifying pixels
CN113485833A (zh) 资源预测方法和装置
CN116048817A (zh) 数据处理控制方法、装置、计算机设备和存储介质
EP3798931A1 (en) Machine learning training resource management
US9405786B2 (en) System and method for database flow management
CN105868957A (zh) 一种持续集成方法及装置
EP4016284A1 (en) Framework for industrial analytics
CN106484708A (zh) 一种用户行为数据的处理方法和系统
CN111314446B (zh) 一种资源更新方法、装置、服务器及存储介质
US20210272012A1 (en) Method of searching machine learning model for io load prediction in use of versioning information
CN112529207A (zh) 模型优化方法、装置、存储介质及设备
CN107180037B (zh) 人机交互方法和装置
KR101834530B1 (ko) 동적 협업 서비스 플랫폼 및 상기 플랫폼에서 응용 서비스를 제공하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant