CN104615486B - 用于搜索推广平台的多任务调度和执行方法、装置和系统 - Google Patents

用于搜索推广平台的多任务调度和执行方法、装置和系统 Download PDF

Info

Publication number
CN104615486B
CN104615486B CN201410831752.2A CN201410831752A CN104615486B CN 104615486 B CN104615486 B CN 104615486B CN 201410831752 A CN201410831752 A CN 201410831752A CN 104615486 B CN104615486 B CN 104615486B
Authority
CN
China
Prior art keywords
task
node
module
tasks
extension software
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410831752.2A
Other languages
English (en)
Other versions
CN104615486A (zh
Inventor
廖耀华
周东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201410831752.2A priority Critical patent/CN104615486B/zh
Publication of CN104615486A publication Critical patent/CN104615486A/zh
Application granted granted Critical
Publication of CN104615486B publication Critical patent/CN104615486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种用于搜索推广平台的多任务处理系统,所述系统包括多任务调度装置和多任务执行装置。其中:多任务调度装置包括任务接收模块、任务生成器、冲突检测模块和任务分发模块。多任务执行装置包括任务请求模块、任务接收模块、任务执行模块、任务报告模块。本发明对任务进行冲突检测,使得多任务系统可以安全正常地运行。而且,通过进一步采取去重处理和预警处理等方法确保了数据的一致性和完整性。

Description

用于搜索推广平台的多任务调度和执行方法、装置和系统
技术领域
本发明涉及网络搜索技术,尤其涉及一种用于搜索推广平台的多任务调度和执行方法、装置和系统。
背景技术
搜索推广平台就是为了宣传的目的,在搜索引擎上进行的登陆、排名、竞价、优化等推广行为的总称。
典型的搜索推广平台包括:百度凤巢系统、360点晴平台、搜狗推广和google推广等。这些推广平台都具有后台系统,用户可以通过后台系统在搜索推广平台中操作,以便推广关键词和创意等。
可以想象,如果用户需要在多个搜索推广平台上推广关键词和创意,那么对用户来说,需要处理大量的数据发送和接收任务。
现有的搜索推广平台的数据处理方法是采用单任务的处理方式,这种方法的缺陷是:一旦数据处理量比较大,则需要有大量的任务需要处理,因为在单任务处理方式中一个任务必须等待上一个任务执行完毕才可以执行,所以会非常耗时。
因此,有必要设计一种新的任务处理方法和系统,以客服上述现有技术的缺陷。
发明内容
针对现有技术的缺陷,本发明的目的是提供一种能够对较大量数量进行的数据处理方法和系统。
本发明提供了一种用于搜索推广平台的多任务调度方法,所述方法包括:a.接收任务请求;b.基于所述任务请求生成任务,所述任务包括与所述搜索推广平台相适应的账户结构信息;c.对所述任务进行冲突检测;d.当所述任务与其他任务不存在冲突,则分发任务。
本发明还提供了一种用于搜索推广平台的多任务执行方法,所述方法包括:(1)发出任务请求;(2)执行基于任务请求所接收到的任务,所述任务包括与所述搜索推广平台相适应的账户结构信息;(3)报告任务完成状况及任务执行节点的状态。
相应地,本发明提供了一种用于搜索推广平台的多任务调度装置,所述装置包括任务接收模块、任务生成器、冲突检测模块和任务分发模块。任务接收模块用于接收任务请求;任务生成器用于基于任务请求生成任务,所述任务包括与所述搜索推广平台相适应的账户结构信息;冲突检测模块用于对所述任务进行冲突检测;任务分发模块用于当所述任务与其他任务不存在冲突时分发任务。
相应地,本发明还提供了一种用于搜索推广平台的多任务执行装置,所述装置包括任务请求模块、任务接收模块、任务执行模块、任务报告模块。其中:任务请求模块用于发出任务请求,任务接收模块用于接收分发来的任务;任务执行模块用于执行所接收到的任务,所述任务包括与所述搜索推广平台相适应的账户结构信息;任务报告模块用于报告任务完成状况及任务执行节点的状态。
作为一个整体方案,本发明还提供了一种用于搜索推广平台的多任务处理系统,所述系统包括多任务调度装置和多任务执行装置。其中:
多任务调度装置包括任务接收模块、任务生成器、冲突检测模块和任务分发模块。任务接收模块用于接收来自多任务执行装置的任务请求;任务生成器用于基于任务请求生成任务,所述任务包括与所述搜索推广平台相适应的账户结构信息;冲突检测模块用于对所述任务进行冲突检测;任务分发模块用于当所述任务与其他任务不存在冲突时向多任务执行装置分发任务。
多任务执行装置包括任务请求模块、任务接收模块、任务执行模块、任务报告模块。任务请求模块用于向多任务调度装置发出任务请求,任务接收模块用于接收分发来的任务;任务执行模块用于执行所接收到的任务,所述任务包括与所述搜索推广平台相适应的账户结构信息;任务报告模块用于向多任务调度装置报告任务完成状况及任务执行节点的状态。
相对于现有技术,本发明对任务进行冲突检测,使得多任务系统可以安全正常地运行。而且,通过进一步采取去重处理和预警处理等方法确保了数据的一致性和完整性。
附图说明
图1是本发明一种优选实施方式的用于搜索推广平台的多任务调度方法的流程图;
图2是本发明一种优选实施方式的用于搜索推广平台的多任务执行方法的流程图;
图3是本发明一种优选实施方式的用于搜索推广平台的多任务调度端的结构框图;
图4是本发明一种优选实施方式的用于搜索推广平台的多任务执行节点的结构框图;
图5是本发明用于搜索推广平台的多任务处理系统的一个实例的结构示意图。
具体实施方式
在本发明的用于搜索推广平台的多任务处理系统中,主要包括两个核心的组成部分,一个是任务调度端,另一个是任务执行节点。在系统工作时,任务调度端与任务执行节点之间进行数据交互,以实现对搜索推广的多任务处理。下面将结合具体实施方式分别从任务调度端和任务执行节点两个角度具体说明本发明的任务处理方法和处理系统。
图1是本发明一种优选实施方式的用于搜索推广平台的多任务调度方法的流程图。如图所示:
在步骤110,接收任务请求。任务请求可以由任务执行节点通过请求线程来实现。
在步骤120,生成搜索推广任务,生成的任务可以包括本地任务和远程任务,本地任务是不需要调用搜索引擎API就可以完成的任务,而远程任务是需要调用搜索引擎的API才能完成的任务。
以百度搜索引擎为例,本地任务可以包含例如:将关键词/创意批量上传本地后台的任务。远程任务可以包含例如:(1)将计划/单元/关键词/创意上传至百度后台的任务;(2)将百度后台计划/单元/关键词/创意下载到本地后台的任务。对于其他搜索引擎,任务类型也是类似的。
所有的任务都必须包含账户结构信息。账户结构信息可以包括账户名、token等。账户结构必须和搜索推广平台的账户一致,账户结构信息的主要作用是用来区分各个平台,所有的任务都要围绕账户结构进行。用户进行的所有操作都和账户结构有关系,比如用户需要上传关键词到百度后台的某个账户下,则就需要选择这个账户,即任务中必须包括相应的账户结构信息,否则任务无法被正确执行。
在步骤130,对所述任务进行冲突检测。在为请求任务的执行节点分配任务之前,还需要进行冲突检测,以确保数据的一致性。因为在多任务处理方式中,有些任务是不能同时执行的,否则会破坏数据的一致性。例如:在同一个账户下,上传和下载的任务是不能同时执行的。
在使用冲突检测时,首先需要预先配置一系列冲突规则,在分发任务之前,检查该任务是否满足冲突规则,如果满足冲突规则,意味着该任务与其他任务存在着冲突,则不能分发该任务,而是从任务等待队列中取下一个任务进行冲突检测,以备分发。如果不满足冲突规则,意味着该任务与其他任务不存在冲突,可以直接分发该任务。
优选地,在步骤130前先进行节点负载量计算,在步骤125,则根据节点负载量计算的结果向空闲的节点分发任务。在该步骤中,可以根据状态管理器提供的数据,状态管理器的主要作用是记录每个节点的运行状态,为节点负载量计算提供数据。计算请求各节点的负载量。在实际应用中,可以有多个可以执行任务的节点,多个节点可以是分布在不同计算机设备上的软件程序。每个节点都可以执行相应的搜索推广任务。状态管理器对各个节点的工作状态进行监视,例如:如果该节点正在执行上传任务,则记录该节点的上传状态。优选地,如果某一个节点比较空闲,则可以给这个节点分配任务,否则,可以分配给其他更空闲的节点。
在步骤140,当所述任务与其他任务不存在冲突,则分发该任务。该任务被分发到任务执行节点。被分发到任务执行节点的任务将被执行,例如执行将关键词/创意批量上传本地后台的本地任务。
相应地,本发明还提供了一种用于搜索推广平台的多任务执行方法,该方法在任务执行节点实现。在如图2所示的实施方式中,所述方法包括以下步骤:
步骤210,发出任务请求。在该步骤中,可以由请求线程向调度端发出任务请求。例如,当任务执行节点处于空闲状态时,则可以向调度端发送任务请求命令,以请求调度端分发任务。步骤215,接受相应的任务。
在步骤220,执行基于任务请求而接收到的任务。调度端根据向任务执行节点发出任务。所述任务包括与所述搜索推广平台相适应的账户结构信息。在该步骤中,根据任务类型和任务的账户结构执行任务。任务类型可以包括本地任务和远程任务,本地任务是不需要调用搜索引擎API就可以完成的任务,而远程任务是需要调用搜索引擎的API才能完成的任务。
优选地,在步骤220之前包括步骤230。在步骤230,对任务进行去重处理。去重是根据去重标准去掉上传数据中重复的词。由于每个平台的去重标准不同,因此需要对每个平台单独定义去重标准。去重标准是可配置的,比如百度搜索推广平台的去重标准是根据账户、关键词、匹配模式进行去重,而google搜索推广的去重标准是根据单元、关键词、匹配模式进行去重。
去重可以包括两种方式:一种是将关键词批量上传到本地后台,在本地后台进行去重,这种去重方式以本地后台的词为准,如果有重复的,则丢弃该重复上传的词;另一种是将关键词从搜索引擎后台下载到本地后台进行去重,这种去重方式以搜索引擎后台的关键词为准,如果有重复的词,则删除本地后台的词,同时插入搜索引擎后台的新词。
优选地,本实施方式中在步骤220之前还可以包括步骤240。在步骤240中,对任务进行预警判断。预警判断可以检测出任务在执行过程中的各类错误并将错误信息告知用户,从而使整个操作流程更加透明化,且保证了数据的完整性。
错误类型可以分为:系统级错误、账户级错误、计划级错误、单元级错误、关键词错误和创意错误。每类错误都可以清楚地告知用户哪个地方出错了、因为什么原因出错了,用户可以根据错误信息对已经出错的数据进行修改。例如,上传关键词时,如果关键词触犯了黑名单规则,就可以根据错误信息修改关键词并重新上传。
在执行完任务后,还包括步骤250。在步骤250中,报告任务完成状况及任务执行节点的状态。该步骤用于通知调度端,任务已经执行完毕并且回执节点及任务的状态。该步骤是在完成任务后对调度端的应答,使得调度端能够获取任务执行节点的状态,以便下次进一步分发任务。当任务执行失败(例如由于网络故障,上传未成功)时,也需要向调度端反馈任务执行情况和任务执行节点的状态,以便调度端进行相应的调整操作(例如向该节点重发任务或将重发任务发送给其他任务执行节点)。
相应地,本发明提供了一种用于搜索推广平台的多任务调度装置300。多任务调度装置300是整个系统的调度中心。该装置包括任务接收模块310、任务生成器320、冲突检测模块330和任务分发模块340。其中:
任务接收模块310用于接收任务请求。任务接收模块310主要用于接收
任务生成器320用于基于任务请求生成任务,所述任务包括与所述搜索推广平台相适应的账户结构信息。由任务生成器生成的任务被加入任务等待队列,以便任务执行节点从任务等待队列中取出任务进行相应操作。所有的任务都必须包含账户结构信息,账户结构信息包括账户名、token等信息,账户结构信息必须和搜索推广平台的账户一致,账户结构信息用于区分各个平台,所有的任务都是围绕账户结构进行。进行的所有任务操作都和账户结构有关系,比如:用户需要上传关键词到百度后台的某个账户下,他就需要选择符合这个账户的账户结构信息,否则操作无法正确执行。
冲突检测模块330用于对所述任务进行冲突检测。冲突检测模块330用于确保数据的一致性,在多任务处理方式中,有些任务是不能同时执行的,否则会破坏数据的一致性,例如,同账户下的上传和下载操作不能同时执行。因此,有必要在任务执行之前进行冲突检测。
在使用冲突检测时,首先需要配置一系列冲突规则,当任务分发中心分发任务时,检查该任务是否满足冲突规则,如果满足冲突规则,则表明该任务与其他任务相冲突,不能分发该任务,而是从任务等待队列取下一个任务进行冲突检测,以备分发。如果不满足冲突规则,表明该任务与其他任务不冲突,则可以直接分发该任务。
在一种优选实施方式中,当所述任务与其他任务存在冲突时,任务分发模块340不分发该任务,冲突检测模块330对任务等待队列中的另一个任务执行冲突检测,并且准备根据检测结果再一次分发。
在一种优选实施方式中,所述装置还包括节点负载量计算模块350,所述节点负载量计算模块350用于进行节点负载量计算,当所述任务与其他任务不存在冲突,任务分发模块340根据节点负载量计算的结果向空闲的节点(即负载量最低的节点)分发任务。各节点的负载可以在状态管理器的辅助下进行计算,状态管理器用于记录每个节点的运行状态,为节点的负载量计算提供数据。节点负载量计算模块主要根据状态管理器提供的数据计算请求节点的负载量,如果该节点的负载量较低,表明比较空闲,可以分配任务;否则不对该节点分配任务。
相应地,本发明还提供了一种用于搜索推广平台的多任务执行装置400。该装置400包括任务请求模块410、任务接收模块420、任务执行模块430、任务报告模块440。其中:
任务请求模块410用于发出任务请求,任务接收模块用于接收分发来的任务。任务请求模块410用于向调度端请求任务,例如,当执行任务的节点处于空闲状态时,则任务请求模块410可以向调度端发送任务请求命令,开始请求任务。
任务执行模块430用于执行所接收到的任务,所述任务包括与所述搜索推广平台相适应的账户结构信息。任务执行模块430根据任务类型和任务的账户结构执行任务。任务类型可以包括本地任务和远程任务,本地任务是不需要调用搜索引擎API就可以完成的任务,而远程任务是需要调用搜索引擎的API才能完成的任务。
在一种优选实施方式中,所述装置包括去重模块450,去重模块450用于对待执行的任务进行去重处理,任务执行模块执行去重处理后的任务,所述任务包括与所述搜索推广平台相适应的账户结构信息。去重模块450用于根据去重标准去掉重复的词,由于每个平台的去重标准不同,因此需要对每个平台单独定义去重标准。去重标准是可配置的,比如百度搜索推广平台的去重标准是根据账户、关键词、匹配模式进行去重,而google搜索推广平台的去重标准是根据单元、关键词、匹配模式进行去重。
去重可以包括两种方式:一种是将关键词批量上传到本地后台,在本地后台进行去重,这种去重方式以本地后台的词为准,如果有重复的,则丢弃该重复上传的词;另一种是将关键词从搜索引擎后台下载到本地后台进行去重,这种去重方式以搜索引擎后台的关键词为准,如果有重复的词,则删除本地后台的词,同时插入搜索引擎后台的新词。
在一种优选实施方式中,所述装置还包括预警模块460,预警模块460用于对待执行的任务进行预警判断,并且针对判断为由错误的任务输出相应的预警信息。预警模块460用于告诉用户任务在执行过程中的各类错误信息,使整个操作流程透明化,保证数据的完整性。错误类型可以分为以下几类:系统级错误、账户级错误、计划级错误、单元级错误、关键词错误和创意错误。对于每类错误,都必须清楚的告诉用户哪个地方出错了、因为什么原因出错了。
预警模块460还可以包含一个纠错子模块,纠错子模块具有用户接口,通过所述纠错子模块用户可以根据错误信息对已经出错的数据进行修改,比如上传关键词时,如果关键词触犯了黑名单规则,就会预警用户,这时用户就可以根据错误信息修改关键词并重新上传。
报告模块440用来通知多任务调度装置任务已经执行完毕以及回执任务的状态。当任务在任务执行节点被完成后,任务执行节点会向调度端报告任务已经完成,并且会报告任务完成后该节点的状态(例如空闲状态)
本发明还提供了一种用于搜索推广平台的多任务处理系统,该系统包括:多任务调度装置和多任务执行装置,其中:
多任务调度装置包括任务接收模块、任务生成器、冲突检测模块和任务分发模块。任务接收模块用于接收来自多任务执行装置的任务请求;任务生成器用于基于任务请求生成任务,所述任务包括与所述搜索推广平台相适应的账户结构信息;冲突检测模块用于对所述任务进行冲突检测;任务分发模块用于当所述任务与其他任务不存在冲突时向多任务执行装置分发任务;
多任务执行装置包括任务请求模块、任务接收模块、任务执行模块、任务报告模块。其中:任务请求模块用于向多任务调度装置发出任务请求,任务接收模块用于接收分发来的任务;任务执行模块用于执行所接收到的任务,所述任务包括与所述搜索推广平台相适应的账户结构信息;任务报告模块用于向多任务调度装置报告任务完成状况及任务执行节点的状态。
图5显示了上述用于搜索推广平台的多任务处理系统的一个实例。在本实例中,系统包括调度端和任务执行节点两部分。调度端和任务执行节点之间进行数据交换。任务执行节点向调度端发出任务请求,以请求调度端向任务执行节点发送任务;调度端在收到任务执行节点发出的任务请求后,经过任务生成、冲突检测等环节,将任务分发至任务执行节点并有任务执行节点执行。
如图5所示,调度端包括任务生成器、任务等待队列、节点负载量计算模块、冲突检测模块、任务分发中心。其中可以看出,在调度端接收到任务请求并启动工作后,首先进行节点负载量计算,经过针对多个节点的节点负载量计算,获得负载量最小的节点,将该节点作为执行此次任务的节点。然后从任务等待队列中取出任务,进而利用冲突检测模块对该任务进行冲突检测。如果通过冲突检测,该任务不存在冲突,则将任务通过任务分发中心发送至任务执行节点。该任务执行节点是经过上述节点负载量计算后选定的节点。
任务执行节点包括任务请求线程、任务执行器、去重处理器、预警处理器、报告模块。在任务执行节点得到调度端发来的任务后,由任务执行器执行,但在执行时必须经过去重、预警两个处理环节。如图所示,任务执行器分别与去重处理器、预警处理器相关联,首先对任务进行去重处理,将其中重复的关键字或词去掉;然后,对处理后的任务再进行预警判断,例如,判断关键词是否触犯了黑名单规则,如果关键词触犯了黑名单规则,则向用户发出预警,用户可以修改关键词。在经过去重和预警处理后,最终执行所述任务,例如:将处理后的关键词上传至搜索推广平台的后台。完成任务后,任务执行节点通过报告模块向调度端报告任务完成和节点状态。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的主旨之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种用于搜索推广平台的多任务调度方法,其特征在于,所述方法包括:
a.接收任务请求;
b.基于所述任务请求生成任务,所述任务包括与所述搜索推广平台相适应的账户结构信息,所述账户结构信息用于区分不同的所述搜索推广平台,所述账户结构信息至少包括账户名和token;
c.对所述任务进行冲突检测;
d.当所述任务与其他任务不存在冲突,则分发任务;
所述冲突检测包括检测同一账户下上传和下载是否同时执行;
在步骤d包括:进行节点负载量计算,当所述任务与其他任务不存在冲突,则根据节点负载量计算的结果向空闲的节点分发任务;
节点负载量的数据从状态管理器获取,状态管理器记录每个节点的运行状态并计算各节点的节点负载量,多个节点为分布在不同计算机设备上的软件程序,每个节点都可以执行相应的搜索推广任务,状态管理器对不同节点的工作状态进行监视,依据节点的空闲程度给节点分配任务。
2.根据权利要求1所述的方法,其特征在于,当所述任务与其他任务存在冲突时,则不分发该任务,从任务等待队列中取另一个任务并执行步骤c。
3.根据权利要求1所述的方法,其特征在于,所述任务为本地任务或远程任务中的任何一种。
4.一种用于搜索推广平台的多任务执行方法,其特征在于,所述方法包括:
(1)发出任务请求;
(2)执行基于任务请求所接收到的任务,所述任务包括与所述搜索推广平台相适应的账户结构信息,所述账户结构信息用于区分不同的所述搜索推广平台,所述账户结构信息至少包括账户名和token;
(3)报告任务完成状况及任务执行节点的状态;
步骤(2)包括:对待执行的任务进行去重处理,执行去重处理后的任务,所述任务包括与所述搜索推广平台相适应的账户结构信息;
执行节点的状态从状态管理器获取,通过状态管理器记录每个节点的状态并计算各节点的节点负载量,而且多个节点为分布在不同计算机设备上的软件程序,每一个节点都可以执行相应的搜索推广任务,状态管理器还负责对不同节点的工作状态进行监视,依据节点的空闲程度给节点分配任务。
5.根据权利要求4所述的方法,其特征在于,步骤(2)还包括:对待执行的任务进行预警判断,针对判断为由错误的任务,输出相应的预警信息。
6.根据权利要求5所述的方法,其特征在于,对于判断为由错误的任务,修正错误后执行。
7.一种用于搜索推广平台的多任务调度装置,其特征在于,所述装置包括任务接收模块、任务生成器、冲突检测模块和任务分发模块,
任务接收模块用于接收任务请求;
任务生成器用于基于任务请求生成任务,所述任务包括与所述搜索推广平台相适应的账户结构信息,所述账户结构信息用于区分不同的所述搜索推广平台,所述账户结构信息至少包括账户名和token;
冲突检测模块用于对所述任务进行冲突检测;
任务分发模块用于当所述任务与其他任务不存在冲突时分发任务;
所述冲突检测包括检测同一账户下上传和下载是否同时执行;
所述装置还包括节点负载量计算模块,所述节点负载量计算模块用于进行节点负载量计算,当所述任务与其他任务不存在冲突,任务分发模块根据节点负载量计算的结果向空闲的节点分发任务;
节点负载量的数据从状态管理器获取,状态管理器记录每个节点的运行状态并计算各节点的节点负载量,多个节点为分布在不同计算机设备上的软件程序,每个节点都可以执行相应的搜索推广任务,状态管理器对不同节点的工作状态进行监视,依据节点的空闲程度给节点分配任务。
8.根据权利要求7所述的装置,其特征在于,当所述任务与其他任务存在冲突时,任务分发模块不分发该任务,冲突检测模块对任务等待队列中的另一个任务执行冲突检测。
9.一种用于搜索推广平台的多任务执行装置,其特征在于,所述装置包括任务请求模块、任务接收模块、任务执行模块、任务报告模块,其中:
任务请求模块用于发出任务请求,任务接收模块用于接收分发来的任务;
任务执行模块用于执行所接收到的任务,所述任务包括与所述搜索推广平台相适应的账户结构信息;
任务报告模块用于报告任务完成状况及任务执行节点的状态;
所述装置包括去重模块,去重模块用于对待执行的任务进行去重处理,任务执行模块执行去重处理后的任务,所述任务包括与所述搜索推广平台相适应的账户结构信息;
执行节点的状态从状态管理器获取,通过状态管理器记录每个节点的状态并计算各节点的节点负载量,而且多个节点为分布在不同计算机设备上的软件程序,每一个节点都可以执行相应的搜索推广任务,状态管理器还负责对不同节点的工作状态进行监视,依据节点的空闲程度给节点分配任务。
10.根据权利要求9所述的装置,其特征在于,所述装置还包括预警模块,预警模块用于对待执行的任务进行预警判断,并且针对判断为由错误的任务输出相应的预警信息。
11.一种用于搜索推广平台的多任务处理系统,其特征在于,所述系统包括:多任务调度装置和多任务执行装置,其中,
多任务调度装置包括任务接收模块、任务生成器、冲突检测模块和任务分发模块,
任务接收模块用于接收来自多任务执行装置的任务请求;
任务生成器用于基于任务请求生成任务,所述任务包括与所述搜索推广平台相适应的账户结构信息,所述账户结构信息用于区分不同的所述搜索推广平台,所述账户结构信息至少包括账户名和token;
冲突检测模块用于对所述任务进行冲突检测;
任务分发模块用于当所述任务与其他任务不存在冲突时向多任务执行装置分发任务;
多任务执行装置包括任务请求模块、任务接收模块、任务执行模块、任务报告模块,其中:
任务请求模块用于向多任务调度装置发出任务请求,任务接收模块用于接收分发来的任务;
任务执行模块用于执行所接收到的任务,所述任务包括与所述搜索推广平台相适应的账户结构信息;
任务报告模块用于向多任务调度装置报告任务完成状况及任务执行节点的状态;
所述多任务执行装置包括去重模块,去重模块用于对待执行的任务进行去重处理,任务执行模块执行去重处理后的任务,所述任务包括与所述搜索推广平台相适应的账户结构信息;
所述多任务调度装置还包括节点负载量计算模块,所述节点负载量计算模块用于进行节点负载量计算,当所述任务与其他任务不存在冲突,任务分发模块根据节点负载量计算的结果向空闲的节点分发任务;
节点负载量的数据从状态管理器获取,状态管理器记录每个节点的运行状态并计算各节点的节点负载量,多个节点为分布在不同计算机设备上的软件程序,每个节点都可以执行相应的搜索推广任务,状态管理器对不同节点的工作状态进行监视,依据节点的空闲程度给节点分配任务。
12.根据权利要求11所述的系统,其特征在于,所述多任务执行装置还包括预警模块,预警模块用于对待执行的任务进行预警判断,并且针对判断为由错误的任务输出相应的预警信息。
CN201410831752.2A 2014-12-26 2014-12-26 用于搜索推广平台的多任务调度和执行方法、装置和系统 Active CN104615486B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410831752.2A CN104615486B (zh) 2014-12-26 2014-12-26 用于搜索推广平台的多任务调度和执行方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410831752.2A CN104615486B (zh) 2014-12-26 2014-12-26 用于搜索推广平台的多任务调度和执行方法、装置和系统

Publications (2)

Publication Number Publication Date
CN104615486A CN104615486A (zh) 2015-05-13
CN104615486B true CN104615486B (zh) 2019-07-02

Family

ID=53149942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410831752.2A Active CN104615486B (zh) 2014-12-26 2014-12-26 用于搜索推广平台的多任务调度和执行方法、装置和系统

Country Status (1)

Country Link
CN (1) CN104615486B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106570011B (zh) * 2015-10-09 2021-01-26 北京京东尚科信息技术有限公司 一种分布式爬虫url种子分发方法、调度节点及抓取节点
CN107180050A (zh) * 2016-03-11 2017-09-19 精硕科技(北京)股份有限公司 一种数据抓取系统及方法
CN107423918A (zh) * 2017-08-16 2017-12-01 广州环球梦电子商务股份有限公司 一种借卖平台商品任务调度方法和系统
CN108427600B (zh) * 2018-01-24 2021-03-16 平安科技(深圳)有限公司 数据任务处理方法、应用服务器及计算机可读存储介质
CN109388503A (zh) * 2018-09-20 2019-02-26 阿里巴巴集团控股有限公司 一种事件处理方法及装置
CN113726620B (zh) * 2021-11-02 2022-04-22 深圳市发掘科技有限公司 智能料理装置的管理方法、装置及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561107A (zh) * 2013-11-13 2014-02-05 北京国双科技有限公司 数据下载冲突的处理方法和装置
CN103645944A (zh) * 2013-12-25 2014-03-19 中国工商银行股份有限公司 一种批量数据冲突检测方法、装置及系统
CN104239148A (zh) * 2013-06-06 2014-12-24 腾讯科技(深圳)有限公司 一种分布式任务调度方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081554A (zh) * 2011-01-30 2011-06-01 浪潮(北京)电子信息产业有限公司 云计算操作系统及其内核控制系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239148A (zh) * 2013-06-06 2014-12-24 腾讯科技(深圳)有限公司 一种分布式任务调度方法及装置
CN103561107A (zh) * 2013-11-13 2014-02-05 北京国双科技有限公司 数据下载冲突的处理方法和装置
CN103645944A (zh) * 2013-12-25 2014-03-19 中国工商银行股份有限公司 一种批量数据冲突检测方法、装置及系统

Also Published As

Publication number Publication date
CN104615486A (zh) 2015-05-13

Similar Documents

Publication Publication Date Title
CN104615486B (zh) 用于搜索推广平台的多任务调度和执行方法、装置和系统
US10565034B2 (en) Event-driven serverless function orchestration
US10248671B2 (en) Dynamic migration script management
CN101411123B (zh) 用于分布式数据处理系统端点上的集中式系统管理的方法、系统和计算机程序
US8020044B2 (en) Distributed batch runner
CN105577475B (zh) 自动化性能测试系统及方法
CN107016480B (zh) 任务调度方法、装置及系统
CN105027108B (zh) 实例主机配置
US20130117064A1 (en) Business process analysis combining modeling, simulation and collaboration with web and cloud delivery
CN107807815B (zh) 分布式处理任务的方法和装置
CN108984179B (zh) 一种Linux下编译处理方法及装置
CN105740063A (zh) 一种数据处理方法及装置
CN109117170B (zh) 一种运行环境搭建方法及装置、代码合入方法及系统
CN103221891A (zh) 用于分布式控制系统的智能接口
CN113569987A (zh) 模型训练方法和装置
CN106101213A (zh) 信息分布式存储方法
CN110611707A (zh) 一种任务调度的方法及装置
WO2016155996A1 (en) Production system and method for controlling same
CN110955506A (zh) 一种分布式作业调度处理方法
CN114510317A (zh) 虚拟机管理方法、装置、设备及存储介质
CN105827744A (zh) 云存储平台的数据处理方法
CN117076096A (zh) 任务流程的执行方法、装置、计算机可读介质及电子设备
CN115700669B (zh) 物料差异单生成方法、电子设备及计算机存储介质
CN116719623A (zh) 作业调度方法、作业结果处理方法及其装置
CN113553163B (zh) 一种基于调度器的Jenkins应用部署方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant