CN102622265A - 一种任务分配方法和系统 - Google Patents

一种任务分配方法和系统 Download PDF

Info

Publication number
CN102622265A
CN102622265A CN201110030729XA CN201110030729A CN102622265A CN 102622265 A CN102622265 A CN 102622265A CN 201110030729X A CN201110030729X A CN 201110030729XA CN 201110030729 A CN201110030729 A CN 201110030729A CN 102622265 A CN102622265 A CN 102622265A
Authority
CN
China
Prior art keywords
task
processor
sorter
processing
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110030729XA
Other languages
English (en)
Inventor
蒋敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TVMining Beijing Media Technology Co Ltd
Original Assignee
TVMining Beijing Media Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TVMining Beijing Media Technology Co Ltd filed Critical TVMining Beijing Media Technology Co Ltd
Priority to CN201110030729XA priority Critical patent/CN102622265A/zh
Publication of CN102622265A publication Critical patent/CN102622265A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Power Sources (AREA)

Abstract

本发明公开了一种任务分配方法和系统,数据库中存储处理机的标识信息和处理能力信息以及每种类型任务消耗的处理能力值;客户端向任务分发机提交任务处理请求;任务分发机根据处理机的标识信息向处理机发出询问指令;处理机将自己的当前状态信息和负载信息反馈给任务分发机;任务分发机从数据库获取任务处理请求中的任务对应的需要消耗的处理能力值和处理机的处理能力信息;再根据任务需要消耗的处理能力值,并结合处理机的处理能力以及当前状态和负载,将任务分发给对应的处理机。采用了本发明的技术方案,能够提高系统的可靠性和容错能力,并且可以有效提高处理机的处理效率,减少损耗,降低成本。

Description

一种任务分配方法和系统
技术领域
本发明涉及视频加工技术领域,尤其涉及一种任务分配方法和系统。
背景技术
视频加工处理流程一般包括采集、存储(包含文件系统存储、数据库数据结构化等)、加工处理(包含分析、拆分、标引、格式转化等),以及和其他系统对接(包含CMS、MAMS等)。目前涉及视频业务的企业所需要的视频都是自己加工处理而成,需要涉及到上述大部分甚至所有流程,而在内容上多家企业又有诸多重合,尤其在电视节目源上,这样不但对各视频业务运营商来说成本巨大,而且这些企业之间并未对这些资源进行共享,造成相当大的资源浪费。
这时需要一个独立的第三方企业来搭建一个视频资源共享平台,做这些相互重合的工作,减少各视频业务运营商各自的重合流程,减化自身的业务环节,缩短业务周期,减低成本,提高可共享资源的使用率,达到减少资源浪费的目的。而要满足不同运营商的特性化要求,就必须能提供各种各样的任务处理的能力,任务分配系统就是满足这些特性化任务处理需求的系统。
传统的任务分配系统工作原理是,多个客户端将任务处理请求发送给任务分发机,任务分发机收到不同客户端的多个任务处理请求后,依次将任务分配给不同的处理机处理。
上述系统存在以下几个问题:
一、未判断各处理机的当前状态是否可运行任务处理,可能造成任务丢失。
二、未量化任务所消耗的处理器资源量,因为每种处理任务所消耗的处理器资源可能都是不一样的,未根据各处理机的当前负载去分配任务,极有可能会造成处理机处理能力浪费和任务等待。
三、未能有效利用处理机的处理能力,增大处理成本。
发明内容
本发明的目的在于提出一种任务分配方法和系统,能够提高系统的可靠性和容错能力,并且可以有效提高处理机的处理效率,减少损耗,降低成本。
为达此目的,本发明采用以下技术方案:
一种任务分配方法,包括以下步骤:
A、数据库中存储处理机的标识信息和处理能力信息以及每种类型任务消耗的处理能力值;
B、客户端向任务分发机提交任务处理请求;
C、任务分发机从数据库获取处理机的标识信息,根据处理机的标识信息获取处理机的位置,并向处理机发出询问指令;
D、处理机收到询问指令后,将自己的当前状态信息和负载信息反馈给任务分发机;
E、任务分发机从数据库获取任务处理请求中的任务对应的需要消耗的处理能力值和处理机的处理能力信息;
F、任务分发机根据任务需要消耗的处理能力值,并结合处理机的处理能力以及当前状态和负载,将任务分发给对应的处理机。
步骤C中,任务分发机向处理机发送询问指令无响应的次数达到预设值时,任务分发机判断所述处理机处于下线状态,并向监控模块报告所述处理机状态异常。
还包括以下步骤:
数据库存储有新的处理机的标识信息和处理能力信息时,数据库向任务分发机发送更新处理机列表指令,任务分发机从数据库读取处理机信息以更新处理机列表。
还包括以下步骤:
任务分发机监控每个任务的执行进度,当一台处理机执行任务失败或者异常时,将所述任务发送给其他处理机执行。
处理机的标识信息是处理机的IP地址。
处理机的处理能力和每种类型任务消耗的处理能力按照同一个标准进行量化。
一种任务分配系统,包括数据库、客户端、任务分发机和处理机,任务分发机分别与数据库、客户端和处理机连接,其中,
数据库用于存储处理机的标识信息和处理能力信息以及每种类型任务消耗的处理能力值;
客户端用于向任务分发机提交任务处理请求;
任务分发机用于接收客户端发来的任务处理请求,从数据库获取处理机的标识信息和处理能力信息及任务处理请求中的任务对应的需要消耗的处理能力值,向处理机发送询问指令,接收处理机的当前状态信息和负载信息,并向处理机发送任务;
处理机用于从任务分发机接收询问指令,将自己的当前状态信息和负载信息反馈给任务分发机,并接收任务分发机发来的任务。
还包括监控模块,监控模块与任务分发机连接,任务分发机还用于判断处理机的状态,并发送给监控模块。
采用了本发明的技术方案,能够提高系统的可靠性和容错能力,并且可以合理分配处理机资源,有效提高处理机的处理效率,减少损耗,降低成本,易于扩展和维护处理集群。
附图说明
图1是本发明具体实施方式中任务分配系统的结构示意图。
图2是本发明具体实施方式中任务分配的流程图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
图1是本发明具体实施方式中任务分配系统的结构示意图。如图1所示,该任务分配系统包括数据库101、客户端102、监控模块103、任务分发机104和处理机105,任务分发机分别与数据库、客户端、监控模块和处理机连接。
数据库存储处理机的标识信息和处理能力信息以及每种类型任务消耗的处理能力值。
客户端向任务分发机提交任务处理请求。
任务分发机接收客户端发来的任务处理请求,从数据库获取处理机的标识信息和处理能力信息及任务处理请求中的任务对应的需要消耗的处理能力值,向处理机发送询问指令,接收处理机的当前状态信息和负载信息,并向处理机发送任务,任务分发机还判断处理机的状态,并发送给监控模块。
处理机从任务分发机接收询问指令,将自己的当前状态信息和负载信息反馈给任务分发机,并接收任务分发机发来的任务。
图2是本发明具体实施方式中任务分配的流程图。如图2所示,该任务分配流程包括以下步骤:
步骤201、数据库中存储处理机的标识信息(IP地址)和处理能力信息以及每种类型任务消耗的处理能力值。其中处理机的处理能力和每种类型任务消耗的处理能力按照同一个标准进行量化,基准能力设定为100,不同的处理机参照基准能力得出各自的处理能力,每种类型的任务消耗的处理能力也是参照基准能力配置。
步骤202、客户端向任务分发机提交任务处理请求。
步骤203、任务分发机从数据库获取处理机的标识信息(IP地址),根据处理机的标识信息获取处理机的位置,并向处理机发出询问指令。
任务分发机向处理机发送询问指令无响应的次数达到预设值时,任务分发机判断该处理机处于下线状态,并向监控模块报告该处理机状态异常。
步骤204、处理机收到询问指令后,将自己的当前状态信息和负载信息反馈给任务分发机。状态信息包括可运行状态和不可运行状态,负载信息则是处理机正在负载的任务占其处理能力的百分比例。
步骤205、任务分发机从数据库获取任务处理请求中的任务对应的需要消耗的处理能力值和处理机的处理能力信息。
步骤206、任务分发机根据任务需要消耗的处理能力值,并结合处理机的处理能力以及当前状态和负载,将任务分发给对应的处理机。
例如客户端提交任务处理请求中的任务需要消耗的处理能力值是80,如果一个处理机的当前状态是不可运行的,则不会发送任务给这个处理机。如果一个处理机的当前状态是可运行的,则获取该处理机反馈的处理能力信息和负载信息,如果该处理机的处理能力是100,而当前负载是50%,则剩余的处理能力100*(1-50%)=50不能执行需要消耗的处理能力值是80的任务,任务分发机就不将该任务分发给该处理机;如果当前负载是10%,则剩余的处理能力100*(1-10%)=90能够执行需要消耗的处理能力值是80的任务,任务分发机则将该任务分发给该处理机。
步骤207、任务分发机监控每个任务的执行进度,当一台处理机执行任务失败或者异常时,将上述任务发送给其他处理机执行。
另外,如果数据库存储有新的处理机的标识信息和处理能力信息时,数据库向任务分发机发送更新处理机列表指令,任务分发机从数据库读取处理机信息以更新处理机列表,即可完成该处理机上线。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉该技术的人在本发明所揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (8)

1.一种任务分配方法,其特征在于,包括以下步骤:
A、数据库中存储处理机的标识信息和处理能力信息以及每种类型任务消耗的处理能力值;
B、客户端向任务分发机提交任务处理请求;
C、任务分发机从数据库获取处理机的标识信息,根据处理机的标识信息获取处理机的位置,并向处理机发出询问指令;
D、处理机收到询问指令后,将自己的当前状态信息和负载信息反馈给任务分发机;
E、任务分发机从数据库获取任务处理请求中的任务对应的需要消耗的处理能力值和处理机的处理能力信息;
F、任务分发机根据任务需要消耗的处理能力值,并结合处理机的处理能力以及当前状态和负载,将任务分发给对应的处理机。
2.根据权利要求1所述的一种任务分配方法,其特征在于,步骤C中,任务分发机向处理机发送询问指令无响应的次数达到预设值时,任务分发机判断所述处理机处于下线状态,并向监控模块报告所述处理机状态异常。
3.根据权利要求1所述的一种任务分配方法,其特征在于,还包括以下步骤:
数据库存储有新的处理机的标识信息和处理能力信息时,数据库向任务分发机发送更新处理机列表指令,任务分发机从数据库读取处理机信息以更新处理机列表。
4.根据权利要求1所述的一种任务分配方法,其特征在于,还包括以下步骤:
任务分发机监控每个任务的执行进度,当一台处理机执行任务失败或者异常时,将所述任务发送给其他处理机执行。
5.根据权利要求1所述的一种任务分配方法,其特征在于,处理机的标识信息是处理机的IP地址。
6.根据权利要求1所述的一种任务分配方法,其特征在于,处理机的处理能力和每种类型任务消耗的处理能力按照同一个标准进行量化。
7.一种任务分配系统,其特征在于,包括数据库、客户端、任务分发机和处理机,任务分发机分别与数据库、客户端和处理机连接,其中,
数据库用于存储处理机的标识信息和处理能力信息以及每种类型任务消耗的处理能力值;
客户端用于向任务分发机提交任务处理请求;
任务分发机用于接收客户端发来的任务处理请求,从数据库获取处理机的标识信息和处理能力信息及任务处理请求中的任务对应的需要消耗的处理能力值,向处理机发送询问指令,接收处理机的当前状态信息和负载信息,并向处理机发送任务;
处理机用于从任务分发机接收询问指令,将自己的当前状态信息和负载信息反馈给任务分发机,并接收任务分发机发来的任务。
8.根据权利要求7所述的一种任务分配系统,其特征在于,还包括监控模块,监控模块与任务分发机连接,任务分发机还用于判断处理机的状态,并发送给监控模块。
CN201110030729XA 2011-01-28 2011-01-28 一种任务分配方法和系统 Pending CN102622265A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110030729XA CN102622265A (zh) 2011-01-28 2011-01-28 一种任务分配方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110030729XA CN102622265A (zh) 2011-01-28 2011-01-28 一种任务分配方法和系统

Publications (1)

Publication Number Publication Date
CN102622265A true CN102622265A (zh) 2012-08-01

Family

ID=46562194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110030729XA Pending CN102622265A (zh) 2011-01-28 2011-01-28 一种任务分配方法和系统

Country Status (1)

Country Link
CN (1) CN102622265A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103577256A (zh) * 2013-11-21 2014-02-12 五八同城信息技术有限公司 分布式定时任务调度系统
CN103793275A (zh) * 2012-10-31 2014-05-14 北京华胜天成科技股份有限公司 实现负载均衡的系统及处理方法
CN103905515A (zh) * 2012-12-28 2014-07-02 北大方正集团有限公司 一种分布式互联网信息下载系统及方法
CN104281491A (zh) * 2014-09-26 2015-01-14 百度在线网络技术(北京)有限公司 一种数据处理方法及装置
CN104408552A (zh) * 2014-11-13 2015-03-11 华为技术有限公司 任务协作处理方法、装置和系统
CN104462302A (zh) * 2014-11-28 2015-03-25 北京京东尚科信息技术有限公司 一种分布式数据处理协调方法及系统
CN105373429A (zh) * 2014-08-20 2016-03-02 腾讯科技(深圳)有限公司 任务调度方法、装置及系统
CN105468455A (zh) * 2015-11-23 2016-04-06 天脉聚源(北京)传媒科技有限公司 一种用于多设备的动态任务分配的方法及装置
CN106131185A (zh) * 2016-07-13 2016-11-16 腾讯科技(深圳)有限公司 一种视频数据的处理方法、装置及系统
CN106936607A (zh) * 2015-12-30 2017-07-07 华为技术有限公司 数据处理的方法和数据处理系统
CN107479963A (zh) * 2016-06-08 2017-12-15 国家计算机网络与信息安全管理中心 一种任务分配方法及系统
CN107515804A (zh) * 2017-09-08 2017-12-26 郑州云海信息技术有限公司 一种任务机的选择方法、系统及自动化测试系统
CN107948305A (zh) * 2017-12-11 2018-04-20 北京百度网讯科技有限公司 漏洞扫描方法、装置、设备及计算机可读介质
CN108710530A (zh) * 2018-02-24 2018-10-26 深圳市艾龙电子有限公司 任务分布式处理方法、装置、网络终端设备和存储介质
CN108990112A (zh) * 2017-05-31 2018-12-11 华为技术有限公司 通信网络中的任务处理方法和通信装置
CN109144726A (zh) * 2018-08-09 2019-01-04 深圳市瑞云科技有限公司 一种通过群组来调度节点机的方法
CN111355663A (zh) * 2018-12-20 2020-06-30 中兴通讯股份有限公司 一种消息处理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060184626A1 (en) * 2005-02-11 2006-08-17 International Business Machines Corporation Client / server application task allocation based upon client resources
CN101441557A (zh) * 2008-11-08 2009-05-27 腾讯科技(深圳)有限公司 基于动态数据拆分的分布式并行计算的系统及其方法
CN101741885A (zh) * 2008-11-19 2010-06-16 珠海市西山居软件有限公司 分布式系统及分布式系统处理任务流的方法
CN101834890A (zh) * 2010-04-02 2010-09-15 浪潮(北京)电子信息产业有限公司 一种分布式系统的智能化管理系统及方法
CN101917385A (zh) * 2009-11-17 2010-12-15 新奥特(北京)视频技术有限公司 调度服务器及多媒体转码用的分布式系统
CN101957780A (zh) * 2010-08-17 2011-01-26 中国电子科技集团公司第二十八研究所 一种基于资源状态信息的网格任务调度处理器及方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060184626A1 (en) * 2005-02-11 2006-08-17 International Business Machines Corporation Client / server application task allocation based upon client resources
CN101441557A (zh) * 2008-11-08 2009-05-27 腾讯科技(深圳)有限公司 基于动态数据拆分的分布式并行计算的系统及其方法
CN101741885A (zh) * 2008-11-19 2010-06-16 珠海市西山居软件有限公司 分布式系统及分布式系统处理任务流的方法
CN101917385A (zh) * 2009-11-17 2010-12-15 新奥特(北京)视频技术有限公司 调度服务器及多媒体转码用的分布式系统
CN101834890A (zh) * 2010-04-02 2010-09-15 浪潮(北京)电子信息产业有限公司 一种分布式系统的智能化管理系统及方法
CN101957780A (zh) * 2010-08-17 2011-01-26 中国电子科技集团公司第二十八研究所 一种基于资源状态信息的网格任务调度处理器及方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793275A (zh) * 2012-10-31 2014-05-14 北京华胜天成科技股份有限公司 实现负载均衡的系统及处理方法
CN103793275B (zh) * 2012-10-31 2018-09-04 北京华胜天成科技股份有限公司 实现负载均衡的系统及处理方法
CN103905515A (zh) * 2012-12-28 2014-07-02 北大方正集团有限公司 一种分布式互联网信息下载系统及方法
CN103577256A (zh) * 2013-11-21 2014-02-12 五八同城信息技术有限公司 分布式定时任务调度系统
CN103577256B (zh) * 2013-11-21 2017-03-15 五八同城信息技术有限公司 分布式定时任务调度系统
CN105373429A (zh) * 2014-08-20 2016-03-02 腾讯科技(深圳)有限公司 任务调度方法、装置及系统
CN104281491A (zh) * 2014-09-26 2015-01-14 百度在线网络技术(北京)有限公司 一种数据处理方法及装置
CN104408552A (zh) * 2014-11-13 2015-03-11 华为技术有限公司 任务协作处理方法、装置和系统
CN104462302B (zh) * 2014-11-28 2018-04-27 北京京东尚科信息技术有限公司 一种分布式数据处理协调方法及系统
CN104462302A (zh) * 2014-11-28 2015-03-25 北京京东尚科信息技术有限公司 一种分布式数据处理协调方法及系统
CN105468455B (zh) * 2015-11-23 2018-12-21 天脉聚源(北京)传媒科技有限公司 一种用于多设备的动态任务分配的方法及装置
CN105468455A (zh) * 2015-11-23 2016-04-06 天脉聚源(北京)传媒科技有限公司 一种用于多设备的动态任务分配的方法及装置
CN106936607A (zh) * 2015-12-30 2017-07-07 华为技术有限公司 数据处理的方法和数据处理系统
CN107479963A (zh) * 2016-06-08 2017-12-15 国家计算机网络与信息安全管理中心 一种任务分配方法及系统
CN106131185B (zh) * 2016-07-13 2020-03-17 腾讯科技(深圳)有限公司 一种视频数据的处理方法、装置及系统
CN106131185A (zh) * 2016-07-13 2016-11-16 腾讯科技(深圳)有限公司 一种视频数据的处理方法、装置及系统
CN108990112A (zh) * 2017-05-31 2018-12-11 华为技术有限公司 通信网络中的任务处理方法和通信装置
CN108990112B (zh) * 2017-05-31 2021-01-15 华为技术有限公司 通信网络中的任务处理方法和通信装置
US11089650B2 (en) 2017-05-31 2021-08-10 Huawei Technologies Co., Ltd. Task processing method in communications network and communications apparatus
CN107515804A (zh) * 2017-09-08 2017-12-26 郑州云海信息技术有限公司 一种任务机的选择方法、系统及自动化测试系统
CN107948305A (zh) * 2017-12-11 2018-04-20 北京百度网讯科技有限公司 漏洞扫描方法、装置、设备及计算机可读介质
CN107948305B (zh) * 2017-12-11 2019-04-02 北京百度网讯科技有限公司 漏洞扫描方法、装置、设备及计算机可读介质
CN108710530A (zh) * 2018-02-24 2018-10-26 深圳市艾龙电子有限公司 任务分布式处理方法、装置、网络终端设备和存储介质
CN109144726A (zh) * 2018-08-09 2019-01-04 深圳市瑞云科技有限公司 一种通过群组来调度节点机的方法
CN111355663A (zh) * 2018-12-20 2020-06-30 中兴通讯股份有限公司 一种消息处理方法及系统
CN111355663B (zh) * 2018-12-20 2023-04-07 中兴通讯股份有限公司 一种消息处理方法及系统

Similar Documents

Publication Publication Date Title
CN102622265A (zh) 一种任务分配方法和系统
CN103259832A (zh) 实现动态负载平衡、故障诊断与转移的群集资源控制方法
CN102035684B (zh) 一种故障通知方法及系统
CN101604264B (zh) 超级计算机的任务调度方法及系统
CN102025616B (zh) 一种实现双向转发检测的方法、装置及交换机
CN1869932A (zh) 实现数据升级的计算机处理系统以及数据升级方法
CN102521044A (zh) 一种基于消息中间件的分布式任务调度方法及系统
CN105183549A (zh) 基于任务分配的自动出票系统
CN101694633A (zh) 计算机作业调度设备、方法及系统
CN102591765A (zh) 一种进程自动管理系统
CN112132299A (zh) 一种运维工单管理系统及方法
CN102859961A (zh) 具有自适应的文件处理的分布式视频转码系统
CN104657150A (zh) 一种集群环境下的自动化运维方法
CN104657841A (zh) 快件投递方法、投递处理方法及快递柜终端和服务系统
CN103957280A (zh) 一种物联网中的传感网络连接分配和调度方法
CN106354870B (zh) 一种数据加载的方法和设备
CN103634132A (zh) 用于it运维平台的高效采集系统
CN103685363A (zh) 一种高效可靠的多任务处理方法及系统
CN103744735A (zh) 一种多核资源的调度方法及装置
CN104468710A (zh) 一种混合大数据处理系统及处理方法
CN102510407A (zh) 一种对博客进行读、写操作的方法及系统
CN102571595B (zh) 一种堆叠系统的路由转发信息同步方法和装置
CN105550025A (zh) 分布式基础设施即服务(IaaS)调度方法及系统
US20150006620A1 (en) Scalable manufacturing facility management system
CN105516317A (zh) 一种用电信息多层级负载均摊高效采集方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120801