CN101980206A - 文件任务管理工具 - Google Patents

文件任务管理工具 Download PDF

Info

Publication number
CN101980206A
CN101980206A CN 201010534423 CN201010534423A CN101980206A CN 101980206 A CN101980206 A CN 101980206A CN 201010534423 CN201010534423 CN 201010534423 CN 201010534423 A CN201010534423 A CN 201010534423A CN 101980206 A CN101980206 A CN 101980206A
Authority
CN
China
Prior art keywords
task
file
task processing
module
processing server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 201010534423
Other languages
English (en)
Inventor
杨凡
刘宾
周福
蒋建平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Century Broadband Internet Data Center Co., Ltd.
Original Assignee
BEIJING BANYANO DATA CENTER SOLUTIONS Ltd
BEIJING CLOUDEX SOFTWARE SERVICE Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING BANYANO DATA CENTER SOLUTIONS Ltd, BEIJING CLOUDEX SOFTWARE SERVICE Co Ltd filed Critical BEIJING BANYANO DATA CENTER SOLUTIONS Ltd
Priority to CN 201010534423 priority Critical patent/CN101980206A/zh
Publication of CN101980206A publication Critical patent/CN101980206A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种文件任务管理工具,包括:任务接收模块、任务处理模块、任务发送模块和任务执行状态处理模块;其中:任务处理模块,将文件总任务根据系统配置生成文件子任务,任务发送模块启动多线程,将生成的文件子任务,发送至任务管理服务器,每个线程可以同时发送多个任务至任务管理服务器,提高了任务的分发速度和分发效率;同时该管理工具中设置有任务执行状态处理模块,可以接收任务处理服务器反馈的任务处理状态信息,根据任务处理状态信息,对任务的执行状态进行判断,得出判断结果,对文件的总任务进行更新,实现了与任务处理服务器之间的信息交互。

Description

文件任务管理工具
技术领域
本申请涉及计算机技术领域,特别是涉及一种文件任务管理工具。
背景技术
传统的文件分发方式为,以单个设备为中心,将文件分发到多个设备上。在文件分发的过程中,现有的文件任务管理工具在分发任务的过程中一般采用单线程顺序方式分发,在分发完一个处理设备后,再依次对其它处理设备进行分发,处理时间长;且在分发结束后,任务管理工具不能获知任务是否分发成功,不能及时对任务进行更新管理。
可见现有的文件任务管理工具在文件分发过程中,分发速度慢,且不能和任务处理服务器进行有效交互。
发明内容
为解决上述技术问题,本申请实施例提供一种文件任务管理工具,以多线程方式对任务进行分发,提高任务的分发速度,且设置有任务执行状态处理模块,实现了与任务处理服务器之间的交互。
技术方案如下:
一种文件任务管理工具,包括:任务接收模块、任务处理模块、任务发送模块和任务执行状态处理模块;
其中:所述任务接收模块用于接收文件总任务;
所述任务处理模块用于读取所述任务接收模块接收的文件总任务,并根据系统配置生成所述文件总任务的子任务;
所述任务发送模块用于启动多线程将所述任务处理模块生成的子任务发送至系统中的任务处理服务器;
所述任务执行状态处理模块用于接收所述任务处理服务器发送的对所述子任务的执行状态的信息,并根据所述信息对所述任务接收模块接收的文件总任务进行更新。
上述的管理工具,优选的,所述任务接收模块接收的文件总任务是文件分发过程中所有属性描述信息以及需要分发该文件的客户信息;包括外部用户提交的任务和系统内部提交的任务。
上述的管理工具,优选的,所述任务接收模块接收外部用户提交的任务时还包括对外部用户的验证过程。
上述的管理工具,优选的,所述验证过程包括对用户的用户名、密码及有效性的验证。
上述的管理工具,优选的,所述任务处理模块根据系统配置并根据预设策略生成所述文件总任务的子任务。
上述的管理工具,优选的,所述任务发送模块以http协议将所述子任务发送至任务处理服务器,每次发送的任务数量不超预设阀值;所述阀值的大小根据任务处理服务器的处理能力进行设定。
上述的管理工具,优选的,所述任务执行状态处理模块接收到任务处理服务器发送的对所述子任务的执行状态信息后,对所述执行状态信息进行判断,包括:
判断所述分发任务的任务处理服务器是否分发任务成功;
判断分发成功的任务处理服务器是否可发送任务至其它任务处理服务器;
判断接收后,根据判断结果对任务结构模块接收的文件总任务进行更新。
由以上本申请实施例提供的技术方案可见,本发明提供的文件任务管理工具,设置有任务处理模块,将文件总任务根据系统配置生成文件子任务,任务发送模块启动多线程,将生成的文件子任务,发送至任务管理服务器,每个线程可以同时发送多个任务至任务管理服务器,提高了任务的分发速度和分发效率;同时该管理工具中设置有任务执行状态处理模块,可以接收任务处理服务器反馈的任务处理状态信息,根据任务处理状态信息,对任务的执行状态进行判断,得出判断结果,对文件的总任务进行更新,实现了与任务处理服务器之间的信息交互。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的文件任务管理工具的结构示意图;
图2为本申请实施例提供的文件任务管理工具的另一个结构示意图;
图3为本申请实施例提供的设置了验证模块的文件任务管理工具的结构示意图;
图4为本申请实施例提供的设置了策略模块的文件任务管理工具的结构示意图;
图5为本申请实施例提供的设置了判断模块的文件任务管理工具的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案。下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请实施例提供的文件任务管理工具的结构示意图如图1所示,包括:任务结构模块101、任务处理模块102、任务发送模块103和任务执行状态处理模块104;
其中:任务接收模块101用于接收文件总任务;
系统提供标准的http协议接口接收任务;
任务处理模块102用于读取任务接收模块101接收的文件总任务,并根据系统配置生成所述文件总任务的子任务;
任务发送模块103用于启动多线程将任务处理模块102生成的子任务发送至系统中的任务处理服务器105;
任务执行状态处理模块104用于接收任务处理服务器105发送的对子任务的执行状态的信息,并根据所述信息对任务接收模块101接收的文件总任务进行更新。
本申请实施例提供的文件任务管理工具中任务接收模块接收的文件总任务是指以个需要分发的文件所有描述信息,以及需要分发这个文件的客户信息;任务处理模块生成的子任务是指以个文件所需要分发到的设备的信息。
其中:总任务包括外部用户提交的任务和系统内部提交的任务。
外部用户提交任务时,系统会对客户的身份进行验证,包括用户名、密码、有效性等。系统内部提交任务时不需要进行验证,只要格式符合则可以对提交的任务进行保存。
本申请实施例提供的文件任务管理工具的另一个结构示意图如图2,任务接收模块101可以将整个系统的任务以及配置存储在数据库106中,任务处理模块102读取存储在数据库中的总任务,根据系统的配置生成子任务。
本申请实施例提供的设置了验证模块的文件任务管理工具的结构示意图如图3所示,文件任务管理工具中的任务接收模块101中设置有验证模块,用于对用户上传任务时,对用户进行验证。
本申请实施例提供的设置了策略模块的文件任务管理工具的结构示意图如图4所示,文件任务管理工具中的任务处理模块102中设置有策略模块108,策略模块中预设有预设子任务生成策略,任务处理模块102根据策略模块108中预设的策略生成子任务,根据策略进行子任务生成的过程包括:
判断用户的状态是否可用,如不可用,则不生成任务;
判断用户的优先级状态,对优先级高的用户首先生成子任务;
判断所有需要分发子任务的任务处理服务器是否工作正常,如果文件任务处理服务器不可用,则不生成任务;
判断所有需要分发子任务的任务处理服务器是否共享同一个存储(此处存储的概念为多个设备用NFS共享同一个存储单元),如果多个设备共享同一个存储,则选择一个此时任务最少的设备进行分发;
判断设备使用何种协议进行同步,如果为P2P协议则没有上层任务处理服务器,如果为http,或UDP协议则需要指定上层任务处理服务器。
本申请实施例提供的文件任务管理工具中任务发送模块将已经生成的子任务以http协议方式发送到多个任务处理服务器上,发送任务时,以多线程方式发送,每个线程负责多个任务处理服务器,每个设备的任务一次发送,每次发送的任务数量不超过预先设置的阀值,如100个,该阀值的大小可根据任务处理服务器的处理能力进行设定,发送任务会不停的重试,直至任务发送成功。
本申请实施例提供的文件任务管理工具中任务执行状态处理模块负责接收任务处理服务器任务执行状态的反馈;本申请实施例提供的设置了判断模块的文件任务管理工具的结构示意图如图5所示,在接收到任务执行状态的反馈信息后,判断模块109会判断任务执行情况,包括:
判断是否所有需要分发的任务处理服务器都分发任务成功;
判断分发任务成功的任务处理服务器是否可以继续对其下层的任务处理服务器进行任务分发;
根据判断的结果对任务接收模块接收的文件总任务或存储在数据库中的文件总任务进行更新。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅是本申请的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (7)

1.一种文件任务管理工具,其特征在于,包括:任务接收模块、任务处理模块、任务发送模块和任务执行状态处理模块;
其中:所述任务接收模块用于接收文件总任务;
所述任务处理模块用于读取所述任务接收模块接收的文件总任务,并根据系统配置生成所述文件总任务的子任务;
所述任务发送模块用于启动多线程将所述任务处理模块生成的子任务发送至系统中的任务处理服务器;
所述任务执行状态处理模块用于接收所述任务处理服务器发送的对所述子任务的执行状态的信息,并根据所述信息对所述任务接收模块接收的文件总任务进行更新。
2.根据权利要求1所述的管理工具,其特征在于,所述任务接收模块接收的文件总任务是文件分发过程中所有属性描述信息以及需要分发该文件的客户信息;包括外部用户提交的任务和系统内部提交的任务。
3.根据权利要求2所述的管理工具,其特征在于,所述任务接收模块接收外部用户提交的任务时还包括对外部用户的验证过程。
4.根据权利要求3所述的管理工具,其特征在于,所述验证过程包括对用户的用户名、密码及有效性的验证。
5.根据权利要求1所述的管理工具,其特征在于,所述任务处理模块根据系统配置并根据预设策略生成所述文件总任务的子任务。
6.根据权利要求1所述的管理工具,其特征在于,所述任务发送模块以http协议将所述子任务发送至任务处理服务器,每次发送的任务数量不超预设阀值;所述阀值的大小根据任务处理服务器的处理能力进行设定。
7.根据权利要求1所述的管理工具,其特征在于,所述任务执行状态处理模块接收到任务处理服务器发送的对所述子任务的执行状态信息后,对所述执行状态信息进行判断,包括:
判断所述分发任务的任务处理服务器是否分发任务成功;
判断分发成功的任务处理服务器是否可发送任务至其它任务处理服务器;
判断接收后,根据判断结果对任务结构模块接收的文件总任务进行更新。
CN 201010534423 2010-11-05 2010-11-05 文件任务管理工具 Pending CN101980206A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 201010534423 CN101980206A (zh) 2010-11-05 2010-11-05 文件任务管理工具

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 201010534423 CN101980206A (zh) 2010-11-05 2010-11-05 文件任务管理工具

Publications (1)

Publication Number Publication Date
CN101980206A true CN101980206A (zh) 2011-02-23

Family

ID=43600708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201010534423 Pending CN101980206A (zh) 2010-11-05 2010-11-05 文件任务管理工具

Country Status (1)

Country Link
CN (1) CN101980206A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294527A (zh) * 2012-02-29 2013-09-11 深圳市思乐网络技术有限责任公司 一种处理网络任务的方法、系统以及服务器
CN104750549A (zh) * 2015-04-13 2015-07-01 飞狐信息技术(天津)有限公司 计算任务处理装置、方法及系统
CN105573824A (zh) * 2014-10-10 2016-05-11 腾讯科技(深圳)有限公司 分布式计算系统的监控方法及系统
CN106372163A (zh) * 2016-08-31 2017-02-01 天津南大通用数据技术股份有限公司 一种适用于分布式数据库的数据分发方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101719926A (zh) * 2009-12-03 2010-06-02 成都耀邦科技有限责任公司 web service多线程文件上传系统
WO2010060289A1 (zh) * 2008-11-03 2010-06-03 华为技术有限公司 一种多核处理器的任务分配方法、系统及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010060289A1 (zh) * 2008-11-03 2010-06-03 华为技术有限公司 一种多核处理器的任务分配方法、系统及设备
CN101719926A (zh) * 2009-12-03 2010-06-02 成都耀邦科技有限责任公司 web service多线程文件上传系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103294527A (zh) * 2012-02-29 2013-09-11 深圳市思乐网络技术有限责任公司 一种处理网络任务的方法、系统以及服务器
CN105573824A (zh) * 2014-10-10 2016-05-11 腾讯科技(深圳)有限公司 分布式计算系统的监控方法及系统
CN105573824B (zh) * 2014-10-10 2020-04-03 腾讯科技(深圳)有限公司 分布式计算系统的监控方法及系统
CN104750549A (zh) * 2015-04-13 2015-07-01 飞狐信息技术(天津)有限公司 计算任务处理装置、方法及系统
CN106372163A (zh) * 2016-08-31 2017-02-01 天津南大通用数据技术股份有限公司 一种适用于分布式数据库的数据分发方法及装置
CN106372163B (zh) * 2016-08-31 2020-12-04 天津南大通用数据技术股份有限公司 一种适用于分布式数据库的数据分发方法及装置

Similar Documents

Publication Publication Date Title
CN103428696B (zh) 实现虚拟sim卡的方法、系统及相关设备
CN105550576B (zh) 容器间通信的方法与装置
CN106790238B (zh) 一种跨站请求伪造csrf防御认证方法和装置
CN102710630A (zh) 一种多线程分片的云上传下载方法及系统
US9560043B2 (en) Biometric-based wireless device association
CN103259819B (zh) 文件共享的方法及系统
CN102055799B (zh) 内容刷新系统
CN101980206A (zh) 文件任务管理工具
CN106357602B (zh) 一种直播方法及直播应用服务端、合作应用客户端
CN106470184A (zh) 安全认证方法、装置及系统
CN102693455A (zh) 一种基于金融ic卡的数据准备全自动化系统及方法
CN102857470B (zh) 一种网络传输系统、服务器和客户端
CN105743947A (zh) 一种资源共享方法及装置
CN105868970A (zh) 一种认证方法和电子设备
CN109995699A (zh) 多媒体设备管理系统及管理方法
CN104484167B (zh) 任务处理方法及装置
CN103095666B (zh) 第三方应用处理方法及装置
CN102833257A (zh) 一种操作请求排队方法、相关设备及系统
CN103905484B (zh) 处理超文本传输协议请求的方法及装置
CN111401991A (zh) 数据的信息配送方法及装置、存储介质、计算机设备
CN106850686A (zh) 一种云计算系统
CN102831017A (zh) 一种高效分布式并行鉴权系统
CN103229486A (zh) 批量文件传输方法及设备
CN104468520A (zh) 身份认证方法和装置
CN109104472B (zh) 区块链网络组网方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: BEIJING CENTURY BROADBAND INTERNET DATA CENTER CO.

Free format text: FORMER OWNER: BEIJING CLOUDEX SOFTWARE SERVICES CO., LTD.

Effective date: 20121015

Free format text: FORMER OWNER: BEIJING BANYANO DATA CENTER SOLUTIONS LTD.

Effective date: 20121015

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20121015

Address after: 100015, No. 5, building 1, 3 East Road, Jiuxianqiao Road, Beijing, Chaoyang District

Applicant after: Beijing Century Broadband Internet Data Center Co., Ltd.

Address before: 100015 No. 5, building 5, building 1, Jiuxianqiao East Road, Chaoyang District, Beijing

Applicant before: Beijing CloudEx Software Service Co., Ltd.

Applicant before: Beijing BANYANO Data Center Solutions Ltd.

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110223