CN101442534A - 传输任务调度方法和系统 - Google Patents
传输任务调度方法和系统 Download PDFInfo
- Publication number
- CN101442534A CN101442534A CNA2008102081224A CN200810208122A CN101442534A CN 101442534 A CN101442534 A CN 101442534A CN A2008102081224 A CNA2008102081224 A CN A2008102081224A CN 200810208122 A CN200810208122 A CN 200810208122A CN 101442534 A CN101442534 A CN 101442534A
- Authority
- CN
- China
- Prior art keywords
- task
- scheduling modules
- management module
- processing
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
本发明涉及一种传输任务调度方法和系统，用以通过一任务管理模块、多个任务调度模块及多个任务处理模块管理数字电视的文件传输，其中所述的多个任务调度模块及多个任务处理模块配置在一处理服务器上，该方法包括以下步骤：通过一任务管理模块管理需要传输的任务；通过多个任务调度模块从任务管理模块获取传输任务，其中每一任务调度模块具有根据处理服务器的性能确定的任务数量；任务调度模块将获取的传输任务分配给任务处理模块；以及任务处理模块根据任务调度模块分配的传输任务创建相应的处理线程以进行传输任务处理。
Description
技术领域
本发明涉及数字电视文件的传输，尤其涉及一种传输任务调度方法和系统。
背景技术
随着数字电视的加速推广，数字电视越发普及，广电运营商在为新的数字电视业务准备数字节目时，需要对海量的超大规模的视频文件进行迁移。广电运营商现有系统常用的视频文件迁移方式是采用单线程、单任务处理方式；或简单的增加设备来提高处理能力。这些技术存在不足之处是处理效率过低，不能充分利用服务器的性能。现有的处理方式越来越难以满足广电运营商发展数字电视的需要，非常不利于数字电视业务的推广。
发明内容
为此，本发明提出一种传输任务调度方法和系统，针对现有数字电视业务需要，对海量的超大容量的媒资文件的传输进行了优化，并可以根据服务器的数量、服务器的性能进行调优，以达到高速处理、充分利用服务器性能、消除传输服务器的单点故障。
本发明提出一种传输任务调度方法，用以通过一任务管理模块、多个任务调度模块及多个任务处理模块管理数字电视的文件传输，其中所述的多个任务调度模块及多个任务处理模块配置在一处理服务器上，该方法包括以下步骤：
通过一任务管理模块管理需要传输的任务；
通过多个任务调度模块从任务管理模块获取传输任务，其中每一任务调度模块具有根据处理服务器的性能确定的任务数量；
任务调度模块将获取的传输任务分配给任务处理模块；以及
任务处理模块根据任务调度模块分配的传输任务创建相应的处理线程以进行传输任务处理。
在本发明的一实施例中，所述任务管理模块为每个传输任务设置优先级，所述任务调度模块根据优先级从所述任务管理模块获取传输任务。
在本发明的一实施例中，在任务调度模块从任务管理模块获取传输任务后，任务管理模块标记该传输任务的状态为“已分配”。
在本发明的一实施例中，上述方法还包括：任务处理模块将处理结果反馈给任务调度模块；以及任务调度模块将处理结果反馈给任务管理模块。
在本发明的一实施例中，在任务调度模块将处理结果反馈给任务管理模块后，任务管理模块标记该传输任务的状态为“已完成”。
在本发明的一实施例中，所述任务数量是预设的。
在本发明的一实施例中，所述任务数量是由任务调度模块动态地根据处理服务器的性能调节。
在本发明的一实施例中，所述处理服务器的性能包括：CPU和内存的使用率。
另一方面，本发明提出一种传输任务调度系统，包括：
任务管理模块，管理需要传输的文件信息；
处理服务器，包括多个任务调度模块和多个任务处理模块，其中：
多个任务调度模块用以从任务管理模块获取传输任务并分配给任务处理模块，其中每一任务调度模块具有根据处理服务器的性能确定的任务数量；
多个任务处理模块，根据分配的传输任务创建相应的处理线程以进行传输任务处理。
在本发明的一实施例中，所述任务数量是预设的。
在本发明的一实施例中，所述任务数量是由任务调度模块动态地根据处理服务器的性能调节。
在本发明的一实施例中，所述处理服务器的性能包括：CPU和内存的使用率。
综上所述，本发明的传输任务调度方法和系统相比目前应用于数字电视文件传输的技术具有以下优点：
1、提供系统管理人员配置参数的方式优化传输服务器的处理性能。
2、任务调度模块可以根据传输服务器CPU和内存使用情况优化处理性能。
3、安全可靠性，由于数字电视业务对实时性要求高，需7×24小时运行，基于策略的任务调度算法充分考虑系统的安全可靠性。由于采用分布式和模块化的思想及对各种异常的充分处理，当其中一任务调度及处理模块由于因硬件或网路产生异常时，其他的任务调度及处理模块不受影响，依然正常运行，从而保证系统稳定、安全可靠。
4、动态扩展，伴随数字电视业务的扩展，对海量媒资处理量越来越大，基于策略的任务调度方法和系统充分考虑系统处理性能的可扩展性，对任务调度及处理模块可根据需要，动态增加。
附图说明
为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：
图1示出根据本发明一实施例的系统架构及其处理流程。
具体实施方式
数字电视业务要求数字内容传输做到高效、实时，同时数字内容存在海量、超大容量等特点，这就存在随着业务的扩展、系统负荷也在增加。因此希望在处理数字内容传输时充分考虑根据不同的策略可以随时调整传输目的地，随时可以调整各传输服务器的处理性能。
在相同的网络环节下，数字内容传输主要是对超大文件进行传输(2G以上)，传输机制采用FTP，传输服务器的CPU、内存是影响处理性能决定因素。
图1示出根据本发明一实施例的系统架构及其处理流程。此任务调度系统100是由任务管理模块110、多个任务调度模块120-122以及多个任务处理模块130-132组成。由于每一任务调度模块和任务处理模块所执行的操作大致相同，下面仅以任务调度模块120和任务处理模块130为例进行说明。
任务管理模块管理110需要传输的媒资文件任务，每一传输任务可包括媒资文件传输源信息、传输目的地信息、媒资文件信息等。任务调度模块120和任务处理模块130部署在处理服务器140上，任务调度模块120负责从任务管理模块110获取传输任务，创建相应的任务处理模块的线程，并将任务分配给任务处理模块130；任务处理模块130根据任务调度模块120分配的任务进行任务处理，并将处理结果通过任务调度模块120反馈给任务管理模块110。
下面具体描述任务调度方法的处理流程。
步骤S1，任务管理模块110管理需要传输的任务，例如创建传输任务，设定这些传输任务的媒资文件传输源信息、传输目的地信息、媒资文件信息、任务状态、优先级等信息；任务状态例如包括“未分配”，“已分配”，“已完成”等。
步骤S2，多个任务调度模块120会动态地从任务管理模块110获取传输任务，其中每一任务调度模块120具有根据处理服务器的性能确定的任务数量，处理服务器的性能可包括CPU、内存等对文件传输影响较大的参数。
在任务调度模块120从任务管理模块110获取传输任务后，任务管理模块110标记该传输任务的状态为“已分配”。
步骤S3，任务调度模块120将获取的传输任务分配给该任务处理模块。
在步骤S4，任务处理模块130根据任务调度模块110分配的传输任务创建相应的处理线程进行任务处理。
在本实施例中，任务调度模块120的任务数和任务处理模块130的线程数是相同的，任务调度模块获取了多少任务数，就创建多少任务处理线程。
在步骤S5，任务处理模块130将处理结果反馈给任务调度模块120；
在步骤S6，任务调度模块120将处理结果反馈给任务管理模块110。
在任务调度模块120将处理结果反馈给任务管理模块110后，任务管理模块110标记该传输任务的状态为“已完成”。
当任务处理模块130中的一个任务处理线程完成后，任务调度模块120实时从任务管理模块110获取新的任务，以保持任务处理线程的数量与设置的任务数量一致。
在本发明的实现中，提供两种调整任务数量方式：一种预设方式，即系统管理人员根据服务器处理性能自行设置各传输服务器的处理参数(例如根据传输服务器的性能调整任务调度模块的任务数量及各服务器任务处理的线程数)；另一种是动态方式，即任务调度模块根据运行过程中CPU、内存的使用情况自动调节任务调度模块120的任务数和任务处理模块130的线程数。
在动态方式中，可以设置CPU和内存的上下阀值；任务调度模块120统计服务器CPU和内存的使用率，当CPU和内存的使用率均小于下阀值时，任务调度模块自动增加任务数(每次加1)；当CPU或内存的使用率有一个超过上阀值，则任务调度模块自动减少任务数(每次减1)。
综上所述，本发明的传输任务调度方法和系统相比目前应用于数字电视文件传输的技术具有以下优点：
1、提供系统管理人员配置参数的方式优化传输服务器的处理性能。
2、任务调度模块可以根据传输服务器CPU和内存使用情况优化处理性能。
3、安全可靠性，由于数字电视业务对实时性要求高，需7×24小时运行，基于策略的任务调度算法充分考虑系统的安全可靠性。由于采用分布式和模块化的思想及对各种异常的充分处理，当其中一任务调度及处理模块由于因硬件或网路产生异常时，其他的任务调度及处理模块不受影响，依然正常运行，从而保证系统稳定、安全可靠。
4、动态扩展，伴随数字电视业务的扩展，对海量媒资处理量越来越大，基于策略的任务调度方法和系统充分考虑系统处理性能的可扩展性，对任务调度及处理模块可根据需要，动态增加。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。
Claims (12)
1、一种传输任务调度方法，用以通过一任务管理模块、多个任务调度模块及多个任务处理模块管理数字电视的文件传输，其中所述的多个任务调度模块及多个任务处理模块配置在一处理服务器上，该方法包括以下步骤：
通过一任务管理模块管理需要传输的任务；
通过多个任务调度模块从任务管理模块获取传输任务，其中每一任务调度模块具有根据处理服务器的性能确定的任务数量；
任务调度模块将获取的传输任务分配给任务处理模块；以及
任务处理模块根据任务调度模块分配的传输任务创建相应的处理线程以进行传输任务处理。
2、如权利要求1所述的方法，其特征在于，所述任务管理模块为每个传输任务设置优先级，所述任务调度模块根据优先级从所述任务管理模块获取传输任务。
3、如权利要求1所述的方法，其特征在于，在任务调度模块从任务管理模块获取传输任务后，任务管理模块标记该传输任务的状态为“已分配”。
4、如权利要求1所述的方法，其特征在于，还包括：
任务处理模块将处理结果反馈给任务调度模块；以及
任务调度模块将处理结果反馈给任务管理模块。
5、如权利要求4所述的方法，其特征在于，在任务调度模块将处理结果反馈给任务管理模块后，任务管理模块标记该传输任务的状态为“已完成”。
6、如权利要求1所述的方法，其特征在于，所述任务数量是预设的。
7、如权利要求1所述的方法，其特征在于，所述任务数量是由任务调度模块动态地根据处理服务器的性能调节。
8、如权利要求1或7所述的方法，其特征在于，所述处理服务器的性能包括：CPU和内存的使用率。
9、一种传输任务调度系统，包括：
任务管理模块，管理需要传输的文件信息；
处理服务器，包括多个任务调度模块和多个任务处理模块，其中：
多个任务调度模块用以从任务管理模块获取传输任务并分配给任务处理模块，其中每一任务调度模块具有根据处理服务器的性能确定的任务数量；
多个任务处理模块，根据分配的传输任务创建相应的处理线程以进行传输任务处理。
10、如权利要求9所述的系统，其特征在于，所述任务数量是预设的。
11、如权利要求9所述的系统，其特征在于，所述任务数量是由任务调度模块动态地根据处理服务器的性能调节。
12、如权利要求9或11所述的系统，其特征在于，所述处理服务器的性能包括：CPU和内存的使用率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2008102081224A CN101442534A (zh) | 2008-12-29 | 2008-12-29 | 传输任务调度方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2008102081224A CN101442534A (zh) | 2008-12-29 | 2008-12-29 | 传输任务调度方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101442534A true CN101442534A (zh) | 2009-05-27 |
Family
ID=40726773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2008102081224A Pending CN101442534A (zh) | 2008-12-29 | 2008-12-29 | 传输任务调度方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101442534A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916331A (zh) * | 2010-08-06 | 2010-12-15 | 深圳市蓝韵实业有限公司 | 一种三维服务器数据预处理调度方法 |
| CN102591704A (zh) * | 2011-01-07 | 2012-07-18 | 北京国微集成技术有限公司 | Widget平台的多任务管理方法、装置及系统 |
| CN101777012B (zh) * | 2009-12-31 | 2013-05-08 | 深圳市蓝韵网络有限公司 | 一种三维图像服务器多任务管理调度方法 |
| CN106055562A (zh) * | 2016-05-18 | 2016-10-26 | 中国建设银行股份有限公司 | 一种服务器端间的会计影像文件传输的方法及系统 |
| CN111562973B (zh) * | 2020-04-24 | 2024-02-06 | 蘑菇车联信息科技有限公司 | 一种地图数据任务执行方法及电子设备 |
-
2008
- 2008-12-29 CN CNA2008102081224A patent/CN101442534A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101777012B (zh) * | 2009-12-31 | 2013-05-08 | 深圳市蓝韵网络有限公司 | 一种三维图像服务器多任务管理调度方法 |
| CN101916331A (zh) * | 2010-08-06 | 2010-12-15 | 深圳市蓝韵实业有限公司 | 一种三维服务器数据预处理调度方法 |
| CN101916331B (zh) * | 2010-08-06 | 2013-05-08 | 深圳市蓝韵网络有限公司 | 一种三维服务器数据预处理调度方法 |
| CN102591704A (zh) * | 2011-01-07 | 2012-07-18 | 北京国微集成技术有限公司 | Widget平台的多任务管理方法、装置及系统 |
| CN106055562A (zh) * | 2016-05-18 | 2016-10-26 | 中国建设银行股份有限公司 | 一种服务器端间的会计影像文件传输的方法及系统 |
| CN106055562B (zh) * | 2016-05-18 | 2019-04-26 | 中国建设银行股份有限公司 | 一种服务器端间的会计影像文件传输的方法及系统 |
| CN111562973B (zh) * | 2020-04-24 | 2024-02-06 | 蘑菇车联信息科技有限公司 | 一种地图数据任务执行方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8386607B2 (en) | Method and system for utilizing a resource conductor to optimize resource management in a distributed computing environment | |
| CN101442534A (zh) | 传输任务调度方法和系统 | |
| CN102316447B (zh) | Ip地址分配与发送方法以及无线接入器、服务器、系统 | |
| CN103366022B (zh) | 信息处理系统及其处理方法 | |
| CN102932281B (zh) | 一种资源的动态分配方法及设备 | |
| CN101359295A (zh) | 一种批量任务调度分配方法及系统 | |
| CN101355476A (zh) | 一种基于服务器群集的数据文件存储、分发和应用的系统和方法 | |
| RU2005131196A (ru) | Сервер, предоставляющий содержание, устройство и способ обработки информации и компьютерная программа | |
| CN101593134A (zh) | 虚拟机cpu资源分配方法和装置 | |
| CN101951411A (zh) | 云调度系统及方法以及多级云调度系统 | |
| CN102065000A (zh) | 网络拥塞控制方法、装置及系统 | |
| CN102056206A (zh) | 自组织操作处理方法及装置 | |
| CN102739554A (zh) | 一种数据管控平台及其数据管控方法 | |
| CN101841574B (zh) | 网络视频监控系统中ip地址自动分配及管理方法 | |
| CN102510403B (zh) | 用于车辆数据接收和实时分析的集群分布式系统及方法 | |
| CN111240824B (zh) | 一种cpu资源调度方法及电子设备 | |
| CN103297511B (zh) | 高度动态环境下的客户端/服务器的调度方法和系统 | |
| CN112882827A (zh) | 用于负载均衡的方法、电子设备和计算机程序产品 | |
| CN101145941A (zh) | 一种通讯系统软件版本分布式存储和加载的方法及系统 | |
| CN101431475B (zh) | 高性能的流媒体服务器的设置以及进行高性能节目读取的方法 | |
| CN102783100A (zh) | 一种带宽资源的分配方法及装置 | |
| CN102799488A (zh) | 一种应用于数字电视的应用资源管理系统 | |
| CN101938383A (zh) | 多种业务的用户账号在线监控方法、系统与监控服务系统 | |
| CN108880860B (zh) | 一种策略管理方法及装置 | |
| CN103139099B (zh) | 自适应的带宽调节方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20090527 |