CN102253861A - 一种分步运算插件的执行方法 - Google Patents
一种分步运算插件的执行方法 Download PDFInfo
- Publication number
- CN102253861A CN102253861A CN2011102187004A CN201110218700A CN102253861A CN 102253861 A CN102253861 A CN 102253861A CN 2011102187004 A CN2011102187004 A CN 2011102187004A CN 201110218700 A CN201110218700 A CN 201110218700A CN 102253861 A CN102253861 A CN 102253861A
- Authority
- CN
- China
- Prior art keywords
- task
- modules
- module
- plug
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明旨在涉及一种基于分布运算技术的分步运算插件的执行方法，属于计算机信息处理领域。使用者只需修改关键参数就可根据不同的任务类型对插件模块进行定义，使其适用于扫描、破解等众多领域。插件模块定义后，将任务合理分成多个子模块，子模块确定后，根据需求对其参数进行定义，然后通过分布任务调度模块将所有定义好的模块，分发到各节点计算机上，之后采用单步执行的方式运行这些模块，同时采用任务同步确定功能，合理调配资源，提高资源利用率，最后将得到的运算结果整理、组合，并将最终结果显示到控制台终端。与现有的技术相比，本发明所采用的技术更符合高效、快速的运算需求。
Description
技术领域
本发明具体涉及一种分步运算插件的执行方法，属于计算机应用处理技术领域。
背景技术
随着时代的发展，计算机技术的发展日新月异，运算速度从当初的5000次/s到现在的千亿次/s，其处理任务的能力不断增强，但是由于高端设备的昂贵性及维护的复杂性，许多大型、需要快速运算的任务无法顺利执行或按时完成。随着个人电脑的普及、网络的高速发展，以及分布运算技术的诞生，使得这些任务运行变的利于实现。在对分布运算进行深入研究时，发现现有的分布运算技术在任务处理、分布执行时不够完善，在改进的过程中诞生了实现本发明的想法。
本发明所实现的分步运算插件的执行方法，进一步解决和完善了现有分布运算技术在任务处理、分布执行时所遇到的一些问题。
发明内容
本发明旨在提供一种基于分布运算技术的分步运算插件的执行方法，本发明实现的主要功能如下：(1)自定义插件：根据不同的任务类型对插件模块进行定义，使任务更贴近需求、更利于快速执行。(2)单步执行：采用单步执行的方式在各节点计算机上执行分配好的任务，可有效提高整体任务的完成速度。(3)任务同步提示：当一个任务在某一台机器完成时，将完成信息发送到控制台，控制台接收到完成信息后停止该任务的所有相关执行，有效节约资源，提高执行效率。
具体实施方式：
本发明是一种基于分步运算插件的实现方法，包括以下步骤：
(1)自定义插件：程序启动后，根据不同的任务类型对插件模块进行定义，将任务合理分成多个子模块。其特征在于：可针对不同的类型任务定义不同的处理方案，适用于扫描、破解等多个方面。
(2)参数设置：子块确定后，根据需求对其参数进行定义。特征在于：设置适宜目标执行的参数，提高任务有效执行率。
(3)任务分发：模块参数设置好后，通过分布任务调度模块将所有定义好的模块分发到各节点计算机上。其特征在于：合理分配任务，提高执行效率；
(4)单步执行：分发完成后，采用单步执行的方式在各节点计算机上执行分配好的任务。其特征在于：单步执行可提高整体任务的处理速度。
(5)任务同步提示：当一个任务在某一台机器完成时，将完成信息发送到控制台，控制台接收到完成信息后停止该任务的所有相关执行。其特征在于：提高资源利用率。
(6)数据整合显示：所有任务完成后，程序将所有运算结果组合整理，并将最终结果在控制台终端显示出来。其特征在于：利于数据查看利用。
附图说明
图1为单步执行运算原理图。
图2为一种基于分布运算技术的分步运算插件的执行方法流程示意图。
在图1中，在同时执行多个任务的时候，系统将任务1分成若干个步骤，每一个步骤分别发送相关定义数据包，等待回应，利用等待数据回应这段CPU空闲时间，响应其它任务步骤。
在图2中，在系统执行单个或多个任务的时候，首先自定义模块，之后将模块合理分块，再配置参数，然后通过分布任务调度模块将分块的模块分发到计算节点上，再用单步执行方式运行这些模块，最后将运算后的数据整理组合显示到控制台。
Claims (1)
1.本发明涉及一种分布运算插件的实现方法，当处理大型、复杂运算任务时，根据不同的任务类型对插件模块进行定义，将任务合理分成多个子模块，子模块确定后，根据需求对其参数进行定义，然后通过分布任务调度模块将所有定义好的模块分发到各节点计算机上，之后采用单步执行的方式运行这些模块，最后将得到的运算结果整理、组合，并将最终结果显示到控制台终端。与现有的技术相比，本发明所采用的技术更符合高效、快速的运算需求。
本发明重点突出的技术点是：
1.任务同步确定：当在多台电脑上分步执行单个或多个任务时，各模块响应各自分配好的任务，当任务在某一台机器上完成时，自动将完成信息发送到控制台，控制台接收到信息后，自动停止该任务的所有相关执行。其特征在于：智能调解任务，提高整体工作效率，提高资源利用率。
2.模块单步执行：分发到各节点计算机的模块采用单步执行的方式，执行时将模块分割成多个步骤，对每个步骤进行编号，执行后，每隔一段时间自动检测该步骤是否完成，完成后立刻执行下一步，直到任务完成，任务完成后立刻释放该任务，所占用资源用于执行下一个任务，这样可有条不絮的同步执行多个任务。其特征在于：合理利用资源，加快整体任务处理速度，提高工作效率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102187004A CN102253861A (zh) | 2011-08-01 | 2011-08-01 | 一种分步运算插件的执行方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2011102187004A CN102253861A (zh) | 2011-08-01 | 2011-08-01 | 一种分步运算插件的执行方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102253861A true CN102253861A (zh) | 2011-11-23 |
Family
ID=44981141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2011102187004A Pending CN102253861A (zh) | 2011-08-01 | 2011-08-01 | 一种分步运算插件的执行方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102253861A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103309747A (zh) * | 2013-05-20 | 2013-09-18 | 青岛海信传媒网络技术有限公司 | 一种代码文件统计任务的分配方法及装置 |
| CN106354633A (zh) * | 2016-08-25 | 2017-01-25 | 中国电子科技集团公司第四十研究所 | 基于算法插件的任务调度表生成方法 |
| CN107016480A (zh) * | 2016-01-28 | 2017-08-04 | 五八同城信息技术有限公司 | 任务调度方法、装置及系统 |
-
2011
- 2011-08-01 CN CN2011102187004A patent/CN102253861A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103309747A (zh) * | 2013-05-20 | 2013-09-18 | 青岛海信传媒网络技术有限公司 | 一种代码文件统计任务的分配方法及装置 |
| CN103309747B (zh) * | 2013-05-20 | 2016-09-28 | 青岛海信传媒网络技术有限公司 | 一种代码文件统计任务的分配方法及装置 |
| CN107016480A (zh) * | 2016-01-28 | 2017-08-04 | 五八同城信息技术有限公司 | 任务调度方法、装置及系统 |
| CN107016480B (zh) * | 2016-01-28 | 2021-02-02 | 五八同城信息技术有限公司 | 任务调度方法、装置及系统 |
| CN106354633A (zh) * | 2016-08-25 | 2017-01-25 | 中国电子科技集团公司第四十研究所 | 基于算法插件的任务调度表生成方法 |
| CN106354633B (zh) * | 2016-08-25 | 2019-01-04 | 中国电子科技集团公司第四十一研究所 | 基于算法插件的任务调度表生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Unrelated parallel machine scheduling problem with energy and tardiness cost | |
| CN100576177C (zh) | 基于QoS约束的双向分级网格资源调度方法 | |
| CN102521055B (zh) | 一种虚拟机资源分配方法及其系统 | |
| CN107220123A (zh) | 一种解决Spark数据倾斜方法及系统 | |
| CN103679388B (zh) | 生产调度方法及生产调度系统 | |
| CN104391748A (zh) | 一种mapreduce计算过程优化方法 | |
| CN106354574A (zh) | 一种用于大数据K‑Mean聚类算法的加速系统和方法 | |
| CN105488134A (zh) | 大数据处理方法及大数据处理装置 | |
| CN103500123A (zh) | 异构环境中并行计算调度方法 | |
| CN102629220A (zh) | 一种动态任务分配管理方法 | |
| CN109117949A (zh) | 用于人工智能设备的灵活数据流处理器和处理方法 | |
| CN102662636B (zh) | 一种基于两层虚拟机的并行作业调度的方法 | |
| CN102541622A (zh) | 一种负载相关的虚拟机放置方法 | |
| CN102253861A (zh) | 一种分步运算插件的执行方法 | |
| CN108256182A (zh) | 一种动态可重构fpga的布局方法 | |
| CN104866460A (zh) | 一种基于SoC的容错自适应可重构系统与方法 | |
| CN103984985A (zh) | 一种实现定制家具继列分批调度优化的方法 | |
| CN104281636A (zh) | 海量报表数据并发分布式处理方法 | |
| CN108429784B (zh) | 一种能效优先的云资源分配与调度方法 | |
| CN106599898A (zh) | 一种图像特征提取方法及系统 | |
| CN106326005A (zh) | 一种迭代型MapReduce作业的参数自动调优方法 | |
| CN107291843A (zh) | 基于分布式计算平台的层次聚类改进方法 | |
| CN110879753A (zh) | 基于自动化集群资源管理的gpu加速性能优化方法和系统 | |
| CN103685541B (zh) | IaaS云系统运行速率动态控制装置、系统及方法 | |
| CN104699520B (zh) | 一种基于虚拟机迁移调度的节能方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20111123 |