CN117193966A - 一种分布式资产任务调度方法 - Google Patents
一种分布式资产任务调度方法 Download PDFInfo
- Publication number
- CN117193966A CN117193966A CN202311011487.9A CN202311011487A CN117193966A CN 117193966 A CN117193966 A CN 117193966A CN 202311011487 A CN202311011487 A CN 202311011487A CN 117193966 A CN117193966 A CN 117193966A
- Authority
- CN
- China
- Prior art keywords
- task
- asset
- tasks
- scheduling method
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012790 confirmation Methods 0.000 claims abstract description 4
- 238000010586 diagram Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000036314 physical performance Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 10
- 238000001514 detection method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
Abstract
本申请公开了一种分布式资产任务调度方法，包括默认参数设置‑任务拆分‑任务调度‑任务执行‑执行确认，能够高效地调度和管理大量任务，并有效防止任务之间的干扰，同时具有更高的容错能力和更快速的任务响应，任务执行效率高，整体处理能力强，且其实施方式简单易懂，能够适用于各类场景。
Description
技术领域
本申请涉及一种分布式资产任务调度方法，属于网络资产探测领域。
背景技术
随着网络技术的快速发展，越来越多的企业和组织将自己的业务和服务部署在云上或者内网中，这些部署在网络上的资产和系统是组成整个网络空间的基础设施。
其中，网络资产作为网络空间的构建单元，是网络空间必不可少的一部分。随着服务和设备的不断新增，网络空间中的资产数量越来越庞大，并且资产更新慢、资产识别准确性低、识别发现慢等问题也逐渐产生。
目前资产探测领域面临的主要问题是，在如此巨量和广泛的资产范围内，传统的探测任务调度方法存在发现慢、单点故障、性能瓶颈和可扩展性不足等问题，无法满足大规模任务处理的需求。
发明内容
为了解决传统的探测任务调度方法存在的上述各种缺陷，根据本申请的一个方面，提供了一种分布式资产任务调度方法，包括如下步骤：
S1：默认参数设置，根据worker节点的性能参数设置程序的默认参数，可以更充分的发挥性能。
S2：任务拆分分配，读取各个计算节点上的任务数据，进行资产任务拆分和负载均衡，并分配给各个计算节点。
通过任务拆分和负载均衡算法，可以有效减轻单个节点的任务压力，同时充分利用各个计算节点的处理能力，提高任务处理性能和效率。
S3：任务调度，各个计算节点根据任务参数建立任务调度图并生成任务链表，设计调度策略。
通过在每个计算节点上建立任务调度图和制定相应的调度策略，以针对不同的任务类型进行优化，提高处理效率。
S4：任务执行，各个计算节点遍历所述任务链表并执行任务。
通过生成任务链表，可以保证任务的有序性和正确性，从而避免任务之间的干扰。
S5：执行确认，每个资产任务在被执行后被Broker确认，通过进行任务执行结果确认而保证任务一定可以成功执行。
可选的，所述步骤S1中，所述性能参数至少包括所述worker节点的物理性能参数。
可选的，所述步骤S1中，所述默认参数至少包括任务并发数、超时等待时间、发包数量中的一项。
可选的，所述步骤S2中，根据任务类型、任务目标数量、任务目标网络情况、计算机节点配置、计算机节点实时性能中至少一项因素进行任务拆分。
可选的，所述步骤S2中，具体为通过负载均衡算法将拆分后的任务分配到不同的计算节点。
可选的，所述步骤S3中，所述调度策略针对具体的任务类型进行优化，并考虑各个计算节点之间的协调与合作。
可选的，所述步骤S3中，所述任务参数包括任务类型和任务量中的至少一项。
可选的，所述步骤S4中，各个计算节点之间通过消息中间件或消息队列协调、同步任务完成情况。
可选的，所述步骤S4中，任务执行过程中使用多线程机制以提高任务执行效率。
可选的，所述步骤S5中，若任务被确认为执行失败或异常，则由其他worker重新消费，即不存在单点故障，当一台从节点故障时，系统可以自动将任务迁移到其他节点上执行，保证任务的完成。
本申请能产生的有益效果包括：
本申请所提供的一种分布式资产任务调度方法，通过任务拆分分配、负载均衡而有效减轻单个节点的任务压力，提高任务处理性能和效率；同时本申请所提供的调度方法能够高效地调度和管理大量任务，具有更高的容错能力，并能有效防止任务之间的干扰，可以充分利用各个计算节点的处理能力，做到更快速的任务响应，且其实施方式简单易懂，能够适用于各类场景。
具体实施方式
下面结合实施例详述本申请，但本申请并不局限于这些实施例。
根据本申请的一种实施方式中提供的分布式资产任务调度方法，包括如下步骤：
S1：默认参数设置，根据worker节点的性能参数设置程序的默认参数，可以更充分的发挥性能。
所述性能参数为所述worker节点的物理性能参数。
所述默认参数为任务并发数、超时等待时间、发包数量。
S2：任务拆分分配，读取各个计算节点上的任务数据，进行资产任务拆分和负载均衡，并分配给各个计算节点。
通过任务拆分和负载均衡算法，可以有效减轻单个节点的任务压力，同时充分利用各个计算节点的处理能力，提高任务处理性能和效率。
具体为：根据任务类型、任务目标数量、任务目标网络情况、计算机节点配置和计算机节点实时性能因素进行任务拆分；
通过负载均衡算法将拆分后的任务分配到不同的计算节点。
S3：任务调度，各个计算节点根据任务参数建立任务调度图并生成任务链表，设计调度策略。
通过在每个计算节点上建立任务调度图和制定相应的调度策略，以针对不同的任务类型进行优化，提高处理效率。
所述调度策略针对具体的任务类型进行优化，并考虑各个计算节点之间的协调与合作。
所述任务参数包括任务类型和任务量。
S4：任务执行，各个计算节点遍历所述任务链表并执行任务。
通过生成任务链表，可以保证任务的有序性和正确性，从而避免任务之间的干扰。
各个计算节点之间通过消息中间件协调、同步任务完成情况。
任务执行过程中使用多线程机制以提高任务执行效率。
S5：执行确认，每个资产任务在被执行后被Broker确认，通过进行任务执行结果确认而保证任务一定可以成功执行，若任务被确认为执行失败或异常，则由其他worker重新消费，即不存在单点故障，当一台从节点故障时，系统可以自动将任务迁移到其他节点上执行，保证任务的完成。
以上所述，仅是本申请的部分实施例，并非对本申请做任何形式的限制，虽然本申请以较佳实施例揭示如上，然而并非用以限制本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。
Claims (10)
1.一种分布式资产任务调度方法，其特征在于，包括如下步骤：
S1：默认参数设置，根据worker节点的性能参数设置程序的默认参数；
S2：任务拆分分配，读取各个计算节点上的任务数据，进行资产任务拆分和负载均衡，并分配给各个计算节点；
S3：任务调度，各个计算节点根据任务参数建立任务调度图并生成任务链表，设计调度策略；
S4：任务执行，各个计算节点遍历所述任务链表并执行任务；
S5：执行确认，每个资产任务在被执行后被Broker确认。
2.根据权利要求1所述的一种分布式资产任务调度方法，其特征在于，所述步骤S1中，所述性能参数至少包括所述worker节点的物理性能参数。
3.根据权利要求1所述的一种分布式资产任务调度方法，其特征在于，所述步骤S1中，所述默认参数至少包括任务并发数、超时等待时间、发包数量中的一项。
4.根据权利要求1所述的一种分布式资产任务调度方法，其特征在于，所述步骤S2中，根据任务类型、任务目标数量、任务目标网络情况、计算机节点配置、计算机节点实时性能中至少一项因素进行任务拆分。
5.根据权利要求1所述的一种分布式资产任务调度方法，其特征在于，所述步骤S2中，具体为通过负载均衡算法将拆分后的任务分配到不同的计算节点。
6.根据权利要求1所述的一种分布式资产任务调度方法，其特征在于，所述步骤S3中，所述调度策略针对具体的任务类型进行优化，并考虑各个计算节点之间的协调与合作。
7.根据权利要求1所述的一种分布式资产任务调度方法，其特征在于，所述步骤S3中，所述任务参数包括任务类型和任务量中的至少一项。
8.根据权利要求1所述的一种分布式资产任务调度方法，其特征在于，所述步骤S4中，各个计算节点之间通过消息中间件或消息队列协调、同步任务完成情况。
9.根据权利要求1所述的一种分布式资产任务调度方法，其特征在于，所述步骤S4中，任务执行过程中使用多线程机制以提高任务执行效率。
10.根据权利要求1所述的一种分布式资产任务调度方法，其特征在于，所述步骤S5中，若任务被确认为执行失败或异常，则由其他worker重新消费。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311011487.9A CN117193966A (zh) | 2023-08-10 | 2023-08-10 | 一种分布式资产任务调度方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311011487.9A CN117193966A (zh) | 2023-08-10 | 2023-08-10 | 一种分布式资产任务调度方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117193966A true CN117193966A (zh) | 2023-12-08 |
Family
ID=89004266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311011487.9A Pending CN117193966A (zh) | 2023-08-10 | 2023-08-10 | 一种分布式资产任务调度方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117193966A (zh) |
-
2023
- 2023-08-10 CN CN202311011487.9A patent/CN117193966A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102521044B (zh) | 一种基于消息中间件的分布式任务调度方法及系统 | |
| CN111290834B (zh) | 一种基于云管理平台实现业务高可用的方法、装置及设备 | |
| US7779298B2 (en) | Distributed job manager recovery | |
| CN112000448A (zh) | 基于微服务架构的应用管理方法 | |
| CN102346460B (zh) | 一种基于事务的服务控制系统及其控制方法 | |
| CN106789141B (zh) | 一种网关设备故障处理方法及装置 | |
| US20070299906A1 (en) | Server change management | |
| CN110611707B (zh) | 一种任务调度的方法及装置 | |
| US10498817B1 (en) | Performance tuning in distributed computing systems | |
| CN110138876B (zh) | 任务部署方法、装置、设备及平台 | |
| CN113067850B (zh) | 一种多云场景下的集群编排系统 | |
| CN111901422A (zh) | 一种集群中节点的管理方法、系统及装置 | |
| CN112288423A (zh) | 一种分布式框架的聚合支付方法和系统 | |
| US11169495B2 (en) | Methods for provisioning an industrial internet-of-things control framework of dynamic multi-cloud events and devices thereof | |
| CN105721582A (zh) | 多节点文件备份系统 | |
| CN111752545B (zh) | 一种支持数据重放的流计算方法 | |
| CN112395124A (zh) | 集群环境下机器人异常的管控方法及装置 | |
| Albassam et al. | Model-based recovery connectors for self-adaptation and self-healing | |
| CN112463440A (zh) | 容灾切换方法、系统、存储介质及计算机设备 | |
| CN116860463A (zh) | 一种分布式自适应星载中间件系统 | |
| CN104484228A (zh) | 基于Intelli-DSC的分布式并行任务处理系统 | |
| CN105872073A (zh) | 一种基于etcd集群的分布式定时任务系统的设计方法 | |
| CN117193966A (zh) | 一种分布式资产任务调度方法 | |
| CN116723077A (zh) | 一种分布式it自动化运维系统 | |
| CN115357395A (zh) | 故障设备任务转移方法及系统、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |