CN108647093A - 一种分布式任务处理系统及其使用方法 - Google Patents

一种分布式任务处理系统及其使用方法 Download PDF

Info

Publication number
CN108647093A
CN108647093A CN201810439362.9A CN201810439362A CN108647093A CN 108647093 A CN108647093 A CN 108647093A CN 201810439362 A CN201810439362 A CN 201810439362A CN 108647093 A CN108647093 A CN 108647093A
Authority
CN
China
Prior art keywords
task
distributed
processing system
job
scheduling processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810439362.9A
Other languages
English (en)
Inventor
陈碧勇
方敏
吕晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Nan Xun Software Technology Co Ltd
Original Assignee
Xiamen Nan Xun Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Nan Xun Software Technology Co Ltd filed Critical Xiamen Nan Xun Software Technology Co Ltd
Priority to CN201810439362.9A priority Critical patent/CN108647093A/zh
Publication of CN108647093A publication Critical patent/CN108647093A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Multi Processors (AREA)

Abstract

本发明涉及计算机系统领域，公开了一种分布式任务处理系统及其使用方法，通过流程优化设计，采用智能分布式任务分布组件，可以根据服务器运行情况，选用同步执行或拆分执行，实现服务器的资源负载均衡；经过合理设计的分布式任务处理系统，任务处理集群解决单点CPU占用率高、IO占用率高且任务无法保证准时高效执行的缺陷。

Description

一种分布式任务处理系统及其使用方法
技术领域
本发明涉及计算机系统领域，特别是一种分布式任务处理系统及其使用方法。
背景技术
目前工业用控制系统，也就是所谓的可程序逻辑控制系统(Programmable LogicController，PLC)，其相当于是由电脑所构成，并且其可搭配不同的输入/输出模块(I/OModule)来进行接收(输入)及发送(输出)多种型态的电气或电子信号，以达到通过数字或模拟输入/输出模块来控制机器设备、制造处理流程及其它控制模块的电子系统。
而在上述控制系统的架构上，由于公知的输入/输出模块并没有设计任何处理器而仅为硬件线路，因此是采用所谓的集中式处理架构来设计，以利用电脑的中央处理器来整合及控制所有连接的输入/输出模块。具体来讲，电脑必须针对所有输入/输出模块来安装特定的驱动程序，使中央处理器所搭配的固件程序得以支持输入/输出模块，以在整个控制系统进行运作时，由电脑的中央处理器来先扫描目前所有连接的输入/输出模块，并完成驱动联机。接着中央处理器再依控制操作程序的需求而来询问所欲控制的输入/输出模块，并要求回传所需数据。最后，中央处理器再针对输入/输出模块所回传的数据来进行运算处理，以完成控制系统的控制操作程序。
然而，随着电脑所支持的输入/输出模块越来越多，中央处理器所搭配的固件程序也就随着驱动程序的安装而变得越来越庞大且复杂。而另一方面，中央处理器也由于必须肩负运算所有输入/输出模块所回传的数据，以致于整体运算量变得十分庞大，进而导致整个控制系统的效率会大幅地降低。
发明内容
本发明的目的在于提供一种分布式任务处理系统及其使用方法，以任务处理集群解决单点CPU占用率高、IO占用率高且任务无法保证准时高效执行的缺陷。
为实现上述技术目的，达到上述技术效果，本发明公开了一种分布式任务处理系统，包括了任务分发组件；任务处理系统包括了任务分布组件、分布式执行组件、任务查看组件和管理WEB组件，任务查看组件和管理WEB组件用于查看和配置任务信息，任务分布组件通过数据连接管理WEB组件里面的配置将任务分发到不同调度策略的分布式执行组件中执行。
其中，任务分布组件基于Mesos框架，用于设置任务的执行时间、次数、CPU占用百分比、内存大小、业务参数，并将任务分发到不同的job服务器去执行。
优选的，任务分发到不同的job服务器采用单任务分发或多任务批量分发，发送过程会根据job服务器的数量及资源占用情况进行均衡发送。
其中，分布式执行组件基于elastic-job框架，基于Zookeeper注册中心，集中管理和协调分布式作业的状态，分配和监听。
优选的，分布式作业的分配具体为将一个任务拆分为n个独立的任务子项，并由分布式的服务器并行执行各自分配到的分片项。
其中，任务查看组件基于elastic-job的开放接口，实现任务查看组件，并实时监测任务的执行状态，包括是否已分配物理机，是否已经执行完成，是否发生错误。
其中，管理WEB组件用B/S架构，基于MySQL数据库和开放API实现任务管理界面，根据任务需求去配置任务、删除任务、执行任务、暂停任务，查看任务分布情况、执行状态和日志，实时查看job服务器运行状态。
本发明还公开了一种分布式任务处理系统的使用方法，采用上述处理系统，具体包括以下步骤：
任务配置：在任务配置界面，配置任务执行需要的参数，执行时间、次数、CPU占用百分比、内存大小、业务参数；
任务分发：把创建的任务分发到job执行服务器，包括单任务分发或多任务批量分发，分发过程根据job服务器的数量及资源占用情况进行选择发送，使服务器资源负载均衡；
任务执行：基于Zookeeper注册中心，注册的任务根据分配的服务器去执行，任务的执行包括同步执行或拆分执行，拆分执行为将任务拆分为n个独立的任务子项，由分布式的服务器并行执行各自分配到的分片项；
任务查看：实时查看任务的执行状态，并实时监测任务的执行状态，包括是否已分配物理机，是否已经执行完成，是否发生错误。
优选的，还包括有任务管理，任务管理：对于已分发的任务可以进行人工干预，包括暂停任务、重启任务、删除任务、重新分发任务。
优选的，还包括有服务器监控，服务器监控：监控job服务器资源的利用情况，包括CPU使用率、内存剩余情况、磁盘IO、磁盘剩余空间，并根据监控情况，增减服务器数量。
本发明具有以下有益效果：
1.本发明通过流程优化设计，采用智能分布式任务分布组件，可以根据服务器运行情况，选用同步执行或拆分执行，实现服务器的资源负载均衡。
2.经过合理设计的分布式任务处理系统，任务处理集群解决单点CPU占用率高、IO占用率高且任务无法保证准时高效执行的缺陷。
附图说明
图1为本发明的逻辑示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。
实施例1
如图1所示，本发明公开了一种分布式任务处理系统，包括了任务分发组件；任务处理系统包括了任务分布组件、分布式执行组件、任务查看组件和管理WEB组件，任务查看组件和管理WEB组件用于查看和配置任务信息，任务分布组件通过数据连接管理WEB组件里面的配置将任务分发到不同调度策略的分布式执行组件中执行。
其中，任务分布组件基于Mesos框架，用于设置任务的执行时间、次数、CPU占用百分比、内存大小、业务参数，并将任务分发到不同的job服务器去执行。任务分发到不同的job服务器采用单任务分发或多任务批量分发，发送过程会根据job服务器的数量及资源占用情况进行均衡发送。
其中，分布式执行组件基于elastic-job框架，基于Zookeeper注册中心，集中管理和协调分布式作业的状态，分配和监听。分布式作业的分配具体为将一个任务拆分为n个独立的任务子项，并由分布式的服务器并行执行各自分配到的分片项。
其中，任务查看组件基于elastic-job的开放接口，实现任务查看组件，并实时监测任务的执行状态，包括是否已分配物理机，是否已经执行完成，是否发生错误。
其中，管理WEB组件用B/S架构，基于MySQL数据库和开放API实现任务管理界面，根据任务需求去配置任务、删除任务、执行任务、暂停任务，查看任务分布情况、执行状态和日志，实时查看job服务器运行状态。
本发明还公开了一种分布式任务处理系统的使用方法，采用上述处理系统，具体包括以下步骤：
任务配置：在任务配置界面，配置任务执行需要的参数，执行时间、次数、CPU占用百分比、内存大小、业务参数；
任务分发：把创建的任务分发到job执行服务器，包括单任务分发或多任务批量分发，分发过程根据job服务器的数量及资源占用情况进行选择发送，使服务器资源负载均衡；
任务执行：基于Zookeeper注册中心，注册的任务根据分配的服务器去执行，任务的执行包括同步执行或拆分执行，拆分执行为将任务拆分为n个独立的任务子项，由分布式的服务器并行执行各自分配到的分片项；
任务查看：实时查看任务的执行状态，并实时监测任务的执行状态，包括是否已分配物理机，是否已经执行完成，是否发生错误。
任务管理：对于已分发的任务可以进行人工干预，包括暂停任务、重启任务、删除任务、重新分发任务。
服务器监控：监控job服务器资源的利用情况，包括CPU使用率、内存剩余情况、磁盘IO、磁盘剩余空间，并根据监控情况，增减服务器数量。
本发明通过采用智能分布式任务分布组件，可以根据服务器运行情况，选用同步执行或拆分执行，实现服务器的资源负载均衡，任务处理集群解决单点CPU占用率高、IO占用率高且任务无法保证准时高效执行的缺陷。
实施例2
本实施例以实施例1为基础，公开一种分布式任务处理系统的使用方法，具体实施内容如下：
订单从MySQL同步到ElasticSearch的任务，首先在任务配置页面配置读取MySQL数据库的链接地址、表名、订单下单时间范围、ES地址、index名称等参数，设置任务立即执行且仅执行一次并创建任务；然后发布该任务，任务注册的zookeeper中心，并被分配到job_server1服务器，在WEB管理组件页面可以看到该任务执行状态为正在执行，CPU占用为0.2，内存使用300M；十分钟后查看任务状态为执行成功，在ES中查询订单，符合条件的订单已同步至ES中。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种分布式任务处理系统，其特征在于，包括了任务分发组件；所述的任务处理系统包括了任务分布组件、分布式执行组件、任务查看组件和管理WEB组件，所述的任务查看组件和管理WEB组件用于查看和配置任务信息，所述的任务分布组件通过数据连接管理WEB组件里面的配置将任务分发到不同调度策略的分布式执行组件中执行。
2.如权利要求1所述的一种分布式任务处理系统，其特征在于：所述的任务分布组件基于Mesos框架，用于设置任务的执行时间、次数、CPU占用百分比、内存大小、业务参数，并将任务分发到不同的job服务器去执行。
3.如权利要求2所述的一种分布式任务处理系统，其特征在于：所述的任务分发到不同的job服务器采用单任务分发或多任务批量分发，发送过程会根据job服务器的数量及资源占用情况进行均衡发送。
4.如权利要求1所述的一种分布式任务处理系统，其特征在于：所述的分布式执行组件基于elastic-job框架，基于Zookeeper注册中心，集中管理和协调分布式作业的状态，分配和监听。
5.如权利要求4所述的一种分布式任务处理系统，其特征在于：所述的分布式作业的分配具体为将一个任务拆分为n个独立的任务子项，并由分布式的服务器并行执行各自分配到的分片项。
6.如权利要求1所述的一种分布式任务处理系统，其特征在于：所述的任务查看组件基于elastic-job的开放接口，实现任务查看组件，并实时监测任务的执行状态，包括是否已分配物理机，是否已经执行完成，是否发生错误。
7.如权利要求1所述的一种分布式任务处理系统，其特征在于：所述的管理WEB组件用B/S架构，基于MySQL数据库和开放API实现任务管理界面，根据任务需求去配置任务、删除任务、执行任务、暂停任务，查看任务分布情况、执行状态和日志，实时查看job服务器运行状态。
8.一种分布式任务处理系统的使用方法，其特征在于，所述的使用方法基于权利要求1-7所述任一种的处理系统，具体包括以下步骤：
任务配置：在任务配置界面，配置任务执行需要的参数，执行时间、次数、CPU占用百分比、内存大小、业务参数；
任务分发：把创建的任务分发到job执行服务器，包括单任务分发或多任务批量分发，分发过程根据job服务器的数量及资源占用情况进行选择发送，使服务器资源负载均衡；
任务执行：基于Zookeeper注册中心，注册的任务根据分配的服务器去执行，任务的执行包括同步执行或拆分执行，所述的拆分执行为将任务拆分为n个独立的任务子项，由分布式的服务器并行执行各自分配到的分片项；
任务查看：实时查看任务的执行状态，并实时监测任务的执行状态，包括是否已分配物理机，是否已经执行完成，是否发生错误。
9.如权利要求8所述的一种分布式任务处理系统的使用方法，其特征在于，还包括有任务管理，所述的任务管理：对于已分发的任务可以进行人工干预，包括暂停任务、重启任务、删除任务、重新分发任务。
10.如权利要求8所述的一种分布式任务处理系统的使用方法，其特征在于，还包括有服务器监控，所述的服务器监控：监控job服务器资源的利用情况，包括CPU使用率、内存剩余情况、磁盘IO、磁盘剩余空间，并根据监控情况，增减服务器数量。
CN201810439362.9A 2018-05-09 2018-05-09 一种分布式任务处理系统及其使用方法 Pending CN108647093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810439362.9A CN108647093A (zh) 2018-05-09 2018-05-09 一种分布式任务处理系统及其使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810439362.9A CN108647093A (zh) 2018-05-09 2018-05-09 一种分布式任务处理系统及其使用方法

Publications (1)

Publication Number Publication Date
CN108647093A true CN108647093A (zh) 2018-10-12

Family

ID=63753794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810439362.9A Pending CN108647093A (zh) 2018-05-09 2018-05-09 一种分布式任务处理系统及其使用方法

Country Status (1)

Country Link
CN (1) CN108647093A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814983A (zh) * 2019-01-02 2019-05-28 深圳壹账通智能科技有限公司 任务批处理方法、装置、计算机设备和存储介质
CN110515718A (zh) * 2019-08-30 2019-11-29 深圳前海微众银行股份有限公司 批量任务断点续作方法、装置、设备及介质
CN111158896A (zh) * 2018-11-08 2020-05-15 中国移动通信集团上海有限公司 一种分布式进程调度方法及系统
CN111694671A (zh) * 2020-06-12 2020-09-22 北京金山云网络技术有限公司 大数据组件管理方法、装置、服务器、电子设备及系统
CN113110935A (zh) * 2021-04-13 2021-07-13 中国邮政储蓄银行股份有限公司 分布式批量作业处理系统
CN113900790A (zh) * 2020-06-22 2022-01-07 中创为(成都)量子通信技术有限公司 一种自适应动态清理需老化tcp连接的方法
CN114996004A (zh) * 2022-05-30 2022-09-02 杭州迪普科技股份有限公司 会话的持续删除的方法和装置
WO2023093200A1 (zh) * 2021-11-24 2023-06-01 中兴通讯股份有限公司 任务异步处理方法、装置、存储介质及电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101707543A (zh) * 2009-11-30 2010-05-12 北京中科大洋科技发展股份有限公司 一种支持多任务类型的企业媒体总线系统和方法
CN104915259A (zh) * 2015-06-15 2015-09-16 浪潮软件集团有限公司 一种应用于分布式采集系统的任务调度方法
CN106557363A (zh) * 2016-12-05 2017-04-05 广发证券股份有限公司 一种大数据任务调度的系统以及方法
CN106790332A (zh) * 2015-11-24 2017-05-31 中国移动通信集团公司 一种资源调度方法、系统及主节点
US20170329588A1 (en) * 2014-12-15 2017-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Method and Deployment Module for Managing a Container to be Deployed on a Software Platform
CN107729126A (zh) * 2016-08-12 2018-02-23 中国移动通信集团浙江有限公司 一种容器云的任务调度方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101707543A (zh) * 2009-11-30 2010-05-12 北京中科大洋科技发展股份有限公司 一种支持多任务类型的企业媒体总线系统和方法
US20170329588A1 (en) * 2014-12-15 2017-11-16 Telefonaktiebolaget Lm Ericsson (Publ) Method and Deployment Module for Managing a Container to be Deployed on a Software Platform
CN104915259A (zh) * 2015-06-15 2015-09-16 浪潮软件集团有限公司 一种应用于分布式采集系统的任务调度方法
CN106790332A (zh) * 2015-11-24 2017-05-31 中国移动通信集团公司 一种资源调度方法、系统及主节点
CN107729126A (zh) * 2016-08-12 2018-02-23 中国移动通信集团浙江有限公司 一种容器云的任务调度方法和装置
CN106557363A (zh) * 2016-12-05 2017-04-05 广发证券股份有限公司 一种大数据任务调度的系统以及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张亮: "基于 Mesos 的当当作业云 Elastic Job Cloud", 《HTTPS://WWW.INFOQ.CN/NEWS/2016/09/MESOS-ELASTIC-JOB-CLOUD/》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111158896A (zh) * 2018-11-08 2020-05-15 中国移动通信集团上海有限公司 一种分布式进程调度方法及系统
CN109814983A (zh) * 2019-01-02 2019-05-28 深圳壹账通智能科技有限公司 任务批处理方法、装置、计算机设备和存储介质
CN110515718A (zh) * 2019-08-30 2019-11-29 深圳前海微众银行股份有限公司 批量任务断点续作方法、装置、设备及介质
CN111694671A (zh) * 2020-06-12 2020-09-22 北京金山云网络技术有限公司 大数据组件管理方法、装置、服务器、电子设备及系统
CN111694671B (zh) * 2020-06-12 2023-09-01 北京金山云网络技术有限公司 大数据组件管理方法、装置、服务器、电子设备及系统
CN113900790A (zh) * 2020-06-22 2022-01-07 中创为(成都)量子通信技术有限公司 一种自适应动态清理需老化tcp连接的方法
CN113110935A (zh) * 2021-04-13 2021-07-13 中国邮政储蓄银行股份有限公司 分布式批量作业处理系统
WO2023093200A1 (zh) * 2021-11-24 2023-06-01 中兴通讯股份有限公司 任务异步处理方法、装置、存储介质及电子装置
CN114996004A (zh) * 2022-05-30 2022-09-02 杭州迪普科技股份有限公司 会话的持续删除的方法和装置

Similar Documents

Publication Publication Date Title
CN108647093A (zh) 一种分布式任务处理系统及其使用方法
US20220091583A1 (en) Updating operational technology devices using container orchestration systems
CN106033373B (zh) 一种云计算平台中虚拟机资源调度方法和调度系统
DE102018120345A1 (de) Hochleistungssteuerungsserversystem
US11789785B2 (en) Implementing serverless functions using container orchestration systems and operational technology devices
US8990372B2 (en) Operation managing device and operation management method
JP2014241020A (ja) 運用計画立案支援システム及び方法
CN108009258B (zh) 一种可在线配置的数据采集与分析平台
CN104915259A (zh) 一种应用于分布式采集系统的任务调度方法
CN114253224A (zh) 将容器编排系统与操作技术设备集成
CN104167817B (zh) 一种电力设备实时信息集成的系统及方法
CN111026602A (zh) 一种云平台的健康巡检调度管理方法、装置及电子设备
US10295979B2 (en) Scheduling in manufacturing environments
CN110008005B (zh) 基于云平台的电网通信资源虚拟机迁移系统及方法
CN104168326A (zh) 一种服务器均衡负载的方法及系统
CN112115044A (zh) 电力信息通信设备自动化测试方法及系统
US9389604B2 (en) Method and system for the dynamic allocation of program functions in distributed control systems
US9832137B1 (en) Provisioning system and method for a distributed computing environment using a map reduce process
CN103810555A (zh) 一种定期维护项目的排程方法及系统
US11016736B2 (en) Constraint programming using block-based workflows
CN115525406A (zh) 一种分布式异步任务调度系统
CN113658351A (zh) 一种产品生产的方法、装置、电子设备及存储介质
CN106094738A (zh) 用于运行自动化装置的方法和自动化装置
US20200019910A1 (en) Block-based prediction for manufacturing environments
JP2019516155A (ja) 構成グループを実装ラインへ割り当てるための方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 361101 1-3F, Zone D, innovation building, software park, Xiamen Torch High tech Zone, Xiamen City, Fujian Province

Applicant after: Xiamen Nanxun Co.,Ltd.

Address before: 361008 Fujian province Xiamen software park two sunrise Road No. 22 unit 401

Applicant before: XIAMEN NASCENT SOFTWARE TECHNOLOGY CO.,LTD.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181012