CN108897608A - 一种数据驱动可扩展的智能通用任务调度系统 - Google Patents
一种数据驱动可扩展的智能通用任务调度系统 Download PDFInfo
- Publication number
- CN108897608A CN108897608A CN201810544751.8A CN201810544751A CN108897608A CN 108897608 A CN108897608 A CN 108897608A CN 201810544751 A CN201810544751 A CN 201810544751A CN 108897608 A CN108897608 A CN 108897608A
- Authority
- CN
- China
- Prior art keywords
- data
- neural network
- task
- information
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
Abstract
本发明公开了一种数据驱动可扩展的智能通用任务调度系统,包括应用信息收集系统、信息传递系统、信息存储系统、数据智能处理系统、调度系统;其中数据智能处理系统主要由数据加载、生成神经网络构建参数、构建神经网络、神经网络和决策信息生成组成。本发明把神经网络学习引入到操作系统任务调度算法设计中,能自动化的从积累的任务运行状态、资源需求等数据中训练学习网络参数,生成用神经网络表示的可产生高效的调度决策信息的决策函数,实现任务调度算法设计的智能化、自动化,解决不同场景面向任务感知的任务调度算法开发存在的通用性差、重复开发、手动设计规则等问题。
Description
技术领域
本发明涉及一种数据驱动可扩展的智能通用任务调度系统(注:“任务”又称“进程”、“作业”、“线程”),属于操作系统软件技术领域。
背景技术
桌面操作系统、服务器操作系统、智能终端操作系统(典型的如Android智能手机操作系统)都属于单机系统(或称单节点系统),在单机系统中任务调度通常又称作进程调度或线程调度,单机系统任务调度的一般性概念是一致的,都是为任务合理分配CPU时间、以及GPU、内存、SSD、磁盘、网卡、LCD等设备资源,以期按照某种目标,在满足各任务运行的基本需求时,使得系统资源能能够得到高效的利用。
近年来国内外相关研究,针对不同应用场景调度目标的差异,在一般性概念基础上又衍生了诸如能耗感知、任务相关性感知、可信感知、资源感知、温度感知、过程感知等大量不同的调度算法设计,统称为任务感知调度,这些任务感知调度算法设计存在的缺点与不足概括起来包括“缺乏通用性”、“重复开发”、“手动设计规则”,具体表现在:针对不同的需求,出现了面对不同目标的调度算法设计,每个算法都需要人工编写新的调度规则,从头人工分析调度场景,手工设计特定场景的调度规则,重新编写、编译特定的调度算法。
发明内容
本发明的目的在于:克服现有技术的不足,提供一种新的数据驱动的可扩展的智能通用任务调度系统,该系统首次把神经网络学习引入到调度决策(规则或函数)的自动化建模,解决当前任务感知的调度算法设计存在的缺乏通用性、重复开发、手动设计规则等问题。
本发明的数据驱动的可扩展的智能通用任务调度系统,是主要由应用信息收集系统、信息传递系统、信息存储系统、数据智能处理系统、调度系统组成,其中数据智能处理系统主要由401数据加载、402生成神经网络构建参数、403构建神经网络、404神经网络和405决策信息生成五个模块组成;系统其它信息是可选的,是操作系统的任务调度系统的其他部分,不属于本发明的组成部分,用虚线框表示。
所述应用信息收集系统1负责收集应用运行情况、资源访问情况等信息,实现形式不限,可以是视窗程序、命令行程序、后台服务程序、内核程序或者用户态内核态协作程序等。
所述应用信息收集系统1收集的信息类型、字段是通过一个JSON格式的配置文件按需配置,从而可以满足不同的需求场景,示意样式(文件格式)如下:
样式示意1
样式1的数据记录例子示意如下
样式示意2
样式2的数据记录例子示意如下
上面给出的是2个示意样式,基于示意样式类似的方法,可以定义信息收集系统支持更多的样式。
所述信息存储系统2将应用信息收集系统1收集的数据做集中存储,存储系统无特殊限制,可以选择数据库、文件、内存系统或者其他数据存储类系统。
所述信息传递系3负责将信息存储系统2与数据智能处理系统4间数据的传送,考虑到数据智能处理系统接收数据的实现方式多样性,比如可以通过通信信道传输、主动访问存储访问接口、用户态跟内核态共享内存、UNIX Domain Socket等很多方式,特在框架中提供专门的信息传递系统3适配不同的实现方式。
所述智能数据处理系统4,将神经网络引入调度系统的设计,这是框架避免手动编制规则,以数据驱动自学习的方式实现自动化调度决策生成的关键;其中数据加载模块401通过信息传递系统3读取数据,然后按照JSON配置文件对格式的描述加载、解析数据;生成神经网络构建参数模块402根据数据解析加载信息,计算出神经网络输入宽度、batch参数、输出宽度等参数;构建神经网络模块403根据计算的参数构建相应的神经网络,神经网络本身可以选择用基本的前馈神经网络FNN、递归神经网络RNN、LSTM神经网络等不限;神经网络模块404是框架可学习模型的关键部分,它接受加载数据为输入,通过训练自动生成任务感知相关特征,生成神经网络表示的决策函数;决策信息生成模块405使用决策函数的输出构造方便调度系统直接使用的决策信息格式,该模块可以是神经网络模块404一个组成部分,框架示意图单独画出是为了方便描述,决策信息生成模块405典型实现方式是作为神经网络模块404的输出层的softmax激活函数(具体选型不限),并对softmax激活函数做归一化处理,对应于系统任务个数的概率分布(类似于[0.1,0.25,0.51,0.14],0.51表示任务3的概率最大),该概率分布是预测下一步任务调度的主要依据。
所述的调度系统5使用输出智能数据处理系统4的处理结果为任务调度的主要依据实现任务智能调度,典型的智能数据处理系统4处理的结果是下一步任务被调度的预测概率,注意神经网络模型404训练稳定收敛后可以直接作为推测模型使用,而不需要走训练阶段流程。
本发明与现有技术相比的优点在于:
(1)本发明中,用户无需修改和编译代码就能以可配置的方式定制影响调度决策的信息收集类型,很容易支持面向不同资源配置和应用场景的任务调度,因此具备良好的可扩展性;
(2)本发明在实现任务感知的任务调度算法时,无需用户和开发人员根据不同场景手动编写调度规则和算法细节,使用神经网络建模,能自动化的从资源需求信息中训练学习网络参数,生成高效调度决策,实现任务调度算法设计的自动化;神经网络是从真实的场景数据中训练学习,自动发现影响调度决策的任务特征,能避免人工设计规则时在任务特征认知上的不完整、不一致性等问题,使得特征、规则更接近真实情况,可以获得更高效的任务调度效果。
(3)本发明中的智能数据处理系统以数据驱动,把神经网络学习引入到调度决策的生成,实现可学习的自动化建模,从不同场景的数据自动学习,生成相应的调度决策信息,达到一个框架在不同数据驱动下通过训练学习自动适用于多种场景的目的,即通用框架设计。
附图说明
图1是本发明的结构示意图。
具体实施方式
本发明涉及一种数据驱动可扩展的智能通用任务调度系统,更具体地说,涉及这样一种适用于桌面操作系统、服务器操作系统、移动智能终端操作系统,即,提供一种任务感知的,在应用信息收集系统(系统或称模块)收集任务运行的资源需求信息,其中收集的信息类型、字段可按需配置,通过信息存储系统(如:数据库、文件、内存不限)存储这些资源需求信息,通过信息传递系统(通信信道或存储访问接口)将这些信息传递给数据智能处理系统,数据智能处理系统通过神经网络实现对数据的自动化训练学习,生成任务调度决策函数,任务调度系统使用任务调度的决策函数(即神经网络)输出的结果为调度依据实现任务智能调度。使用本框架,用户无需修改和编译代码就能以可配置的方式定制影响调度决策的信息收集类型,很容易支持面向不同资源配置和应用场景的任务调度,因此具备良好的可扩展性;使用本框架,在实现任务感知的任务调度算法时,无需用户和开发人员根据不同场景手动编写调度规则和算法细节,使用神经网络建模,能自动化的从资源需求信息中训练学习网络参数,生成高效调度决策,实现任务调度算法设计的自动化;神经网络是从真实的场景数据中训练学习,自动发现影响调度决策的任务特征,能避免人工设计规则时在任务特征认知上的不完整、不一致性等问题,使得特征、规则更接近真实情况,获得更高效的任务调度效果。
图1是本发明的数据驱动可扩展的智能通用任务调度框架的结构示意图,这个图清晰描述框架的主要模块,模块间的协同关系。“任务间运行相关性”是考虑到一些任务感知的应用场景中,任务调度算法需要充分考虑任务间的协作关系。下面以在Linux服务器操作系统上实现“任务间运行相关性”任务调度为例,说明如何利用本发明的方法进行数据驱动可扩展的智能自动化实现。
应用信息收集系统1负责收集应用运行情况,以Linux用户态后台服务程序与内核态模块协作的运行方式实现,用户态可执行程序命名为monitord,内核模块命名为monitor.ko,其任务是根据JSON配置文件的描述收集任务的调度顺序信息;JSON格式的配置文件config.json设置如下:
monitord根据“config.json”配置文件的要求获得监控数据(示意数据,仅做说明使用,无特殊含义)
以普通文件为存储数据的后端,实现信息存储系统2,存储文件为prestasts.json。
实现信息传递系统3,命名为transferd,以UNIX Domain Socket方式实现信息存储系统2跟数据智能处理系统间的数据传送,这里传送的数据即config.json数据描述文件和prestasts.json的任务监控记录数据。
实现智能数据处理系统4,实现一个Linux后台程序数据加载模块401,命名为loadp,loadp跟transferd的UNIX Domain Socket通信读取数据,根据传输的config.json配置文件描述按照“任务间运行相关性”数据记录格式加载、解析传输的prestasts.json文件数据;生成神经网络构建参数模块402计算出神经网络输入宽度为2x15(两个前序任务,每个任务名字长度固定为最长15个字符,不足用空字符补充)、总数据量是20000个记录,把batch参数设置为200、输出宽度等参数;构建神经网络模块403根据前馈神经网络FNN,其输入层宽度为30(2x15),输出层宽度为20,中间隐藏层设置为15(不固定,可以按需自己设置);于是生成了30x15x20的神经网络(神经网络模块404,命名nn1),通过加载prestasts.json的数据对该神经网络进行训练,直到收敛;405决策信息生成模块的实现,使用参数为20个输出的softmax函数作为nn1输出层激活函数,并对softmax激活函数20个输出做归一化处理。
模型在训练阶段训练收敛后,可以直接使用,在推导阶段,调度选取下一个任务前,把最近调度的两个任务输入模型,模型得到的softmax结果归一化处理后得到示意结果[0.05,0.05,0.01,0.02,0.03,0.04,0.01,0.02,0.03,0.04,0.01,0.02,0.03,0.04,0.01,0.02,0.03,0.04,0.49,0.01,],对列表做一个逆排序,其中0.49表示任务19的概率最大,本示例实施下一步任务调度以该概率分布为依据。
本示例实施中调度系统5的实现使用输出智能数据处理系统4的处理结果为依据做调度,于是下一步调度19号对应的任务。
Claims (5)
1.一种数据驱动可扩展的智能通用任务调度系统,其特征在于,包括:应用信息收集系统、信息传递系统、信息存储系统、数据智能处理系统和调度系统;
应用信息收集系统收集任务运行的资源需求信息,通过信息存储系统存储所述资源需求信息;再通过信息传递系统将所述资源需求信息传递给数据智能处理系统;数据智能处理系统首先对资源需求信息中构成的数据做预处理与解析,并以内存向量列表格式表示,然后依据解析结果生成所要构造的神经网络的参数,再按照所述参数创建对应的神经网络,神经网络以资源需求信息数据的内存向量表示为训练的输入数据训练学习神经网络的权重参数,训练结束后得到神经网络表示的任务调度决策信息生成函数;任务调度系统利用所述任务调度决策信息生成函数输出的决策信息为调度依据,实现任务调度。
2.根据权利要求1所述的一种数据驱动可扩展的智能通用任务调度系统,其特征在于:所述应用信息收集系统,收集的信息类型、字段可按需配置;用户无需修改和编译代码就能以可配置的方式定制影响调度决策的信息收集类型,很容易支持面向不同资源配置和应用场景的任务调度,因此具备良好的可扩展性。
3.根据权利要求1所述的一种数据驱动可扩展的智能通用任务调度系统,其特征在于:所述数据智能处理系统包括:数据加载模块、生成神经网络构建参数模块、构建神经网络模块、神经网络模块和决策信息生成模块;
数据加载模块,通过信息传递系统读取数据,然后参照JSON配置文件对数据格式的描述对数据进行加载、解析,得到数据解析加载信息,并把资源需求信息数据通过预处理转换为向量列表的形式,加载为资源需求信息数据的内存向量表示并分配内存存储;
生成神经网络构建参数模块,根据数据解析加载信息,计算出神经网络的参数,所述神经网络的参数包括输入宽度、batch参数和输出宽度参数;
构建神经网络模块,根据计算神经网络的参数构建相应的神经网络;
神经网络模块,以加载数据,即资源需求信息数据的内存向量表示为训练的输入数据,通过反向传播算法对神经网络进行训练学习,在数据训练学习中发挥神经网络黑盒、自动发现任务感知相关特征的优点,习得生成神经网络的权重参数,从而从训练数据中以黑盒的方式自动发现、学习得到神经网络表示的任务调度决策信息生成函数,该过程有别于手动的函数设计(或手动的规则设计),实现了自动化智能化;
决策信息生成模块,使用决策信息生成函数的输出为输入,构造成列表(List)结构组织的数据格式,List的每个元素记录了(任务类型、任务调度权重)字段,以方便调度系统使用。
4.根据权利要求3所述的一种数据驱动可扩展的智能通用任务调度系统,其特征在于:所述神经网络采用基本的前馈神经网络FNN、递归神经网络RNN或LSTM神经网络。
5.根据权利要求1所述的一种数据驱动可扩展的智能通用任务调度系统,其特征在于:所述任务调度系统利用所述任务调度决策信息生成函数输出的决策信息为调度依据,实现任务调度的具体过程如下:
(1)读取决策信息生成函数的输出列表List,并按照列表元素的任务调度权重字段进行逆序排序;
(2)通知系统,选取排序后列表的第一个元素的任务类型作为下一个被调度任务类型;
(3)所述任务类型的第一个任务被调度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810544751.8A CN108897608B (zh) | 2018-05-31 | 2018-05-31 | 一种数据驱动可扩展的智能通用任务调度系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810544751.8A CN108897608B (zh) | 2018-05-31 | 2018-05-31 | 一种数据驱动可扩展的智能通用任务调度系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108897608A true CN108897608A (zh) | 2018-11-27 |
CN108897608B CN108897608B (zh) | 2021-09-07 |
Family
ID=64343638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810544751.8A Active CN108897608B (zh) | 2018-05-31 | 2018-05-31 | 一种数据驱动可扩展的智能通用任务调度系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108897608B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110784545A (zh) * | 2019-10-31 | 2020-02-11 | 上海埃威航空电子有限公司 | 实时数据分发系统 |
CN115471108A (zh) * | 2022-09-27 | 2022-12-13 | 陈浩川 | 数据分析决策方法、系统及大数据资源中心 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5432887A (en) * | 1993-03-16 | 1995-07-11 | Singapore Computer Systems | Neural network system and method for factory floor scheduling |
CN102831012A (zh) * | 2011-06-16 | 2012-12-19 | 日立(中国)研究开发有限公司 | 多节点分布式系统中的任务调度装置和任务调度方法 |
CN103049330A (zh) * | 2012-12-05 | 2013-04-17 | 大连理工大学 | 一种托管型分布式任务调度方法和系统 |
CN106055379A (zh) * | 2015-04-09 | 2016-10-26 | 国际商业机器公司 | 用于调度计算任务的方法和系统 |
CN106228314A (zh) * | 2016-08-11 | 2016-12-14 | 电子科技大学 | 基于深度增强学习的工作流调度方法 |
CN107888669A (zh) * | 2017-10-31 | 2018-04-06 | 武汉理工大学 | 一种基于深度学习神经网络的大规模资源调度系统及方法 |
CN107977268A (zh) * | 2017-10-13 | 2018-05-01 | 北京百度网讯科技有限公司 | 人工智能的异构硬件的任务调度方法、装置及可读介质 |
-
2018
- 2018-05-31 CN CN201810544751.8A patent/CN108897608B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5432887A (en) * | 1993-03-16 | 1995-07-11 | Singapore Computer Systems | Neural network system and method for factory floor scheduling |
CN102831012A (zh) * | 2011-06-16 | 2012-12-19 | 日立(中国)研究开发有限公司 | 多节点分布式系统中的任务调度装置和任务调度方法 |
CN103049330A (zh) * | 2012-12-05 | 2013-04-17 | 大连理工大学 | 一种托管型分布式任务调度方法和系统 |
CN106055379A (zh) * | 2015-04-09 | 2016-10-26 | 国际商业机器公司 | 用于调度计算任务的方法和系统 |
CN106228314A (zh) * | 2016-08-11 | 2016-12-14 | 电子科技大学 | 基于深度增强学习的工作流调度方法 |
CN107977268A (zh) * | 2017-10-13 | 2018-05-01 | 北京百度网讯科技有限公司 | 人工智能的异构硬件的任务调度方法、装置及可读介质 |
CN107888669A (zh) * | 2017-10-31 | 2018-04-06 | 武汉理工大学 | 一种基于深度学习神经网络的大规模资源调度系统及方法 |
Non-Patent Citations (3)
Title |
---|
苏莹莹等: "基于神经网络增强学习算法的工艺任务分配方法", 《东北大学学报(自然科学版)》 * |
陈圣磊等: "协同设计任务调度的多步Q学习算法", 《计算机辅助设计与图形学学报》 * |
马廷淮等: "基于元任务的网格调度算法综述", 《武汉理工大学学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110784545A (zh) * | 2019-10-31 | 2020-02-11 | 上海埃威航空电子有限公司 | 实时数据分发系统 |
CN110784545B (zh) * | 2019-10-31 | 2022-02-11 | 上海埃威航空电子有限公司 | 实时数据分发系统 |
CN115471108A (zh) * | 2022-09-27 | 2022-12-13 | 陈浩川 | 数据分析决策方法、系统及大数据资源中心 |
CN115471108B (zh) * | 2022-09-27 | 2023-09-01 | 中交西北投资发展有限公司 | 数据分析决策方法、系统及大数据资源中心 |
Also Published As
Publication number | Publication date |
---|---|
CN108897608B (zh) | 2021-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Wang et al. | A multi-agent reinforcement learning approach to dynamic service composition | |
CN109947567A (zh) | 一种多智能体强化学习调度方法、系统及电子设备 | |
CN112425137A (zh) | 建模和模拟IoT系统的系统和方法 | |
Delen et al. | An integrated and intelligent DSS for manufacturing systems | |
US11036539B2 (en) | Workflow engine framework | |
CN109151030B (zh) | 一种物联网物体分布式交互系统、方法 | |
Fanjiang et al. | Search based approach to forecasting QoS attributes of web services using genetic programming | |
KR20200063943A (ko) | 기계학습을 적용한 가상 네트워크 기능 자원의 수요 예측 방법 | |
Zhang et al. | A collaborative service group-based fuzzy QoS-aware manufacturing service composition using an extended flower pollination algorithm | |
CN115098278B (zh) | 一种基于微服务的数字孪生车间多场景交互方法 | |
CN108897608A (zh) | 一种数据驱动可扩展的智能通用任务调度系统 | |
Zhao et al. | Agent-based simulation platform for cloud manufacturing | |
CN116661978B (zh) | 一种分布式的流程处理方法、装置及分布式业务流程引擎 | |
Heavey et al. | Development of an open-source discrete event simulation cloud enabled platform | |
Lin et al. | Service-oriented architecture for intelligent management with data analytics and visualization | |
Bellavista et al. | Edge Cloud as an Enabler for Distributed AI in Industrial IoT Applications: the Experience of the IoTwins Project. | |
US11381461B1 (en) | Systems and methods for automated network state and network inventory tracking | |
Zhou | Deep learning‐driven distributed communication systems for cluster online educational platform considering human–computer interaction | |
CN102105842A (zh) | 将业务规则与工程应用相集成的系统和方法 | |
Castagnari et al. | Lightweight preprocessing for agent-based simulation of smart mobility initiatives | |
Poleggi et al. | Edge-to-cloud solutions for self-adaptive machine learning-based IoT applications: a cost comparison | |
Kucharski et al. | MaaSSim--agent-based two-sided mobility platform simulator | |
Khan et al. | Inter-Organizational Cloud Computing and Robust Scalability in Current Scenario and Beyond | |
Xiao et al. | Design and Research of M2M Message Transfer Mechanism of Looms for Information Transmission | |
Djanatliev et al. | Partial paradigm hiding and reusability in hybrid simulation modeling using the frameworks Health-DS and i7-AnyEnergy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |