CN113379397A - 一种基于机器学习的云工作流架智能管理与调度系统 - Google Patents
一种基于机器学习的云工作流架智能管理与调度系统 Download PDFInfo
- Publication number
- CN113379397A CN113379397A CN202110804089.7A CN202110804089A CN113379397A CN 113379397 A CN113379397 A CN 113379397A CN 202110804089 A CN202110804089 A CN 202110804089A CN 113379397 A CN113379397 A CN 113379397A
- Authority
- CN
- China
- Prior art keywords
- cloud workflow
- packet
- data
- machine learning
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
- G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于机器学习的云工作流架智能管理与调度系统,包括以下步骤:S1、机器学习模块根据大数据的云工作流任务数据包中信息建立数据流并提取特征信息,并形成标准包库;S2、系统前端捕获待处理云工作流任务的数据包,形成训练包,并导入至S1中数据训练模型;S3、有选择对训练包中数据流进行分割,直至找到匹配的i个标准包并自动填充至可视化动态表单中;S4、云工作流分配器收集每个节点处理标准包中不同数据流的能力,建立金字塔节点模型;S5、将可视化动态表单导入至金字塔节点模型中,形成可视化点阵图和可视化三维折线图,并实现云工作流任务数据包处理调度最优,并实现全流程可观可控的工作流管理与调度。
Description
技术领域
本发明涉及云计算技术领域,尤其涉及一种基于机器学习的云工作流架智能管理与调度系统。
背景技术
工作流主要由节点及节点之间的连接关系构成,而工作流调度是一种多约束满足问题,例如对于工作流中的任务之间相互依赖关系、任务与任务之间的传输时间、任务类型的约束满足。在解决业务场景中,传统中的工作流通常采用人工审批处理,服务器端在运行工作流时,根据指定的流程推动任务在各个节点之间进行传递,以使任务被对应的处理人员执行。
传统人工审批的方式至少存在以下问题:1、工作流任务调度没有考虑到节点的处理能力,造成整个工作流调度系统中分配不均,造成任务不匹配调度的能耗浪费以及成本的增加;2、未考虑到节点的地理位置信息,无法通过可视化的形式方便用户以直观简洁的方式看清节点分配情况;3、人工审批复杂繁琐且工作量大,无法做到自动且高效。因此,有必要采用机器自动化的流程处理,做到基于数据模型和机器学习后的工作流智能审批和分配。
发明内容
本发明克服了现有技术的不足,提供一种基于机器学习的云工作流架智能管理与调度系统,旨在解决现有技术中传统人工审批的工作流任务调度分配不合理,无法通过可视化的工作流管理与调度,以及无法通过机器的学习实现智能审批分配的问题。
为达到上述目的,本发明采用的技术方案为:一种基于机器学习的云工作流架智能管理与调度系统,包括系统前端、机器学习模块以及云工作流分配器,其特征在于,包括以下步骤:
S1、数据训练模型的建立:机器学习模块根据大数据的云工作流任务数据包中信息建立数据流,提取数据流中特征信息,建立数据训练模型,并形成标准包库;
S2、数据导入和训练:系统前端捕获待处理云工作流任务的数据包,形成训练包,并导入至S1中数据训练模型,对训练包中数据流的特征信息与S1中标准包库进行对比识别;
S3、检测机器学习模块是否完成学习交互过程:有选择对训练包中数据流进行分割,直至找到匹配的i个标准包,其中i为不小于1的整数;将训练包匹配的i个标准包自动填充至可视化动态表单中;
S4、建立三维节点模型:云工作流分配器收集每个节点处理标准包中不同数据流的能力,建立金字塔节点模型;
S5、最优调度:将S3中的可视化动态表单导入至S4中云工作流分配器中的金字塔节点模型中,形成可视化点阵图和可视化三维折线图,并实现云工作流任务数据包处理调度最优。
本发明一个较佳实施例中,所述调度系统中的单个节点或若干节点的组合能够分别对应所述标准包。
本发明一个较佳实施例中,在所述S4中,若所述金字塔节点模型按照处理标准包中不同数据流的综合能力建立,则包括以下步骤:
a1、将不同节点处理标准包中数据流按照处理所耗费时间的长短或所需能耗的多少进行综合评判,计算公式:节点综合能力其中a1,a2...ak为不同格式的特征信息的加权值,λ1,λ2...λk为节点处理不同格式的特征信息所需时间;
a2、对节点综合能力A进行排序,并按照空间维金字塔的层次结构由上到下,将不同节点综合能力A对应的节点填充。
本发明一个较佳实施例中,在所述S4中,若所述金字塔节点模型按照处理所述标准包中数据流的每个特征信息的能力建立,则包括以下步骤:
b1、将不同节点处理标准包中数据流中每个特征信息所耗费时间的长短或所需能耗的多少进行综合评判,得:Pi=[β1,β2....βk],i={1,2...n},n∈R,其中Pi为不同节点处理每个特征信息所耗费时间的长短或所需能耗的多少的集合,β1,β2....βk为不同特征信息所耗费时间的长短或所需能耗的多少;
b2、按照β1,β2....βk为标准分别排序k个金字塔节点模型,并按照空间维金字塔的层次结构由上到下,将不同节点处理每个特征信息所耗费时间的长短或所需能耗的多少对应的节点填充。
本发明一个较佳实施例中,所述空间维金字塔的层次结构由上到下对应的每一面上的节点综合能力A或βk相等。
本发明一个较佳实施例中,所述云工作流分配器将所述可视化动态表单中匹配的所需标准包换算为所述金字塔节点模型中相应的节点。
本发明一个较佳实施例中,所述可视化三维折线图包括三维图、二维俯视图、二维主视图和若干二维侧视图;所述可视化三维折线图中至少包括一条连线。
本发明一个较佳实施例中,所述云工作流任务数据包中数据流包括但不限于不同格式的图像、表格、文档、地图和视频。
本发明一个较佳实施例中,所述节点在所述金字塔节点模型中的排布方式为沿空间维金字塔的层次结构由上到下圆周排布。
本发明一个较佳实施例中,所述云工作流分配器结合GIS地理信息系统观测到每个节点的位置,并按照调配最短路径进行连接。
本发明一个较佳实施例中,所述机器学习模块包括云工作流任务数据包采集单元、数据包特征信息分解单元以及标准包库;所述云工作流任务数据包采集单元采集并导入大数据的云工作流任务数据包,同时将数据包中信息建立数据流;所述数据包特征信息分解单元将导入至云工作流任务数据包采集单元,并将数据包中数据流分割形成不同格式的图像、表格、文档、地图和视频;所述标准包库中包括每个云工作流任务数据包中特征信息对应处理的节点数量和节点能力。
本发明一个较佳实施例中,所述云工作流分配器最优调度的工作步骤包括:c1、确定可视化动态表单中匹配的若干目标节点,得到[m11,m12,...,m1a],[m21,m22,...,mb],[m31,m32,...,m3c]...[m31,m32,...,m3k],其中m1a表示为金字塔顶层的第a个点,a、b、c...k表示为金字塔由上到下每层中目标节点的数量,并且a<b<c...<k;c2、将金字塔中同一层的节点作为备选,将不同层的目标节点按照映射的方式组合,匹配到最小能耗的工作流路径;c3、将所有目标节点节点连接形成可视化三维折线图。
本发明一个较佳实施例中,所述可视化动态表单输出至所述工作流分配器后,所述工作流分配器支持与用户端连接,用户可以有选择选择节点的布置方式,实现了可视化和可控化的目的。
本发明解决了背景技术中存在的缺陷,本发明具备以下有益效果:
(1)本发明提供了一种云工作流架智能管理与调度系统,该系统通过对待处理云工作流任务的数据包的智能识别和特征信息的分割,实现匹配相应的标准包和节点,并结合金字塔节点模型实现视化的工作流最优调度,解决了传统人工审批的工作流任务调度分配不合理,无法通过可视化的工作流管理与调度的问题,实现高效、可靠的工作流任务智能管理和调度,并实现全流程可观可控的工作流管理与调度。
(2)本发明中机器学习模块的匹配机制为多个标准包同时处理不同数量特征信息的时间最短,或按照最低能耗,提供了用户多种工作流调配上的选择,减少了人工参与,通过机器的学习和数据模型做到全自动化的智能审批,实现高效、可靠的工作流的智能管理。
(3)本发明中金字塔节点模型采用了节点、折线和平行截面布置的方式,即点线面结合的方式,分别通过按照处理标准包中不同数据流的综合能力建立以及按照处理标准包中数据流的每个特征信息的能力建立的两种结构,分别构建出可视化三维折线图,更直观生动的观察工作流路径,将表格信息或数据计算用多角度的二维视图清晰展现,对用户观察工作流路径提供一定逻辑独立性。
(4)本发明中结合了云工作流任务数据包内部智能识别和分割以及对应标准包或节点的组合,建立更加完善并分类精准的机器学习模块,保证对比识别结果的准确性和效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图;
图1是本发明的优选实施例的一种基于机器学习的云工作流架智能管理与调度系统的流程图流程图;
图2是本发明的优选实施例的一种金字塔节点模型建立的流程图;
图3是本发明的优选实施例的另一种金字塔节点模型建立的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
在本申请的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本申请和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本申请保护范围的限制。此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或隐含指明所指示的技术特征的数量。因此,限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以通过具体情况理解上述术语在本申请中的具体含义。
如图1所示,示出了本发明中一种基于机器学习的云工作流架智能管理与调度系统的流程图。该云工作流架智能管理与调度系统中包括系统前端、机器学习模块以及云工作流分配器。该云工作流架智能管理与调度系统使用方法,包括以下步骤:
S1、数据训练模型的建立:机器学习模块根据大数据的云工作流任务数据包中信息建立数据流,提取数据流中特征信息,建立数据训练模型,并形成标准包库;
S2、数据导入和训练:系统前端捕获待处理云工作流任务的数据包,形成训练包,并导入至S1中数据训练模型,对训练包中数据流的特征信息与S1中标准包库进行对比识别;
S3、检测机器学习模块是否完成学习交互过程:有选择对训练包中数据流进行分割,直至找到匹配的i个标准包,其中i为不小于1的整数;将训练包匹配的i个标准包自动填充至可视化动态表单中;
S4、建立三维节点模型:云工作流分配器收集每个节点处理标准包中不同数据流的能力,建立金字塔节点模型;
S5、最优调度:将S3中的可视化动态表单导入至S4中云工作流分配器中的金字塔节点模型中,形成可视化点阵图和可视化三维折线图,并实现云工作流任务数据包处理调度最优。
本发明中云工作流任务数据包中数据流包括但不限于不同格式的图像、表格、文档、地图和视频。其中,图表类型超过30种,包括多Y轴图表,条形图,饼状图,气泡图,甘特图,散点图,漏斗图等。
本发明中机器学习模块包括云工作流任务数据包采集单元、数据包特征信息分解单元以及标准包库。云工作流任务数据包采集单元采集并导入大数据的云工作流任务数据包,同时将数据包中信息建立数据流;数据包特征信息分解单元将导入至云工作流任务数据包采集单元,并将数据包中数据流分割形成不同格式的图像、表格、文档、地图和视频;标准包库中包括每个云工作流任务数据包中特征信息对应处理的节点数量和节点能力。
本发明中机器学习模块的数据训练模型基于大数据的云工作流任务数据包,能够建立更加完善并分类精准的机器学习模块,保证对比识别结果的准确性和效率。
本发明中系统前端用于接受用户上传的待处理云工作流文件数据包,并发送至机器学习模块中训练和识别。该待处理云工作流文件数据包在机器学习模块中的特征信息依据不同格式的图像、表格、文档、地图和视频被分割,每个特征信息均与标准包库中的i个标准包相匹配,且标准包至少为1个,以保证待处理云工作流文件数据包的所有特征信息的数量等于i个标准包中对应特征信息的数量,即i个标准包的剩余可调度工作流为零。
本发明中调度系统中的单个节点或若干节点的组合能够分别对应标准包。例如,本发明的待处理云工作流文件数据包的特征信息包括10个Excel表格、10个PDF和10个视频文件,机器学习模块可以匹配3个标准包同时处理且处理时间相同,3个标准包分别能够同时处理3个Excel表格、3个PDF、3个视频文件,5个Excel表格、5个PDF、5个视频文件以及2个Excel表格、2个PDF、2个视频文件。需要说明的是,上述3个Excel表格、3个PDF、3个视频文件等为对应节点处理特征信息的能力,即待处理云工作流文件数据包共需3个节点处理。机器学习模块还可以匹配1个标准包,该标准包可以同时处理10个Excel表格、10个PDF和10个视频文件,但是该节点处理所需时间大于上述3个节点处理特征信息所需时间,但是考虑到地理位置和传输中的能耗损失,1个标准包的能耗小于上述3个标准包的能耗。
机器学习模块的匹配机制为多个标准包同时处理不同数量特征信息的时间最短,或按照最低能耗。需要说明的是,本发明中的调度系统指的是一定范围内的节点。本发明在实际使用时,可以按照需求设置为最低能耗或最短用时,提供了用户多种工作流调配上的选择,减少人工参与,通过机器的学习和数据模型做到全自动化的智能审批,实现高效、可靠的工作流的智能管理。
本发明中待处理云工作流文件数据包在机器学习模块匹配到对应数量的标准包后,以可视化动态表单的方式自动填充。视化动态表单可以实现训练包问题的发布和自动反馈。该可视化动态表单不仅可以传输至云工作流分配器,还能够传输至客户端,用以展示、分析解决待处理云工作流文件数据包的分解,能够让客户以直观简洁的方式看清云工作流的调度路径,实现人机学习的交互过程。
本发明中云工作流分配器将可视化动态表单中匹配的所需标准包换算为金字塔节点模型中相应的节点。
本发明中若金字塔节点模型按照处理标准包中不同数据流的综合能力建立,如图2所示,包括以下步骤:a1、将不同节点处理标准包中数据流按照处理所耗费时间的长短或所需能耗的多少进行综合评判,计算公式:节点综合能力其中a1,a2...ak为不同格式的特征信息的加权值,λ1,λ2...λk为节点处理不同格式的特征信息所需时间;a2、对节点综合能力A进行排序,并按照空间维金字塔的层次结构由上到下,将不同节点综合能力A对应的节点填充。需要说明的是,本发明中优选使用不同格式的特征信息的加权值为:图像格式0.2、表格格式0.1,PPT格式0.1和视频格式0.6。节点综合能力A越大,即对应节点处理工作流的能力更强。在一空间范围内存在的节点综合能力一致,则这些节点综合能力一致的节点被设置在金字塔水平截面的面上,即空间维金字塔的层次结构由上到下对应的每一面上的节点综合能力A,节点在金字塔节点模型中的排布方式可以为沿空间维金字塔的层次结构由上到下圆周排布,实现节点多层面排布。金字塔节点模型由上到下,节点综合能力A依次减小,且金字塔底部的节点综合能力A越低的节点的基数越大。
上述这种按照处理标准包中不同数据流的综合能力建立的金字塔节点模型基于节点所需时间,云工作流分配器将可视化动态表单中匹配的所需标准包换算为金字塔节点模型中相应的节点,由于金字塔水平截面的面上节点数量较多,因此可以选择的工作流路径较多。但是由于同一层的若干处理综合能力相等的节点在空间内地理位置的限制,造成传输损耗大,因此有必要选择一条调配最短路径,即最小能耗。
本发明云工作流分配器将可视化动态表单导入至云工作流分配器中的金字塔节点模型中,云工作流分配器结合GIS地理信息系统观测到每个节点的位置,云工作流分配器最优调度的工作步骤包括:c1、确定可视化动态表单中匹配的若干目标节点,得到[m11,m12,...,m1a],[m21,m22,...,mb],[m31,m32,...,m3c]...[m31,m32,...,m3k],其中m1a表示为金字塔顶层的第a个点,a、b、c...k表示为金字塔由上到下每层中目标节点的数量,并且a<b<c...<k;c2、将金字塔中同一层的节点作为备选,将不同层的目标节点按照映射的方式组合,匹配到最小能耗的工作流路径;c3、将所有目标节点节点连接形成可视化三维折线图。
本发明中使用可视化三维折线图重构数据,可视化三维折线图包括三维图、二维俯视图、二维主视图和若干二维侧视图。使用三维图更直观生动的观察工作流路径,将表格信息或数据计算用多角度的二维视图清晰展现,对用户观察工作流路径提供一定逻辑独立性。需要说明的是,本发明中可视化三维折线图中至少包括一条连线,并且本发明中的连线不一定是由上到下方向的折线,可能是不同层交错的折线,或同一平面上的折线。如折线L1L2L4L6为一条由上到下方向的折线,而L1L6L4L2是不同层交错的折线,其中。L1、L2、L4和L6分别表示金子塔最顶层、次顶层、第四层和第六层上的节点。
需要说明的是,本发明中的可视化动态表单输出至工作流分配器后,工作流分配器支持与用户端连接,即用户可以有选择选择节点的布置方式,同时实现了可视化和可控化的目的。
如图3所示,本发明还设置有另一种金字塔节点模型建立的方式,若金字塔节点模型按照处理标准包中数据流的每个特征信息的能力建立,则包括以下步骤:b1、将不同节点处理标准包中数据流中每个特征信息所耗费时间的长短或所需能耗的多少进行综合评判,得:Pi=[β1,β2....βk],i={1,2...n},n∈R,其中Pi为不同节点处理每个特征信息所耗费时间的长短或所需能耗的多少的集合,β1,β2....βk为不同特征信息所耗费时间的长短或所需能耗的多少;b2、按照β1,β2....βk为标准分别排序k个金字塔节点模型,并按照空间维金字塔的层次结构由上到下,将不同节点处理每个特征信息所耗费时间的长短或所需能耗的多少对应的节点填充。需要说明的是,这种金字塔节点模型分为k个金字塔,k个金字塔的平行截面由上到下依次布置为不同β1、β2....βk对应的若干节点,即空间维金字塔的层次结构由上到下对应的每一面上的βk相等。节点在金字塔节点模型中的排布方式为沿空间维金字塔的层次结构由上到下圆周排布。
因此,这种结构的金字塔节点模型中云工作流分配器在导入可视化动态表单后,按照特征信息的类别,将训练包分割形成的不同特征信息分散至对应的金字塔中,按照每层中节点处理的能力分配,并实现每个特征信息的最优调度。云工作流分配器结合GIS地理信息系统观测到每个节点的位置,云工作流分配器最优调度的工作步骤包括:d1、确定可视化动态表单中每种特征信息匹配的若干目标节点;d2、将金字塔中同一层的节点作为备选,将不同层的目标节点按照映射的方式组合,匹配到最小能耗的工作流路径;d3、将所有目标节点节点连接形成可视化三维折线图。本发明中这种结构的金字塔节点模型使用可视化三维折线图重构数据,可视化三维折线图包括三维图、二维俯视图、二维主视图和若干二维侧视图,并且每个训练包中有k套可视化三维折线图,即每个特征信息均对应一套可视化三维折线图。
本发明中由于训练包特征信息的复杂程度不同,对于空间范围内的调度系统中的节点数量不够,在满足服务等级协议的前提下,在工作流应用的实际情况下,可以通过向外层空间的闲置节点请求的合理调度,实现租用节点的目的。满足在最短执行时间内的工作流调度。
综上所述,本发明中金字塔节点模型采用了节点、折线和平行截面布置的方式,即点线面结合的方式,通过按照处理标准包中不同数据流的综合能力建立以及按照处理标准包中数据流的每个特征信息的能力建立的方式,实现可视化的工作流最优调度,并且并发明能够布置在超大规模分布式集群上,能把云工作流接收比例极大提高,实现高效、可靠的工作流任务智能管理和调度,并实现全流程可观可控的工作流管理与调度。
以上依据本发明的理想实施例为启示,通过上述的说明内容,相关人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定技术性范围。
Claims (10)
1.一种基于机器学习的云工作流架智能管理与调度系统,包括系统前端、机器学习模块以及云工作流分配器,其特征在于,包括以下步骤:
S1、数据训练模型的建立:机器学习模块根据大数据的云工作流任务数据包中信息建立数据流,提取数据流中特征信息,建立数据训练模型,并形成标准包库;
S2、数据导入和训练:系统前端捕获待处理云工作流任务的数据包,形成训练包,并导入至S1中数据训练模型,对训练包中数据流的特征信息与S1中标准包库进行对比识别;
S3、检测机器学习模块是否完成学习交互过程:有选择对训练包中数据流进行分割,直至找到匹配的i个标准包,其中i为不小于1的整数;将训练包匹配的i个标准包自动填充至可视化动态表单中;
S4、建立三维节点模型:云工作流分配器收集每个节点处理标准包中不同数据流的能力,建立金字塔节点模型;
S5、最优调度:将S3中的可视化动态表单导入至S4中云工作流分配器中的金字塔节点模型中,形成可视化点阵图和可视化三维折线图,并实现云工作流任务数据包处理调度最优。
2.根据权利要求1所述的一种基于机器学习的云工作流架智能管理与调度系统,其特征在于:所述调度系统中的单个节点或若干节点的组合能够分别对应所述标准包。
4.根据权利要求1所述的一种基于机器学习的云工作流架智能管理与调度系统,其特征在于:在所述S4中,若所述金字塔节点模型按照处理所述标准包中数据流的每个特征信息的能力建立,则包括以下步骤:
b1、将不同节点处理标准包中数据流中每个特征信息所耗费时间的长短或所需能耗的多少进行综合评判,得:Pi=[β1,β2....βk],i={1,2...n},n∈R,其中Pi为不同节点处理每个特征信息所耗费时间的长短或所需能耗的多少的集合,β1,β2....βk为不同特征信息所耗费时间的长短或所需能耗的多少;
b2、按照β1,β2....βk为标准分别排序k个金字塔节点模型,并按照空间维金字塔的层次结构由上到下,将不同节点处理每个特征信息所耗费时间的长短或所需能耗的多少对应的节点填充。
5.根据权利要求3或4所述的一种基于机器学习的云工作流架智能管理与调度系统,其特征在于:所述空间维金字塔的层次结构由上到下对应的每一面上的节点综合能力A或βk相等。
6.根据权利要求1所述的一种基于机器学习的云工作流架智能管理与调度系统,其特征在于:所述云工作流分配器将所述可视化动态表单中匹配的所需标准包换算为所述金字塔节点模型中相应的节点。
7.根据权利要求1所述的一种基于机器学习的云工作流架智能管理与调度系统,其特征在于:所述可视化三维折线图包括三维图、二维俯视图、二维主视图和若干二维侧视图;所述可视化三维折线图中至少包括一条连线。
8.根据权利要求1所述的一种基于机器学习的云工作流架智能管理与调度系统,其特征在于:所述云工作流任务数据包中数据流包括但不限于不同格式的图像、表格、文档、地图和视频。
9.根据权利要求1所述的一种基于机器学习的云工作流架智能管理与调度系统,其特征在于:所述节点在所述金字塔节点模型中的排布方式为沿空间维金字塔的层次结构由上到下圆周排布。
10.根据权利要求1所述的一种基于机器学习的云工作流架智能管理与调度系统,其特征在于:所述云工作流分配器结合GIS地理信息系统观测到每个节点的位置,并按照调配最短路径进行连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110804089.7A CN113379397B (zh) | 2021-07-16 | 2021-07-16 | 一种基于机器学习的云工作流架智能管理与调度系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110804089.7A CN113379397B (zh) | 2021-07-16 | 2021-07-16 | 一种基于机器学习的云工作流架智能管理与调度系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113379397A true CN113379397A (zh) | 2021-09-10 |
CN113379397B CN113379397B (zh) | 2023-09-22 |
Family
ID=77582204
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110804089.7A Active CN113379397B (zh) | 2021-07-16 | 2021-07-16 | 一种基于机器学习的云工作流架智能管理与调度系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113379397B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105069020A (zh) * | 2015-07-14 | 2015-11-18 | 国家信息中心 | 自然资源数据三维可视化方法和系统 |
US20160098662A1 (en) * | 2014-10-03 | 2016-04-07 | Datameer, Inc. | Apparatus and Method for Scheduling Distributed Workflow Tasks |
US20170337492A1 (en) * | 2016-05-20 | 2017-11-23 | International Business Machines Corporation | Workflow scheduling and optimization tools |
CN109981749A (zh) * | 2019-01-30 | 2019-07-05 | 北京理工大学 | 一种基于极限梯度提升的云工作流任务执行时间预测方法 |
CN110084817A (zh) * | 2019-03-21 | 2019-08-02 | 西安电子科技大学 | 基于深度学习的数字高程模型生产方法 |
CN112215801A (zh) * | 2020-09-14 | 2021-01-12 | 北京航空航天大学 | 一种基于深度学习和机器学习的病理图像分类方法及系统 |
CN112231091A (zh) * | 2020-11-05 | 2021-01-15 | 北京理工大学 | 一种基于强化学习策略的并行云工作流调度方法 |
CN112948115A (zh) * | 2021-03-01 | 2021-06-11 | 北京理工大学 | 一种基于极限学习机的云工作流调度器压力预测方法 |
WO2021135557A1 (zh) * | 2019-12-30 | 2021-07-08 | 清华大学 | 一种人工智能多模成像分析装置 |
-
2021
- 2021-07-16 CN CN202110804089.7A patent/CN113379397B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160098662A1 (en) * | 2014-10-03 | 2016-04-07 | Datameer, Inc. | Apparatus and Method for Scheduling Distributed Workflow Tasks |
CN105069020A (zh) * | 2015-07-14 | 2015-11-18 | 国家信息中心 | 自然资源数据三维可视化方法和系统 |
US20170337492A1 (en) * | 2016-05-20 | 2017-11-23 | International Business Machines Corporation | Workflow scheduling and optimization tools |
CN109981749A (zh) * | 2019-01-30 | 2019-07-05 | 北京理工大学 | 一种基于极限梯度提升的云工作流任务执行时间预测方法 |
CN110084817A (zh) * | 2019-03-21 | 2019-08-02 | 西安电子科技大学 | 基于深度学习的数字高程模型生产方法 |
WO2021135557A1 (zh) * | 2019-12-30 | 2021-07-08 | 清华大学 | 一种人工智能多模成像分析装置 |
CN112215801A (zh) * | 2020-09-14 | 2021-01-12 | 北京航空航天大学 | 一种基于深度学习和机器学习的病理图像分类方法及系统 |
CN112231091A (zh) * | 2020-11-05 | 2021-01-15 | 北京理工大学 | 一种基于强化学习策略的并行云工作流调度方法 |
CN112948115A (zh) * | 2021-03-01 | 2021-06-11 | 北京理工大学 | 一种基于极限学习机的云工作流调度器压力预测方法 |
Non-Patent Citations (3)
Title |
---|
ALI ASGHARI,等: "Online scheduling of dependent tasks of cloud’s workflows to enhance resource utilization and reduce the makespan using multiple reinforcement learning-based agents", 《SOFT COMPUTING》, vol. 24, pages 16177, XP037265566, DOI: 10.1007/s00500-020-04931-7 * |
ALI ASGHARI,等: "Task scheduling, resource provisioning, and load balancing on scientific workflows using parallel SARSA reinforcement learning agents and genetic algorithm", 《THE JOURNAL OF SUPERCOMPUTING》, vol. 77, pages 2800, XP037366127, DOI: 10.1007/s11227-020-03364-1 * |
刘懿, 中国博士学位论文全文数据库, no. 10, pages 003 - 1 * |
Also Published As
Publication number | Publication date |
---|---|
CN113379397B (zh) | 2023-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110489464B (zh) | 探索式图融合可视化方法和装置 | |
CN109783665A (zh) | 基于Google S2实现Hbase数据库遥感大数据入库模型的设计方法 | |
CN103606188B (zh) | 基于影像点云的地理信息按需采集方法 | |
CN107562953A (zh) | 一种基于gis地理信息技术的河流信息系统 | |
CN108322548A (zh) | 一种基于云计算的工业过程数据解析平台 | |
CN108718345A (zh) | 一种数字化车间工业数据网络化传输系统 | |
CN106326482A (zh) | 一种大数据可视化采集分析及文件转换系统和方法 | |
CN106059799A (zh) | 面向sdn的弹性光网络下的虚拟网络映射方法 | |
CN104572975B (zh) | 一种实时数据处理分析系统 | |
CN106599034A (zh) | 一种电网企业电量平衡数据可视化系统和方法 | |
CN107153749B (zh) | 一种卫星矩阵电缆接点设计工具及设计方法 | |
CN107102948A (zh) | 一种基于uml的软件架构复杂性度量方法 | |
CN105491329B (zh) | 一种基于流式计算的大规模监控视频流汇聚方法 | |
CN111781884B (zh) | 一种能源监测系统 | |
CN107609794A (zh) | 一种技术成熟度评价信息处理装置 | |
CN107194533A (zh) | 一种配电网全信息模型构建方法及系统 | |
CN115686280A (zh) | 深度学习模型管理系统、方法、计算机设备及存储介质 | |
CN111104610A (zh) | 一种社区人口大数据的可视化管理系统和方法 | |
CN104240021B (zh) | 一种可视化、可回溯、可控制的电网管理系统及其方法 | |
CN102355373B (zh) | 一种传输网络大汇聚点隐患自动排查的方法和装置 | |
CN106384209B (zh) | 基于运行数据的智能产品配置改进方法及装置 | |
CN113379397A (zh) | 一种基于机器学习的云工作流架智能管理与调度系统 | |
CN103442056B (zh) | 一种基于云平台的智能鞋柜控制系统 | |
CN109086312A (zh) | 一种区域综合能源系统多能流网络的数据表示方法及系统 | |
Santhanavanich et al. | Integration and visualization of heterogeneous sensor data and geospatial information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |