CN109672709B - 一种混合云业务调度系统及方法 - Google Patents

一种混合云业务调度系统及方法 Download PDF

Info

Publication number
CN109672709B
CN109672709B CN201710964145.7A CN201710964145A CN109672709B CN 109672709 B CN109672709 B CN 109672709B CN 201710964145 A CN201710964145 A CN 201710964145A CN 109672709 B CN109672709 B CN 109672709B
Authority
CN
China
Prior art keywords
service
scheduling
resource
engine
strategy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710964145.7A
Other languages
English (en)
Other versions
CN109672709A (zh
Inventor
高冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inesa R&d Center
Original Assignee
Inesa R&d Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inesa R&d Center filed Critical Inesa R&d Center
Priority to CN201710964145.7A priority Critical patent/CN109672709B/zh
Publication of CN109672709A publication Critical patent/CN109672709A/zh
Application granted granted Critical
Publication of CN109672709B publication Critical patent/CN109672709B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2425—Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/61—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources taking into account QoS or priority requirements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种混合云业务调度系统，应用于混合云环境，系统包括：业务调度中心(1)、业务抽象及描述模块(2)、业务调度知识库(3)、业务监控模块(4)、资源调度引擎(5)、策略服务引擎(6)、感知引擎(7)、动态配给资源池(8)和资源探针(9)。与现有技术相比，本发明解决了现有混合云应用/业务在部署、运营、更新、调度等方面存在的问题与不足，实现混合云业务的全生命周期管理。

Description

一种混合云业务调度系统及方法
技术领域
本发明涉及混合云应用领域，尤其是涉及一种混合云业务调度系统及方法。
背景技术
随着企业多云战略及混合云技术的逐步发展，面向混合云的业务形态及应用部署实施日益增加，如何结合混合云业务场景和基础设施的特点，设计一种动态的业务调度及优化策略，从而实现混合云资源的高效利用及业务资源的动态配给是现有技术面临的主要挑战。
另一方面，由于传统业务迁移到混合云平台更多的是简单的业务切分，业务之间保持一种松耦合的关系，无法充分利用混合云的资源集约优势，体现混合云应用的业务特点。业务调度模型的好坏直接影响混合云的服务质量。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种混合云业务调度系统及方法。
本发明的目的可以通过以下技术方案来实现：
一种混合云业务调度系统，应用于混合云环境，其特征在于，所述的系统包括：
业务调度中心，用于接收用户的业务需求；
业务抽象及描述模块，用于将业务需求抽象为足够小的资源组件，作为任务，任务交替执行的顺序称为任务流，并基于微服务的框架向资源调度引擎申请物理资源；
业务调度知识库，存储历史调度信息，并通过离线分析，求解多输入多输出模型，获取调度策略的最优解集合，形成基于先验知识的动态更新知识库；
业务监控模块，实时收集资源探针捕获的数据，并通过基础滤波和业务规则预处理，触发相应的事件响应规则，包括业务运行故障转移、业务资源池扩容、业务运行资源收缩；
资源调度引擎，基于强学习的机器学习算法，与业务监控模块进行交互，学习从环境状态到动作的映射，以用户的调度策略为最终优化目标；
策略服务引擎，用于获取用户既定业务调度策略及业务分析感知的最优执行策略，并在业务监控模块的运行指标达到指定阈值时触发相应执行动作；
感知引擎，对业务流量进行动态感知，执行故障诊断；
动态配给资源池，将各异构云平台的物理资源抽象为可供直接调用的业务承载资源，并通过统一的标准量度进行测量；
资源探针，预埋在云平台中，收集各个云平台的资源使用情况和业务运行状况，汇总至业务监控模块。
进一步的，所述的混合云环境为多个公有云组成的异构混合云环境、多个私有云组成的异构混合云环境或公有云与私有云组成的混合云环境。
进一步的，所述的业务需求包括用户对服务质量、业务执行时间、执行策略的约定。
进一步的，所述的动态配给资源池的测量对象包括内存、存储空间、CPU负载、网络延时、网络抖动，系统服务高可用性和资源单价中的至少一种。
进一步的，所述的业务监控模块的运行指标包括网络带宽、传输时延、CPU负载、内存消耗量中的至少一种。
一种采用所述的一种混合云业务调度系统进行业务调度的方法，包括以下步骤：
S1，业务调度中心接收用户的业务需求；
S2，业务抽象及描述模块将业务需求抽象为资源组件，并将业务流抽象为可执行的任务流；
S3，资源调度引擎根据业务需求，从业务调度知识库中匹配已有业务调度策略，并生成服务调度决策，具体为：如果业务调度知识库中有可控调用策略则执行步骤S6，否则执行步骤S4；
S4，通过强化学习，逐步将任务下发至资源调度引擎，并通过业务监控模块及感知引擎获取业务反馈，优化调度策略，并形成面向该资源及调度需求的最优策略知识；
S5，将最优策略知识记录在业务调度知识库中，返回步骤S3；
S6，根据资源调度策略进行资源部署，调用动态配给资源池，通过微服务的形式编排资源调度任务；
S7，业务监控模块通过资源探针实时获取任务流运行状态及系统性能指标；
S8，资源调度引擎)根据资源调度策略对业务运行状况进行动态优化；
S9，完成资源重新调度及业务流再平衡；
S10，业务完成，回收相应调度资源。
与现有技术相比，本发明具有以下优点：
(1)基于资源探针监控各部署服务资源，完成服务动态配给及调控；
(2)本发明提供了一种QoS有保障的混合云业务调度系统，能够根据用户业务的个性化需求，提供动态资源调控；
(3)基于强化学习，同时结合历史的业务调度库信息，智能做出调度角色，可进行无人值守模式下的弹性按需业务调度；
(4)业务资源的抽象，完成业务到物理资源的映射，实现更为细致的资源配给，同时通过微服务进行资源调度，可以最大化资源调度时间，保证业务的完整性。
附图说明
图1为本发明系统的业务调度中心与云平台连接示意图；
图2为本发明的调度系统框架结构示意图；
图3为本发明的任务调度方法流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
实施例
如图1、2所示，一种混合云业务调度系统，应用于混合云环境，所述的混合云环境为多个公有云组成的异构混合云环境、多个私有云组成的异构混合云环境或公有云与私有云组成的混合云环境，所述的系统包括：
业务调度中心1，用于接收用户的业务需求，包括用户对服务质量、业务执行时间、执行策略的约定，业务调度中心可部署在私有云环境、公有云环境或用户自有环境中；
业务抽象及描述模块2，用于将业务需求抽象为足够小的资源组件，作为任务，任务交替执行的顺序称为任务流，并基于微服务的框架向资源调度引擎5申请物理资源，其中，基于微服务的设计，有利于减少底层平台的异构型对上层调度的影响，同时可利用容器编排等技术手段完成业务的动态扩展及收缩，可根据感知引擎的信息变化，快速做出决策；
业务调度知识库3，存储历史调度信息，并通过离线分析，求解多输入多输出模型，获取调度策略的最优解集合，形成基于先验知识的动态更新知识库；
业务监控模块4，实时收集资源探针9捕获的数据，并通过基础滤波和业务规则预处理，触发相应的事件响应规则，如业务运行故障转移、业务资源池扩容、业务运行资源收缩，最终由策略服务引擎6来执行触发任务；
资源调度引擎5，基于强学习的机器学习算法，与业务监控模块4进行交互，学习从环境状态到动作的映射，以用户的调度策略为最终优化目标，通过与环境交互并通过反馈调节输入因子，期望最大化收益，实现资源的最优化利用；
策略服务引擎6，用于获取用户既定业务调度策略及业务分析感知的最优执行策略，并在业务监控模块的运行指标达到指定阈值时触发相应执行动作；
感知引擎7，对业务流量进行动态感知，执行故障诊断，运行指标包括网络带宽、传输时延、CPU负载、内存消耗量等；
动态配给资源池8，将各异构云平台的物理资源抽象为可供直接调用的业务承载资源，并通过统一的标准量度进行测量，测量对象包括内存、存储空间、CPU负载、网络延时、网络抖动，系统服务高可用性和资源单价；
资源探针9，预埋在云平台中，收集各个云平台的资源使用情况和业务运行状况，汇总至业务监控模块4。
如图3所示，一种混合云业务调度系统进行业务调度的方法，包括以下步骤：
S1，业务调度中心1接收用户通过平台入口输入的业务流信息及业务需求；
S2，业务抽象及描述模块2将业务需求抽象为足够小的资源组件(任务)，并将业务流抽象为可执行的任务流；
S3，资源调度引擎5根据用户输入及业务信息，从业务调度知识库3中匹配已有业务调度策略，并生成服务调度决策，具体为：如果业务调度知识库3中有可控调用策略则执行步骤S6，否则执行步骤S4；
S4，通过强化学习，逐步将任务下发至资源调度引擎5，并通过业务监控模块4及感知引擎7获取业务反馈，优化调度策略，并形成面向该资源及调度需求的最优策略知识；
S5，将最优策略知识记录在业务调度知识库3中，返回步骤S3；
S6，根据资源调度策略进行资源部署，调用动态配给资源池8，通过微服务的形式编排资源调度任务；
S7，业务监控模块4通过资源探针9实时获取任务流运行状态及系统性能指标；
S8，资源调度引擎5根据资源调度策略对业务运行状况进行动态优化；
S9，完成资源重新调度及业务流再平衡；
S10，业务完成，回收相应调度资源。

Claims (5)

1.一种业务调度的方法，其特征在于，基于混合云业务调度系统实现，所述混合云业务调度系统应用于混合云环境，包括：
业务调度中心(1)，用于接收用户的业务需求；
业务抽象及描述模块(2)，用于将业务需求抽象为足够小的资源组件，作为任务，并向资源调度引擎(5)申请物理资源；
业务调度知识库(3)，存储历史调度信息，并通过离线分析，求解多输入多输出模型，获取调度策略的最优解集合，形成基于先验知识的动态更新知识库；
业务监控模块(4)，实时收集资源探针(9)捕获的数据，并通过基础滤波和业务规则预处理，触发相应的事件响应规则；
资源调度引擎(5)，基于强学习的机器学习算法，与业务监控模块(4)进行交互，学习从环境状态到动作的映射，以用户的调度策略为最终优化目标；
策略服务引擎(6)，用于获取用户既定业务调度策略及业务分析感知的最优执行策略，并在业务监控模块(4)的运行指标达到指定阈值时触发相应执行动作；
感知引擎(7)，对业务流量进行动态感知，执行故障诊断；
动态配给资源池(8)，将各异构云平台的物理资源抽象为可供直接调用的业务承载资源，并通过统一的标准量度进行测量；
资源探针(9)，预埋在云平台中，收集各个云平台的资源使用情况和业务运行状况，汇总至业务监控模块(4)；
具体的，方法包括以下步骤：
S1，业务调度中心(1)接收用户的业务需求；
S2，业务抽象及描述模块(2)将业务需求抽象为资源组件，并将业务流抽象为可执行的任务流；
S3，资源调度引擎(5)根据业务需求，从业务调度知识库(3)中匹配已有业务调度策略，并生成服务调度决策，具体为：如果业务调度知识库(3)中有可控调用策略则执行步骤S6，否则执行步骤S4；
S4，通过强化学习，逐步将任务下发至资源调度引擎(5)，并通过业务监控模块(4)及感知引擎(7)获取业务反馈，优化调度策略，并形成面向该资源及调度需求的最优策略知识；
S5，将最优策略知识记录在业务调度知识库(3)中，返回步骤S3；
S6，根据资源调度策略进行资源部署，调用动态配给资源池(8)，通过微服务的形式编排资源调度任务；
S7，业务监控模块(4)通过资源探针(9)实时获取任务流运行状态及系统性能指标；
S8，资源调度引擎(5)根据资源调度策略对业务运行状况进行动态优化；
S9，完成资源重新调度及业务流再平衡；
S10，业务完成，回收相应调度资源。
2.根据权利要求1所述的一种业务调度的方法，其特征在于，所述的混合云环境为多个公有云组成的异构混合云环境、多个私有云组成的异构混合云环境或公有云与私有云组成的混合云环境。
3.根据权利要求1所述的一种业务调度的方法，其特征在于，所述的业务需求包括用户对服务质量、业务执行时间、执行策略的约定。
4.根据权利要求1所述的一种业务调度的方法，其特征在于，所述的动态配给资源池(8)的测量对象包括内存、存储空间、CPU负载、网络延时、网络抖动，系统服务高可用性和资源单价中的至少一种。
5.根据权利要求1所述的一种业务调度的方法，其特征在于，所述的业务监控模块(4)的运行指标包括网络带宽、传输时延、CPU负载、内存消耗量中的至少一种。
CN201710964145.7A 2017-10-17 2017-10-17 一种混合云业务调度系统及方法 Active CN109672709B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710964145.7A CN109672709B (zh) 2017-10-17 2017-10-17 一种混合云业务调度系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710964145.7A CN109672709B (zh) 2017-10-17 2017-10-17 一种混合云业务调度系统及方法

Publications (2)

Publication Number Publication Date
CN109672709A CN109672709A (zh) 2019-04-23
CN109672709B true CN109672709B (zh) 2023-03-24

Family

ID=66139711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710964145.7A Active CN109672709B (zh) 2017-10-17 2017-10-17 一种混合云业务调度系统及方法

Country Status (1)

Country Link
CN (1) CN109672709B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110266787B (zh) * 2019-06-14 2022-03-18 中国电子科技网络信息安全有限公司 一种混合云管理系统、方法及计算机设备
CN111083200B (zh) * 2019-11-25 2022-07-05 武汉联影医疗科技有限公司 智能服务网络系统
CN111756599B (zh) * 2020-06-23 2022-07-12 中国联合网络通信集团有限公司 一种业务监控方法及业务监控系统
CN112084015B (zh) * 2020-08-28 2023-08-15 西藏宁算科技集团有限公司 一种基于云计算的仿真云平台搭建系统及方法
CN112506657B (zh) * 2020-12-09 2022-04-08 上海交通大学 基于强化学习的面向微服务的资源管理系统
CN112579293B (zh) * 2020-12-24 2023-03-14 中国航空工业集团公司西安航空计算技术研究所 一种分布计算系统的综合验证方法
CN115550972B (zh) * 2022-11-30 2023-04-07 成都中星世通电子科技有限公司 一种电磁感知任务自动分解与资源分配方法及系统
CN117033693B (zh) * 2023-10-08 2024-03-08 联通沃音乐文化有限公司 一种混合模式的云处理的方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104836819A (zh) * 2014-02-10 2015-08-12 阿里巴巴集团控股有限公司 动态负载均衡的方法、系统及监控调度设备
CN105893117A (zh) * 2015-11-26 2016-08-24 乐视云计算有限公司 云服务的任务流的配置系统及方法
CN106027617A (zh) * 2016-05-11 2016-10-12 广东浪潮大数据研究有限公司 一种私有云环境下任务及资源动态调度的实现方法
CN106936883A (zh) * 2015-12-31 2017-07-07 伊姆西公司 用于云系统的方法和装置
CN107193658A (zh) * 2017-05-25 2017-09-22 重庆工程学院 基于博弈论的云计算资源调度方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104836819A (zh) * 2014-02-10 2015-08-12 阿里巴巴集团控股有限公司 动态负载均衡的方法、系统及监控调度设备
CN105893117A (zh) * 2015-11-26 2016-08-24 乐视云计算有限公司 云服务的任务流的配置系统及方法
CN106936883A (zh) * 2015-12-31 2017-07-07 伊姆西公司 用于云系统的方法和装置
CN106027617A (zh) * 2016-05-11 2016-10-12 广东浪潮大数据研究有限公司 一种私有云环境下任务及资源动态调度的实现方法
CN107193658A (zh) * 2017-05-25 2017-09-22 重庆工程学院 基于博弈论的云计算资源调度方法

Also Published As

Publication number Publication date
CN109672709A (zh) 2019-04-23

Similar Documents

Publication Publication Date Title
CN109672709B (zh) 一种混合云业务调度系统及方法
CN108337109B (zh) 一种资源分配方法及装置和资源分配系统
Alqahtani et al. Reliable scheduling and load balancing for requests in cloud-fog computing
CN103810023B (zh) 一种云平台中分布式应用的智能部署方法及系统
CN105207798B (zh) 软件定义网络中的业务编排方法及装置
CN107222531B (zh) 一种容器云资源调度方法
CN111414233A (zh) 一种在线模型推理系统
US20160381116A1 (en) Method and system to estimate user desired delay for resource allocation for mobile-cloud applications
CN112783649A (zh) 一种面向云计算的交互感知的容器化微服务资源调度方法
CN112667594A (zh) 一种基于混合云资源的异构计算平台及模型训练方法
Rejiba et al. Custom scheduling in Kubernetes: A survey on common problems and solution approaches
CN104503832B (zh) 一种公平和效率均衡的虚拟机调度系统及方法
CN109271232A (zh) 一种基于云计算平台的集群资源分配方法
CN104050042A (zh) Etl作业的资源分配方法及装置
CN111813502B (zh) 面向工业边缘节点的计算资源管理调度方法
Nastic et al. Polaris scheduler: Edge sensitive and slo aware workload scheduling in cloud-edge-iot clusters
US11652720B2 (en) Allocating cloud resources in accordance with predicted deployment growth
Xu et al. Enhancing kubernetes automated scheduling with deep learning and reinforcement techniques for large-scale cloud computing optimization
CN103699433A (zh) 一种于Hadoop平台中动态调整任务数目的方法及系统
EP4172768A1 (en) Rightsizing virtual machine deployments in a cloud computing environment
Saravanan et al. Advance Map Reduce Task Scheduling algorithm using mobile cloud multimedia services architecture
CN117596247A (zh) 基于异构边缘计算系统的资源监控和性能评估的方法
Joseph et al. Fuzzy reinforcement learning based microservice allocation in cloud computing environments
Mishra et al. A proficient load balancing using priority algorithm in cloud computing
Du et al. A combined priority scheduling method for distributed machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant