CN112367354B - 一种云边资源图智能调度系统及其调度方法 - Google Patents
一种云边资源图智能调度系统及其调度方法 Download PDFInfo
- Publication number
- CN112367354B CN112367354B CN202011072269.2A CN202011072269A CN112367354B CN 112367354 B CN112367354 B CN 112367354B CN 202011072269 A CN202011072269 A CN 202011072269A CN 112367354 B CN112367354 B CN 112367354B
- Authority
- CN
- China
- Prior art keywords
- resource
- data center
- data
- scheduling
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种云边资源图智能调度系统及其调度方法,该调度系统包括多数据图计算资源协同管理器、云‑边协同计算模型;多数据图计算资源协同管理器用于管理多数据中心资源;云‑边协同计算模型用于分配调度多数据中心资源和计算任务,并提供该调度系统的调度方法。本发明的调度系统适应多中心的资源协同运行场景,底层基于图数据库技术构建异构多数据中心资源类型以及之间的关系,构建一个描述多数据中心云边协同资源之间相关性的图状态库,采用图的调度算法将异构多数据中心资源调度转换为有向无环图调度问题,实现复杂多数据中心云边协同资源智能调度。
Description
技术领域
本发明涉及一种智能调度系统及其调度方法,尤其涉及一种云边资源图智能调度系统及其调度方法。
背景技术
在电力行业,随着万物互联时代的到来,越来越多的多站融合数据中心出现。“多站融合”的数据中心是指边缘数据中心在内的多级数据中心,用于对电网内部业务、城市治理、互联网、工业制造等领域产生的数据进行边缘侧存储、处理和计算,是数据信息的汇聚基地,同时又是主要的负荷中心。通过“多站融合”数据中心站规模化发展,打造边缘计算与云数据中心“业务区隔、云边协同、打通全局”的整体优势。但是现有数据中心多为集中式数据中心,技术积累未覆盖包括多分布式中心之间协同问题。需要研究资源在核心站、分布式站之间的交互机技术等,形成一个资源智能调度的整体,发挥多级分布式数据中心智能协同效应。传统集中式数据中心数据资源调度方法很难支撑资源状态异构多数据中心资源调度。
发明内容
发明目的:本发明的第一目的为提供一种适应多中心的资源协同运行场景、保证在复杂多数据中心云边协同资源调度环境下调度结果为最优的云边资源图智能调度系统,本发明的第二目的为提供该云边资源图智能调度系统的调度方法。
技术方案:本发明的云边资源图智能调度系统,包括多数据图计算资源协同管理器和云-边协同计算模型;
多数据图计算资源协同管理器用于管理多数据中心资源;
云-边协同计算模型用于分配调度多数据中心资源和计算任务。
进一步地,云边资源图智能调度系统还包括资源主备调度器,资源主备调度器用于多数据中心资源主备切换。
云-边协同计算模型分为计算层、中间层和用户层;中间层用于通过多数据图计算资源协同管理器实现终端异构资源的接入、云-边计算任务的协同分配以及云-边协同计算容错功能,完成与计算层的异构资源协同计算和高效资源分配;用户层用于实现资源注册及申请,与中间层进行交互。计算层由多种异构资源和服务组成,包括核心计算资源和终端计算资源。优选的,计算层包括核心计算资源和终端计算资源。
资源主备调度器实现多数据中心资源主备切换,采用多副本协同备份恢复计算策略,实现故障情况下数据服务主备多节点快速复制切换,以缓解故障的资源节点对整个系统健康度影响。
资源主备调度器采用多数据中心任务克隆技术,实现故障情况下作业任务在主备多节点快速切换,降低对作业性能的影响。资源主备调度器采用多数据中心资源灾备数据同步技术,实现主备多节点快速同步,资源主备调度器使用用户定义的多数据中心图数据库日志格式记录资源使用记录,基于更新日志的数据同步事务技术实现基于事务更新以及回滚数据。
本发明的云边资源图智能调度方法,包括如下步骤:
(1)管理多数据中心资源;
(2)分配调度多数据中心资源和计算任务。
步骤(1)中,管理为通过存储和计算协调各数据中心之间资源的协同分配;存储方式为图数据库;存储的内容为资源的类型、容量、使用情况、资源运行状态、资源重要性、资源备份数据中心路径和资源关联关系,形成多数据中心资源图库。
步骤(1)中,管理为注册和接入认证数据中心资源,实现分布式数据中心计算资源协同管理,数据中心资源注册时,提交资源类型、位置信息,根据资源状态以及所在数据中心状态,注册资源信息,采用基于图库的最小分割分配算法结合用户需求,确定资源备份恢复策略,用户使用资源时,使用图论中最短路径算法从多数据中心资源图库获取相关资源位置,使用接入认证功能获取相关资源以及资源备份恢复策略。
步骤(1)中,多数据中心资源的主备切换采用多副本协同备份恢复计算策略,实现故障情况下数据服务主备各节点快速复制切换;主备切换采用多数据中心任务克隆技术,实现故障情况下作业任务在主备各节点快速切换。
步骤(1)中,多数据中心资源的主备切换采用多数据中心资源灾备数据同步技术,实现主备各节点快速同步,使用用户定义的多数据中心图数据库日志格式记录资源使用记录,基于更新日志的数据同步事务技术实现基于事务更新以及回滚数据。
多数据中心采用的面向多站融合业务规则的发布和订阅数据传输模型实现数据同步。
步骤(2)中,分配调度采用基于图论的最小分割分配算法实现资源高效调度,将云边调度协同调度请求基于图数据库有向无环图中算法实现多数据中心资源图库资源最佳调度。
步骤(1)中,管理监测调度结果,采用调度结果数据基于深度学习算法实现多数据中心调度过程模型训练。
本发明的云边资源图智能调度方法,利用云边资源图智能调度系统,包括如下步骤:当用户申请资源及计算任务时,云-边协同计算模型采用基于图论的最小割分配算法实现资源高效调度,将云边调度协同调度请求基于图数据库有向无环图中算法实现多数据中心资源图库资源最佳调度,结合资源主备调度器实现云边资源协同调度最优,确定资源及备用资源使用情况,多数据图计算资源协同管理器监测调度结果,采用调度结果数据基于深度学习算法实现多数据中心调度过程模型训练,结合云-边协同计算模型,实现基于人工智能的多数据中心图资源调度智能分配。
优选的,多数据中心采用多节点及本地远程互备策略多数据图计算资源协同管理器代理协同机制,实现多数据图计算资源协同管理器本地远程互备在线。
有益效果:与现有技术相比,本发明具有如下显著优点:云边资源图智能调度系统运用多数据图计算资源协同管理器、资源主备调度器和云-边协同计算模型实现云边资源图的智能调度,可解决云边多数据中心场景下,边缘数据中心资源可靠性不足,实现边缘数据中心故障状态下,云数据中心快速接管边缘数据中心资负载业务;适应多中心的资源协同运行场景,底层基于图数据库技术构建异构多数据中心资源类型以及之间的关系,构建一个描述多数据中心云边协同资源之间相关性的图状态库,采用图的调度算法将异构多数据中心资源调度转换为有向无环图调度问题,运用图数据库的最小分割算法、基于关键路径的算法,保证复杂多数据中心云边协同资源调度环境下智能调度;云边资源图智能调度方法解决云边多数据中心场景下,云数据中心管理众多边缘数据中心资源响应能力不足问题,实现用户计算、存储、网络资源根据多数据中心状态以及业务规则资源最佳调度。
附图说明
图1是本发明提供的一种适应多数据中心协同运行的云边资源图智能调度方法框图;
图2是本发明提供的具体实施示意图。
具体实施方式
下面结合实施例对本发明的技术方案作进一步说明。
如图1所示,本发明的云边资源图智能调度系统,包括多数据图计算资源协同管理器、资源主备调度器和云-边协同计算模型;
多数据图计算资源协同管理器用于管理多数据中心资源;
资源主备调度器用于多数据中心资源主备切换;
云-边协同计算模型用于分配调度多数据中心资源和计算任务。
如图2所示,本发明的云边资源图智能调度步骤如下:
计算模型配置:配置计算层资源模型。模型配置核心数据中心以及边缘数据中心资源,包括数据中心属性及关联关系。配置核心数据中心设备及相关异构资源信息,包括基础设施、网络、中间件服务、应用模块、数据库、存储类型、容量、使用情况、资源状态、关联关系等资源属性信息。二、配置用户层模型。模型配置用户信息,用户信息包括用户名称、用户资源使用情况、用户类别、用户等级、用户数据中心使用级别等相关信息。
计算资源注册:数据中心以及边缘数据中心资源新硬件资源申请时,提交资源类型、位置等相关信息,多数据图计算资源协同管理器根据资源状态以及所在数据中心状态,注册资源信息,采用基于图库的最小分割分配算法结合用户需求,确定资源备份恢复策略。
资源主备调度:资源主备调度器实现多数据中心资源主备切换,采用多副本协同备份恢复计算策略,根据数据中心重要级别、数据中心资源设备健康状态、业务重要性,确定副本数量及恢复策略,故障情况下,根据资源备份副本以及恢复策略,快速复制切换数据服务主备节点,以缓解故障的资源节点对整个系统健康度影响。采用多数据中心同步任务克隆技术,根据任务重要程度,确定计算任务克隆恢复策略,在故障情况下,根据任务克隆策略恢复策略,作业任务在主备多节点快速切换,降低对作业性能的影响。采用多数据中心资源灾备数据同步技术,实现主备多节点快速同步。使用用户定义的多数据图数据库日志格式记录资源使用记录,基于更新日志的数据同步事务技术实现基于事务更新以及回滚数据。多数据中心采用的面向多站融合业务规则的发布/订阅数据传输模型实现数据同步。该模型面向多数据中心基于发布/订阅通信模式,根据消息类型进行分组,将应用发布/订阅请求消息、数据同步请求消息等请求类消息分为一组,将发布/订阅请求的应答消息等应答类消息分为一组,将数据传输消息和同步结果反馈消息等数据传输相关类消息作为一组,而数据传输相关类消息都采用组代理机制发送,使得应用服务的发布与订阅更加高效规范,数据传输更加安全可靠。数据同步采用组代理机制,结合多数据中心资源主备调度业务规则,采用用户自定义的分布式数据中心消息同步发布订阅机制。在数据同步过程中,数据中心同步分别采用TCP和HTTP传输协议,采用自定义冲突检测与避免协议,确保同步过程中传输数据的完整性与正确性。多数据中心采用多节点及本地远程互备策略多数据图计算资源协同管理器代理协同机制,实现多数据图计算资源协同管理器本地远程互备在线。各数据中心都有多数据图计算资源协同管理器代理,采用定时及用户配置的轮训机制,保证多数据中心资源图库完整性。各代理在其他数据中心有多个代理副本,保证在故障情况下,多数据中心资源图库数据完整性。为了保证多数据中心资源图库查询效率,核心数据中心以及边缘数据中心由用户定义不同策略的轮训机制以及多数据中心资源图库范围。核心数据中心保存所有多数据中心图库信息,边缘数据中心负责用户定义的本数据中心及相关备份的数据中心资源图库。
计算资源分配:多数据图计算资源协同管理器基于云-边协同计算模型实现资源、计算任务分配调度。云-边协同计算模型分为计算层,中间层和用户层。计算层由多种异构资源和服务组成,包括核心计算资源和终端计算资源。中间层通过多数据图计算资源协同管理器来实现终端异构资源的接入、云-边计算任务的协同分配以及云-边协同计算容错等功能,完成多种异构资源协同计算和高效资源分配。用户层实现资源注册及申请,与中间层进行交互。当用户申请资源及计算任务时,云边资源图智能调度采用基于图论的最小割分配算法实现资源高效调度,将云边资源及任务调度需求,查找多数据中心资源图库,根据用户资源的申请信息,如用户所在区域、用户申请资源类型、资源配置如CPU核心数、内存大小、硬盘大小等,采用基于图数据库有向无环图中算法查找所需资源以及备份资源,结合资源主备调度器实现云边资源协同调度最优,确定资源及备用资源使用情况,根据用于资源使用情况,更新多数据中心资源图库。
多数据中心调度过程模型训练:多数据图计算资源协同管理器监测调度结果,采用调度结果数据基于深度学习算法实现多数据中心调度过程模型训练,结合云-边协同计算模型,实现基于人工智能的多数据中心图资源调度智能分配。
本发明提供的适应多数据中心协同运行的云边资源图智能调度方法,适应多中心的资源协同运行场景,实现复杂多数据中心云边协同资源调度环境下最优调度。
Claims (8)
1.一种云边资源图智能调度系统,其特征在于:包括多数据图计算资源协同管理器、云-边协同计算模型;
所述多数据图计算资源协同管理器用于管理多数据中心资源;所述多数据中心资源包括核心数据中心和边缘数据中心资源;
所述云-边协同计算模型用于分配调度多数据中心资源和计算任务;
所述云边资源图智能调度系统还包括资源主备调度器,所述资源主备调度器用于基于多副本协同备份恢复计算策略和用于实现主备各节点同步的多数据中心资源灾备数据同步方法进行多数据中心资源主备切换;所述多副本协同备份恢复计算策略为根据数据中心重要级别、数据中心资源设备健康状态、业务重要性,确定副本数量及恢复策略。
2.根据权利要求1所述云边资源图智能调度系统,其特征在于:所述云-边协同计算模型分为计算层、中间层和用户层;所述中间层用于通过多数据图计算资源协同管理器实现终端异构资源的接入、云-边计算任务的协同分配以及云-边协同计算容错功能,完成与计算层的异构资源协同计算和高效资源分配;用户层用于实现资源注册及申请,与中间层进行交互。
3.一种云边资源图智能调度方法,其特征在于,包括如下步骤:
(1)管理多数据中心资源;
步骤(1)中,所述多数据中心资源的主备切换采用多副本协同备份恢复计算策略,实现故障情况下数据服务主备多节点快速复制切换;所述主备切换采用多数据中心任务克隆方法,实现故障情况下作业任务在主备多节点快速切换;
步骤(1)中,所述多数据中心资源的主备切换采用多数据中心资源灾备数据同步方法,实现主备各节点同步,所述主备切换使用用户定义的多数据中心图数据库日志格式记录资源使用记录,基于更新日志的数据同步事务方法实现基于事务更新以及回滚数据;
(2)利用云-边协同计算模型分配调度多数据中心资源和计算任务。
4.根据权利要求3所述云边资源图智能调度方法,其特征在于:步骤(1)中,所述管理为通过存储和计算协调各数据中心之间资源的协同分配;所述存储的方式为图数据库;所述存储的内容为资源的类型、容量、使用情况、资源运行状态、资源重要性、资源备份数据中心路径和资源关联关系,形成多数据中心资源图库。
5.根据权利要求3所述云边资源图智能调度方法,其特征在于:步骤(1)中,所述管理为注册和接入认证数据中心资源,实现分布式数据中心计算资源协同管理,数据中心资源注册时,提交资源类型、位置信息,根据资源状态以及所在数据中心状态,注册资源信息,采用基于图库的最小分割分配算法结合用户需求,确定资源备份恢复策略,用户使用资源时,使用图论中最短路径算法从多数据中心资源图库获取相关资源位置,使用接入认证功能获取相关资源以及资源备份恢复策略。
6.根据权利要求3所述云边资源图智能调度方法,其特征在于:所述多数据中心采用的面向多站融合业务规则的发布和订阅数据传输模型实现数据同步。
7.根据权利要求3所述云边资源图智能调度方法,其特征在于:步骤(2)中,所述分配调度采用基于图论的最小分割分配算法实现资源调度,将云边调度协同调度请求基于图数据库有向无环图中算法实现多数据中心资源图库资源调度。
8.根据权利要求3所述云边资源图智能调度方法,其特征在于:步骤(1)中,还包括管理监测调度结果,采用调度结果数据基于深度学习算法实现多数据中心调度过程模型训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011072269.2A CN112367354B (zh) | 2020-10-09 | 2020-10-09 | 一种云边资源图智能调度系统及其调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011072269.2A CN112367354B (zh) | 2020-10-09 | 2020-10-09 | 一种云边资源图智能调度系统及其调度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112367354A CN112367354A (zh) | 2021-02-12 |
CN112367354B true CN112367354B (zh) | 2023-08-04 |
Family
ID=74507068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011072269.2A Active CN112367354B (zh) | 2020-10-09 | 2020-10-09 | 一种云边资源图智能调度系统及其调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112367354B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113114716B (zh) * | 2021-02-25 | 2022-09-09 | 浙江工商大学 | 一种边云协同管控系统及方法 |
CN113282368B (zh) * | 2021-05-25 | 2023-03-28 | 国网湖北省电力有限公司检修公司 | 一种用于变电站巡视的边缘计算资源调度方法 |
CN113037877B (zh) * | 2021-05-26 | 2021-08-24 | 深圳大学 | 云边端架构下时空数据及资源调度的优化方法 |
CN114584563A (zh) * | 2022-03-18 | 2022-06-03 | 西安超越申泰信息科技有限公司 | 一种边端协同智能资源调度方法、装置、终端及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111343436A (zh) * | 2020-03-26 | 2020-06-26 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 基于云边协同的轨道交通视频监控方法及系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7827283B2 (en) * | 2003-02-19 | 2010-11-02 | International Business Machines Corporation | System for managing and controlling storage access requirements |
CN110300191A (zh) * | 2019-07-29 | 2019-10-01 | 崔翛龙 | 服务系统及数据处理方法 |
-
2020
- 2020-10-09 CN CN202011072269.2A patent/CN112367354B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111343436A (zh) * | 2020-03-26 | 2020-06-26 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 基于云边协同的轨道交通视频监控方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112367354A (zh) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112367354B (zh) | 一种云边资源图智能调度系统及其调度方法 | |
Lin et al. | QoS-aware data replication for data-intensive applications in cloud computing systems | |
US7644087B2 (en) | Method and apparatus for data management | |
CN103425734A (zh) | 用于存储编码三元组的数据库控制器、方法及系统 | |
CN111597160A (zh) | 分布式数据库系统、分布式数据处理方法和装置 | |
CN103581332A (zh) | HDFS架构及HDFS架构中NameNode节点的压力分解方法 | |
Ratner et al. | Roam: a scalable replication system for mobility | |
CN112269887A (zh) | 一种基于图数据库的分布式系统 | |
Sattler et al. | Towards Elastic Stream Processing: Patterns and Infrastructure. | |
CN111913837A (zh) | 大数据环境下实现分布式中间件消息恢复策略管理的系统 | |
Akbarinia et al. | Data management in the APPA system | |
Chen et al. | Designing mobile computing systems using distributed objects | |
CN113630317B (zh) | 一种数据传输方法、装置、非易失性存储介质及电子装置 | |
CN112637263B (zh) | 一种多数据中心资源优化提升方法、系统和存储介质 | |
CN114579545A (zh) | 一种基于地铁车站系统的数仓数据查询方法及装置 | |
CN112765294A (zh) | 一种气象大数据处理调度系统 | |
Liu et al. | Edge node data replica management method for distribution Internet of Things | |
Vilaça et al. | On the expressiveness and trade-offs of large scale tuple stores | |
CN112541038A (zh) | 时序数据管理方法、系统、计算设备及存储介质 | |
CN111199386A (zh) | 一种工作流引擎及其实现方法 | |
Pandey et al. | Replication in distributed systems and its improvements | |
Zhao et al. | Architecture Design of CTC Log Module Based on Web Service | |
Wu et al. | The Fault Tolerance of Big Data Systems | |
Song et al. | Research on multi-data center collaboration technology for multi-station fusion | |
Hu et al. | Realization Technology of Spatial Constraint Message Oriented Middleware in CPS |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |