CN115002217B - 调度方法、装置、设备及介质 - Google Patents

调度方法、装置、设备及介质 Download PDF

Info

Publication number
CN115002217B
CN115002217B CN202210566406.0A CN202210566406A CN115002217B CN 115002217 B CN115002217 B CN 115002217B CN 202210566406 A CN202210566406 A CN 202210566406A CN 115002217 B CN115002217 B CN 115002217B
Authority
CN
China
Prior art keywords
data
scheduling
center
algorithm model
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210566406.0A
Other languages
English (en)
Other versions
CN115002217A (zh
Inventor
王憬晗
赵君
梁伟
杨明川
李馨迟
刘康
夏晓晴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202210566406.0A priority Critical patent/CN115002217B/zh
Publication of CN115002217A publication Critical patent/CN115002217A/zh
Application granted granted Critical
Publication of CN115002217B publication Critical patent/CN115002217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种调度方法、装置、设备及介质,涉及数据处理技术领域。该方法包括:中心调度系统基于预设周期,获取数据处理系统的中心层和边缘层的运营数据;将运营数据存储至中心层的AI训练中心,以使AI训练中心调用中心存储节点和中心算力节点,基于存储的运营数据训练调度算法模型,并将训练结果反馈至中心调度系统;通过历史运营数据,评估训练后的调度算法模型;在调度算法模型的通过评估的情况下,应用调度算法模型处理数据处理系统中的调度请求。本公开实施例能够动态数据处理系统各方资源,改善数据处理系统的工作效率。

Description

调度方法、装置、设备及介质
技术领域
本公开涉及数据处理技术领域,尤其涉及一种调度方法、装置、设备及介质。
背景技术
分布式数据处理系统中经常需要调度各类数据。因而,需要一种方案帮助数据处理系统不同的功能节点之间协调联动,动态数据处理系统中各方资源。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供一种调度方法、装置、设备及介质,至少在一定程度上解决分布式数据处理系统中数据资源调度的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供了一种调度方法,应用于数据处理系统的中心调度系统,方法包括:
基于预设周期,获取数据处理系统的中心层和边缘层的运营数据;
将运营数据存储至中心层的AI训练中心,以使AI训练中心调用中心存储节点和中心算力节点,基于存储的运营数据训练调度算法模型,并将训练结果反馈至中心调度系统;
通过历史运营数据,评估训练后的调度算法模型;
在调度算法模型的通过评估的情况下,应用调度算法模型处理数据处理系统中的调度请求。
在本公开的一个实施例中,运营数据,包括如下数据中的至少一种:
各边缘节点不同时段的资源利用数据、完成数据迁移的系统数据、算力租赁的系统数据、联邦学习的系统数据、隐私计算的系统数据、节点扩容的系统数据、记录在区块链上的数据共享数据。
在本公开的一个实施例中,将运营数据存储至中心层的AI训练中心之前,方法还包括:
对运营数据进行预处理,预处理包括如下处理中的至少一种:
数据去重处理、数据标准化处理、错误修正处理。
在本公开的一个实施例中,调度算法模型中包括数据处理系统中的多个调度算法。
在本公开的一个实施例中,AI训练中心在训练调度算法模型时,采用了如下训练算法中的至少一种:
线性回归、决策树、随机森林、逻辑回归、梯度提升、SVM。
在本公开的一个实施例中,通过历史运营数据,评估训练后的调度算法模型之前,AI训练中心还对调度算法模型进行了初始评估。
在本公开的一个实施例中,通过历史运营数据,评估训练后的调度算法模型,包括:
通过历史运营数据,使用混淆矩阵,得到调度算法模型预测结果的准确率和召回率;
基于准确率和召回率,评估训练后的调度算法模型。
在本公开的一个实施例中,基于准确率和召回率,评估训练后的调度算法模型,包括:
基于准确率和召回率,计算调和平均数;
基于调和平均数和预设阈值,判断训练后的调度算法模型是否通过评估。
在本公开的一个实施例中,准确率公式如下:
P=X4/(X2+X4)
召回率计算公式如下:
R=X4/(X3+X4)
调和平均数计算公式如下:
F=2PR/(P+R)
其中,X2表示判断错误的肯定记录,X3表示判断错误的否定记录,X4表示判断正确的肯定记录。
根据本公开的另一个方面,提供一种调度装置,应用于数据处理系统的中心调度系统,装置包括:
数据获取模块,用于基于预设周期,获取数据处理系统的中心层和边缘层的运营数据;
数据存储模块,用于将运营数据存储至中心层的AI训练中心,以使AI训练中心调用中心存储节点和中心算力节点,基于存储的运营数据训练调度算法模型,并将训练结果反馈至中心调度系统;
模型评估模块,用于通过历史运营数据,评估训练后的调度算法模型;
调度模块,用于在调度算法模型的通过评估的情况下,应用调度算法模型处理数据处理系统中的调度请求。
根据本公开的又一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述的调度方法。
根据本公开的又一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的调度方法。
本公开实施例所提供的调度方法、装置、设备及介质,以中心调度系统为核心,联合AI训练中心训练调度算法模型,通过调度算法模型协调系统中不同功能组件。本公开能够通过不同功能组件产生的数据不断优化调度算法模型,高效调度各方资源。
此外,本公开中基于预设周期,获取数据处理系统的中心层和边缘层的运营数据,进而模型的训练过程也是周期性进行的,也就是说本公开中的调度算法模型能够在数据处理系统的运行期间不断的进行自我优化,进而能够更好的适配数据处理系统。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示本公开实施例中一种数据处理系统结构示意图;
图2示本公开实施例中一种数据采集层结构示意图;
图3示本公开实施例中数据处理系统区块链基础设施示意图;
图4示本公开实施例中另一种数据处理系统结构示意图;
图5示出本公开实施例中一种调度方法流程图;
图6示出本公开实施例中另一种调度方法流程图;
图7示出本公开实施例中一种调度装置示意图;
图8示出本公开实施例中一种电子设备的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
本公开实施例提供的调度方法可以应用于数据处理系统,该数据处理系统可以为分布式数据系统。
图1示出一种数据处理系统示意图,本公开实施例提供的数据处理方法可以应用于但不限于图1所示的数据处理系统。
如图1所示,本公开实施例中提供的数据处理系统100,包括中心层120、边缘层140、数据采集层160。
数据采集层160,用于根据各业务侧需求,在预设采集点161采集原始数据,并将原始数据发送至边缘层;
边缘层140,包括多个边缘节点141;边缘节点141采用存储和计算一体化的架构,每个边缘节点141用于存储原始数据,以及将原始数据中的目标数据发送至中心层;
中心层120,用于存储来自边缘节点141的目标数据,以及响应于数据处理指令,调度边缘层140的边缘节点141协同中心层120处理数据。
在一些实施例中,如图2所示,中心层120可以包括中心节点121;中心节点121与边缘节点141之间通过SD-WAN连接。
其中,中心节点121的数量可以为一个或多个,在此不作限定。
大数据是云网融合核心的应用和需求场景,而大数据在使用的过程中对网络、云协同的要求更高,需要灵活动态调整的云和网的部署关系,因此大数据需要云网融合,而云网融合一个关键驱动力是大数据产业化和大数据赋能。
数算云网一体化下的SD-WAN网络:数算云网一体化用于提供边缘节点之间、中心节点与边缘节点的确定性可信连接,实现数据安全、敏捷、高质量传送,是新型的云网融合体系架构。SD-WAN组网灵活,各中心节点之间、边缘节点之间、中心节点与边缘节点之间通过SDWAN连接,实现数据安全、敏捷、高质量传送,方便不同物理位置相关联数据的统一管理。在安全性方面,可通过加密方式增强安全性,通过统一编排,根据数据业务/应用特征,将业务语言转化为网络需求和安全要求。在安全引擎方面,生成安全指令,对链路和网元进行隧道加密、流量清洗等安全加固。通过生成网络指令,实现各物理/逻辑链路的配置和调整从而进行网络控制。在网络关系上形成“四层”+“一控”+“一码”的架构。
本公开实施例中通过SDWAN控制编排,发挥网络优势,匹配算力资源和数据资源,解决中心化架构数算资源不匹配问题和数据传输瓶颈问题。
在一些实施例中,原始数据包括如下数据中的至少一种:
流量数据、话单数据、感知数据、业务使用数据。
作为一个示例,数据采集层161,负责数据的近端采集和预处理,既包含内部DPI、专业公司数据采集点,也包含行业数据的采集,采集后汇聚到边缘层104进行存储和处理。在网络侧部署DPI采集设备,实现移动核心网、城域网、IDC等链路流量解析识别并形成xDR话单等原始数据。在家庭网关、IPTV机顶盒、互联网、IDC等部署测试探针,采集感知数据及业务使用数据。通过物联网设备采集行业数据,入环保数据、温度数据以及一些行业应用数据,除此之外,CRM、网管系统等内部数据也需要开放接口汇聚到边缘层做数据的进一步分析和处理。
作为一个示例,边缘层140,用于针对本地需求,实现本地数据的存储、计算和处理,同时承接中心层异地计算任务。
边缘节点采用存储和计算一体化的架构,作为数算一体化网络架构的核心组成部分,融合本地网络、计算、存储、应用核心能力,能进行本地化、特定性业务处理。边缘节点存储和计算一体化设计有助于数据就近处理,大大降低泄露风险以及网络负载。
边缘节点可以包含本地数据引擎,边缘存储资源、算力资源平台和资源调度平台几个部分。
本地数据引擎,具备满足本地需求的数据清洗、数据加密、数据交互和数据分析的能力,实现本地的数据分析和对外赋能需求。另一方面,服务于中心层,对于跨省数据分析请求,各地边缘节点需要对本地数据进行精简和提炼,形成中间数据汇聚至中心层数智融合分析。
边缘存储资源,包含数据存储,保存采集和清洗过后的原始数据;包含数据分析的中间结果及最终结果;同时包含用于训练的算法模型仓库。该架构下,数据尽可能放在边缘云存储,方便本地调配和使用,让数据少跑路,算力尽可能靠近边缘,减轻中心化大数据存储中心的负荷。
算力资源平台,实现数据在本地的计算,包括边缘数智融合、边缘联邦学习等,同时针对需要进行中心层隐私计算的数据,配置有隐私计算TEE通道,与中心节点隐私计算平台互通。
资源调度平台,承担两个职责,一方面承接中心层资源调度中心的资源调度需求,为中心节点和其他边缘节点提供所需的存储和算力等联合调度服务,另一方面负责本地数据处理和分析的资源调度。
边缘资源调度中心,本地数据分析和处理的资源调度,配合中心资源调度实现资源全网优化,有效降低延迟,提升性能
如图3所示,数算云网一体化架构下的区块链结构,作为价值网络基础设施底座,在数算云网一体化架构下,为各层数据流转、计算、交换等提供可信存证、溯源、一致性校验等能力,通过区块链技术保证数据全生命周期的透明、可信。
数算云网一体化架构下的区块链结构,作为数算云网一体化架构下的能力底座,通过构建区块链全网基础设施,打造“主链+数据业务子链”大规模组网架构,对大数据产业链完成穿透式透明、可信管控,主链作为核心区块链,汇集和见证来自所有数据业务子链的数据哈希,进一步提升所有数据的可信度。同时,主链为各数据业务子链提供跨链交易调度和交易可信验证功能,确保交易调度安全、合规。通过主链,各数据业务子链之间架设互通桥梁,有助于打破数据孤岛现象,实现不同业务链间的互联互通。
子链面向具体数据处理业务,可部署于中心层和边缘层数据中心或者云主机上,需通过跨链技术和主链实现数据共享,业务子链主要负责支撑特定的数据业务应用,如数据共享交换、联邦学习、隐私计算、数智融合等,实现身份认证、存证溯源、资源分配、数据一致性校验等功能。子链上的数据需要进行归集并上报至主链,方便主链实施监管。
本公开实施例中,区块链贯穿整个架构,为各层数据流转、计算、交换等提供可信存证、溯源、一致性校验等能力,通过区块链技术保证数据全生命周期的透明、可信。
上述数据处理系统,改变了传统云端资源集中模式,通过分布式计算、资源迁移、虚拟化等技术充分利用云边侧的资源能力,优化资源配置,提高资源利用率。
其中,主体间通过SD-WAN网络相连,全网通过全网调度中心实现全局资源的调度,通过数据标识实现数据资产的精细化管理和数据血缘的追踪。
图4示出本公开实施例中一种数据处理系统结构示意图,如图4所示,该数据处理系统400可以包括AI训练中心401。AI训练中心可以与中心调度系统402通信连接。
AI训练中心401,针对高性能或存在隐私保护需求的数据计算请求,提供数据分析和计算能力,通过TEE、多方安全计算等技术实现具备隐私保护的数据分析和挖掘能力;对边缘联邦节点进行集中管理,对联邦学习任务、模型、能力进行协调和调度。在执行层面,分发模型参数到各个参与方节点并进行梯度汇聚计算求得最优解,不断重复参数分发和汇聚的过程,直到模型收敛。
中心调度系统402是整个数据处理系统架构的大脑中枢,负责全网存储资源、算力资源、SDWAN网络和数据资源的调度,全网业务请求均首先通过全局中心调度系统依据资源使用情况分配匹配的能力中心。与此同时,针对该网络架构数据和算法的不确定性,还应以需求驱动,协同调度数据和计算资源,云边协同,实现“数据+算法”协同调度。中心调度系统具有如下功能:
(1)数据调度:基于区块链技术,实现各省/分公司的对等数据共享交换。具备数据跟踪、数据确权分析、数据定价功能,并形成全电信集团统一的数据目录跟踪视图。基于联盟链技术构建多方(省公司、专业公司等)之间的协作信任基础,实现数据确权、交易、监管,同时,对外与行业数据节点构建数据共享联盟链,实现内外部数据的互联互通和共享;
(2)算法调度:主要承接中心层和边缘层的通用计算任务,边缘层在本地算力不足的情况下,可租用中心层算法进行海量计算,中心层应用可调用算力中心算法资源执行计算任务。
(3)网络调度:SD-WAN网络和数据资源的调度,全网业务请求首先通过全局中心调度系统依据资源使用情况分配匹配的能力中心;
(4)算力和存储调度:中心存储节点具备更大的存储容量,主要存储核心网数据、边缘层的非核心数据、需要中心层进行计算和处理的边缘中间数据,中心层分析结果数据等;
(5)资源管理:是整个数算云网一体化网络架构的大脑中枢,负责数算云网全网的存储资源、算力资源等管理;
(6)调度算法AI化:汇集全网数据,以人为核心,生成全局ID,汇聚个人的所有行为,并基于人与人之间的关联及图计算的大规模数据聚合技术,构建全局数据模型,为数据中台及其他中心提供数据支持及算法能力。
本公开实施例中,中心层可以包含中心存储,AI训练中心,数据共享交换中心,数智融合中心,数据中台,算力中心,资源中心调度系统几大功能模块,各模块通过资源中心调度系统这个大脑进行云边串联,针对不同的需求分别调度到不同的中心去执行,实现需求驱动算法,算法驱动数据,数据驱动采集,数据根据算法匹配资源,优化分布,并通过数据价值化激发参与各方积极性,构建内外部数据生态。
本公开实施例提供的调度方法,可以应用于上文介绍的数据处理系统,帮助数据处理系统不同的功能节点之间协调联动。本公开能够动态联合数据处理系统各方资源,有效改善数据处理的工作效率,使其性能稳定、高效。
下面结合附图及实施例对本示例实施方式进行详细说明。
首先,本公开实施例中提供了一种调度方法,该方法可以由数据处理系统的中心调度系统执行。
图5示出本公开实施例中一种调度方法流程图,如图5所示,本公开实施例中提供的调度方法包括如下步骤:
S502,基于预设周期,获取数据处理系统的中心层和边缘层的运营数据;
S504,将运营数据存储至中心层的AI训练中心,以使AI训练中心调用中心存储节点和中心算力节点,基于存储的运营数据训练调度算法模型,并将训练结果反馈至中心调度系统;
S506,通过历史运营数据,评估训练后的调度算法模型;
S508,在调度算法模型的通过评估的情况下,应用调度算法模型处理数据处理系统中的调度请求。
需要说明的是,本公开中基于预设周期,获取数据处理系统的中心层和边缘层的运营数据,进而模型的训练过程也是周期性进行的,也就是说本公开中的调度算法模型能够在数据处理系统的运行期间不断的进行自我优化,进而能够更好的适配数据处理系统。
本公开的中心调度系统作为数据处理系统的核心,依靠自优化调度实现数据、算力、存储和应用的匹配工作,协调不同功能组件之间相互联动。中心调度系统也是整个数算云网一体化架构的大脑,通过从网络中搜集数据不断优化数算云网系统整体的工作性能,以实现能够达到动态调节的目的。
下面对上述步骤进行详细说明,具体如下所示:
在一些实施例中,上文中的运营数据,可以包括如下数据中的至少一种:
各边缘节点不同时段的资源利用数据、完成数据迁移的系统数据、算力租赁的系统数据、联邦学习的系统数据、隐私计算的系统数据、节点扩容的系统数据、记录在区块链上的数据共享数据。
调度算法模型的训练需要收集大量的系统数据。
作为一个示例中心调度系统可以根据预设周期收集数据处理系统中各组成部分的运营数据,包括各边缘节点不同时段的资源利用数据、完成数据迁移的系统数据、算力租赁的系统数据、联邦学习的系统数据、隐私计算的系统数据、节点扩容的系统数据、记录在区块链上的数据共享数据。
在一些实施例中,将运营数据存储至中心层的AI训练中心之前,还可以对运营数据进行预处理。预处理可以包括如下处理中的至少一种:
数据去重处理、数据标准化处理、错误修正处理。
上述对收集到的数据进行去重、标准化、错误修正的预处理过程可以保证数据的质量。
在一些实施例中,调度算法模型中包括数据处理系统中的多个调度算法。
中心调度系统将收集到的数据定期放入专有的系统AI训练中心。这些数据按比例被分为两部分,一部分作为数据集进行模型的训练,另一部分用于评估训练模型的表现。
模型训练过程中,系统AI训练中心需要向中心调度系统发送资源申请请求,中心调度系统收到请求并批准后,AI训练中心整合数算云网系统调度算法,并结合当前各个边缘节点的网络资源状态来分发计算任务。同时定期在规定时间内将阶段性训练状态与结果发送至中心调度系统进行评估。
也就是说,AI训练中心在中心调度系统通过历史运营数据,评估训练后的调度算法模型之前,还对调度算法模型进行了初始评估。
在一些实施例中,AI训练中心在训练调度算法模型时,采用了如下训练算法中的至少一种:线性回归、决策树、随机森林、逻辑回归、梯度提升、SVM。
作为一个示例,AI训练中心调用中心存储节点和中心算力节点来完成AI训练,训练算法为线性回归、决策树、随机森林、逻辑回归、梯度提升、SVM等,完后训练后形成优化过的新的调度算法模型。
在一些实施例中,通过历史运营数据,评估训练后的调度算法模型,可以是通过历史运营数据,使用混淆矩阵,得到调度算法模型预测结果的准确率和召回率;基于准确率和召回率,评估训练后的调度算法模型。
其中,基于准确率和召回率,评估训练后的调度算法模型,可以是基于准确率和召回率,计算调和平均数;基于调和平均数和预设阈值,判断训练后的调度算法模型是否通过评估。
作为一个示例,在调度算法模型训练完成后,AI训练中心可以先通过拆分出来的数据对模型进行评估。将真实数据与预测数据进行对比,以此判断模型的好坏。
然后,中心调度系统可以使用混淆矩阵的方法评估调度算法模型。
混淆矩阵形式如下:
其中,X1表示判断正确的否定记录,X2表示判断错误的肯定记录,X3表示判断错误的否定记录,X4表示判断正确的肯定记录。使用如下指标评估训练模型的质量。
准确率:P=X4/(X2+X4)
召回率:R=X4/(X3+X4)
准确率和召回率通常情况下相互影响,理想情况下两者都高。为综合考虑准确率和召回率,进一步提出调和平均数,调和平均数高的时候,表明模型的质量较好。
调和平均数:F=2PR/(P+R)
以上评估训练模型质量的指标参数由AI训练中心计算得出并发送至中心调度系统,中心调度系统通过自优化调度系统集合数算云网系统运维历史数据来评估模型质量是否符合调度策略。根据实时网络资源使用率的不同,中心调度系统调整调度策略中的训练模型质量阈值。将调和平均数作为参数输入自优化评估算法中,输入大于训练模型阈值时则通过训练模型质量评估,否则拒绝,要求本轮训练流程重新进行。
完成评估后,若结果未达到既定目标,可以通过调整模型的参数来改善训练,然后重复训练和评估过程。直到训练完成,系统AI训练中心将新的算法模型输出给中心调度系统,中心调度系统使用新的调度算法进行资源调度,同时开始新一轮的系统数据收集。
本公开所提及的调度方法需要协调数据处理系统中不同功能组件之间的协调联动,流程更加契合于数据处理系统,能够紧密联合网络中如数据、算力、存储和应用等不同资源,保障数算云网工作效率的稳定。
基于同一发明构思,本公开实施例中还提供了一种调度方法,如图6所示,该调度方法,包括如下步骤:
S601,收集系统数据;
中心调度系统收集数据处理系统各组成部分的运营数据,包括各边缘节点不同时段的资源利用情况、完成数据迁移的系统数据、算力租赁的系统数据、联邦学习的系统数据、隐私计算的系统数据、节点扩容的系统数据以及记录在区块链上的数据共享数据。
S602,优化数据;
对收集到的数据进行去重、标准化、错误修正等。
S603,模型训练;
与上文介绍的模型训练过程相似,在此不再赘述。
S604,评估模型是否达标;
使用上文介绍的评估方法对模型进行评估。
S605,模型使用。
应用达标的模型处理调度请求。
本公开以中心调度系统为核心,联合AI训练中心训练调度算法模型,应用达标的模型处理调度请求,能够通过不同功能组件产生的数据不断优化调度算法模型,高效调度各方资源。
此外,调度算法模型的训练结果通过混淆矩阵的方法进行评估,并结合准确率、召回率、调和平均数等参数评估训练效果能够有效保证调度算法模型的质量。
基于同一发明构思,本公开实施例中还提供了一种调度装置,如下面的实施例所述。由于该装置实施例解决问题的原理与上述方法实施例相似,因此该装置实施例的实施可以参见上述方法实施例的实施,重复之处不再赘述。
图7示出本公开实施例中一种调度装置,应用于数据处理系统的中心调度系统,如图7所示,该调度装置700,包括:
数据获取模块702,用于基于预设周期,获取数据处理系统的中心层和边缘层的运营数据;
数据存储模块704,用于将运营数据存储至中心层的AI训练中心,以使AI训练中心调用中心存储节点和中心算力节点,基于存储的运营数据训练调度算法模型,并将训练结果反馈至中心调度系统;
模型评估模块706,用于通过历史运营数据,评估训练后的调度算法模型;
调度模块708,用于在调度算法模型的通过评估的情况下,应用调度算法模型处理数据处理系统中的调度请求。
在一些实施例中,运营数据,包括如下数据中的至少一种:
各边缘节点不同时段的资源利用数据、完成数据迁移的系统数据、算力租赁的系统数据、联邦学习的系统数据、隐私计算的系统数据、节点扩容的系统数据、记录在区块链上的数据共享数据。
在一些实施例中,该调度装置700,还可以包括:
预处理模块,用于将运营数据存储至中心层的AI训练中心之前,对运营数据进行预处理,预处理包括如下处理中的至少一种:
数据去重处理、数据标准化处理、错误修正处理。
在一些实施例中,调度算法模型中包括数据处理系统中的多个调度算法。
在一些实施例中,AI训练中心在训练调度算法模型时,采用了如下训练算法中的至少一种:
线性回归、决策树、随机森林、逻辑回归、梯度提升、SVM。
在一些实施例中,通过历史运营数据,评估训练后的调度算法模型之前,AI训练中心还对调度算法模型进行了初始评估。
在一些实施例中,模型评估模块706,具体用于:
通过历史运营数据,使用混淆矩阵,得到调度算法模型预测结果的准确率和召回率;
基于准确率和召回率,评估训练后的调度算法模型。
在一些实施例中,基于准确率和召回率,评估训练后的调度算法模型,包括:
基于准确率和召回率,计算调和平均数;
基于调和平均数和预设阈值,判断训练后的调度算法模型是否通过评估。在一些实施例中,准确率公式如下:
P=X4/(X2+X4)
召回率计算公式如下:
R=X4/(X3+X4)
调和平均数计算公式如下:
F=2PR/(P+R)
其中,X1表示判断正确的否定记录,X2表示判断错误的肯定记录,X3表示判断错误的否定记录,X4表示判断正确的肯定记录。
本申请实施例提供的调度装置,可以用于执行上述各方法实施例提供的调度方法,其实现原理和技术效果类似,为简介起见,在此不再赘述。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子设备800仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示,电子设备800以通用计算设备的形式表现。电子设备800的组件可以包括但不限于:上述至少一个处理单元810、上述至少一个存储单元820、连接不同系统组件(包括存储单元820和处理单元810)的总线830。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元810执行,使得所述处理单元810执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元810可以执行上述方法实施例的各步骤。
存储单元820可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)8201和/或高速缓存存储单元8202,还可以进一步包括只读存储单元(ROM)8203。
存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具8204,这样的程序模块8205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线830可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备800也可以与一个或多个外部设备840(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备800交互的设备通信,和/或与使得该电子设备800能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口850进行。
并且,电子设备800还可以通过网络适配器860与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。
如图8所示,网络适配器860通过总线830与电子设备800的其它模块通信。
应当明白,尽管图中未示出,可以结合电子设备800使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质可以是可读信号介质或者可读存储介质。其上存储有能够实现本公开上述方法的程序产品。
在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
本公开中的计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中,计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。
这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。
可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
在一些示例中,计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
在具体实施时,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。
程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。
实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。
因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。
本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由所附的权利要求指出。

Claims (11)

1.一种调度方法,其特征在于,应用于数据处理系统的中心调度系统,所述数据处理系统包括边缘层和中心层;所述边缘层,包括多个边缘节点;所述边缘节点采用存储和计算一体化的架构;所述中心层中包括所述中心调度系统,所述方法包括:
基于预设周期,获取数据处理系统的中心层和边缘层的运营数据;
将所述运营数据存储至中心层的AI训练中心,以使所述AI训练中心调用中心存储节点和中心算力节点,基于存储的运营数据训练调度算法模型,并将训练结果反馈至中心调度系统;
通过历史运营数据,评估训练后的所述调度算法模型;
在所述调度算法模型通过评估的情况下,应用所述调度算法模型处理所述数据处理系统中的调度请求,所述调度请求用于调度所述边缘层的边缘节点协同中心层处理数据;
所述运营数据,包括如下数据中的至少一种:各边缘节点不同时段的资源利用数据、完成数据迁移的系统数据、算力租赁的系统数据、联邦学习的系统数据、隐私计算的系统数据、节点扩容的系统数据、记录在区块链上的数据共享数据。
2.根据权利要求1所述的方法,其特征在于,将所述运营数据存储至中心层的AI训练中心之前,所述方法还包括:
对所述运营数据进行预处理,所述预处理包括如下处理中的至少一种:
数据去重处理、数据标准化处理、错误修正处理。
3.根据权利要求1所述的方法,其特征在于,所述调度算法模型中包括所述数据处理系统中的多个调度算法。
4.根据权利要求1所述的方法,其特征在于,所述AI训练中心在训练所述调度算法模型时,采用了如下训练算法中的至少一种:
线性回归、决策树、随机森林、逻辑回归、梯度提升、SVM。
5.根据权利要求1所述的方法,其特征在于,通过历史运营数据,评估训练后的所述调度算法模型之前,所述AI训练中心还对所述调度算法模型进行了初始评估。
6.根据权利要求1所述的方法,其特征在于,通过历史运营数据,评估训练后的所述调度算法模型,包括:
通过历史运营数据,使用混淆矩阵,得到所述调度算法模型预测结果的准确率和召回率;
基于所述准确率和召回率,评估训练后的所述调度算法模型。
7.根据权利要求6所述的方法,其特征在于,基于所述准确率和召回率,评估训练后的所述调度算法模型,包括:
基于所述准确率和召回率,计算调和平均数;
基于所述调和平均数和预设阈值,判断训练后的所述调度算法模型是否通过评估。
8.根据权利要求7所述的方法,其特征在于,准确率公式如下:
P=X4/(X2+X4)
召回率计算公式如下:
R=X4/(X3+X4)
调和平均数计算公式如下:
F=2PR/(P+R)
其中,X2表示判断错误的肯定记录,X3表示判断错误的否定记录,X4表示判断正确的肯定记录。
9.一种调度装置,其特征在于,应用于数据处理系统的中心调度系统,所述数据处理系统包括边缘层和中心层;所述边缘层,包括多个边缘节点;所述边缘节点采用存储和计算一体化的架构;所述中心层中包括所述中心调度系统,所述装置包括:
数据获取模块,用于基于预设周期,获取数据处理系统的中心层和边缘层的运营数据;所述运营数据,包括如下数据中的至少一种:各边缘节点不同时段的资源利用数据、完成数据迁移的系统数据、算力租赁的系统数据、联邦学习的系统数据、隐私计算的系统数据、节点扩容的系统数据、记录在区块链上的数据共享数据;
数据存储模块,用于将所述运营数据存储至中心层的AI训练中心,以使所述AI训练中心调用中心存储节点和中心算力节点,基于存储的运营数据训练调度算法模型,并将训练结果反馈至中心调度系统;
模型评估模块,用于通过历史运营数据,评估训练后的所述调度算法模型;
调度模块,用于在所述调度算法模型通过评估的情况下,应用所述调度算法模型处理所述数据处理系统中的调度请求,所述调度请求用于调度所述边缘层的边缘节点协同中心层处理数据。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-8中任意一项所述的调度方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-8中任意一项所述的调度方法。
CN202210566406.0A 2022-05-23 2022-05-23 调度方法、装置、设备及介质 Active CN115002217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210566406.0A CN115002217B (zh) 2022-05-23 2022-05-23 调度方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210566406.0A CN115002217B (zh) 2022-05-23 2022-05-23 调度方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN115002217A CN115002217A (zh) 2022-09-02
CN115002217B true CN115002217B (zh) 2024-02-06

Family

ID=83027371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210566406.0A Active CN115002217B (zh) 2022-05-23 2022-05-23 调度方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115002217B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8626791B1 (en) * 2011-06-14 2014-01-07 Google Inc. Predictive model caching
CN108809694A (zh) * 2018-04-27 2018-11-13 广州西麦科技股份有限公司 业务编排方法、系统、装置与计算机可读存储介质
CN112232887A (zh) * 2020-11-05 2021-01-15 腾讯科技(深圳)有限公司 一种数据处理方法、装置、计算机设备以及存储介质
WO2022057268A1 (zh) * 2020-09-15 2022-03-24 中国电信股份有限公司 基站节能策略确定方法、装置以及存储介质
WO2022100176A1 (zh) * 2020-11-10 2022-05-19 中国电力科学研究院有限公司 调控云数据处理方法、装置及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180285969A1 (en) * 2017-03-30 2018-10-04 Experian Health, Inc. Predictive model training and selection for consumer evaluation
US20200349161A1 (en) * 2019-04-30 2020-11-05 Microsoft Technology Licensing, Llc Learned resource consumption model for optimizing big data queries
US20210110310A1 (en) * 2020-12-22 2021-04-15 Intel Corporation Methods and apparatus to verify trained models in an edge environment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8626791B1 (en) * 2011-06-14 2014-01-07 Google Inc. Predictive model caching
CN108809694A (zh) * 2018-04-27 2018-11-13 广州西麦科技股份有限公司 业务编排方法、系统、装置与计算机可读存储介质
WO2022057268A1 (zh) * 2020-09-15 2022-03-24 中国电信股份有限公司 基站节能策略确定方法、装置以及存储介质
CN112232887A (zh) * 2020-11-05 2021-01-15 腾讯科技(深圳)有限公司 一种数据处理方法、装置、计算机设备以及存储介质
WO2022100176A1 (zh) * 2020-11-10 2022-05-19 中国电力科学研究院有限公司 调控云数据处理方法、装置及系统

Also Published As

Publication number Publication date
CN115002217A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN112270550B (zh) 一种基于区块链的新能源电力溯源方法及系统
CN111461890B (zh) 基于多种预测和区块链技术的分布式发电交易系统和方法
CN111459461A (zh) 基于物联网和区块链技术的用能权核定及交易系统和方法
CN105306557A (zh) 一种基于云平台的桥梁健康监测系统
CN112307501B (zh) 基于区块链技术的大数据系统及存储方法和使用方法
CN116451483A (zh) 一种分布式能源SaaS应用安全建模方法
CN115563859A (zh) 一种基于分层联邦学习的电力负荷预测方法、装置及介质
CN110428147B (zh) 一种虚拟电厂通信风险评估方法、系统及设备
CN115002217B (zh) 调度方法、装置、设备及介质
Jia et al. Development model of enterprise green marketing based on cloud computing
CN114765617A (zh) 基于边缘计算的多场景适用型智慧能源管理系统
CN116362526B (zh) 一种用于数字化电厂的云边协同资源管控方法及系统
CN116192906A (zh) 基于云边端协同的工业园区综合能源数字化监控方法
CN114092239A (zh) 一种基于物联网及区块链的排污监测通证化交易系统
CN115292580A (zh) 数据查询方法、装置、计算机设备及存储介质
CN103955761B (zh) 一种低碳调度信息平台
CN117097722A (zh) 一种调度方法及系统
Zhou et al. Optimization Control Strategy of Electricity Information Acquisition System Based on Edge-Cloud Computing Collaboration
CN117093561A (zh) 数据处理方法、装置、设备及存储介质
CN101673361A (zh) 订单分配系统的技术构架
CN117097673A (zh) 数据处理系统及方法
CN117097786A (zh) 数据迁移方法、装置、设备及存储介质
CN111031132A (zh) 一种基于标准通信协议的工业互联网体系架构及其实现方法
CN113408843B (zh) 一种能源企业数字化转型管理方法
CN207216313U (zh) 企业能源综合管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant