CN117472587B - 一种ai智算中心的资源调度系统 - Google Patents

一种ai智算中心的资源调度系统 Download PDF

Info

Publication number
CN117472587B
CN117472587B CN202311805459.4A CN202311805459A CN117472587B CN 117472587 B CN117472587 B CN 117472587B CN 202311805459 A CN202311805459 A CN 202311805459A CN 117472587 B CN117472587 B CN 117472587B
Authority
CN
China
Prior art keywords
module
analysis
data
sub
scheduling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311805459.4A
Other languages
English (en)
Other versions
CN117472587A (zh
Inventor
张天松
李碧妍
易夕冬
韩伟
黄李
肖连菊
翁祖逖
冯康
高宝军
黄展鹏
何烈军
刘文佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Aofei Data Technology Co ltd
Original Assignee
Guangdong Aofei Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Aofei Data Technology Co ltd filed Critical Guangdong Aofei Data Technology Co ltd
Priority to CN202311805459.4A priority Critical patent/CN117472587B/zh
Publication of CN117472587A publication Critical patent/CN117472587A/zh
Application granted granted Critical
Publication of CN117472587B publication Critical patent/CN117472587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2123/00—Data types
    • G06F2123/02—Data types in the time domain, e.g. time-series data
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明涉及资源管理技术领域，具体为一种AI智算中心的资源调度系统，系统包括任务识别模块、资源需求预测模块、动态资源分配模块、云边协同调度模块、多目标优化决策模块、调度策略自适应模块、性能分析与监控模块、调度结果反馈模块。本发明中，支持向量机和聚类分析算法提高任务识别与分类精度，时间序列和循环神经网络结合资源需求预测减少浪费，动态资源分配应用启发式算法和线性规划提高效率，云边协同调度利用MapReduce技术，加速数据处理，遗传算法在多目标优化决策中平衡效率、能源和成本，自适应调度策略应用机器学习，根据情况调整策略，性能分析和监控结合调度结果反馈，持续监控和优化系统性能，确保高效稳定运行。

Description

一种AI智算中心的资源调度系统
技术领域
本发明涉及资源管理技术领域，尤其涉及一种AI智算中心的资源调度系统。
背景技术
资源管理技术领域专注于有效地管理和分配计算资源，以优化性能和资源利用率，领域包括但不限于处理器时间、内存空间、网络带宽和存储资源的管理。在AI智算中心这样的高性能计算环境中，资源管理尤为关键，直接影响到计算任务的执行效率和系统的整体性能。技术领域中包含的关键任务包括资源分配、负载平衡、性能优化、能源管理等。这些任务旨在确保系统资源被高效利用，同时降低能耗和成本。随着计算需求的日益增长，资源管理技术领域在持续发展，以适应更复杂、更大规模的计算环境，特别是在云计算、大数据处理和人工智能应用方面。
其中，AI智算中心的资源调度系统是一种为人工智能计算任务专门设计的资源管理系统，其主要目的是在智能计算中心内有效地分配和调度计算资源，如CPU、GPU、内存和存储资源。这种系统的目标是提高资源利用率，优化任务执行时间，减少能耗，并确保计算任务能够按照预定的性能参数顺利运行。为了达到这些效果，资源调度系统通常采用高级算法来动态分配资源，根据任务的优先级、资源需求和系统的当前状态进行智能调度。通过以上方式，AI智算中心的资源调度系统不仅提升了计算效率，还降低了运营成本，为复杂的AI应用提供了强大的支持。
传统资源调度系统存在诸多局限，在任务识别中，缺乏高效精确算法，影响处理效率与准确性。资源需求预测不够精确，导致资源分配不当。资源分配方法固定，缺乏动态环境下的优化能力。云边协作方面，资源整合不足，限制数据处理能力。多目标优化往往被忽视，造成效率、能源与成本不平衡。调度策略缺乏自适应性，难以应对复杂多变的计算需求。性能监控和反馈不全面及时，限制系统性能的持续优化。
发明内容
本发明的目的是解决现有技术中存在的缺点，而提出的一种AI智算中心的资源调度系统。
为了实现上述目的，本发明采用了如下技术方案：一种AI智算中心的资源调度系统包括任务识别模块、资源需求预测模块、动态资源分配模块、云边协同调度模块、多目标优化决策模块、调度策略自适应模块、性能分析与监控模块、调度结果反馈模块；
所述任务识别模块基于计算任务数据，采用支持向量机和聚类分析算法，对任务进行识别和分类，生成任务识别报告；
所述资源需求预测模块基于任务识别报告，使用时间序列分析和循环神经网络预测资源需求，生成资源需求预测报告；
所述动态资源分配模块基于资源需求预测报告，应用启发式算法和线性规划，动态优化并分配资源，生成资源分配方案；
所述云边协同调度模块基于资源分配方案，通过MapReduce分布式计算技术进行云中心与边缘计算节点间的协同，生成云边协同调度方案；
所述多目标优化决策模块基于云边协同调度方案，采用遗传算法进行多目标优化，平衡效率、能源消耗与成本，生成多目标优化结果；
所述调度策略自适应模块基于多目标优化结果，运用机器学习技术，自适应调整调度策略，生成自适应调度策略；
所述性能分析与监控模块基于自适应调度策略，利用实时热图和主成分分析进行数据可视化和性能监控，生成性能分析报告；
所述调度结果反馈模块基于性能分析报告，收集并分析调度执行结果，提供优化方案，生成调度效果反馈报告。
作为本发明的进一步方案，所述任务识别报告包括任务类型、特征参数、分类结果，所述资源需求预测报告包括资源需求趋势、预测峰值、需求量化指标，所述资源分配方案包括分配策略、优化后资源配置、预期效率提升，所述云边协同调度方案包括云中心和边缘节点间的资源分配、任务调度计划、数据同步机制，所述多目标优化结果包括优化后的任务执行效率、能源消耗降低、成本效益分析，所述自适应调度策略包括策略调整细节、实时工作负载适应性、预期效果改善，所述性能分析报告包括系统运行状态、性能瓶颈识别、性能优化方案，所述调度效果反馈报告包括执行效果分析、系统运行数据、调度优化方案。
作为本发明的进一步方案，所述任务识别模块包括数据分类子模块、特征提取子模块、SVM分类子模块；
所述数据分类子模块基于计算任务数据，采用数据挖掘技术中的分类算法，对任务数据进行初步分类和整理，生成初步分类数据；
所述特征提取子模块基于初步分类数据，采用机器学习中的特征提取技术，提取任务关键特征，生成特征提取报告；
所述SVM分类子模块基于特征提取报告，采用支持向量机分类算法和K均值聚类分析，对任务进行精确识别和分类，生成任务识别报告；
所述分类算法包括决策树和贝叶斯分类器，所述特征提取技术包括主成分分析和线性判别分析，所述支持向量机分类算法和K均值聚类分析具体指支持向量机的核函数优化和聚类的迭代优化。
作为本发明的进一步方案，所述资源需求预测模块包括时间序列分析子模块、RNN预测子模块、需求量化子模块；
所述时间序列分析子模块基于任务识别报告，采用统计学中的时间序列分析方法，分析任务时间特性，生成时间序列分析报告；
所述RNN预测子模块基于时间序列分析报告，采用循环神经网络技术，预测未来资源需求趋势，生成初步资源需求预测；
所述需求量化子模块基于初步资源需求预测，采用数学建模方法，将预测结果转化为具体的资源需求量，生成资源需求预测报告；
所述时间序列分析方法包括自回归移动平均模型，所述循环神经网络技术具体为长短期记忆网络，所述数学建模方法包括线性和非线性回归分析。
作为本发明的进一步方案，所述动态资源分配模块包括启发式优化子模块、线性规划子模块、资源调配子模块；
所述启发式优化子模块基于资源需求预测报告，采用遗传算法进行资源配置优化，生成优化后的资源配置方案；
所述线性规划子模块基于优化后的资源配置方案，应用单纯形法进行线性规划，生成线性规划资源分配结果；
所述资源调配子模块基于线性规划资源分配结果，实施资源调配，生成资源分配方案；
所述遗传算法包括种群初始化、交叉变异和适应度评估，所述单纯形法包括约束处理和目标函数优化，所述资源调配包括优先级设置和资源分配策略。
作为本发明的进一步方案，所述云边协同调度模块包括分布式处理子模块、边缘计算子模块、资源同步子模块；
所述分布式处理子模块基于资源分配方案，运用MapReduce技术处理云端数据，生成分布式处理结果；
所述边缘计算子模块基于分布式处理结果，通过边缘计算处理，在边缘计算节点上执行数据处理任务，生成边缘计算处理结果；
所述资源同步子模块基于边缘计算处理结果，通过数据同步技术，同步云端和边缘计算节点间的数据和资源，生成云边协同调度方案；
所述MapReduce技术包括数据分割、映射操作和归约操作，所述边缘计算处理包括实时数据流处理和快速响应策略，所述数据同步技术包括数据一致性校验和更新频率调整。
作为本发明的进一步方案，所述多目标优化决策模块包括遗传算法子模块、成本效益分析子模块、能耗评估子模块；
所述遗传算法子模块基于云边协同调度方案，采用遗传算法进行多目标优化，平衡效率、能源消耗与成本，生成优化决策数据；
所述成本效益分析子模块基于优化决策数据，采用成本效益分析方法，再次进行优化调整，生成成本效益报告；
所述能耗评估子模块基于优化决策数据和成本效益报告，采用能耗评估方法，对优化方案的能源消耗进行量化分析，生成能耗评估报告；
所述遗传算法包括种群初始化、适应度评估、选择、交叉和变异，所述成本效益分析方法包括投入成本评估和预期效益预测，所述能耗评估方法包括能源消耗计算和效率分析。
作为本发明的进一步方案，所述调度策略自适应模块包括机器学习分析子模块、策略调整子模块、实时反馈子模块；
所述机器学习分析子模块基于能耗评估报告，采用机器学习技术，分析数据模式，提出策略调整方案，生成策略调整方案数据；
所述策略调整子模块基于策略调整方案数据，采用决策支持系统进行调度策略的自适应调整，生成调整后的调度策略；
所述实时反馈子模块基于调整后的调度策略，采用实时监控技术，监控系统运行情况，收集反馈数据，进行持续优化，生成自适应调度策略；
所述机器学习技术包括特征提取、模式识别和预测分析，所述决策支持系统包括策略优化、执行方案制定和效果评估，所述实时监控技术包括数据收集、性能分析和反馈循环。
作为本发明的进一步方案，所述性能分析与监控模块包括实时监控子模块、数据分析子模块、可视化展示子模块；
所述实时监控子模块基于自适应调度策略，采用实时数据捕获算法，进行网络和系统指标的实时监控，并进行数据初步处理，生成实时性能数据；
所述数据分析子模块基于实时性能数据，采用主成分分析和机器学习时序分析方法，进行数据深度分析，并提取关键性能指标，生成深度分析报告；
所述可视化展示子模块基于深度分析报告，采用数据可视化技术，进行数据展示和性能解读，并整合信息，生成性能分析报告；
所述实时数据捕获算法包括流量分析、系统资源使用率监测，所述机器学习时序分析方法具体为回归分析、聚类算法，所述数据可视化技术包括散点图、趋势线图。
作为本发明的进一步方案，所述调度结果反馈模块包括结果收集子模块、效果分析子模块、优化方案子模块；
所述结果收集子模块基于性能分析报告，采用数据收集和整合方法，进行调度执行结果的收集和初步分析，并汇总数据，生成调度执行数据；
所述效果分析子模块基于调度执行数据，采用效果评估算法和比较分析方法，进行调度执行结果分析，并识别性能瓶颈，生成效果分析报告；
所述优化方案子模块基于效果分析报告，采用优化算法和方案生成方法，对问题进行诊断和解决方案的制定，并提出优化措施，生成调度效果反馈报告；
所述数据收集和整合方法包括日志分析、性能指标汇总，所述效果评估算法具体为差异分析、趋势预测，所述优化算法和方案生成方法包括故障树分析、解决方案优先级排序。
与现有技术相比，本发明的优点和积极效果在于：
本发明中，通过支持向量机和聚类分析算法实现高效准确的任务识别与分类，增强任务处理的精度。资源需求预测模块结合时间序列分析与循环神经网络，为资源分配提供精确预测，减少资源浪费。启发式算法和线性规划在动态资源分配模块中应用，提升资源分配灵活性与效率。云边协同调度模块利用MapReduce技术，实现云中心与边缘计算节点的有效协同，加快数据处理速度。遗传算法在多目标优化决策模块中实现效率、能源消耗与成本间的优化平衡。调度策略自适应模块应用机器学习技术，根据实际情况灵活调整策略。性能分析与监控模块结合调度结果反馈模块，实现对系统性能的持续监控与优化，保障系统稳定高效运行。
附图说明
图1为本发明的系统流程图；
图2为本发明的系统框架示意图；
图3为本发明的任务识别模块流程图；
图4为本发明的资源需求预测模块流程图；
图5为本发明的动态资源分配模块流程图；
图6为本发明的云边协同调度模块流程图；
图7为本发明的多目标优化决策模块流程图；
图8为本发明的调度策略自适应模块流程图；
图9为本发明的性能分析与监控模块流程图；
图10为本发明的调度结果反馈模块流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一：请参阅图1至图2，一种AI智算中心的资源调度系统包括任务识别模块、资源需求预测模块、动态资源分配模块、云边协同调度模块、多目标优化决策模块、调度策略自适应模块、性能分析与监控模块、调度结果反馈模块；
任务识别模块基于计算任务数据，采用支持向量机和聚类分析算法，对任务进行识别和分类，生成任务识别报告；
资源需求预测模块基于任务识别报告，使用时间序列分析和循环神经网络预测资源需求，生成资源需求预测报告；
动态资源分配模块基于资源需求预测报告，应用启发式算法和线性规划，动态优化并分配资源，生成资源分配方案；
云边协同调度模块基于资源分配方案，通过MapReduce分布式计算技术进行云中心与边缘计算节点间的协同，生成云边协同调度方案；
多目标优化决策模块基于云边协同调度方案，采用遗传算法进行多目标优化，平衡效率、能源消耗与成本，生成多目标优化结果；
调度策略自适应模块基于多目标优化结果，运用机器学习技术，自适应调整调度策略，生成自适应调度策略；
性能分析与监控模块基于自适应调度策略，利用实时热图和主成分分析进行数据可视化和性能监控，生成性能分析报告；
调度结果反馈模块基于性能分析报告，收集并分析调度执行结果，提供优化方案，生成调度效果反馈报告。
任务识别报告包括任务类型、特征参数、分类结果，资源需求预测报告包括资源需求趋势、预测峰值、需求量化指标，资源分配方案包括分配策略、优化后资源配置、预期效率提升，云边协同调度方案包括云中心和边缘节点间的资源分配、任务调度计划、数据同步机制，多目标优化结果包括优化后的任务执行效率、能源消耗降低、成本效益分析，自适应调度策略包括策略调整细节、实时工作负载适应性、预期效果改善，性能分析报告包括系统运行状态、性能瓶颈识别、性能优化方案，调度效果反馈报告包括执行效果分析、系统运行数据、调度优化方案。
任务识别模块的高效算法确保了精准快速的任务分类，为资源优化奠定基础。资源需求预测模块的先进技术准确预测未来需求，避免资源浪费或短缺，同时动态资源分配模块的智能优化保证资源的最优利用。云边协同调度模块通过高效的分布式计算技术，降低了延迟并提高了数据处理速度，确保了系统响应的迅速和可靠。多目标优化决策模块平衡了效率、能源消耗与成本，推动了可持续发展。调度策略的自适应性增强了系统在变化环境下的稳定性和灵活性。性能分析与监控模块的全面监控与及时反馈机制，及时发现并解决系统问题，保障了系统的稳定运行。
请参阅图3，任务识别模块包括数据分类子模块、特征提取子模块、SVM分类子模块；
数据分类子模块基于计算任务数据，采用数据挖掘技术中的分类算法，对任务数据进行初步分类和整理，生成初步分类数据；
特征提取子模块基于初步分类数据，采用机器学习中的特征提取技术，提取任务关键特征，生成特征提取报告；
SVM分类子模块基于特征提取报告，采用支持向量机分类算法和K均值聚类分析，对任务进行精确识别和分类，生成任务识别报告；
分类算法包括决策树和贝叶斯分类器，特征提取技术包括主成分分析和线性判别分析，支持向量机分类算法和K均值聚类分析具体指支持向量机的核函数优化和聚类的迭代优化。
在数据分类子模块中，通过采用数据挖掘技术中的分类算法，如决策树和贝叶斯分类器，系统首先对输入的计算任务数据进行初步分类和整理，步骤涉及分析数据的基本结构和模式，将其分成不同的类别或群组。完成初步分类后，生成初步分类数据，这为后续的特征提取和深度分类奠定基础。
在特征提取子模块中，系统利用机器学习中的特征提取技术，例如主成分分析（PCA）和线性判别分析（LDA），对初步分类的数据进行进一步分析，步骤重点在于从大量数据中提取出关键特征，这些特征能够代表任务的核心属性和差异性。完成特征提取后，系统生成特征提取报告，该报告详细描述了各类任务的关键特征和区别。
在SVM分类子模块中，系统基于特征提取报告，采用支持向量机（SVM）分类算法和K均值聚类分析进行最终的任务识别和分类。SVM算法通过核函数优化来处理高维数据，而K均值聚类通过迭代优化确保任务数据被有效地分为不同类别。通过复合方法，系统能够精确地识别和分类各种计算任务，最终生成详细的任务识别报告。
请参阅图4，资源需求预测模块包括时间序列分析子模块、RNN预测子模块、需求量化子模块；
时间序列分析子模块基于任务识别报告，采用统计学中的时间序列分析方法，分析任务时间特性，生成时间序列分析报告；
RNN预测子模块基于时间序列分析报告，采用循环神经网络技术，预测未来资源需求趋势，生成初步资源需求预测；
需求量化子模块基于初步资源需求预测，采用数学建模方法，将预测结果转化为具体的资源需求量，生成资源需求预测报告；
时间序列分析方法包括自回归移动平均模型，循环神经网络技术具体为长短期记忆网络，数学建模方法包括线性和非线性回归分析。
在时间序列分析子模块中，通过采用统计学中的时间序列分析方法，如自回归移动平均模型（ARMA），系统基于任务识别报告分析任务的时间特性。这个过程涉及识别数据随时间变化的模式和趋势，如周期性、季节性或趋势性变化。完成分析后，生成时间序列分析报告，为预测未来资源需求提供了基础。
在RNN预测子模块中，系统利用循环神经网络技术，特别是长短期记忆网络（LSTM），基于时间序列分析报告预测未来资源需求趋势。循环神经网络特别适合处理时间序列数据，因为它能够记住历史信息并利用这些信息来预测未来的事件。通过这种方法，生成初步的资源需求预测。
在需求量化子模块中，系统基于初步资源需求预测，采用数学建模方法，如线性和非线性回归分析，将预测结果转化为具体的资源需求量。这个步骤是将预测数据量化，以便于更加准确地规划资源配置。最终，生成资源需求预测报告，详细描述了未来不同时间段的资源需求量。
请参阅图5，动态资源分配模块包括启发式优化子模块、线性规划子模块、资源调配子模块；
启发式优化子模块基于资源需求预测报告，采用遗传算法进行资源配置优化，生成优化后的资源配置方案；
线性规划子模块基于优化后的资源配置方案，应用单纯形法进行线性规划，生成线性规划资源分配结果；
资源调配子模块基于线性规划资源分配结果，实施资源调配，生成资源分配方案；
遗传算法包括种群初始化、交叉变异和适应度评估，单纯形法包括约束处理和目标函数优化，资源调配包括优先级设置和资源分配策略。
启发式优化子模块中，将使用Python的deap库来实现遗传算法。
from deap import base, creator, tools
import random
# 遗传算法参数设置
POPULATION_SIZE = 100
P_CROSSOVER = 0.8 # 交叉概率
P_MUTATION = 0.1 # 变异概率
MAX_GENERATIONS = 50
# 适应度函数（示例）
def fitness_function(individual):
return sum(individual), # 适应度函数的输出需要是一个元组
# 设置遗传算法环境
creator.create("FitnessMax", base.Fitness, weights=(1.0,))
creator.create("Individual", list, fitness=creator.FitnessMax)
toolbox = base.Toolbox()
toolbox.register("attr_bool", random.randint, 0, 1)
toolbox.register("individual", tools.initRepeat, creator.Individual,toolbox.attr_bool, 10)
toolbox.register("population", tools.initRepeat, list,toolbox.individual)
toolbox.register("evaluate", fitness_function)
toolbox.register("mate", tools.cxTwoPoint)
toolbox.register("mutate", tools.mutFlipBit, indpb=0.05)
toolbox.register("select", tools.selTournament, tournsize=3)
# 遗传算法主循环
def genetic_algorithm():
population = toolbox.population(n=POPULATION_SIZE)
fitnesses = list(map(toolbox.evaluate, population))
for ind, fit in zip(population, fitnesses):
ind.fitness.values = fit
for generation in range(MAX_GENERATIONS):
offspring = toolbox.select(population, len(population))
offspring = list(map(toolbox.clone, offspring))
for child1, child2 in zip(offspring[::2], offspring[1::2]):
if random.random() < P_CROSSOVER:
toolbox.mate(child1, child2)
del child1.fitness.values
del child2.fitness.values
for mutant in offspring:
if random.random() < P_MUTATION:
toolbox.mutate(mutant)
del mutant.fitness.values
fresh_individuals = [ind for ind in offspring if notind.fitness.valid]
fresh_fitnesses = map(toolbox.evaluate, fresh_individuals)
for ind, fit in zip(fresh_individuals, fresh_fitnesses):
ind.fitness.values = fit
population[:] = offspring
return tools.selBest(population, 1)[0]
# 示例调用
best_individual = genetic_algorithm()
print("Best Individual: ", best_individual)
线性规划子模块中，使用scipy.optimize的linprog函数来实现线性规划。
from scipy.optimize import linprog
def linear_programming():
# 线性规划的目标函数系数
c = [-1, -2] # 例如，最大化 x + 2y
# 不等式约束
A = [[2, 1], [1, 1], [1, 0]]
b = [20, 16, 4] # 例如，2x + y <= 20, x + y <= 16, x <= 4
# 解线性规划问题
result = linprog(c, A_ub=A, b_ub=b, method='simplex')
return result.x
# 示例调用
lp_result = linear_programming()
print("Linear Programming Result: ", lp_result)
资源调配子模块中，根据优先级和策略进行资源分配。由于这部分非常依赖于具体的业务逻辑，以下代码只是一个非常基础的示例：
def resource_allocation(lp_result):
# 这里假设lp_result是一个包含两个资源量的数组
resource_a, resource_b = lp_result
# 假设的优先级逻辑和分配策略
if resource_a > resource_b:
print("Allocate more resources to Task A")
else:
print("Allocate more resources to Task B")
# 示例调用
resource_allocation(lp_result)
请参阅图6，云边协同调度模块包括分布式处理子模块、边缘计算子模块、资源同步子模块；
分布式处理子模块基于资源分配方案，运用MapReduce技术处理云端数据，生成分布式处理结果；
边缘计算子模块基于分布式处理结果，通过边缘计算处理，在边缘计算节点上执行数据处理任务，生成边缘计算处理结果；
资源同步子模块基于边缘计算处理结果，通过数据同步技术，同步云端和边缘计算节点间的数据和资源，生成云边协同调度方案；
MapReduce技术包括数据分割、映射操作和归约操作，边缘计算处理包括实时数据流处理和快速响应策略，数据同步技术包括数据一致性校验和更新频率调整。
在分布式处理子模块中，通过资源分配方案确定数据处理的基本架构。接着，利用MapReduce技术对云端数据进行处理，过程包括数据分割，将大规模数据分割成小块以便分布式处理。映射操作，将分割后的数据块分配给不同的处理节点进行并行处理。归约操作，将处理结果合并，形成最终的分布式处理结果。
在边缘计算子模块中，基于分布式处理的结果，利用边缘计算技术进行进一步的数据处理，环节包括实时数据流处理和快速响应策略。边缘计算节点根据分布式处理结果执行数据处理任务，生成边缘计算处理结果，旨在提高数据处理的效率和响应速度。
在资源同步子模块中，基于边缘计算处理结果，运用数据同步技术同步云端和边缘计算节点间的数据和资源。这包括数据一致性校验，确保云端和边缘节点间数据的准确性和一致性；以及更新频率调整，以优化数据同步过程，减少延迟和资源消耗。模块生成云边协同调度方案，确保整个系统的高效运行。
请参阅图7，多目标优化决策模块包括遗传算法子模块、成本效益分析子模块、能耗评估子模块；
遗传算法子模块基于云边协同调度方案，采用遗传算法进行多目标优化，平衡效率、能源消耗与成本，生成优化决策数据；
成本效益分析子模块基于优化决策数据，采用成本效益分析方法，再次进行优化调整，生成成本效益报告；
能耗评估子模块基于优化决策数据和成本效益报告，采用能耗评估方法，对优化方案的能源消耗进行量化分析，生成能耗评估报告；
遗传算法包括种群初始化、适应度评估、选择、交叉和变异，成本效益分析方法包括投入成本评估和预期效益预测，能耗评估方法包括能源消耗计算和效率分析。
在遗传算法子模块中，基于云边协同调度方案，采用遗传算法进行多目标优化。这个过程包括种群初始化，构建初始解的种群；适应度评估，评价每个解的性能。选择，选择优秀的解进行保留。交叉和变异，通过遗传操作生成新的解。目的是平衡效率、能源消耗与成本，从而生成优化决策数据。
在成本效益分析子模块中，基于优化决策数据，应用成本效益分析方法进行进一步的优化调整。这包括投入成本评估，分析优化方案的成本；预期效益预测，预测方案实施后带来的效益。生成详尽的成本效益报告，为决策提供更多维度的信息支持。
在能耗评估子模块中，基于优化决策数据和成本效益报告，运用能耗评估方法对优化方案的能源消耗进行量化分析。这包括能源消耗计算，精确量化能源消耗；效率分析，评估能源利用的效率。通过这一过程，生成能耗评估报告，为优化决策提供关键的能源消耗视角。
请参阅图8，调度策略自适应模块包括机器学习分析子模块、策略调整子模块、实时反馈子模块；
机器学习分析子模块基于能耗评估报告，采用机器学习技术，分析数据模式，提出策略调整方案，生成策略调整方案数据；
策略调整子模块基于策略调整方案数据，采用决策支持系统进行调度策略的自适应调整，生成调整后的调度策略；
实时反馈子模块基于调整后的调度策略，采用实时监控技术，监控系统运行情况，收集反馈数据，进行持续优化，生成自适应调度策略；
机器学习技术包括特征提取、模式识别和预测分析，决策支持系统包括策略优化、执行方案制定和效果评估，实时监控技术包括数据收集、性能分析和反馈循环。
在机器学习分析子模块中，基于能耗评估报告，采用机器学习技术进行数据分析，过程包括特征提取，从数据中提取关键信息；模式识别，识别数据中的重要模式和趋势；预测分析，基于识别的模式预测未来的趋势。通过这些步骤，提出策略调整方案，并生成策略调整方案数据。
在策略调整子模块中，基于策略调整方案数据，利用决策支持系统对调度策略进行自适应调整。这个过程包括策略优化，改善现有策略以提高效率和效果；执行方案制定，根据优化结果制定具体的执行步骤；效果评估，评估调整策略的实际效果。通过这些步骤，生成调整后的调度策略。
在实时反馈子模块中，基于调整后的调度策略，运用实时监控技术对系统进行监控。这包括数据收集，实时监控系统运行情况；性能分析，分析监控数据以评估系统性能；反馈循环，根据性能分析结果进行持续优化。通过这个过程，生成自适应的调度策略，确保系统能够根据实时情况灵活调整。
请参阅图9，性能分析与监控模块包括实时监控子模块、数据分析子模块、可视化展示子模块；
实时监控子模块基于自适应调度策略，采用实时数据捕获算法，进行网络和系统指标的实时监控，并进行数据初步处理，生成实时性能数据；
数据分析子模块基于实时性能数据，采用主成分分析和机器学习时序分析方法，进行数据深度分析，并提取关键性能指标，生成深度分析报告；
可视化展示子模块基于深度分析报告，采用数据可视化技术，进行数据展示和性能解读，并整合信息，生成性能分析报告；
实时数据捕获算法包括流量分析、系统资源使用率监测，机器学习时序分析方法具体为回归分析、聚类算法，数据可视化技术包括散点图、趋势线图。
在实时监控子模块中，基于自适应调度策略，采用实时数据捕获算法进行网络和系统指标的实时监控。这包括流量分析，监控网络流量情况；系统资源使用率监测，跟踪系统资源的使用情况。同时，进行数据的初步处理，生成实时性能数据，为后续的深度分析提供基础。
在数据分析子模块中，基于实时性能数据，运用主成分分析和机器学习时序分析方法进行数据深度分析，过程包括回归分析，分析数据间的关系和趋势；聚类算法，根据性能数据将相似性能特征的数据分组。通过这些方法，提取关键性能指标，生成深度分析报告。
在可视化展示子模块中，基于深度分析报告，应用数据可视化技术进行数据展示和性能解读。这包括使用散点图，展示数据间的分布和关系；趋势线图，展示数据随时间的变化趋势。通过这种可视化方式，整合并呈现性能分析信息，生成性能分析报告。
请参阅图10，调度结果反馈模块包括结果收集子模块、效果分析子模块、优化方案子模块；
结果收集子模块基于性能分析报告，采用数据收集和整合方法，进行调度执行结果的收集和初步分析，并汇总数据，生成调度执行数据；
效果分析子模块基于调度执行数据，采用效果评估算法和比较分析方法，进行调度执行结果分析，并识别性能瓶颈，生成效果分析报告；
优化方案子模块基于效果分析报告，采用优化算法和方案生成方法，对问题进行诊断和解决方案的制定，并提出优化措施，生成调度效果反馈报告；
数据收集和整合方法包括日志分析、性能指标汇总，效果评估算法具体为差异分析、趋势预测，优化算法和方案生成方法包括故障树分析、解决方案优先级排序。
在结果收集子模块中，基于性能分析报告，运用数据收集和整合方法对调度执行结果进行收集和初步分析。这包括日志分析，从系统日志中提取调度执行的相关信息；性能指标汇总，收集和整合不同来源的性能指标数据。通过这些步骤，汇总数据并生成调度执行数据，为后续分析提供基础。
在效果分析子模块中，基于调度执行数据，采用效果评估算法和比较分析方法进行调度执行结果的深入分析，过程包括差异分析，比较不同调度策略的执行结果，识别效果差异；趋势预测，预测调度执行的未来趋势。通过这些分析，识别性能瓶颈，生成效果分析报告。
在优化方案子模块中，基于效果分析报告，应用优化算法和方案生成方法对问题进行诊断和解决方案的制定。这包括故障树分析，分析导致性能问题的根本原因；解决方案优先级排序，确定不同优化措施的优先级。通过这些步骤，提出优化措施，并生成调度效果反馈报告。
以上，仅是本发明的较佳实施例而已，并非对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (9)

1.一种AI智算中心的资源调度系统，其特征在于：所述系统包括任务识别模块、资源需求预测模块、动态资源分配模块、云边协同调度模块、多目标优化决策模块、调度策略自适应模块、性能分析与监控模块、调度结果反馈模块；
所述任务识别模块基于计算任务数据，采用支持向量机和聚类分析算法，对任务进行识别和分类，生成任务识别报告；
所述资源需求预测模块基于任务识别报告，使用时间序列分析和循环神经网络预测资源需求，生成资源需求预测报告；
所述动态资源分配模块基于资源需求预测报告，应用启发式算法和线性规划，动态优化并分配资源，生成资源分配方案；
所述云边协同调度模块基于资源分配方案，通过MapReduce分布式计算技术进行云中心与边缘计算节点间的协同，生成云边协同调度方案；
所述多目标优化决策模块基于云边协同调度方案，采用遗传算法进行多目标优化，平衡效率、能源消耗与成本，生成多目标优化结果；
所述调度策略自适应模块基于多目标优化结果，运用机器学习技术，自适应调整调度策略，生成自适应调度策略；
所述性能分析与监控模块基于自适应调度策略，利用实时热图和主成分分析进行数据可视化和性能监控，生成性能分析报告；
所述调度结果反馈模块基于性能分析报告，收集并分析调度执行结果，提供优化方案，生成调度效果反馈报告；
所述任务识别报告包括任务类型、特征参数、分类结果，所述资源需求预测报告包括资源需求趋势、预测峰值、需求量化指标，所述资源分配方案包括分配策略、优化后资源配置、预期效率提升，所述云边协同调度方案包括云中心和边缘节点间的资源分配、任务调度计划、数据同步机制，所述多目标优化结果包括优化后的任务执行效率、能源消耗降低、成本效益分析，所述自适应调度策略包括策略调整细节、实时工作负载适应性、预期效果改善，所述性能分析报告包括系统运行状态、性能瓶颈识别、性能优化方案，所述调度效果反馈报告包括执行效果分析、系统运行数据、调度优化方案；
所述任务识别模块包括数据分类子模块、特征提取子模块、SVM分类子模块；
所述数据分类子模块基于计算任务数据，采用数据挖掘技术中的分类算法，对任务数据进行初步分类和整理，生成初步分类数据；
所述特征提取子模块基于初步分类数据，采用机器学习中的特征提取技术，提取任务关键特征，生成特征提取报告；
所述分类算法包括决策树和贝叶斯分类器，所述特征提取技术包括主成分分析和线性判别分析；
所述资源需求预测模块包括时间序列分析子模块、RNN预测子模块、需求量化子模块；
所述时间序列分析子模块基于任务识别报告，采用统计学中的时间序列分析方法，分析任务时间特性，生成时间序列分析报告；
所述RNN预测子模块基于时间序列分析报告，采用循环神经网络技术，预测未来资源需求趋势，生成初步资源需求预测；
所述时间序列分析方法包括自回归移动平均模型，所述循环神经网络技术具体为长短期记忆网络；
所述动态资源分配模块包括启发式优化子模块、线性规划子模块、资源调配子模块；
所述启发式优化子模块基于资源需求预测报告，采用遗传算法进行资源配置优化，生成优化后的资源配置方案；
所述线性规划子模块基于优化后的资源配置方案，应用单纯形法进行线性规划，生成线性规划资源分配结果；
所述动态资源分配模块包括启发式优化子模块、线性规划子模块、资源调配子模块；
所述遗传算法包括种群初始化、交叉变异和适应度评估，所述单纯形法包括约束处理和目标函数优化；
所述云边协同调度模块包括分布式处理子模块、边缘计算子模块、资源同步子模块；
所述分布式处理子模块基于资源分配方案，运用MapReduce技术处理云端数据，生成分布式处理结果；
所述边缘计算子模块基于分布式处理结果，通过边缘计算处理，在边缘计算节点上执行数据处理任务，生成边缘计算处理结果；
所述MapReduce技术包括数据分割、映射操作和归约操作，所述边缘计算处理包括实时数据流处理和快速响应策略；
所述多目标优化决策模块包括遗传算法子模块、成本效益分析子模块、能耗评估子模块；
所述遗传算法子模块基于云边协同调度方案，采用遗传算法进行多目标优化，平衡效率、能源消耗与成本，生成优化决策数据；
所述成本效益分析子模块基于优化决策数据，采用成本效益分析方法，再次进行优化调整，生成成本效益报告；
所述遗传算法包括种群初始化、适应度评估、选择、交叉和变异；
所述调度策略自适应模块包括机器学习分析子模块、策略调整子模块、实时反馈子模块；
所述机器学习分析子模块基于能耗评估报告，采用机器学习技术，分析数据模式，提出策略调整方案，生成策略调整方案数据；
所述策略调整子模块基于策略调整方案数据，采用决策支持系统进行调度策略的自适应调整，生成调整后的调度策略；
所述机器学习技术包括特征提取、模式识别和预测分析，所述决策支持系统包括策略优化、执行方案制定和效果评估；
所述性能分析与监控模块包括实时监控子模块、数据分析子模块、可视化展示子模块；
所述实时监控子模块基于自适应调度策略，采用实时数据捕获算法，进行网络和系统指标的实时监控，并进行数据初步处理，生成实时性能数据；
所述数据分析子模块基于实时性能数据，采用主成分分析和机器学习时序分析方法，进行数据深度分析，并提取关键性能指标，生成深度分析报告；
所述实时数据捕获算法包括流量分析、系统资源使用率监测，所述机器学习时序分析方法具体为回归分析、聚类算法；
所述调度结果反馈模块包括结果收集子模块、效果分析子模块、优化方案子模块；
所述结果收集子模块基于性能分析报告，采用数据收集和整合方法，进行调度执行结果的收集和初步分析，并汇总数据，生成调度执行数据；
所述效果分析子模块基于调度执行数据，采用效果评估算法和比较分析方法，进行调度执行结果分析，并识别性能瓶颈，生成效果分析报告；
所述数据收集和整合方法包括日志分析、性能指标汇总，所述效果评估算法具体为差异分析、趋势预测。
2.根据权利要求1所述的AI智算中心的资源调度系统，其特征在于：所述SVM分类子模块基于特征提取报告，采用支持向量机分类算法和K均值聚类分析，对任务进行精确识别和分类，生成任务识别报告；
所述支持向量机分类算法和K均值聚类分析具体指支持向量机的核函数优化和聚类的迭代优化。
3.根据权利要求1所述的AI智算中心的资源调度系统，其特征在于：所述需求量化子模块基于初步资源需求预测，采用数学建模方法，将预测结果转化为具体的资源需求量，生成资源需求预测报告；
所述数学建模方法包括线性和非线性回归分析。
4.根据权利要求1所述的AI智算中心的资源调度系统，其特征在于：所述资源调配子模块基于线性规划资源分配结果，实施资源调配，生成资源分配方案；
所述资源调配包括优先级设置和资源分配策略。
5.根据权利要求1所述的AI智算中心的资源调度系统，其特征在于：所述资源同步子模块基于边缘计算处理结果，通过数据同步技术，同步云端和边缘计算节点间的数据和资源，生成云边协同调度方案；
所述数据同步技术包括数据一致性校验和更新频率调整。
6.根据权利要求1所述的AI智算中心的资源调度系统，其特征在于：所述能耗评估子模块基于优化决策数据和成本效益报告，采用能耗评估方法，对优化方案的能源消耗进行量化分析，生成能耗评估报告；
所述成本效益分析方法包括投入成本评估和预期效益预测，所述能耗评估方法包括能源消耗计算和效率分析。
7.根据权利要求1所述的AI智算中心的资源调度系统，其特征在于：所述实时反馈子模块基于调整后的调度策略，采用实时监控技术，监控系统运行情况，收集反馈数据，进行持续优化，生成自适应调度策略；
所述实时监控技术包括数据收集、性能分析和反馈循环。
8.根据权利要求1所述的AI智算中心的资源调度系统，其特征在于：所述可视化展示子模块基于深度分析报告，采用数据可视化技术，进行数据展示和性能解读，并整合信息，生成性能分析报告；
所述数据可视化技术包括散点图、趋势线图。
9.根据权利要求1所述的AI智算中心的资源调度系统，其特征在于：所述优化方案子模块基于效果分析报告，采用优化算法和方案生成方法，对问题进行诊断和解决方案的制定，并提出优化措施，生成调度效果反馈报告；
所述优化算法和方案生成方法包括故障树分析、解决方案优先级排序。
CN202311805459.4A 2023-12-26 2023-12-26 一种ai智算中心的资源调度系统 Active CN117472587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311805459.4A CN117472587B (zh) 2023-12-26 2023-12-26 一种ai智算中心的资源调度系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311805459.4A CN117472587B (zh) 2023-12-26 2023-12-26 一种ai智算中心的资源调度系统

Publications (2)

Publication Number Publication Date
CN117472587A CN117472587A (zh) 2024-01-30
CN117472587B true CN117472587B (zh) 2024-03-01

Family

ID=89627745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311805459.4A Active CN117472587B (zh) 2023-12-26 2023-12-26 一种ai智算中心的资源调度系统

Country Status (1)

Country Link
CN (1) CN117472587B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117687891B (zh) * 2024-02-02 2024-04-30 深圳迅策科技股份有限公司 一种基于ai的指标计算优化系统
CN117830029B (zh) * 2024-03-01 2024-04-30 华能澜沧江水电股份有限公司 一种基于优化算法的集控平台管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563410A (zh) * 2017-08-04 2018-01-09 中国科学院自动化研究所 基于局部类别一致聚类和多任务学习的分类方法及设备
WO2023184939A1 (zh) * 2022-03-28 2023-10-05 福州大学 基于深度强化学习的云数据中心自适应高效资源分配方法
CN117135131A (zh) * 2023-08-24 2023-11-28 北京计算机技术及应用研究所 一种面向云边协同场景的任务资源需求感知方法
CN117273414A (zh) * 2023-11-23 2023-12-22 苏州航天系统工程有限公司 一种用于智慧城市大数据分析识别系统及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220413455A1 (en) * 2020-11-13 2022-12-29 Zhejiang University Adaptive-learning intelligent scheduling unified computing frame and system for industrial personalized customized production

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563410A (zh) * 2017-08-04 2018-01-09 中国科学院自动化研究所 基于局部类别一致聚类和多任务学习的分类方法及设备
WO2023184939A1 (zh) * 2022-03-28 2023-10-05 福州大学 基于深度强化学习的云数据中心自适应高效资源分配方法
CN117135131A (zh) * 2023-08-24 2023-11-28 北京计算机技术及应用研究所 一种面向云边协同场景的任务资源需求感知方法
CN117273414A (zh) * 2023-11-23 2023-12-22 苏州航天系统工程有限公司 一种用于智慧城市大数据分析识别系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
钟猛 ; ."基于任务聚类策略的云计算资源调度研究".《科技广场》.2015,(第11期),第7-12页. *

Also Published As

Publication number Publication date
CN117472587A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN117472587B (zh) 一种ai智算中心的资源调度系统
Houssein et al. Task scheduling in cloud computing based on meta-heuristics: review, taxonomy, open challenges, and future trends
CN110096349A (zh) 一种基于集群节点负载状态预测的作业调度方法
CN109933306A (zh) 混合计算框架生成、数据处理方法、装置及混合计算框架
CN110533112A (zh) 车联网大数据跨域分析融合方法
CN107908536B (zh) Cpu-gpu异构环境中对gpu应用的性能评估方法及系统
CN108170531B (zh) 一种基于深度信念网络的云数据中心请求流调度方法
CN116760772B (zh) 汇聚分流器的管控系统及其方法
CN110162390A (zh) 一种雾计算系统的任务分配方法及系统
Wang et al. A computing resources prediction approach based on ensemble learning for complex system simulation in cloud environment
Mahan et al. A novel resource productivity based on granular neural network in cloud computing
CN117539726B (zh) 绿色智算中心能效优化方法及系统
Bi et al. Accurate Prediction of Workloads and Resources with Multi-head Attention and Hybrid LSTM for Cloud Data Centers
Von Lucken et al. Pump scheduling optimization using asynchronous parallel evolutionary algorithms
CN116680090B (zh) 一种基于大数据的边缘计算网络管理方法及平台
CN117076077A (zh) 基于大数据分析的计划调度优化方法
Shuang et al. Task Scheduling Based on Grey Wolf Optimizer Algorithm for Smart Meter Embedded Operating System
Alqahtani Leveraging sparse auto-encoding and dynamic learning rate for efficient cloud workloads prediction
Xiao et al. A simulation task partition method based on cloud computing resource prediction using ensemble learning
CN113837481A (zh) 一种基于区块链的金融大数据管理系统
Du et al. OctopusKing: A TCT-aware task scheduling on spark platform
CN117687891B (zh) 一种基于ai的指标计算优化系统
Shi et al. Multi-Objective Biogeography-Based Method to Optimize Virtual Machine Consolidation.
Bi et al. Resource Load Prediction of Internet of Vehicles Mobile Cloud Computing.
Shrivastava et al. A predictive energy saving technique for 5G network base stations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant