CN117076077A - 基于大数据分析的计划调度优化方法 - Google Patents

基于大数据分析的计划调度优化方法 Download PDF

Info

Publication number
CN117076077A
CN117076077A CN202311049438.4A CN202311049438A CN117076077A CN 117076077 A CN117076077 A CN 117076077A CN 202311049438 A CN202311049438 A CN 202311049438A CN 117076077 A CN117076077 A CN 117076077A
Authority
CN
China
Prior art keywords
scheduling
plan
data
task
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202311049438.4A
Other languages
English (en)
Inventor
索强
于天宇
任舟
潘彦
刘璐瑶
郑晓晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shuzi Technology Co ltd
Original Assignee
Shanghai Shuzi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shuzi Technology Co ltd filed Critical Shanghai Shuzi Technology Co ltd
Priority to CN202311049438.4A priority Critical patent/CN117076077A/zh
Publication of CN117076077A publication Critical patent/CN117076077A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/219—Managing data history or versioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5061—Partitioning or combining of resources
    • G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Genetics & Genomics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及计划调度优化方法技术领域，具体为基于大数据分析的计划调度优化方法，包括以下步骤，使用Apache Kafka进行实时数据流的获取和管理，生成数据流快照，实时数据流包括网络流量、系统日志。本发明中，利用Apache Kafka进行实时数据流的获取和管理，Apache Spark来预处理数据，使用Hadoop进行分布式任务划分，实现了数据处理的全流程自动化，使用了遗传算法和NSGA‑II多目标优化算法，能够依据数据的特征动态调整处理优先级，实现了对数据处理的优化，强化学习可以在处理任务中实时学习和调整策略，提高了处理效率，通过Kubernetes进行资源虚拟化和容器化部署，使得服务部署更灵活，提升了服务的伸缩性和高可用性，混合智能方法实现方案执行验证，并可以生成详细的调度优化报告。

Description

基于大数据分析的计划调度优化方法
技术领域
本发明涉及计划调度优化方法技术领域，尤其涉及基于大数据分析的计划调度优化方法。
背景技术
计划调度优化方法旨在通过使用不同的算法和技术，对任务或工作进行有效的安排和调度，以达到最优化的目标。这些方法的核心是减少任务完成时间、最大化资源利用率和提高生产效率等方面。为了实现这些目标，调度优化方法考虑了任务分配、任务排序、资源调度、调度算法、优化目标以及调度策略评估等因素。综合考虑以上因素，并根据具体问题的特点和要求选择合适的调度优化方法和技术，实现最优化的调度目标。
在现有计划调度优化方法的实际使用过程中，现有方法较难很好地预处理大规模、多元化的数据，如系统日志和网络流量，从而影响了数据处理的效率和准确度。且现有的调度算法无法实时反应系统状态和数据特征的动态变化，导致优化和调度策略难以应对不断变化的处理需求。当前的方法缺乏有效的资源管理和服务虚拟化、容器化策略，影响了服务的弹性和高可用性。现有的方法可能没有足够的机制来整合数据调度效果，缺乏对调度优化结果的详细报告和评估。
发明内容
本发明的目的是解决现有技术中存在的缺点，而提出的基于大数据分析的计划调度优化方法。
为了实现上述目的，本发明采用了如下技术方案：基于大数据分析的计划调度优化方法，包括以下步骤：
使用Apache Kafka进行实时数据流的获取和管理，生成数据流快照，所述实时数据流包括网络流量、系统日志；
使用Apache Spark，对所述数据流快照进行包括去噪、归一化的预处理，获取处理后数据集；
使用具体为主成分分析的特征选择方法，从所述处理后数据集中提取特征向量，构建特征向量集；
使用遗传算法，根据所述特征向量集构建初步调度计划集合；
使用NSGA-II多目标优化算法，对所述初步调度计划集合进行多目标优化和约束处理，生成优化调度计划；
基于Hadoop对所述优化调度计划进行分布式任务划分和调度，将所述优化调度计划分解为分布式任务，集成分布式任务集；
使用强化学习基于所述分布式任务集，进行自适应调度策略的生成；
使用Kubernetes进行资源虚拟化和容器化部署，将所述自适应调度策略转化为容器化部署方案；
使用结合深度学习和启发式搜索的混合智能方法，执行所述容器化部署方案，并生成调度优化报告。
作为本发明的进一步方案，所述使用Apache Kafka进行实时数据流的获取和管理，生成数据流快照，所述实时数据流包括网络流量、系统日志的步骤具体为：
配置和启动Apache Kafka集群，设置集群参数，所述集群参数包括副本因子、分区数；
使用Apache Kafka提供的命令行工具或编程接口，创建存储实时数据流的Kafka主题，定义主题的名称和配置；
配置tcpdump网络流量捕获工具，以监听网络上的数据流量，配置rsyslog系统日志记录器，将系统日志发送到Kafka主题；
创建Kafka消费者来消费主题中的数据流，在Kafka消费者中编写逻辑，实时处理数据流，并生成所述数据流快照。
作为本发明的进一步方案，所述使用Apache Spark，对所述数据流快照进行包括去噪、归一化的预处理，获取处理后数据集的步骤具体为：
安装和配置Apache Spark集群，包括Master节点和Worker节点，设置Spark主目录、内存分配、并行度；
采用所述Apache Spark提供的API，从所述数据流快照中加载数据；
采用统计学方法对所述数据进行处理，去除异常值、噪声；
使用具体为最小-最大归一化的归一化方法将所述数据映射到统一的数值范围，消除数据之间的量纲差异，获取预处理数据；
将所述预处理数据转换为所述Apache Spark支持的DataFrame数据结构，集成所述预处理数据，获取处理后数据集。
作为本发明的进一步方案，所述使用具体为主成分分析的特征选择方法，从所述处理后数据集中提取特征向量，构建特征向量集的步骤具体为：
使用主成分分析作为特征选择方法，在所述Apache Spark中使用MLlib库中提供的PCA模型来实现主成分分析；
使用所述PCA模型对处理后数据集的数据进行拟合和变换，从PCA模型中获取主成分，得到降维后的特征向量；
将提取的所述特征向量合并成特征向量集。
作为本发明的进一步方案，所述使用遗传算法，根据所述特征向量集构建初步调度计划集合的步骤具体为：
在所述遗传算法中，设立所述初步调度计划的优化目标，并设置适应度函数；
设定所述遗传算法的参数，包括种群大小、迭代次数、交叉和变异的概率；
随机生成所述初步调度计划的种群，所述种群中每个调度计划由特征向量集表示；
使用所述适应度函数对所述种群中的调度计划进行评估，得到每个调度计划的适应度值；
根据适应度值选择靠前10％的所述调度计划作为父代调度计划，对所述父代调度计划进行交叉，生成一组新的调度计划作为子代调度计划，对所述子代调度计划进行变异，使用所述适应度函数对子代调度计划和变异后的子代调度计划进行评估；
循环上一步骤，并在达到最大迭代次数或优化目标后，根据适应度值选择靠前5％的调度计划作为所述初步调度计划集合。
作为本发明的进一步方案，所述使用NSGA-II多目标优化算法，对所述初步调度计划集合进行多目标优化和约束处理，生成优化调度计划的步骤具体为：
在所述NSGA-II算法中，定义多目标优化问题的目标函数和约束条件，所述目标函数表示需要最大化或最小化的多个不相容的目标，所述约束条件表示调度问题中必须满足的限制条件；
调用所述初步调度计划集合，将所述初步调度计划集合中每个调度计划与对应的特征向量集关联；
基于所述目标函数和约束条件，计算每个调度计划的适应度值；
基于所述适应度值，对所述初步调度计划集合中每个调度计划进行非支配排序，将其划分成不同的非支配层级；
在所述非支配层级的每个层级内，计算每个调度计划的拥挤度，用于评估每个调度计划在目标空间的分布情况；
基于选择操作、交叉操作、变异操作来更新种群，并判断是否满足终止条件，在最大迭代次数或满足所述目标函数时，结束本步骤，基于所述适应度值、拥挤度选择最优的一组非支配解作为最终的优化调度计划。
作为本发明的进一步方案，所述基于Hadoop对所述优化调度计划进行分布式任务划分和调度，将所述优化调度计划分解为分布式任务，集成分布式任务集的步骤具体为：
基于耦合性、数据依赖性因素，采用任务划分算法将所述优化调度计划划分为细化的分布式任务；
基于可用资源、负载平衡因素，调度所述分布式任务到Hadoop集群中的可用节点上执行；
在所述Hadoop集群中，使用Hadoop分布式计算框架在每个节点上并行处理调度到的所述分布式任务；
收集并整合每个节点上完成的分布式任务，得到分布式任务集。
作为本发明的进一步方案，所述使用强化学习基于所述分布式任务集，进行自适应调度策略的生成的步骤具体为：
在所述强化学习中进行状态定义和动作定义，所述状态定义包括分布式任务集和调度环境的特征，具体为任务类型、任务数量、节点负载，所述动作定义指在给定状态下，可选的调度策略，包括任务调度顺序、节点的选择；
奖励函数综合调度目标、资源利用率、任务完成时间因素，量化所述调度策略的性能；
在所述强化学习的训练过程中，将定义的状态作为输入，根据选择的动作和奖励函数，优化所述调度策略，并调整所述调度策略的权重；
根据训练得到的策略，在实际运行中根据当前状态动态选择最优调度决策，将分布式任务集合分配给可用节点。
作为本发明的进一步方案，所述使用Kubernetes进行资源虚拟化和容器化部署，将所述自适应调度策略转化为容器化部署方案的步骤具体为：
引入Kubernetes作为资源虚拟化和容器化部署的平台，部署和配置Kubernetes集群，包括Master节点和Worker节点的设置，管理分布式任务的运行环境；
将所述分布式任务进行容器化，创建Dockerfile和配置文件，将所述分布式任务包装为Docker镜像；
在所述Kubernetes中，对容器化的所述分布式任务定义资源请求和限制，作为资源需求；
将所述自适应调度策略转化为Kubernetes的容器调度策略，根据所述Kubernetes集群的情况和资源需求，动态调整任务的调度策略。
作为本发明的进一步方案，所述使用结合深度学习和启发式搜索的混合智能方法，执行所述容器化部署方案，并生成调度优化报告的步骤具体为：
使用所述深度学习训练任务调度模型，学习任务调度的模式和规律；
设立所述启发式搜索算法，用于优化大规模搜索空间中的任务调度方案；
使用所述混合智能方法组合任务调度模型和启发式搜索算法，执行所述容器化部署方案，获得最优的任务调度解决方案；
基于上述步骤，生成调度优化报告，评估任务调度效果和资源利用情况。
与现有技术相比，本发明的优点和积极效果在于：
本发明中，利用Apache Kafka进行实时数据流的获取和管理，Apache Spark来预处理数据，使用Hadoop进行分布式任务划分，实现了数据处理的全流程自动化，在大数据环境中具有高效的处理性能。采用去噪、归一化的预处理方式，能够同时处理多种不同的数据源，提取出有效的特征，提升了数据处理的准确性。使用了遗传算法和NSGA-II多目标优化算法，能够依据数据的特征动态调整处理优先级，实现了对数据处理的优化。强化学习可以在处理任务中实时学习和调整策略，提高了处理效率。通过Kubernetes进行资源虚拟化和容器化部署，使得服务部署更灵活，提升了服务的伸缩性和高可用性。混合智能方法实现方案执行验证，并可以生成详细的调度优化报告。
附图说明
图1为本发明提出基于大数据分析的计划调度优化方法的主步骤示意图；
图2为本发明提出基于大数据分析的计划调度优化方法的步骤1细化示意图；
图3为本发明提出基于大数据分析的计划调度优化方法的步骤2细化示意图；
图4为本发明提出基于大数据分析的计划调度优化方法的步骤3细化示意图；
图5为本发明提出基于大数据分析的计划调度优化方法的步骤4细化示意图；
图6为本发明提出基于大数据分析的计划调度优化方法的步骤5细化示意图；
图7为本发明提出基于大数据分析的计划调度优化方法的步骤6细化示意图；
图8为本发明提出基于大数据分析的计划调度优化方法的步骤7细化示意图；
图9为本发明提出基于大数据分析的计划调度优化方法的步骤8细化示意图；
图10为本发明提出基于大数据分析的计划调度优化方法的步骤9细化示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
实施例一
请参阅图1，本发明提供一种技术方案：基于大数据分析的计划调度优化方法，包括以下步骤：
使用Apache Kafka进行实时数据流的获取和管理，生成数据流快照，实时数据流包括网络流量、系统日志；
使用Apache Spark，对数据流快照进行包括去噪、归一化的预处理，获取处理后数据集；
使用具体为主成分分析的特征选择方法，从处理后数据集中提取特征向量，构建特征向量集；
使用遗传算法，根据特征向量集构建初步调度计划集合；
使用NSGA-II多目标优化算法，对初步调度计划集合进行多目标优化和约束处理，生成优化调度计划；
基于Hadoop对优化调度计划进行分布式任务划分和调度，将优化调度计划分解为分布式任务，集成分布式任务集；
使用强化学习基于分布式任务集，进行自适应调度策略的生成；
使用Kubernetes进行资源虚拟化和容器化部署，将自适应调度策略转化为容器化部署方案；
使用结合深度学习和启发式搜索的混合智能方法，执行容器化部署方案，并生成调度优化报告。
通过使用Apache Kafka进行实时数据流的获取和管理，可以确保及时获取到网络流量和系统日志等关键数据，为计划调度的优化提供准确和全面的数据基础。使用ApacheSpark对数据流快照进行去噪和归一化的预处理，以获取处理后的数据集。然后，通过特征选择方法如主成分分析，从处理后的数据集中提取特征向量，为计划调度的建模和优化提供有用的特征信息。使用遗传算法根据特征向量集构建初步调度计划集合，通过进化和交叉操作，逐步优化得到更好的调度计划。采用NSGA-II多目标优化算法对初步调度计划集合进行优化和约束处理，从众多优质调度方案中选取最优解，同时考虑多个调度目标和约束条件。基于Hadoop进行分布式任务划分和调度，将优化调度计划分解为分布式任务，充分利用分布式计算的能力，提高任务执行效率和并行度。利用强化学习技术基于分布式任务集，生成自适应调度策略，根据实际环境和任务执行情况动态调整任务调度，提高系统的适应性和性能。使用Kubernetes对优化的调度计划进行资源虚拟化和容器化部署，实现资源的灵活管理和高效利用，提供高可靠性的部署环境。采用结合深度学习和启发式搜索的混合智能方法执行容器化部署方案，通过深度学习模型和启发式搜索算法的结合，提高调度决策的准确性和搜索效率。根据执行结果，生成调度优化报告，评估任务调度效果和资源利用情况，为后续的系统调优和决策提供参考和指导。
请参阅图2，使用Apache Kafka进行实时数据流的获取和管理，生成数据流快照，实时数据流包括网络流量、系统日志的步骤具体为：
配置和启动Apache Kafka集群，设置集群参数，集群参数包括副本因子、分区数；
使用Apache Kafka提供的命令行工具或编程接口，创建存储实时数据流的Kafka主题，定义主题的名称和配置；
配置tcpdump网络流量捕获工具，以监听网络上的数据流量，配置rsyslog系统日志记录器，将系统日志发送到Kafka主题；
创建Kafka消费者来消费主题中的数据流，在Kafka消费者中编写逻辑，实时处理数据流，并生成数据流快照。
首先，配置和启动Apache Kafka集群，确保系统具备高可用性和可扩展性，能够处理大量数据流。其次，创建Kafka主题，以有序、持久化的方式存储实时数据流，保证数据的可靠性和持久性，方便后续处理和分析。然后，通过配置网络流量捕获工具和系统日志记录器，将关键数据源发送到相应的Kafka主题中，确保实时获取网络流量和系统日志。接着，创建Kafka消费者并编写逻辑，实时消费数据流并进行处理和分析，如实时监控、异常检测等。最后，通过实时处理生成数据流快照，提供当前状态和有关信息，供回溯分析、故障排查和性能优化使用。综上所述，使用Apache Kafka进行实时数据流的获取和管理，生成数据流快照的步骤有效实现数据采集、存储和实时处理，为后续的数据分析、决策和优化提供有益的数据基础和操作平台。
请参阅图3，使用Apache Spark，对数据流快照进行包括去噪、归一化的预处理，获取处理后数据集的步骤具体为：
安装和配置Apache Spark集群，包括Master节点和Worker节点，设置Spark主目录、内存分配、并行度；
采用Apache Spark提供的API，从数据流快照中加载数据；
采用统计学方法对数据进行处理，去除异常值、噪声；
使用具体为最小-最大归一化的归一化方法将数据映射到统一的数值范围，消除数据之间的量纲差异，获取预处理数据；
将预处理数据转换为Apache Spark支持的DataFrame数据结构，集成预处理数据，获取处理后数据集。
首先，安装和配置Apache Spark集群，建立可扩展的分布式计算环境，提供高效的并行计算能力。其次，通过Apache Spark的API加载数据流快照，便捷地将数据转化为Spark处理的数据对象。然后，采用统计学方法对数据进行处理，去除异常值和噪声，提高数据质量和准确性。接着，应用归一化方法(如最小-最大归一化)，消除数据之间的量纲差异，使得特征权重更平衡，方便后续的比较和计算。最后，将经过预处理的数据转换为Apache Spark的DataFrame数据结构，便于进行数据分析、挖掘和建模，并且兼容各种高级操作和函数。综上所述，使用Apache Spark对数据流快照进行预处理和获取处理后数据集的步骤能够提高数据质量、准确性和一致性，加速计算过程，为后续的数据分析和优化提供良好基础。
请参阅图4，使用具体为主成分分析的特征选择方法，从处理后数据集中提取特征向量，构建特征向量集的步骤具体为：
使用主成分分析作为特征选择方法，在Apache Spark中使用MLlib库中提供的PCA模型来实现主成分分析；
使用PCA模型对处理后数据集的数据进行拟合和变换，从PCA模型中获取主成分，得到降维后的特征向量；
将提取的特征向量合并成特征向量集。
首先，在Apache Spark的MLlib库中使用PCA模型简化了特征选择的实现过程。其次，通过PCA模型对处理后的数据集进行拟合和变换，将数据投影到主成分空间上，得到降维后的特征向量。然后，提取主成分，选择前N个主成分以保留最具有代表性的信息，并实现维度的降低，去除冗余和噪声。接着，将提取的特征向量合并成特征向量集，作为后续机器学习任务的输入数据，包含经过特征选择和降维处理后的重要特征信息。综上所述，使用PCA作为特征选择方法能够简化实现过程，提高数据表征能力和模型性能，减少计算复杂度，提高机器学习任务的效率和准确性。
请参阅图5，使用遗传算法，根据特征向量集构建初步调度计划集合的步骤具体为：
在遗传算法中，设立初步调度计划的优化目标，并设置适应度函数；
设定遗传算法的参数，包括种群大小、迭代次数、交叉和变异的概率；
随机生成初步调度计划的种群，种群中每个调度计划由特征向量集表示；
使用适应度函数对种群中的调度计划进行评估，得到每个调度计划的适应度值；
根据适应度值选择靠前10％的调度计划作为父代调度计划，对父代调度计划进行交叉，生成一组新的调度计划作为子代调度计划，对子代调度计划进行变异，使用适应度函数对子代调度计划和变异后的子代调度计划进行评估；
循环上一步骤，并在达到最大迭代次数或优化目标后，根据适应度值选择靠前5％的调度计划作为初步调度计划集合。
首先，设置优化目标和适应度函数，明确所需优化的调度计划特征，并量化评估调度计划的适应度。其次，合理设定遗传算法的参数，控制搜索空间和搜索速度，使算法适应问题的求解。然后，随机生成初步调度计划的种群，为进化搜索提供初始解，并启动搜索过程。接着，通过适应度函数评估和选择优良调度计划作为父代调度计划，保留更优秀的调度计划用于下一代进化。同时，进行交叉和变异操作，融合父代调度计划的优点和引入新的搜索空间，增加算法的探索能力。最后，通过迭代和终止条件，得到一组初步调度计划集合，代表经过优化搜索后的最有潜力的解决方案。综上所述，使用遗传算法根据特征向量集构建初步调度计划集合能够快速寻找优秀的调度计划，提高调度计划的质量和效果。同时，通过合理设置参数和适应度函数，引导算法对优化目标进行搜索和学习，提高优化的效率和有效性。
请参阅图6，使用NSGA-II多目标优化算法，对初步调度计划集合进行多目标优化和约束处理，生成优化调度计划的步骤具体为：
在NSGA-II算法中，定义多目标优化问题的目标函数和约束条件，目标函数表示需要最大化或最小化的多个不相容的目标，约束条件表示调度问题中必须满足的限制条件；
调用初步调度计划集合，将初步调度计划集合中每个调度计划与对应的特征向量集关联；
基于目标函数和约束条件，计算每个调度计划的适应度值；
基于适应度值，对初步调度计划集合中每个调度计划进行非支配排序，将其划分成不同的非支配层级；
在非支配层级的每个层级内，计算每个调度计划的拥挤度，用于评估每个调度计划在目标空间的分布情况；
基于选择操作、交叉操作、变异操作来更新种群，并判断是否满足终止条件，在最大迭代次数或满足目标函数时，结束本步骤，基于适应度值、拥挤度选择最优的一组非支配解作为最终的优化调度计划。
首先，通过定义目标函数和约束条件，明确需要最大化或最小化的多个不相容的目标，并确保满足调度问题的限制条件。然后，将特征向量集与调度计划关联，使优化算法能在多个目标间进行权衡，并以特征向量集为参考。计算每个调度计划的适应度值，反映其在多目标问题中的性能和可行性。通过非支配排序和层级划分，识别在不同目标上具有最优性能的调度计划，并保持多样性。应用拥挤度计算来评估调度计划在目标空间的分布情况，维护多样性和避免早期收敛。通过进化和更新种群，通过选择、交叉和变异操作改进调度计划的性能。判断终止条件，选择最优非支配解作为最终的优化调度计划。综上所述，使用NSGA-II多目标优化算法能够从多个目标角度评估调度计划的性能和可行性，并通过进化搜索逐步改进调度计划的质量。在实施过程中，能够提高调度的效果和效率，满足多目标优化需求。
请参阅图7，基于Hadoop对优化调度计划进行分布式任务划分和调度，将优化调度计划分解为分布式任务，集成分布式任务集的步骤具体为：
基于耦合性、数据依赖性因素，采用任务划分算法将优化调度计划划分为细化的分布式任务；
基于可用资源、负载平衡因素，调度分布式任务到Hadoop集群中的可用节点上执行；
在Hadoop集群中，使用Hadoop分布式计算框架在每个节点上并行处理调度到的分布式任务；
收集并整合每个节点上完成的分布式任务，得到分布式任务集。
首先，通过任务划分算法将调度计划划分为细化的分布式任务，减少任务之间的依赖和冲突，实现并行执行。其次，基于可用资源和负载平衡考虑，将分布式任务调度到Hadoop集群中的可用节点上执行，充分利用计算资源，提高执行效率。然后，利用Hadoop分布式计算框架在每个节点上并行处理分布式任务，充分发挥集群的计算能力，加速任务处理速度。最后，整合每个节点上完成的分布式任务，得到最终的分布式任务集，为后续的分析和决策提供数据支持。综上所述，基于Hadoop的分布式任务划分和调度能够实现调度计划的并行执行和资源利用优化，提高执行效率和性能。对于大规模、复杂的调度问题，该方法提供了一个可行的实施方案，能够有效改善调度计划的执行效果。
请参阅图8，使用强化学习基于分布式任务集，进行自适应调度策略的生成的步骤具体为：
在强化学习中进行状态定义和动作定义，状态定义包括分布式任务集和调度环境的特征，具体为任务类型、任务数量、节点负载，动作定义指在给定状态下，可选的调度策略，包括任务调度顺序、节点的选择；
奖励函数综合调度目标、资源利用率、任务完成时间因素，量化调度策略的性能；
在强化学习的训练过程中，将定义的状态作为输入，根据选择的动作和奖励函数，优化调度策略，并调整调度策略的权重；
根据训练得到的策略，在实际运行中根据当前状态动态选择最优调度决策，将分布式任务集合分配给可用节点。
首先，通过定义状态和动作，将分布式任务集和调度环境的特征纳入考虑，使得生成的调度策略能够根据当前环境状态做出最优的决策。其次，通过定义奖励函数，综合调度目标、资源利用率和任务完成时间等因素，量化调度策略的性能，从而引导强化学习算法生成适用于实际场景的自适应调度策略。训练过程中，通过优化调度策略和调整权重，逐步改进生成的策略，使其能够适应不同环境和任务特征，提高调度的效果和性能。最后，在实际运行中，根据当前状态动态选择最优的调度决策，将分布式任务集合分配给可用节点，实现智能、灵活的任务调度。综上所述，使用强化学习基于分布式任务集的自适应调度策略生成方法，具有提高系统资源利用率、降低任务执行时间、增强系统可扩展性和适应性的有益效果。在实施过程中，能够实现智能化、动态化的分布式任务调度，提升系统的整体性能和效率。
请参阅图9，使用Kubernetes进行资源虚拟化和容器化部署，将自适应调度策略转化为容器化部署方案的步骤具体为：
引入Kubernetes作为资源虚拟化和容器化部署的平台，部署和配置Kubernetes集群，包括Master节点和Worker节点的设置，管理分布式任务的运行环境；
将分布式任务进行容器化，创建Dockerfile和配置文件，将分布式任务包装为Docker镜像；
在Kubernetes中，对容器化的分布式任务定义资源请求和限制，作为资源需求；
将自适应调度策略转化为Kubernetes的容器调度策略，根据Kubernetes集群的情况和资源需求，动态调整任务的调度策略。
首先，通过引入Kubernetes作为资源虚拟化和容器化的平台，可以实现统一的管理和调度机制，简化分布式任务的部署和管理过程。其次，将分布式任务进行容器化，能够提高任务的可移植性和隔离性，使得任务能够在不同环境中一致地运行。容器化还可以简化部署流程，降低配置和依赖项管理的复杂性。接下来，通过在Kubernetes中定义资源请求和限制，可以确保任务获得所需的计算资源，并避免资源冲突和争用。同时，将自适应调度策略转化为Kubernetes的容器调度策略，能够根据集群的状态和资源需求，智能地进行任务调度决策，提高资源利用率和任务执行效率。
请参阅图10，使用结合深度学习和启发式搜索的混合智能方法，执行容器化部署方案，并生成调度优化报告的步骤具体为：
使用深度学习训练任务调度模型，学习任务调度的模式和规律；
设立启发式搜索算法，用于优化大规模搜索空间中的任务调度方案；
使用混合智能方法组合任务调度模型和启发式搜索算法，执行容器化部署方案，获得最优的任务调度解决方案；
基于上述步骤，生成调度优化报告，评估任务调度效果和资源利用情况。
首先，通过深度学习训练任务调度模型，能够准确学习任务调度的模式和规律，提高调度决策的准确性和效果。其次，启发式搜索算法能够优化大规模搜索空间中的任务调度方案，提高调度的速度和效率。将深度学习模型和启发式搜索算法结合起来，使用混合智能方法执行容器化部署方案，能够获得更精确和高效的任务调度解决方案。最后，通过生成调度优化报告，能够评估任务调度效果和资源利用情况，提供关键的指标和反馈，为进一步改进和优化任务调度提供指导。综上所述，使用混合智能方法执行容器化部署并生成调度优化报告，能够提高调度的准确性、效率和可优化性，为任务调度决策和优化提供有价值的支持。
工作原理：首先，使用Apache Kafka进行实时数据流的获取和管理，生成数据流快照，其中包括网络流量和系统日志。通过配置和启动Apache Kafka集群，创建相应的Kafka主题来管理实时数据流。通过配置网络流量捕获工具和系统日志记录器，将相关数据发送到Kafka主题中，从而生成数据流快照。接下来，使用Apache Spark对数据流快照进行预处理。利用Apache Spark提供的API，加载数据流快照，并对其进行去噪和归一化处理，以消除异常值和噪声，并将数据映射到统一的数值范围。这样的预处理步骤有助于提高数据质量，并为后续的计划调度优化提供高质量的数据集。在预处理后的数据集中，使用特征选择方法，如主成分分析(PCA)，提取关键特征向量。主成分分析能够将高维数据转化为低维的主成分，从中提取出关键信息，构建特征向量集。利用遗传算法构建初步的调度计划集合。基于特征向量集，使用遗传算法来设置调度计划的优化目标和适应度函数。通过随机生成调度计划的种群，并通过交叉和变异操作产生新的子代调度计划。通过适应度函数的评估和选择，选择最具优势的调度计划作为父代，进行迭代优化，最终得到初步的调度计划集合。针对多目标优化问题，使用NSGA-II多目标优化算法进行优化和约束处理。定义目标函数和约束条件，并计算每个调度计划的适应度值。对初步调度计划集合进行非支配排序和拥挤度计算，以获得优化调度计划的非支配解。通过选择操作、交叉操作和变异操作等迭代更新种群，最终得到一组优化的调度计划。使用Hadoop进行分布式任务划分和调度。将优化调度计划分解为细化的分布式任务，并根据耦合性、数据依赖性和可用资源进行任务划分和调度。利用Hadoop分布式计算框架，在Hadoop集群中并行处理分布式任务，并收集和整合任务的结果，获得分布式任务集。借助强化学习算法，基于分布式任务集生成自适应调度策略。定义状态和动作，并通过奖励函数评估调度策略的性能。在训练过程中，通过选择最优的动作和调整策略权重来优化调度策略。在实际运行中，根据当前状态动态选择最优的调度决策，并将分布式任务集分配给可用节点。使用Kubernetes进行资源虚拟化和容器化部署。将自适应调度策略转化为容器化部署方案。引入Kubernetes作为资源虚拟化和容器化平台，部署和配置Kubernetes集群。在集群中将分布式任务进行容器化，并定义任务的资源需求和限制。根据Kubernetes的容器调度策略和资源需求，动态调整任务的调度策略。最后，使用结合深度学习和启发式搜索的混合智能方法，执行容器化部署方案，并生成调度优化报告。结合深度学习模型和启发式搜索算法，执行容器化部署方案，得到最优的任务调度解决方案。根据执行结果生成调度优化报告，评估任务调度效果和资源利用情况，并为进一步的优化提供指导。
以上，仅是本发明的较佳实施例而已，并非对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (10)

1.基于大数据分析的计划调度优化方法，其特征在于，包括以下步骤：
使用Apache Kafka进行实时数据流的获取和管理，生成数据流快照，所述实时数据流包括网络流量、系统日志；
使用Apache Spark，对所述数据流快照进行包括去噪、归一化的预处理，获取处理后数据集；
使用具体为主成分分析的特征选择方法，从所述处理后数据集中提取特征向量，构建特征向量集；
使用遗传算法，根据所述特征向量集构建初步调度计划集合；
使用NSGA-II多目标优化算法，对所述初步调度计划集合进行多目标优化和约束处理，生成优化调度计划；
基于Hadoop对所述优化调度计划进行分布式任务划分和调度，将所述优化调度计划分解为分布式任务，集成分布式任务集；
使用强化学习基于所述分布式任务集，进行自适应调度策略的生成；
使用Kubernetes进行资源虚拟化和容器化部署，将所述自适应调度策略转化为容器化部署方案；
使用结合深度学习和启发式搜索的混合智能方法，执行所述容器化部署方案，并生成调度优化报告。
2.根据权利要求1所述的基于大数据分析的计划调度优化方法，其特征在于，所述使用Apache Kafka进行实时数据流的获取和管理，生成数据流快照，所述实时数据流包括网络流量、系统日志的步骤具体为：
配置和启动Apache Kafka集群，设置集群参数，所述集群参数包括副本因子、分区数；
使用Apache Kafka提供的命令行工具或编程接口，创建存储实时数据流的Kafka主题，定义主题的名称和配置；
配置tcpdump网络流量捕获工具，以监听网络上的数据流量，配置rsyslog系统日志记录器，将系统日志发送到Kafka主题；
创建Kafka消费者来消费主题中的数据流，在Kafka消费者中编写逻辑，实时处理数据流，并生成所述数据流快照。
3.根据权利要求1所述的基于大数据分析的计划调度优化方法，其特征在于，所述使用Apache Spark，对所述数据流快照进行包括去噪、归一化的预处理，获取处理后数据集的步骤具体为：
安装和配置Apache Spark集群，包括Master节点和Worker节点，设置Spark主目录、内存分配、并行度；
采用所述Apache Spark提供的API，从所述数据流快照中加载数据；
采用统计学方法对所述数据进行处理，去除异常值、噪声；
使用具体为最小-最大归一化的归一化方法将所述数据映射到统一的数值范围，消除数据之间的量纲差异，获取预处理数据；
将所述预处理数据转换为所述Apache Spark支持的DataFrame数据结构，集成所述预处理数据，获取处理后数据集。
4.根据权利要求1所述的基于大数据分析的计划调度优化方法，其特征在于，所述使用具体为主成分分析的特征选择方法，从所述处理后数据集中提取特征向量，构建特征向量集的步骤具体为：
使用主成分分析作为特征选择方法，在所述Apache Spark中使用MLlib库中提供的PCA模型来实现主成分分析；
使用所述PCA模型对处理后数据集的数据进行拟合和变换，从PCA模型中获取主成分，得到降维后的特征向量；
将提取的所述特征向量合并成特征向量集。
5.根据权利要求1所述的基于大数据分析的计划调度优化方法，其特征在于，所述使用遗传算法，根据所述特征向量集构建初步调度计划集合的步骤具体为：
在所述遗传算法中，设立所述初步调度计划的优化目标，并设置适应度函数；
设定所述遗传算法的参数，包括种群大小、迭代次数、交叉和变异的概率；
随机生成所述初步调度计划的种群，所述种群中每个调度计划由特征向量集表示；
使用所述适应度函数对所述种群中的调度计划进行评估，得到每个调度计划的适应度值；
根据适应度值选择靠前10％的所述调度计划作为父代调度计划，对所述父代调度计划进行交叉，生成一组新的调度计划作为子代调度计划，对所述子代调度计划进行变异，使用所述适应度函数对子代调度计划和变异后的子代调度计划进行评估；
循环上一步骤，并在达到最大迭代次数或优化目标后，根据适应度值选择靠前5％的调度计划作为所述初步调度计划集合。
6.根据权利要求1所述的基于大数据分析的计划调度优化方法，其特征在于，所述使用NSGA-II多目标优化算法，对所述初步调度计划集合进行多目标优化和约束处理，生成优化调度计划的步骤具体为：
在所述NSGA-II算法中，定义多目标优化问题的目标函数和约束条件，所述目标函数表示需要最大化或最小化的多个不相容的目标，所述约束条件表示调度问题中必须满足的限制条件；
调用所述初步调度计划集合，将所述初步调度计划集合中每个调度计划与对应的特征向量集关联；
基于所述目标函数和约束条件，计算每个调度计划的适应度值；
基于所述适应度值，对所述初步调度计划集合中每个调度计划进行非支配排序，将其划分成不同的非支配层级；
在所述非支配层级的每个层级内，计算每个调度计划的拥挤度，用于评估每个调度计划在目标空间的分布情况；
基于选择操作、交叉操作、变异操作来更新种群，并判断是否满足终止条件，在最大迭代次数或满足所述目标函数时，结束本步骤，基于所述适应度值、拥挤度选择最优的一组非支配解作为最终的优化调度计划。
7.根据权利要求1所述的基于大数据分析的计划调度优化方法，其特征在于，所述基于Hadoop对所述优化调度计划进行分布式任务划分和调度，将所述优化调度计划分解为分布式任务，集成分布式任务集的步骤具体为：
基于耦合性、数据依赖性因素，采用任务划分算法将所述优化调度计划划分为细化的分布式任务；
基于可用资源、负载平衡因素，调度所述分布式任务到Hadoop集群中的可用节点上执行；
在所述Hadoop集群中，使用Hadoop分布式计算框架在每个节点上并行处理调度到的所述分布式任务；
收集并整合每个节点上完成的分布式任务，得到分布式任务集。
8.根据权利要求1所述的基于大数据分析的计划调度优化方法，其特征在于，所述使用强化学习基于所述分布式任务集，进行自适应调度策略的生成的步骤具体为：
在所述强化学习中进行状态定义和动作定义，所述状态定义包括分布式任务集和调度环境的特征，具体为任务类型、任务数量、节点负载，所述动作定义指在给定状态下，可选的调度策略，包括任务调度顺序、节点的选择；
奖励函数综合调度目标、资源利用率、任务完成时间因素，量化所述调度策略的性能；
在所述强化学习的训练过程中，将定义的状态作为输入，根据选择的动作和奖励函数，优化所述调度策略，并调整所述调度策略的权重；
根据训练得到的策略，在实际运行中根据当前状态动态选择最优调度决策，将分布式任务集合分配给可用节点。
9.根据权利要求1所述的基于大数据分析的计划调度优化方法，其特征在于，所述使用Kubernetes进行资源虚拟化和容器化部署，将所述自适应调度策略转化为容器化部署方案的步骤具体为：
引入Kubernetes作为资源虚拟化和容器化部署的平台，部署和配置Kubernetes集群，包括Master节点和Worker节点的设置，管理分布式任务的运行环境；
将所述分布式任务进行容器化，创建Dockerfile和配置文件，将所述分布式任务包装为Docker镜像；
在所述Kubernetes中，对容器化的所述分布式任务定义资源请求和限制，作为资源需求；
将所述自适应调度策略转化为Kubernetes的容器调度策略，根据所述Kubernetes集群的情况和资源需求，动态调整任务的调度策略。
10.根据权利要求1所述的基于大数据分析的计划调度优化方法，其特征在于，所述使用结合深度学习和启发式搜索的混合智能方法，执行所述容器化部署方案，并生成调度优化报告的步骤具体为：
使用所述深度学习训练任务调度模型，学习任务调度的模式和规律；
设立所述启发式搜索算法，用于优化大规模搜索空间中的任务调度方案；
使用所述混合智能方法组合任务调度模型和启发式搜索算法，执行所述容器化部署方案，获得最优的任务调度解决方案；
基于上述步骤，生成调度优化报告，评估任务调度效果和资源利用情况。
CN202311049438.4A 2023-08-18 2023-08-18 基于大数据分析的计划调度优化方法 Withdrawn CN117076077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311049438.4A CN117076077A (zh) 2023-08-18 2023-08-18 基于大数据分析的计划调度优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311049438.4A CN117076077A (zh) 2023-08-18 2023-08-18 基于大数据分析的计划调度优化方法

Publications (1)

Publication Number Publication Date
CN117076077A true CN117076077A (zh) 2023-11-17

Family

ID=88712829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311049438.4A Withdrawn CN117076077A (zh) 2023-08-18 2023-08-18 基于大数据分析的计划调度优化方法

Country Status (1)

Country Link
CN (1) CN117076077A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117271099A (zh) * 2023-11-21 2023-12-22 山东师范大学 一种基于规则库的空间数据分析自动调度系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117271099A (zh) * 2023-11-21 2023-12-22 山东师范大学 一种基于规则库的空间数据分析自动调度系统及方法
CN117271099B (zh) * 2023-11-21 2024-01-26 山东师范大学 一种基于规则库的空间数据分析自动调度系统及方法

Similar Documents

Publication Publication Date Title
Ghobaei-Arani et al. A cost-efficient IoT service placement approach using whale optimization algorithm in fog computing environment
CN107888669B (zh) 一种基于深度学习神经网络的大规模资源调度系统及方法
Dong et al. A hybrid PSO/SA algorithm for bi-criteria stochastic line balancing with flexible task times and zoning constraints
CN110389820B (zh) 一种基于v-TGRU模型进行资源预测的私有云任务调度方法
EP3449323A1 (en) Using forecasting to control target systems
CN102624865A (zh) 集群负载预测方法及分布式集群管理系统
CN117076077A (zh) 基于大数据分析的计划调度优化方法
CN105868222A (zh) 一种任务调度方法及装置
CN113673857A (zh) 一种面向数据中台的服务感知与资源调度系统及方法
Colonetti et al. A novel cooperative multi-search benders decomposition for solving the hydrothermal unit-commitment problem
Li et al. Adaptive dimensional learning with a tolerance framework for the differential evolution algorithm
CN115309628A (zh) 一种基于强化学习的智能模糊测试方法、装置及系统
Gong et al. Evolutionary computation in China: A literature survey
RU2411574C2 (ru) Интеллектуальная грид-система для высокопроизводительной обработки данных
Pérez et al. Parallel/distributed implementation of cellular training for generative adversarial neural networks
CN108897608B (zh) 一种数据驱动可扩展的智能通用任务调度系统
Kinneer et al. Building reusable repertoires for stochastic self-* planners
Scheutz et al. An Overview of the SimWorld Agent‐Based Grid Experimentation System
Prado et al. On providing quality of service in grid computing through multi-objective swarm-based knowledge acquisition in fuzzy schedulers
Zhan et al. An automatic heuristic design approach for seru scheduling problem with resource conflicts
Du et al. OctopusKing: A TCT-aware task scheduling on spark platform
Quan et al. Multi-objective evolutionary scheduling based on collaborative virtual workflow model and adaptive rules for flexible production process with operation reworking
CN110689320A (zh) 一种基于协同进化算法的大规模多目标项目调度方法
Zhao et al. Model for Selecting Optimal Dispatching Rules Based Real‐time Optimize Job Shop Scheduling Problem
Yokoyama et al. Priority rule-based construction procedure combined with genetic algorithm for flexible job-shop scheduling problem

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20231117

WW01 Invention patent application withdrawn after publication