CN111651220A - 一种基于深度强化学习的Spark参数自动优化方法及系统 - Google Patents

一种基于深度强化学习的Spark参数自动优化方法及系统 Download PDF

Info

Publication number
CN111651220A
CN111651220A CN202010501737.7A CN202010501737A CN111651220A CN 111651220 A CN111651220 A CN 111651220A CN 202010501737 A CN202010501737 A CN 202010501737A CN 111651220 A CN111651220 A CN 111651220A
Authority
CN
China
Prior art keywords
parameter
parameters
spark
data
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010501737.7A
Other languages
English (en)
Other versions
CN111651220B (zh
Inventor
杜海舟
韩平
张少华
张可可
钱金谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University of Electric Power
Original Assignee
Shanghai University of Electric Power
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai University of Electric Power filed Critical Shanghai University of Electric Power
Priority to CN202010501737.7A priority Critical patent/CN111651220B/zh
Publication of CN111651220A publication Critical patent/CN111651220A/zh
Application granted granted Critical
Publication of CN111651220B publication Critical patent/CN111651220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44568—Immediately runnable code
    • G06F9/44578—Preparing or optimising for loading
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3447—Performance evaluation by modeling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/865—Monitoring of software
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明公开了一种基于深度强化学习的Spark参数自动优化方法及系统，包括，采集Spark运行的原始数据并进行数据预处理；利用PCA+Lasso结合策略对预处理后的数据进行特征过滤和选择，计算特征参数权重得到关键参数；利用关键参数构建基于深度Q网络的参数自动优化模型；对参数自动优化模型进行训练并输出调优结果，得到当前环境下的最优参数配置组合以调控Spark作业运行。本发明通过参数优化策略能够有效地处理Spark平台的参数在线优化问题，优化后的参数配置可以大幅度的提升作业性能，且效果随着作业规模的增加而更加显著，能够有效解决类似大数据平台的参数优化问题，利用Lasso特征选择策略自动选择关键的配置参数，在剔除无用参数的同时提升工作效率。

Description

一种基于深度强化学习的Spark参数自动优化方法及系统
技术领域
本发明涉及大数据技术领域，尤其涉及一种基于深度强化学习的Spark参数自动化优化方法及系统。
背景技术
随着大数据时代海量数据的增长，传统计算模型已经逐渐无法满足性能和效率等各方面要求，从而涌现出一批出色的大数据分析与处理平台，Spark是其中典型代表。然而，Spark在性能问题上存在一些短板，其作业运行环境会受多方面因素影响，包括底层硬件、体系结构、操作系统、多样化的程序等。这些复杂的因素让提升性能变得非常艰难，很多时候用户因为不了解Spark的执行机制而无法突破性能优化问题的瓶颈。参数优化是Spark性能优化的一个重要分支。相关参数的设置会直接影响Spark的作业性能，合理地调整参数有助于开发高性能计算，但这是有难度的。
Spark的执行引擎已经发展成为一个具有多个可配置参数且高效复杂的系统，并且参数的影响可能因应用程序或集群等因素而异。此外，用户可以根据特定的应用需求来调整参数。另外Spark平台的参数之间不是独立的，一个参数的变化可能会对其他参数的取值造成影响，这也给自动识别适用于广泛应用的最佳参数配置带来了挑战。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的技术问题是：无法合理有效地提高Spark作业性能。
为解决上述技术问题，本发明提供如下技术方案：包括，采集Spark运行的原始数据并进行数据预处理；利用PCA+Lasso结合策略对预处理后的所述数据进行特征过滤和选择，计算特征参数权重得到关键参数；利用所述关键参数构建基于深度Q网络的参数自动优化模型；对所述参数自动优化模型进行训练并输出调优结果，得到当前环境下的最优参数配置组合以调控所述Spark作业运行。
作为本发明所述的一种基于深度强化学习的Spark参数自动化优化方法的一种优选方案，其中：构建所述参数自动优化模型包括，利用所述关键参数构建基于DQN的所述参数自动优化模型；收集所述Spark作业运行的日志获取参数信息，结合Spark集群环境确定所需调优的参数及其取值范围，将非数值型参数转换为数值型参数；将所述数值型参数的各个取值转换为深度强化学习中的状态空间，对每个所述状态设定增大、减小、不变三种动作；依次选取所述动作开始执行作业，作业完成后获得相应的奖励；提取所述参数自动优化模型停止时的参数状态和动作情况，获得对应的所述最优参数配置。
作为本发明所述的一种基于深度强化学习的Spark参数自动化优化方法的一种优选方案，其中：训练所述参数自动优化模型包括，接收所述原始参数确定参数取值范围，对参数数据进行预处理；将所述参数的各个取值转换为对应的状态，定义状态转换的步长为1，且仅允许相邻的状态之间进行转换；从每个所述状态开始，随机选取一个所述动作开始执行所述作业；直至所述作业运行全部结束后，得到其相对于默认参数配置的作业完成时间变化情况，根据所述变化情况获得奖励；重新调整所述动作得到新的所述参数配置，再次执行作业记录奖励变化情况，直到所得奖励值满足最大累积奖励公式；当所述参数自动优化模型稳定或停止时，所述状态和所述动作则不会再发生变化，训练完成，输出所述参数自动优化模型。
作为本发明所述的一种基于深度强化学习的Spark参数自动化优化方法的一种优选方案，其中：所述参数设置包括，学习率0.01、折扣因子0.9、记忆池D 500和概率ε0.9；每隔300步替换一次目标网络的所述参数，且从所述记忆池D批量随机选择的样本数量为32。
作为本发明所述的一种基于深度强化学习的Spark参数自动化优化方法的一种优选方案，其中：获得所述关键参数包括，基于聚类策略利用所述PCA删除所述数据中的无关特征参数；结合所述Lasso计算过滤后的所有相关特征参数的权重；依次比对计算后的所述权重，判断所述相关特征参数对所述Spark平台作业运行性能的影响；所述权重越大则影响越大，定义与较大所述权重相对应的所述相关特征参数作为所述关键参数。
作为本发明所述的一种基于深度强化学习的Spark参数自动化优化方法的一种优选方案，其中：计算所述权重，具体包括，在所述Lasso中设置高惩罚因子并结合损失函数计算，使得全部的所述权重均为零；基于所述原始数据中的历史数据构建一组自变量和因变量，其中，所述自变量是所述Spark平台的参数，所述因变量是所述参数对应的作业完成时间；控制所述自变量的增量减小惩罚强度以区分非零权重和零权重，并根据数值大小进行排序。
作为本发明所述的一种基于深度强化学习的Spark参数自动化优化方法的一种优选方案，其中：预处理所述原始数据包括，利用One-Hot编码策略将所述原始数据中的参数数据转换为统一的虚拟变量；标准化所述虚拟变量，减去其平均值并除以标准差，使得所述参数的不同配置值由数学数值替代，形成所述数值型参数。
作为本发明所述的一种基于深度强化学习的Spark参数自动化优化方法的一种优选方案，其中：采集所述原始数据包括，在所述Spark平台上运行不同类型的作业，获取不同参数配置下的作业完成时间，整理得到原始参数数据信息；利用所述原始参数数据信息分析归纳所述Spark平台的所有可配置参数，筛除对作业性能无关的参数；结合参数调优准则初步确定一组可能对所述Spark作业性能有较大影响的参数候选子集。
作为本发明所述的一种基于深度强化学习的Spark参数自动化优化方法的一种优选方案，其中：所述原始数据包括，作业类型、参数配置、完成时间。
作为本发明所述的一种基于深度强化学习的Spark参数自动化优化系统的一种优选方案，其中：包括，采集模块，用于收集所述原始参数数据信息，获取所述Spark平台作业运行配置参数；数据处理中心模块，用于接收、计算、存储、输出待处理的参数和权重数据，其包括运算单元、数据库和输入输出管理单元，所述运算单元与所述采集模块相连接，用于接收所述采集模块获取的参数信息，对其进行参数筛选、权重计算和排序，所述数据库连接于各个模块，用于存储接收的所有数据信息，为所述数据处理中心模块提供调配供应服务，所述输入输出管理单元用于接收各个模块的信息并输出所述运算单元的运算结果；控制模块与所述数据处理中心模块相连接，其用于接收所述数据处理中心模块输出的运算结果以调配参数配置控制所述Spark平台作业运行；显示模块连接于所述控制模块，其用于展示所述控制模块接收的所述运算结果以及控制所述Spark平台作业运行结果。
本发明的有益效果：本发明通过参数优化策略能够有效地处理Spark平台的参数在线优化问题，相较于默认参数配置，优化后的参数配置可以大幅度的提升作业性能，且效果随着作业规模的增加而更加显著，能够有效解决类似大数据平台的参数优化问题；另一方面利用Lasso特征选择策略自动选择关键的配置参数，在剔除无用参数的同时提升工作效率，通过建立的历史信息库存储产生的数据，能够极大程度的提高历史数据的复用性，降低Spark环境的运行压力；且本发明具有一定的通用性，能够扩展到其他大数据分析和处理平台的配置参数优化问题中进行应用。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明第一个实施例所述的一种基于深度强化学习的Spark参数自动化优化方法的流程示意图；
图2为本发明第一个实施例所述的一种基于深度强化学习的Spark参数自动化优化方法的单参数调优运行结果示意图；
图3为本发明第一个实施例所述的一种基于深度强化学习的Spark参数自动化优化方法的参数组合调优运行结果示意图；
图4为本发明第一个实施例所述的一种基于深度强化学习的Spark参数自动化优化方法的不同作业大小条件下的性能提升情况示意图；
图5为本发明第一个实施例所述的一种基于深度强化学习的Spark参数自动化优化方法的收敛性测试结果示意图；
图6为本发明第一个实施例所述的一种基于深度强化学习的Spark参数自动化优化方法的本发明方法与传统方法测试对比示意图；
图7为本发明第二个实施例所述的一种基于深度强化学习的Spark参数自动化优化系统的模块结构分布示意图；
图8为本发明第二个实施例所述的一种基于深度强化学习的Spark参数自动化优化系统的网络拓扑结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1～图6，为本发明的第一个实施例，该实施例提供了一种基于深度强化学习的Spark参数自动优化方法，包括：
S1：采集Spark运行的原始数据并进行数据预处理。其中需要说明的是，采集原始数据包括：
在Spark平台上运行不同类型的作业，获取不同参数配置下的作业完成时间，整理得到原始参数数据信息；
利用原始参数数据信息分析归纳Spark平台的所有可配置参数，筛除对作业性能无关的参数；
结合参数调优准则初步确定一组可能对Spark作业性能有较大影响的参数候选子集。
进一步的，预处理原始数据包括：
利用One-Hot编码策略将原始数据中的参数数据转换为统一的虚拟变量；
标准化虚拟变量，减去其平均值并除以标准差，使得参数的不同配置值由数学数值替代，形成数值型参数。
S2：利用PCA+Lasso结合策略对预处理后的数据进行特征过滤和选择，计算特征参数权重得到关键参数。本步骤需要说明的是，计算权重，具体包括：
在Lasso中设置高惩罚因子并结合损失函数计算，使得全部的权重均为零；
基于原始数据中的历史数据构建一组自变量和因变量，其中，自变量是Spark平台的参数，因变量是参数对应的作业完成时间；
控制自变量的增量减小惩罚强度以区分非零权重和零权重，并根据数值大小进行排序。
进一步的是，获得关键参数包括：
基于聚类策略利用PCA删除数据中的无关特征参数；
结合Lasso计算过滤后的所有相关特征参数的权重；
依次比对计算后的权重，判断相关特征参数对Spark平台作业运行性能的影响；
权重越大则影响越大，定义与较大权重相对应的相关特征参数作为关键参数。
S3：利用关键参数构建基于深度Q网络的参数自动优化模型。其中还需要说明的是，构建参数自动优化模型包括：
利用关键参数构建基于DQN的参数自动优化模型；
收集Spark作业运行的日志获取参数信息，结合Spark集群环境确定所需调优的参数及其取值范围，将非数值型参数转换为数值型参数；
将数值型参数的各个取值转换为深度强化学习中的状态空间，对每个状态设定增大、减小、不变三种动作；
依次选取动作开始执行作业，作业完成后获得相应的奖励；
提取参数自动优化模型停止时的参数状态和动作情况，获得对应的最优参数配置。
S4：对参数自动优化模型进行训练并输出调优结果，得到当前环境下的最优参数配置组合以调控Spark作业运行。本步骤还需要说明的是，训练参数自动优化模型包括：
接收原始参数确定参数取值范围，对参数数据进行预处理；
将参数的各个取值转换为对应的状态，定义状态转换的步长为1，且仅允许相邻的状态之间进行转换；
从每个状态开始，随机选取一个动作开始执行作业；
直至作业运行全部结束后，得到其相对于默认参数配置的作业完成时间变化情况，根据变化情况获得奖励；
重新调整动作得到新的参数配置，再次执行作业记录奖励变化情况，直到所得奖励值满足最大累积奖励公式；
当参数自动优化模型稳定或停止时，状态和动作则不会再发生变化，训练完成，输出参数自动优化模型。
较佳的是，参数设置包括：
学习率0.01、折扣因子0.9、记忆池D 500和概率ε0.9；
每隔300步替换一次目标网络的参数，且从记忆池D批量随机选择的样本数量为32。
通俗地说，Spark的每个参数都有一定的变化范围，因此将状态空间设置为关键参数的所有有效值的集合，动作空间包括调整关键参数的操作，而奖励是执行Spark作业后的性能提高情况，性能由JCT表示，例如，Agent位于环境中，在时间t下某个状态St采取动作At到达下一个状态St+1，并同时获得相应的奖励Rt，Agent在St+1采取行动，获得新的状态并获得奖励。
具体的，状态空间包含参数调整方案中的所有状态，而参数使用其有效值来表示状态，由于还考虑了不同的工作负载，因此还包括诸如作业类型和作业大小之类的信息，例如，para1，para2，...，paraN，Jtype，Jsize；而动作空间是执行的所有操作的组合，处理后的参数值均为数值类型，对于每个数值型参数，可采取三种调整操作(增加、减少和保持不变)，因此，使用包含这三个动作的动作空间来描述状态之间的转变；奖励是对agent的反馈，以了解其行为的良好程度，奖励在作业运行结束后获得，在时间步长t处，奖励的值取决于通过采取特定动作而获得的一组新配置参数下的作业完成时间与默认配置参数下的作业完成时间的比值，若比值小于1则奖励记为1，若比值大于1则奖励记为-1，其他情况奖励记为0。
较佳的是，在当前状态St下采取行动At到下一个状态St+1，获得的奖励由价值函数Q(s,a)表示，在Q学习策略开始时，初始化在每个状态下执行每个动作而获得的Q值，引入阶跃因子α，用于调整和更新Q值的大小，则Q(s,a)更新如下，
Q(s,a)＝Q(s,a)+α(r+γQ(s',a')-Q(s,a)
其中，r：对下一个状态采取行动a的奖励，γ：折扣因子，s和a代表当前状态和行动，s'和a'分别代表下一个状态和动作。
对于状态空间较大的问题，例如参数调优，则利用DQN解决，它的Q值是由称为Q网络的神经网络计算的，在多次实验中，最优动作价值函数Q*(s',a')为Q(s,a)＝Es'～ε[r+γmaxQ*(s',a')|s,a]
多次实验获得多个Q值，在实验中，当实验次数逐渐趋于无穷多次时，该期望值逐渐趋于真实的Q(s,a)取值，在DQN中，每个Q值都是通过网络估算的，如下，
Q(s,a；θ)≈Q*(s,a)
DQN的输入是与状态相对应的状态向量，输出是此状态下所有动作的动作值函数Q，DQN引入经验回放机制，保存每次与环境交互获得的奖励和状态更新，以用于目标Q值的后续更新，利用经验回放获得的目标Q值和通过Q网络计算的Q值中存在误差，引入损失函数Li以使错误最小化，如下，
Li(θi)＝Es,a～ρ(.)[yi-Q(s,a；θ))2]
其中，yi＝Es'～ε[r+γmaxQ(s',a'|θ-)|s,a]，当在计算yi的值时候，使用的是上一次网络更新以后的参数θ-。
优选的，本发明方法提出使用Lasso特征选择策略来自动选择关键的配置参数，对一百多个可配置参数进行分类，剔除了一些诸如应用程序名称这样的对性能不会有影响的参数，由于参数类别的多样性导致参数取值和单位有很大差异，所以采取One-Hot编码策略进行参数预处理，为了提升效率采取两层降维，首先使用PCA初步降维，对结果进行Lasso特征选择(Lasso可以将参数对性能影响的程度用权重直观地表达出来，并且可以将对性能无关的参数权重变为0，所以可以通过权重是否为0来判断参数对性能是否有影响并根据权重大小对关键参数进行排序)；另一方面，本发明还提出了在配置参数优化的过程中建立一个历史信息库，将每次Spark作业在运行过程中产生的有效信息实时地存储在数据库中，将Lasso计算所得的参数及其权重保存在历史信息库中，若是在同种环境同一作业的参数调优可直接参考历史数据库的参数信息，而不必在Spark平台再次运行作业，能够极大程度的提高历史数据的复用性，并降低环境的运行压力；同时，本发明方法提供的参数优化策略具有通用性，能够扩展到其他大数据分析和处理平台的配置参数优化问题上，例如Hadoop，Storm，尽管不同的平台之间在结构上会存在差异性，但对于各个平台配置参数的优化问题，其解决思路都是一致的，所以使用深度强化学习算法进行参数优化是通用的。
为了证明本实施例参数优化策略在Spark平台上的有效性，本实施例设计了以下实验，所有实验均在包含一个主节点和九个从属节点的十节点Spark集群上进行，每个节点还具有相同的软件堆栈：Ubuntu 14.04.3，Spark 2.2.0，Hadoop2.7.2，Hibench 7.0，Java1.8.0，Scala 2.11.4，集群中存在两种硬件配置。
(1)计算权重选择关键参数
本步骤研究Spark的175个可配置参数，通过对这些参数的研究了解到Spark的配置参数很大一部分不会影响作业的性能，如相关文件的名称、存储路径等，又或者是与是否启用某个功能相关，但该功能和性能明显没有联系，根据分类结果排除了120个参数，最终得到包含55个参数的候选子集，然后收集这些参数有关的作业数据作为原始数据样本，并将其输入到针对不同作业类型的参数选择模块中，经过数据预处理和特征选择后，计算得到每个参数特征的权重，选择前10个参数作为实验对象，如下：
表1：四种不同类型的作业的参数权重表。
参数 WordCount Sort PageRank Kmeans
driver.cores 1.432 3.107 2.008 1.417
driver.memory 3.256 2.842 3.119 2.705
executor.cores 3.558 3.034 3.284 2.988
executor.memory 2.437 2.977 2.341 2.602
default.parallelism 2.156 2.235 1.704 2.430
serializer 2.607 2.429 1.834 2.017
rdd.compress 1.093 0.998 1.024 0.968
shuffle.compress 3.647 0.826 2.034 1.287
shuffle.spill.compress 1.894 3.227 2.736 2.304
reducer.maxSizeInflight 2.808 2.360 2.489 2.542
(2)单参数优化
在单参数优化中调整十个参数以确定它们对作业性能的影响，相关的参数对应不同作业的运行时间(单位：s)见表2。实验结果表明，参数调整是有用的，这十个参数对性能的影响在5％到35％的范围内，如下：
表2.：四种作业的单参数调优的完成时间表。
Figure BDA0002525074150000101
Figure BDA0002525074150000111
(3)参数组合优化效果
本步骤主要研究参数组合调整，因为性能同时受多个参数影响，实验表明，本发明方法有效地调整参数组合，显著提高性能，使用默认的作业大小3.2G，四种不同类型的作业的性能结果如图3所示，能够直观的看出，Wordcount性能平均提高了24.8％，Sort性能平均提高了19.7％，PageRank性能平均提高了18.5％，Kmeans性能平均提高了21.7％。
(4)不同作业大小的参数优化情况
本部分研究作业大小与参数调整之间的关系。参照图4，其显示了针对不同作业大小的四个基准的性能变化，其中，图(a)显示了WordCount的优化效果，当作业大小为1G时，WordCount的性能提升为22.7％，而当作业大小为5G时，WordCount的性能提升为26.4％；图(b)表示Sort基准的优化效果，当作业大小为1G时，Sort的性能提升为20.6％，而当作业大小为5G时，Sort的性能提升为25.5％；图(c)表示PageRank的优化效果，它说明了在作业大小为1G时，PageRank的性能提升为21.2％，在作业大小为5G时，PageRank的性能提升为24.4％；图(d)显示了Kmeans的优化效果，当作业大小为1G时，Kmeans的性能提升为20.7％，而当作业大小为5G时，Kmeans的性能提升为22.9％；综上，随着作业大小的增加，性能提升的效果更加明显。
(5)收敛性测试
为了证明本发明方法的收敛性，在作业平台上以相同的工作量和相同的数据大小对4种类型的应用程序运行了十次，Sort应用程序的数据大小为320MB，WordCount应用程序的数据大小为3.2GB，Pagerank应用程序的数据大小为3.6GB，K-means应用程序的数据大小为3.6GB，参照图5，显示了本发明方法在单个异构集群中针对不同应用程序的作业完成时间，结果表明，本发明方法在异构应用中实现了更好的收敛趋势。
(6)与其他算法对比
本部分将参数优化策略与其他两种机器学习方法进行了比较，包括C5.0决策树和朴素贝叶斯，参照图6，显示了本发明方法在不同应用中几乎达到了所有最佳标准误差，由此得出一个结论，WordCount性能平均提高了24.8％，Sort性能平均提高了19.7％，PageRank性能平均提高了18.5％，Kmeans性能平均提高了21.7％；结果表明本发明方法在异构环境中比其他方法具有更好的性能改进。
综上，本实施例的参数优化策略能有效处理Spark平台的配置参数优化问题，利用深度强化学习算法可以在一定程度上优化离线参数调优工作的缺陷和不足，进一步提高参数优化工作的准确性，同时，该优化策略具有通用性，可以扩展到其他大数据分析平台。
实施例2
参照图7和图8，为本发明的第二个实施例，该实施例不同于第一个实施例的是，提供了一种基于深度强化学习的Spark参数自动优化系统，包括：
采集模块100，用于收集原始参数数据信息，获取Spark平台作业运行配置参数。
数据处理中心模块200，用于接收、计算、存储、输出待处理的参数和权重数据，其包括运算单元201、数据库202和输入输出管理单元203，运算单元201与采集模块100相连接，用于接收采集模块100获取的参数信息，对其进行参数筛选、权重计算和排序，数据库202连接于各个模块，用于存储接收的所有数据信息，为数据处理中心模块200提供调配供应服务，输入输出管理单元203用于接收各个模块的信息并输出运算单元201的运算结果。
控制模块300与数据处理中心模块200相连接，其用于接收数据处理中心模块200输出的运算结果以调配参数配置控制Spark平台作业运行。
显示模块400连接于控制模块300，其用于展示控制模块300接收的运算结果以及控制Spark平台作业运行结果。
需要说明的是，数据处理中心模块200主要分为三个层次，包括控制层、运算层及存储层，控制层是数据处理中心模块200的指挥控制中心，由指令寄存器IR、指令译码器ID和操作控制器OC组成，控制层能够根据用户预先编好的程序，依次从存储器中取出各条指令，放在指令寄存器IR中，通过指令译码器分析确定，通知操作控制器OC进行操作，按照确定的时序向相应的部件发出微操作控制信号；运算层是数据处理中心模块200的核心，能够执行算术运算(如加减乘除及其附加运算)和逻辑运算(如移位、逻辑测试或两个值比较)，其连接于控制层，通过接受控制层的控制信号进行运算操作；存储层是数据处理中心模块200的数据库，能够存放数据(待处理及已经处理过的数据)。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文步骤的指令或程序时，本文的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明的方法和技术编程时，本发明还包括计算机本身。计算机程序能够应用于输入数据以执行本文的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
如在本申请所使用的，术语“组件”、“模块”、“系统”等等旨在指代计算机相关实体，该计算机相关实体可以是硬件、固件、硬件和软件的结合、软件或者运行中的软件。例如，组件可以是，但不限于是：在处理器上运行的处理、处理器、对象、可执行文件、执行中的线程、程序和/或计算机。作为示例，在计算设备上运行的应用和该计算设备都可以是组件。一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中以及/或者分布在两个或更多个计算机之间。此外，这些组件能够从在其上具有各种数据结构的各种计算机可读介质中执行。这些组件可以通过诸如根据具有一个或多个数据分组(例如，来自一个组件的数据，该组件与本地系统、分布式系统中的另一个组件进行交互和/或以信号的方式通过诸如互联网之类的网络与其它系统进行交互)的信号，以本地和/或远程过程的方式进行通信。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于深度强化学习的Spark参数自动优化方法，其特征在于：包括，
采集Spark运行的原始数据并进行数据预处理；
利用PCA+Lasso结合策略对预处理后的所述数据进行特征过滤和选择，计算特征参数权重得到关键参数；
利用所述关键参数构建基于深度Q网络的参数自动优化模型；
对所述参数自动优化模型进行训练并输出调优结果，得到当前环境下的最优参数配置组合以调控所述Spark作业运行。
2.根据权利要求1所述的基于深度强化学习的Spark参数自动优化方法，其特征在于：构建所述参数自动优化模型包括，
利用所述关键参数构建基于DQN的所述参数自动优化模型；
收集所述Spark作业运行的日志获取参数信息，结合Spark集群环境确定所需调优的参数及其取值范围，将非数值型参数转换为数值型参数；
将所述数值型参数的各个取值转换为深度强化学习中的状态空间，对每个所述状态设定增大、减小、不变三种动作；
依次选取所述动作开始执行作业，作业完成后获得相应的奖励；
提取所述参数自动优化模型停止时的参数状态和动作情况，获得对应的所述最优参数配置。
3.根据权利要求1或2所述的基于深度强化学习的Spark参数自动优化方法，其特征在于：训练所述参数自动优化模型包括，
接收所述原始参数确定参数取值范围，对参数数据进行预处理；
将所述参数的各个取值转换为对应的状态，定义状态转换的步长为1，且仅允许相邻的状态之间进行转换；
从每个所述状态开始，随机选取一个所述动作开始执行所述作业；
直至所述作业运行全部结束后，得到其相对于默认参数配置的作业完成时间变化情况，根据所述变化情况获得奖励；
重新调整所述动作得到新的所述参数配置，再次执行作业记录奖励变化情况，直到所得奖励值满足最大累积奖励公式；
当所述参数自动优化模型稳定或停止时，所述状态和所述动作则不会再发生变化，训练完成，输出所述参数自动优化模型。
4.根据权利要求3所述的基于深度强化学习的Spark参数自动优化方法，其特征在于：所述参数设置包括，
学习率0.01、折扣因子0.9、记忆池D 500和概率ε0.9；
每隔300步替换一次目标网络的所述参数，且从所述记忆池D批量随机选择的样本数量为32。
5.根据权利要求4所述的基于深度强化学习的Spark参数自动优化方法，其特征在于：获得所述关键参数包括，
基于聚类策略利用所述PCA删除所述数据中的无关特征参数；
结合所述Lasso计算过滤后的所有相关特征参数的权重；
依次比对计算后的所述权重，判断所述相关特征参数对所述Spark平台作业运行性能的影响；
所述权重越大则影响越大，定义与较大所述权重相对应的所述相关特征参数作为所述关键参数。
6.根据权利要求5所述的基于深度强化学习的Spark参数自动优化方法，其特征在于：计算所述权重，具体包括，
在所述Lasso中设置高惩罚因子并结合损失函数计算，使得全部的所述权重均为零；
基于所述原始数据中的历史数据构建一组自变量和因变量，其中，所述自变量是所述Spark平台的参数，所述因变量是所述参数对应的作业完成时间；
控制所述自变量的增量减小惩罚强度以区分非零权重和零权重，并根据数值大小进行排序。
7.根据权利要求6所述的基于深度强化学习的Spark参数自动优化方法，其特征在于：预处理所述原始数据包括，
利用One-Hot编码策略将所述原始数据中的参数数据转换为统一的虚拟变量；
标准化所述虚拟变量，减去其平均值并除以标准差，使得所述参数的不同配置值由数学数值替代，形成所述数值型参数。
8.根据权利要求1或7所述的基于深度强化学习的Spark参数自动优化方法，其特征在于：采集所述原始数据包括，
在所述Spark平台上运行不同类型的作业，获取不同参数配置下的作业完成时间，整理得到原始参数数据信息；
利用所述原始参数数据信息分析归纳所述Spark平台的所有可配置参数，筛除对作业性能无关的参数；
结合参数调优准则初步确定一组可能对所述Spark作业性能有较大影响的参数候选子集。
9.根据权利要求8所述的基于深度强化学习的Spark参数自动优化方法，其特征在于：所述原始数据包括，作业类型、参数配置、完成时间。
10.一种基于深度强化学习的Spark参数自动优化系统，其特征在于：包括，
采集模块(100)，用于收集所述原始参数数据信息，获取所述Spark平台作业运行配置参数；
数据处理中心模块(200)，用于接收、计算、存储、输出待处理的参数和权重数据，其包括运算单元(201)、数据库(202)和输入输出管理单元(203)，所述运算单元(201)与所述采集模块(100)相连接，用于接收所述采集模块(100)获取的参数信息，对其进行参数筛选、权重计算和排序，所述数据库(202)连接于各个模块，用于存储接收的所有数据信息，为所述数据处理中心模块(200)提供调配供应服务，所述输入输出管理单元(203)用于接收各个模块的信息并输出所述运算单元(201)的运算结果；
控制模块(300)与所述数据处理中心模块(200)相连接，其用于接收所述数据处理中心模块(200)输出的运算结果以调配参数配置控制所述Spark平台作业运行；
显示模块(400)连接于所述控制模块(300)，其用于展示所述控制模块(300)接收的所述运算结果以及控制所述Spark平台作业运行结果。
CN202010501737.7A 2020-06-04 2020-06-04 一种基于深度强化学习的Spark参数自动优化方法及系统 Active CN111651220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010501737.7A CN111651220B (zh) 2020-06-04 2020-06-04 一种基于深度强化学习的Spark参数自动优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010501737.7A CN111651220B (zh) 2020-06-04 2020-06-04 一种基于深度强化学习的Spark参数自动优化方法及系统

Publications (2)

Publication Number Publication Date
CN111651220A true CN111651220A (zh) 2020-09-11
CN111651220B CN111651220B (zh) 2023-08-18

Family

ID=72347168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010501737.7A Active CN111651220B (zh) 2020-06-04 2020-06-04 一种基于深度强化学习的Spark参数自动优化方法及系统

Country Status (1)

Country Link
CN (1) CN111651220B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115322A (zh) * 2020-09-25 2020-12-22 平安科技（深圳）有限公司 用户分群方法、装置、电子设备及存储介质
CN112328254A (zh) * 2020-10-22 2021-02-05 武汉达梦数据库有限公司 一种数据同步软件的性能优化方法与装置
CN113132482A (zh) * 2021-04-13 2021-07-16 河海大学 一种基于强化学习的分布式消息系统参数自适应优化方法
CN114048027A (zh) * 2021-10-21 2022-02-15 中国科学技术大学 一种应用于超算集群调度的作业运行参数优化方法
CN114443054A (zh) * 2022-01-28 2022-05-06 北京京东振世信息技术有限公司 用于生成信息的方法和装置
KR102488270B1 (ko) * 2022-08-09 2023-01-18 주식회사 데이터스트림즈 효율적인 스파크 잡 실행을 위한 하이브리드 스파크 클러스터 관리 방법 및 시스템
CN118195301A (zh) * 2024-03-14 2024-06-14 华东师范大学 一种飞机重着陆模式确定方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868019A (zh) * 2016-02-01 2016-08-17 中国科学院大学 一种Spark平台性能自动优化方法
CN106095942A (zh) * 2016-06-12 2016-11-09 腾讯科技（深圳）有限公司 强变量提取方法及装置
CN108932671A (zh) * 2018-06-06 2018-12-04 上海电力学院 一种采用深度q神经网络调参的lstm风电负荷预测方法
CN109960578A (zh) * 2017-12-22 2019-07-02 田文洪 一种基于深度强化学习的数据中心资源离线调度方法
CN110083860A (zh) * 2019-03-13 2019-08-02 东北大学 一种基于相关变量选择的工业故障诊断方法
CN110083797A (zh) * 2019-04-19 2019-08-02 大禹节水集团股份有限公司 一种滴灌管生产线异常实时监测方法及系统
CN110289096A (zh) * 2019-06-28 2019-09-27 电子科技大学 一种基于深度学习的icu院内死亡率预测方法
CN110825522A (zh) * 2019-10-31 2020-02-21 武汉联图时空信息科技有限公司 Spark参数自适应优化方法及系统
CN110930016A (zh) * 2019-11-19 2020-03-27 三峡大学 一种基于深度q学习的梯级水库随机优化调度方法
CN111176832A (zh) * 2019-12-06 2020-05-19 重庆邮电大学 基于内存计算框架Spark的性能优化和参数配置方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868019A (zh) * 2016-02-01 2016-08-17 中国科学院大学 一种Spark平台性能自动优化方法
CN106095942A (zh) * 2016-06-12 2016-11-09 腾讯科技（深圳）有限公司 强变量提取方法及装置
CN109960578A (zh) * 2017-12-22 2019-07-02 田文洪 一种基于深度强化学习的数据中心资源离线调度方法
CN108932671A (zh) * 2018-06-06 2018-12-04 上海电力学院 一种采用深度q神经网络调参的lstm风电负荷预测方法
CN110083860A (zh) * 2019-03-13 2019-08-02 东北大学 一种基于相关变量选择的工业故障诊断方法
CN110083797A (zh) * 2019-04-19 2019-08-02 大禹节水集团股份有限公司 一种滴灌管生产线异常实时监测方法及系统
CN110289096A (zh) * 2019-06-28 2019-09-27 电子科技大学 一种基于深度学习的icu院内死亡率预测方法
CN110825522A (zh) * 2019-10-31 2020-02-21 武汉联图时空信息科技有限公司 Spark参数自适应优化方法及系统
CN110930016A (zh) * 2019-11-19 2020-03-27 三峡大学 一种基于深度q学习的梯级水库随机优化调度方法
CN111176832A (zh) * 2019-12-06 2020-05-19 重庆邮电大学 基于内存计算框架Spark的性能优化和参数配置方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112115322A (zh) * 2020-09-25 2020-12-22 平安科技（深圳）有限公司 用户分群方法、装置、电子设备及存储介质
CN112115322B (zh) * 2020-09-25 2024-05-07 平安科技（深圳）有限公司 用户分群方法、装置、电子设备及存储介质
CN112328254A (zh) * 2020-10-22 2021-02-05 武汉达梦数据库有限公司 一种数据同步软件的性能优化方法与装置
CN113132482A (zh) * 2021-04-13 2021-07-16 河海大学 一种基于强化学习的分布式消息系统参数自适应优化方法
CN114048027A (zh) * 2021-10-21 2022-02-15 中国科学技术大学 一种应用于超算集群调度的作业运行参数优化方法
CN114048027B (zh) * 2021-10-21 2022-05-13 中国科学技术大学 一种应用于超算集群调度的作业运行参数优化方法
CN114443054A (zh) * 2022-01-28 2022-05-06 北京京东振世信息技术有限公司 用于生成信息的方法和装置
KR102488270B1 (ko) * 2022-08-09 2023-01-18 주식회사 데이터스트림즈 효율적인 스파크 잡 실행을 위한 하이브리드 스파크 클러스터 관리 방법 및 시스템
CN118195301A (zh) * 2024-03-14 2024-06-14 华东师范大学 一种飞机重着陆模式确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111651220B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN111651220A (zh) 一种基于深度强化学习的Spark参数自动优化方法及系统
CN107612886B (zh) 一种Spark平台Shuffle过程压缩算法决策方法
CN112540849B (zh) 一种分布式计算作业的参数配置优化方法及系统
CN112987666B (zh) 电厂机组运行优化调控方法及系统
CN110135635B (zh) 一种区域电力饱和负荷预测方法及系统
CN111260073A (zh) 数据处理方法、装置和计算机可读存储介质
CN109411093B (zh) 一种基于云计算的智慧医疗大数据分析处理方法
CN113032367A (zh) 面向动态负载场景的大数据系统跨层配置参数协同调优方法和系统
CN113094988A (zh) 一种基于数据驱动的浆液循环泵运行优化方法及系统
CN114706840A (zh) 面向负载感知的多模数据库ArangoDB参数调优的方法
WO2023236319A1 (zh) 一种面向微控制器的卷积神经网络部署和优化方法
CN110956277A (zh) 一种交互式的迭代建模系统及方法
CN111309577B (zh) 一种面向Spark的批处理应用执行时间预测模型构建方法
CN111985845A (zh) 一种异构Spark集群的节点优先级调优方法
Singh et al. A machine learning approach for modular workflow performance prediction
CN112184412A (zh) 一种信用评分卡模型的建模方法、装置、介质及电子设备
CN117390507A (zh) 一种基于深度学习的航天器遥测数据检测系统
CN118250164A (zh) 服务器集群配置参数调整方法及装置
CN113762514B (zh) 数据处理方法、装置、设备及计算机可读存储介质
CN117972356A (zh) 一种基于大数据分析的工程成本控制方法
CN117743803A (zh) 一种基于进化特征构建的工作量感知即时缺陷预测方法
CN115600102B (zh) 基于船舶数据的异常点检测方法及装置、电子设备、介质
CN110298058A (zh) 一种电网监管指标关键要素提取方法及装置
CN116841718A (zh) 基于Kubernetes的物理资源调度方法及调度器
CN114462524A (zh) 一种面向数据中心批处理作业的聚类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant