CN111985845A - 一种异构Spark集群的节点优先级调优方法 - Google Patents

一种异构Spark集群的节点优先级调优方法 Download PDF

Info

Publication number
CN111985845A
CN111985845A CN202010907480.5A CN202010907480A CN111985845A CN 111985845 A CN111985845 A CN 111985845A CN 202010907480 A CN202010907480 A CN 202010907480A CN 111985845 A CN111985845 A CN 111985845A
Authority
CN
China
Prior art keywords
node
neural network
index
priority
weight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010907480.5A
Other languages
English (en)
Other versions
CN111985845B (zh
Inventor
胡亚红
邱圆圆
毛家发
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010907480.5A priority Critical patent/CN111985845B/zh
Publication of CN111985845A publication Critical patent/CN111985845A/zh
Application granted granted Critical
Publication of CN111985845B publication Critical patent/CN111985845B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/5021—Priority

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Development Economics (AREA)
  • Mathematical Physics (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种异构Spark集群的节点优先级调优方法，本发明在建立节点优先级评价指标体系的基础上，使用层次分析法确定各个性能评价指标的初始权重，进一步使用BP神经网络对初始权重进行优化，生成优化的节点优先级。本发明提出的节点优先级调优方法能够提高Spark系统的运行效率，缩短作业执行时间。相比Spark的默认调度算法和使用初始节点优先级的Spark任务调度算法SDASA，本发明提出的算法能够有效提高集群系统的性能。相对于上述两种算法，当执行不同数据量的同种任务时，使用优化的节点优先级集群性能平均提升10.74％和5.96％；当执行不同种任务时，使用优化的节点优先级集群性能平均提升12.03％和6.05％。

Description

一种异构Spark集群的节点优先级调优方法
技术领域
本发明涉及大数据处理领域，尤其涉及一种异构Spark集群的节点优先级调优方法。
背景技术
随着硬件的更迭及高性能硬件的引入，集群中各个节点的性能差距不断加大，集群的异构性日渐凸显。通常需要根据节点的性能进行集群资源调度和任务调度以提高集群运行效率。而根据节点的各种性能参数为其设置不同的优先级是评价节点性能的有效手段。节点的优先级通常是通过建立相应的评价指标体系计算得出，指标体系中各个指标的权重在节点优先级计算中起到了至关重要的作用。经实验验证，通过调节节点评价指标的权重而引起节点优先级的变化时，集群执行同一作业所用的时间最大相差25.85％，最小也有15.84％的差别。因此研究如何优化节点性能评价指标体系的权重，从而得到合理的集群节点的优先级很有必要。
传统的权重计算方法一般存在较大的误差和较强的主观性，确定的权重不能满足实际需要。对于影响节点优先级的各指标的评价是一个繁杂的非线性工程，需要建立权重的学习机制。
发明内容
本发明为克服上述的不足之处，目的在于提供一种异构Spark集群的节点优先级调优方法，本发明通过采用层次分析法确定节点优先级的评价指标体系，得到各指标的初始权重；再应用具有自学习、自适应能力的人工神经网络建模，对初始权重进行优化，从而得到更为精准的节点优先级。本发明能够提升Spark系统资源分配算法的性能，从而提高Spark系统的运行效率，缩短作业执行时间。
本发明是通过以下技术方案达到上述目的：一种异构Spark集群的节点优先级调优方法，包括如下步骤：
(1)分析影响节点性能的静态指标和动态指标，使用层次分析法建立节点优先级评价指标体系，并计算出各指标的初始权重；
(2)在集群中部署分布式集群资源监控系统Ganglia，实时采集节点的评价指标值；
(3)对采集得到的节点的评价指标值进行归一化处理，并将各指标归一化后的数据作为神经网络训练样本的输入；
(4)使用初始权重和归一化后的节点数据计算出节点对应的优先级，将此优先级作为神经网络训练样本的输出；
(5)建立三层BP神经网络模型；
(6)基于训练样本进行BP神经网络训练，得到权重矩阵；
(7)对权重矩阵进行分析处理，得到评价指标体系中各个指标的优化权重。
作为优选，所述步骤(1)具体如下：
(1.1)通过分析得到影响节点性能的静态指标，其中静态指标包括节点的CPU速度、CPU核数、内存大小和磁盘容量；
(1.2)通过分析得到影响节点性能的动态指标，其中动态指标包括节点的CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载；
(1.3)基于步骤(1.1)和(1.2)的分析结果建立节点优先级评价指标体系，并对各指标的重要性进行评估；
(1.4)采用层次分析法得到各评价指标的权重。
作为优选，所述步骤(2)具体如下：
(2.1)使用Ganglia集群资源监控系统获取各节点的静态指标值，具体包括CPU速度、CPU核数、内存大小和磁盘容量；
(2.2)使用Ganglia集群资源监控系统获取各节点的动态指标值，具体包括CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载。
作为优选，所述步骤(3)具体为：对于每一个评价指标，取其各次采集数值的最大值maxA和最小值minA，采用如下公式进行归一化处理：
Figure BDA0002661960990000031
其中，x是通过Ganglia采集的原始指标值，xnormal是x归一化后的数值。
作为优选，所述步骤(5)建立的三层BP神经网络模型包括输入层、输出层以及隐含层，其中具体如下：
(5.1)确定输入层节点的个数，其中输入节点个数与评价指标的个数相对应，输入层节点个数为8个；
(5.2)确定输出层节点的个数，输出层节点个数为1个；
(5.3)确定隐含层节点的个数。
作为优选，所述步骤(5.3)确定隐含层节点的个数的方法为：
采用如下公式确定隐含层的神经元个数：
Figure BDA0002661960990000041
Figure BDA0002661960990000042
其中α是[1,10]之间的整数，隐含层神经元数S取值范围为[5,9)。
作为优选，所述步骤(6)具体为：神经网络的输入是归一化后的各节点性能评价指标的数值，输出是使用各评价指标的初始权重计算得到的每个节点的优先级；BP神经网络训练完成后，对网络进行分析，获得权重矩阵；其中权重矩阵大小为5×9，其中矩阵的前8列分别对应输入层的8个神经元，最后一列对应输出层神经元；矩阵的各行分别对应隐含层的5个神经元；矩阵中第i行第j列的元素(i＝1,2,..,5，j＝1,2,..,8)表示第j个输入神经元与第i个隐含层神经元之间的权重；矩阵最后一列的元素分别表示输出神经元与各隐含层神经元之间的权重。
作为优选，所述步骤(7)具体如下：
(7.1)采用下列公式计算相关显著性系数：
Figure BDA0002661960990000043
其中x＝ωjk；
(7.2)采用下列公式计算相关指数：
Rij＝|(1-e-y)(1+e-y)|
其中y＝rij；
(7.3)采用下列公式计算绝对影响系数：
Figure BDA0002661960990000051
其中i为神经网络输入层神经元，i＝1,2,..,n；j为神经网络输出层神经元，j＝1,2,..,m；k表示神经网络隐含层神经元，k＝1,2,..,p；ωjk表示输出层神经元j和隐含层神经元k之间的权值系数；计算得到的绝对影响系数Sij即为各节点优先级评价指标的优化权重。
本发明的有益效果在于：本发明使用层次分析法确定集群节点优先级评价指标体系中各个指标的初始权重，再使用BP神经网络进行权重的优化；本发明能够弥补层次分析法主观性较强的缺点，找到优化的节点优先级评价指标的权重，从而计算出符合集群运行特点的各节点优先级，提高集群资源分配的准确率和集群的运行效率。
附图说明
图1是本发明的方法流程示意图；
图2是本发明的节点优先级评价指标体系示意图；
图3是本发明的节点优先级优化BP神经网络模型图；
图4是使用本发明的优化节点优先级和AHP得到的初始节点优先级执行不同数据量的同种任务完成时间比较示意图；
图5是使用本发明的优化节点优先级和AHP得到的初始节点优先级执行不同种任务完成时间比较示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：
实施例：本发明针对使用层次分析法计算得到的集群节点性能评价指标体系中各评价指标权重主观性较强这一问题，本发明通过构建BP神经网络，对指标权重进行优化，进一步得到优化的节点优先级。本发明能够提升Spark系统资源分配算法的性能，从而提高Spark系统的运行效率，缩短作业执行时间。
如图1所示，一种异构Spark集群的节点优先级调优方法，包括如下步骤：
(1)分析影响节点性能的静态指标和动态指标，使用层次分析法(AHP)建立节点优先级评价指标体系，并计算出各指标的初始权重。
(1.1)分析得到影响节点性能的静态指标为节点的CPU速度、CPU核数、内存大小和磁盘容量；
(1.2)分析得到影响节点性能的动态指标为节点的CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载；
(1.3)基于步骤(1.1)和(1.2)的分析结果建立节点优先级评价指标体系(如图2所示)，并对各指标的重要性进行评估；
(1.4)使用层次分析法得到各评价指标的权重。
(2)在集群中部署分布式集群资源监控系统Ganglia，实时采集节点的评价指标值。
(2.1)使用Ganglia集群资源监控系统获取各节点的静态指标值，包括CPU速度、CPU核数、内存大小和磁盘容量；
(2.2)使用Ganglia集群资源监控系统获取各节点的动态指标值，包括CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载。
(3)对采集的节点评价指标值进行归一化处理，各指标归一化后的数据作为神经网络训练样本的输入。
对于每一个评价指标，取其各次采集数值的最大值maxA和最小值minA，使用公式(1)进行归一化。
Figure BDA0002661960990000071
其中，x是通过Ganglia采集的原始指标值，xnormal则是x归一化后的数值。
(4)使用初始权重和归一化后的节点数据计算出节点对应的优先级，此优先级作为神经网络训练样本的输出。
(5)建立三层BP神经网络模型。
(5.1)确定输入层节点的个数。输入节点个数与评价指标的个数相对应。本发明中评价指标体系共有8个评价指标，因此神经网络的输入层节点数n＝8。
(5.2)确定输出层节点的个数。节点的优先级数值是网络的唯一输出，因此输出层节点数m＝1。
(5.3)确定隐含层节点的个数。隐含层节点个数的选择至关重要，因为它会极大影响BP神经网络的精确度和学习效率。使用公式(2)和公式(3)来确定隐含层的神经元个数。
Figure BDA0002661960990000072
Figure BDA0002661960990000073
其中α是[1,10]之间的整数。通过计算，本发明建立的神经网络模型中隐含层神经元数S取值范围为[5,9)。
Figure BDA0002661960990000081
表1
进一步使用决定系数R2来评判S取不同值时网络模型预测能力。R2的值越大，神经网络的预测能力越强。其中隐含层神经元个数和对应的R2的评价结果如表1所示。因此本发明的BP神经网络模型选择5作为隐含层神经元个数。本发明建立的BP神经网络模型如图3所示。
(6)使用训练样本进行BP神经网络训练，得到权重矩阵。
网络模型搭建完成后，使用训练样本进行网络训练。神经网络的输入是归一化后的各节点性能评价指标的数值，输出是使用各评价指标的初始权重计算得到的每个节点的优先级。网络训练完成后，对网络进行分析，获得权重矩阵。权重矩阵大小为5×9，其中矩阵的前8列分别对应输入层的8个神经元，最后一列对应输出层神经元；矩阵的各行分别对应隐含层的5个神经元。矩阵中第i行第j列的元素(i＝1,2,..,5，j＝1,2,..,8)分别表示第j个输入神经元与第i个隐含层神经元之间的权重；矩阵最后一列的元素分别表示输出神经元与各隐含层神经元之间的权重。
(7)对权重矩阵进行分析处理，得到评价指标体系中各个指标的优化权重。
(7.1)使用公式(4)计算相关显著性系数
Figure BDA0002661960990000091
其中x＝ωjk
(7.2)使用公式(5)计算相关指数
Rij＝|(1-e-y)(1+e-y)| (5)
其中y＝rij
(7.3)使用公式(6)计算绝对影响系数
Figure BDA0002661960990000092
其中i为神经网络输入层神经元，i＝1,2,..,n；j为神经网络输出层神经元，j＝1,2,..,m；k表示神经网络隐含层神经元，k＝1,2,..,p；ωjk表示输出层神经元j和隐含层神经元k之间的权值系数。通过上述公式(4),(5),(6)求出的绝对影响系数Sij即各节点优先级评价指标的优化权重。
其中上述方法是基于图1的流程实施的，本发明方法与默认的Spark任务调度算法、使用初始节点优先级的Spark任务调度算法SDASA的实验结果对比如图4和图5所示。
综上所述，本发明在建立节点优先级评价指标体系的基础上，使用层次分析法确定各个性能评价指标的初始权重，进一步使用BP神经网络对初始权重进行优化。实验表明，相比Spark的默认调度算法和使用初始节点优先级的Spark任务调度算法SDASA，本发明提出的算法能够有效提高集群系统的性能。相对于上述两种算法，当执行不同数据量的同种任务时，使用优化的节点优先级集群性能平均提升10.74％和5.96％；当执行不同种任务时，使用优化的节点优先级集群性能平均提升12.03％和6.05％。
以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (8)

1.一种异构Spark集群的节点优先级调优方法，其特征在于，包括如下步骤：
(1)分析影响节点性能的静态指标和动态指标，使用层次分析法建立节点优先级评价指标体系，并计算出各指标的初始权重；
(2)在集群中部署分布式集群资源监控系统Ganglia，实时采集节点的评价指标值；
(3)对采集得到的节点的评价指标值进行归一化处理，并将各指标归一化后的数据作为神经网络训练样本的输入；
(4)使用初始权重和归一化后的节点数据计算出节点对应的优先级，将此优先级作为神经网络训练样本的输出；
(5)建立三层BP神经网络模型；
(6)基于训练样本进行BP神经网络训练，得到权重矩阵；
(7)对权重矩阵进行分析处理，得到评价指标体系中各个指标的优化权重。
2.根据权利要求1所述的一种异构Spark集群的节点优先级调优方法，其特征在于：所述步骤(1)具体如下：
(1.1)通过分析得到影响节点性能的静态指标，其中静态指标包括节点的CPU速度、CPU核数、内存大小和磁盘容量；
(1.2)通过分析得到影响节点性能的动态指标，其中动态指标包括节点的CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载；
(1.3)基于步骤(1.1)和(1.2)的分析结果建立节点优先级评价指标体系，并对各指标的重要性进行评估；
(1.4)采用层次分析法得到各评价指标的权重。
3.根据权利要求1所述的一种异构Spark集群的节点优先级调优方法，其特征在于：所述步骤(2)具体如下：
(2.1)使用Ganglia集群资源监控系统获取各节点的静态指标值，具体包括CPU速度、CPU核数、内存大小和磁盘容量；
(2.2)使用Ganglia集群资源监控系统获取各节点的动态指标值，具体包括CPU剩余率、内存剩余率、磁盘容量剩余率以及CPU负载。
4.根据权利要求1所述的一种异构Spark集群的节点优先级调优方法，其特征在于：所述步骤(3)具体为：对于每一个评价指标，取其各次采集数值的最大值maxA和最小值minA，采用如下公式进行归一化处理：
Figure FDA0002661960980000021
其中，x是通过Ganglia采集的原始指标值，xnormal是x归一化后的数值。
5.根据权利要求1所述的一种异构Spark集群的节点优先级调优方法，其特征在于：所述步骤(5)建立的三层BP神经网络模型包括输入层、输出层以及隐含层，其中具体如下：
(5.1)确定输入层节点的个数，其中输入节点个数与评价指标的个数相对应，输入层节点个数为8个；
(5.2)确定输出层节点的个数，输出层节点个数为1个；
(5.3)确定隐含层节点的个数。
6.根据权利要求5所述的一种异构Spark集群的节点优先级调优方法，其特征在于：所述步骤(5.3)确定隐含层节点的个数的方法为：采用如下公式确定隐含层的神经元个数：
Figure FDA0002661960980000031
Figure FDA0002661960980000032
其中α是[1,10]之间的整数，隐含层神经元数S取值范围为[5,9)。
7.根据权利要求1所述的一种异构Spark集群的节点优先级调优方法，其特征在于：所述步骤(6)具体为：神经网络的输入是归一化后的各节点性能评价指标的数值，输出是使用各评价指标的初始权重计算得到的每个节点的优先级；BP神经网络训练完成后，对网络进行分析，获得权重矩阵；其中权重矩阵大小为5×9，其中矩阵的前8列分别对应输入层的8个神经元，最后一列对应输出层神经元；矩阵的各行分别对应隐含层的5个神经元；矩阵中第i行第j列的元素表示第j个输入神经元与第i个隐含层神经元之间的权重；矩阵最后一列的元素分别表示输出神经元与各隐含层神经元之间的权重；其中，i＝1,2,..,5；j＝1,2,..,8。
8.根据权利要求1所述的一种异构Spark集群的节点优先级调优方法，其特征在于：所述步骤(7)具体如下：
(7.1)采用下列公式计算相关显著性系数：
Figure FDA0002661960980000033
其中x＝ωjk；
(7.2)采用下列公式计算相关指数：
Rij＝|(1-e-y)(1+e-y)|
其中y＝rij；
(7.3)采用下列公式计算绝对影响系数：
Figure FDA0002661960980000041
其中i为神经网络输入层神经元，i＝1,2,..,n；j为神经网络输出层神经元，j＝1,2,..,m；k表示神经网络隐含层神经元，k＝1,2,..,p；ωjk表示输出层神经元j和隐含层神经元k之间的权值系数；计算得到的绝对影响系数Sij即为各节点优先级评价指标的优化权重。
CN202010907480.5A 2020-09-02 2020-09-02 一种异构Spark集群的节点优先级调优方法 Active CN111985845B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010907480.5A CN111985845B (zh) 2020-09-02 2020-09-02 一种异构Spark集群的节点优先级调优方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010907480.5A CN111985845B (zh) 2020-09-02 2020-09-02 一种异构Spark集群的节点优先级调优方法

Publications (2)

Publication Number Publication Date
CN111985845A true CN111985845A (zh) 2020-11-24
CN111985845B CN111985845B (zh) 2024-03-19

Family

ID=73447331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010907480.5A Active CN111985845B (zh) 2020-09-02 2020-09-02 一种异构Spark集群的节点优先级调优方法

Country Status (1)

Country Link
CN (1) CN111985845B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115801897A (zh) * 2022-12-20 2023-03-14 南京工程学院 一种边缘代理的报文动态处理方法
CN116094943A (zh) * 2023-04-07 2023-05-09 湖南快乐阳光互动娱乐传媒有限公司 一种pcdn节点重要性排名方法、装置和设备
CN117193232A (zh) * 2023-07-26 2023-12-08 珠海金智维信息科技有限公司 基于rpa的流程节点故障处理方法、系统、装置和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110034585A (zh) * 2019-05-08 2019-07-19 蔡浩 一种分布式电源快速规划方法
CN110413389A (zh) * 2019-07-24 2019-11-05 浙江工业大学 一种资源不均衡Spark环境下的任务调度优化方法
CN110659723A (zh) * 2019-09-03 2020-01-07 腾讯科技（深圳）有限公司 基于人工智能的数据处理方法、装置、介质及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110034585A (zh) * 2019-05-08 2019-07-19 蔡浩 一种分布式电源快速规划方法
CN110413389A (zh) * 2019-07-24 2019-11-05 浙江工业大学 一种资源不均衡Spark环境下的任务调度优化方法
CN110659723A (zh) * 2019-09-03 2020-01-07 腾讯科技（深圳）有限公司 基于人工智能的数据处理方法、装置、介质及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115801897A (zh) * 2022-12-20 2023-03-14 南京工程学院 一种边缘代理的报文动态处理方法
CN115801897B (zh) * 2022-12-20 2024-05-24 南京工程学院 一种边缘代理的报文动态处理方法
CN116094943A (zh) * 2023-04-07 2023-05-09 湖南快乐阳光互动娱乐传媒有限公司 一种pcdn节点重要性排名方法、装置和设备
CN116094943B (zh) * 2023-04-07 2023-06-06 湖南快乐阳光互动娱乐传媒有限公司 一种pcdn节点重要性排名方法、装置和设备
CN117193232A (zh) * 2023-07-26 2023-12-08 珠海金智维信息科技有限公司 基于rpa的流程节点故障处理方法、系统、装置和介质

Also Published As

Publication number Publication date
CN111985845B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN111985845B (zh) 一种异构Spark集群的节点优先级调优方法
CN110413389B (zh) 一种资源不均衡Spark环境下的任务调度优化方法
CN107506865B (zh) 一种基于lssvm优化的负荷预测方法及系统
CN110135635B (zh) 一种区域电力饱和负荷预测方法及系统
CN112540849B (zh) 一种分布式计算作业的参数配置优化方法及系统
CN112101525A (zh) 一种通过nas设计神经网络的方法、装置和系统
CN112289391B (zh) 一种基于机器学习的阳极铝箔性能预测系统
CN111461286B (zh) 基于进化神经网络的Spark参数自动优化系统和方法
CN112990420A (zh) 一种用于卷积神经网络模型的剪枝方法
CN113032367A (zh) 面向动态负载场景的大数据系统跨层配置参数协同调优方法和系统
CN116974768A (zh) 一种基于深度学习的算力调度方法
CN111651220A (zh) 一种基于深度强化学习的Spark参数自动优化方法及系统
CN112308298A (zh) 一种面向半导体生产线的多场景性能指标预测方法及系统
CN114510871A (zh) 基于思维进化和lstm的云服务器性能衰退预测方法
CN113592064A (zh) 环抛机工艺参数预测方法、系统、应用、终端及介质
CN117827434A (zh) 基于多维资源预测的混合弹性伸缩方法
CN114091794A (zh) 专利价值评估模型训练方法、评估方法、装置及其设备
CN114819391B (zh) 基于历史数据集时间跨度优化的光伏发电功率预测方法及系统
CN115794405A (zh) 一种基于SSA-XGboost算法的大数据处理框架的动态资源分配方法
CN113132482B (zh) 一种基于强化学习的分布式消息系统参数自适应优化方法
CN114528094A (zh) 基于lstm和遗传算法的分布式系统资源优化分配方法
CN115859768B (zh) 一种动态装配作业车间工件完工时间预测方法及装置
CN117435308B (zh) 一种基于并行计算算法的Modelica模型仿真方法及系统
CN115580526B (zh) 一种通信网络故障诊断方法、系统、电子设备及存储介质
KR102683199B1 (ko) 대규모 제2 형 당뇨 데이터셋 기반의 불균형 대조군 마커 선별 학습 알고리즘을 활용한 환자(질환)군/대조군 예측 학습 모델 구축 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant