CN117093360A - 一种基于自适应模糊控制的计算负载平衡方法 - Google Patents
一种基于自适应模糊控制的计算负载平衡方法 Download PDFInfo
- Publication number
- CN117093360A CN117093360A CN202310879056.8A CN202310879056A CN117093360A CN 117093360 A CN117093360 A CN 117093360A CN 202310879056 A CN202310879056 A CN 202310879056A CN 117093360 A CN117093360 A CN 117093360A
- Authority
- CN
- China
- Prior art keywords
- load
- node
- training
- time sequence
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004364 calculation method Methods 0.000 claims abstract description 41
- 239000013598 vector Substances 0.000 claims description 80
- 230000003044 adaptive effect Effects 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 50
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000013527 convolutional neural network Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 17
- 238000000354 decomposition reaction Methods 0.000 claims description 16
- 238000012098 association analyses Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 claims description 5
- 229940050561 matrix product Drugs 0.000 claims description 5
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 16
- 230000006870 function Effects 0.000 description 18
- 230000008859 change Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 238000011217 control strategy Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于自适应模糊控制的计算负载平衡方法,其利用自适应模糊控制算法对多个计算节点的负载值进行模糊化处理后,再对经过模糊化处理后的所述各个计算节点的负载状态进行关联编码以基于所述各个计算节点的负载状态关联信息来进行计算任务的自动分配和动态调整,以达到负载平衡的目的。
Description
技术领域
本发明涉及智能化计算技术领域,尤其涉及一种基于自适应模糊控制的计算负载平衡方法。
背景技术
在计算领域中,负载平衡是一项重要的任务,它旨在合理地分配计算任务到不同的计算节点上,以确保系统的资源利用率和性能。负载平衡的目标是使各个计算节点的负载尽可能均衡,避免某个计算节点过载而导致系统性能下降,同时充分利用系统的资源,提高整体的计算效率。
自适应模糊控制是一种基于模糊逻辑和控制理论的控制方法,它能够根据系统的实时状态和环境变化来调整控制策略,以实现系统的自适应性和鲁棒性。在负载平衡领域,自适应模糊控制可以应用于动态调整计算节点的负载状态,以实现负载的均衡分配。
传统的自适应模糊控制方案需要专家依靠经验进行人工设计模糊规则库,这容易受到人为主观因素的影响,导致规则库的设计困难和不准确。并且,传统的自适应模糊控制在应对系统动态性和变化的能力上存在一定的限制,这是由于模糊控制的基础是一组静态的模糊规则,难以适应系统动态性和环境变化。当系统的动态性较强时,传统的自适应模糊控制可能无法及时调整控制策略,导致控制性能下降。
因此,期望一种优化的基于自适应模糊控制的计算负载平衡方案。
发明内容
本发明实施例提供一种基于自适应模糊控制的计算负载平衡方法,其利用自适应模糊控制算法对多个计算节点的负载值进行模糊化处理后,再对经过模糊化处理后的所述各个计算节点的负载状态进行关联编码以基于所述各个计算节点的负载状态关联信息来进行计算任务的自动分配和动态调整,以达到负载平衡的目的。
本发明实施例还提供了一种基于自适应模糊控制的计算负载平衡方法,其包括:
获取多个计算节点在预定时间段内多个预定时间点的负载值;
对所述多个计算节点在预定时间段内多个预定时间点的负载值进行关联分析以得到节点间负载时序关联特征;
基于所述节点间负载时序关联特征,确定所述多个计算节点的多个概率值;以及
将计算任务分配给所述多个概率值中最大概率值对应的计算节点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中提供的一种基于自适应模糊控制的计算负载平衡方法的流程图。
图2为本发明实施例中提供的一种基于自适应模糊控制的计算负载平衡方法的系统架构的示意图。
图3为本发明实施例中提供的一种基于自适应模糊控制的计算负载平衡方法中步骤120的子步骤的流程图。
图4为本发明实施例中提供的一种基于自适应模糊控制的计算负载平衡系统的框图。
图5为本发明实施例中提供的一种基于自适应模糊控制的计算负载平衡方法的应用场景图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
如本发明和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
应可以理解,在计算领域中,负载平衡是指在分布式系统或计算集群中,合理地分配和调度计算任务,使得各个计算节点的负载均衡,从而提高系统的性能、可靠性和资源利用率。负载平衡的目标是使系统中的计算节点尽可能地均匀分布负载,避免某些节点过载而导致性能下降,同时充分利用所有节点的计算能力,提高整个系统的吞吐量和响应时间。
其中,负载平衡可以通过以下几种方式实现:1.静态负载平衡,在系统启动或任务调度前,根据预先定义的策略将任务静态地分配给各个计算节点。这种方式适用于任务负载比较稳定的情况,但无法应对负载波动或不均衡的情况。2.动态负载平衡。根据实时的负载信息和系统状态,动态地将任务分配给计算节点。动态负载平衡算法包括最短作业优先(Shortest Job First, SJF)、最小负载优先(Least Loaded, LL)和最小响应时间优先(Minimum Response Time, MRT)等。这种方式可以根据实际负载情况进行动态调整,适用于负载波动或不均衡的情况。3.自适应负载平衡。根据系统的反馈信息和历史数据,自适应地调整负载平衡策略。这种方式可以根据实际情况进行学习和优化,适应不同的工作负载和系统环境。
负载平衡可以提高系统的性能和吞吐量,通过合理地分配任务,避免节点过载,可以充分利用系统资源,提高计算能力和处理能力。也可以提高系统的可靠性和稳定性,当某个节点发生故障或失效时,其他节点可以接管其任务,保证系统的正常运行。还可以提高资源利用率,通过负载平衡,可以使系统中的计算资源得到充分利用,减少资源的闲置浪费。
也就是,负载平衡在计算领域中起着重要的作用,可以提高系统的性能、可靠性和资源利用率。不同的负载平衡策略和算法可以根据实际需求和系统特点进行选择和应用。
进一步地,自适应模糊控制(Adaptive Fuzzy Control)是一种基于模糊逻辑和自适应技术的控制方法,用于在动态环境下对系统进行控制和调节。
传统的模糊控制方法使用固定的模糊规则和隶属函数来描述系统的行为,但在实际应用中,系统的动态性和复杂性可能导致模糊控制的性能下降。为了应对这些挑战,自适应模糊控制引入了自适应机制,可以根据系统的反馈信息动态地调整模糊规则和隶属函数,以适应不同的工作负载和环境变化。
在本申请中,自适应模糊控制包括:模糊推理系统,模糊推理系统由模糊规则和隶属函数组成,用于将输入变量映射到输出变量。模糊规则描述了系统的控制策略,隶属函数定义了模糊集合的形状和隶属度;自适应机制,自适应机制用于根据系统的反馈信息进行参数调整。自适应方法包括模糊神经网络、遗传算法、模糊遗传算法等,这些方法可以根据系统的性能指标和误差信号来动态地调整模糊规则和隶属函数的参数,以提高控制系统的性能和适应性;反馈环路,反馈环路用于实时地获取系统的状态和性能信息,并将其作为输入传递给模糊推理系统和自适应机制。通过反馈环路,控制系统可以根据实际情况进行调整和优化。
自适应模糊控制在许多领域都有广泛的应用,包括工业控制、机器人控制、交通控制、电力系统等,能够处理非线性、时变和模糊的系统,具有较强的鲁棒性和适应性,能够提供良好的控制性能和稳定性。
在本发明的一个实施例中,图1为本发明实施例中提供的一种基于自适应模糊控制的计算负载平衡方法的流程图。图2为本发明实施例中提供的一种基于自适应模糊控制的计算负载平衡方法的系统架构的示意图。如图1和图2所示,根据本发明实施例的基于自适应模糊控制的计算负载平衡方法100,包括:110,获取多个计算节点在预定时间段内多个预定时间点的负载值;120,对所述多个计算节点在预定时间段内多个预定时间点的负载值进行关联分析以得到节点间负载时序关联特征;130,基于所述节点间负载时序关联特征,确定所述多个计算节点的多个概率值;以及,140,将计算任务分配给所述多个概率值中最大概率值对应的计算节点。
其中,在所述步骤110中,确保能够准确地获取每个计算节点在不同时间点的负载值,可以通过监控系统或者性能统计工具来获取这些值。通过获取计算节点的负载值,可以获得对系统当前状态的了解,为后续的负载平衡决策提供数据支持。
在所述步骤120中,使用适当的分析方法,如相关性分析或时间序列分析,来确定计算节点间负载的时序关联特征。通过分析计算节点间负载的时序关联特征,可以了解节点之间的负载变化趋势和相互影响,为后续的负载平衡策略提供依据。
在所述步骤130中,可以使用自适应模糊控制算法来确定计算节点的概率值,该算法可以根据节点间负载时序关联特征进行调整,以适应不同的工作负载和环境变化。通过确定计算节点的概率值,可以评估每个节点的负载情况,为任务的分配提供依据,从而实现负载平衡。
在所述步骤140中,确保任务分配的准确性和及时性,可以根据概率值的大小来确定任务的分配优先级。通过将计算任务分配给概率值最大的计算节点,可以实现负载的均衡分配,提高系统的整体性能和效率。
在上述步骤中,基于自适应模糊控制的计算负载平衡方法可以通过获取负载值、分析负载时序关联特征、确定概率值和任务分配等步骤,实现对计算节点负载的自动调整和动态分配,从而达到负载平衡的目的,提高系统的性能和效率。
具体地,在所述步骤110中,获取多个计算节点在预定时间段内多个预定时间点的负载值。针对上述技术问题,本申请的技术构思为通过利用自适应模糊控制算法对多个计算节点的负载值进行模糊化处理后,再对经过模糊化处理后的所述各个计算节点的负载状态进行关联编码以基于所述各个计算节点的负载状态关联信息来进行计算任务的自动分配和动态调整,以达到负载平衡的目的。
具体地,在本申请的技术方案中,首先,获取多个计算节点在预定时间段内多个预定时间点的负载值。获取多个计算节点在预定时间段内多个预定时间点的负载值的作用是为后续步骤提供数据支持和基础信息。
通过获取计算节点在不同时间点的负载值,可以得到对系统当前状态的了解。这些负载值可以用于分析节点间的负载变化趋势、相互影响以及负载的波动情况等,这些数据支持将用于后续步骤中的关联分析和概率值的确定。
通过对多个计算节点在预定时间段内多个预定时间点的负载值进行关联分析,可以获得节点间负载的时序关联特征。这些特征可以帮助确定节点间的负载变化趋势和相互影响程度,进而为负载平衡策略的制定提供依据。
基于节点间负载时序关联特征,可以使用自适应模糊控制算法来确定计算节点的概率值。这些概率值反映了每个节点在负载平衡中的优先级和适应性,通过确定概率值,可以评估每个节点的负载情况,并为任务的分配提供依据。
因此,获取计算节点的负载值对于后续步骤中的关联分析和概率值的确定起到了重要的作用,为实现负载平衡提供了基础数据和决策依据。
具体地,在所述步骤120中,对所述多个计算节点在预定时间段内多个预定时间点的负载值进行关联分析以得到节点间负载时序关联特征。图3为本发明实施例中提供的一种基于自适应模糊控制的计算负载平衡方法中步骤120的子步骤的流程图,如图3所示,对所述多个计算节点在预定时间段内多个预定时间点的负载值进行关联分析以得到节点间负载时序关联特征,包括:121,使用自适应模糊算法对所述各个预定时间点的负载值进行模糊化处理以将所述各个预定时间点的负载值转化为负载状态标签值,其中,所述负载状态标签值包括低、中和高;122,使用独热编码对所述各个计算节点在预定时间段内多个预定时间点的负载状态标签值进行独热编码以得到所述各个计算节点的负载状态标签时序拼接独热编码向量;123,通过基于深度神经网络模型的负载状态时序特征提取器对所述各个计算节点的负载状态标签时序拼接独热编码向量进行时序关联特征提取以得到多个计算节点负载状态时序特征向量;以及,124,对所述多个计算节点负载状态时序特征向量进行关联编码以得到计算节点间负载关联特征矩阵作为所述节点间负载时序关联特征。
其中,通过使用自适应模糊算法,将各个预定时间点的负载值转化为负载状态标签值,包括低、中和高,这样可以将连续的负载值离散化,更方便进行后续的处理和分析。
使用独热编码对各个计算节点在预定时间段内多个预定时间点的负载状态标签值进行编码,得到各个计算节点的负载状态标签时序拼接独热编码向量,这样可以保留了时序信息,并且将负载状态标签转化为了可供机器学习模型处理的向量形式。
通过基于深度神经网络模型的负载状态时序特征提取器,对各个计算节点的负载状态标签时序拼接独热编码向量进行特征提取,这样可以从时序数据中提取出更加有用的特征,用于后续的关联分析。
通过对多个计算节点负载状态时序特征向量进行关联编码,得到计算节点间负载关联特征矩阵,这样可以表示不同计算节点之间的负载时序关联性,为后续的负载调整和任务分配提供依据。对于所述步骤121,然后,使用自适应模糊算法对所述各个预定时间点的负载值进行模糊化处理以将所述各个预定时间点的负载值转化为负载状态标签值,其中,所述负载状态标签值包括低、中和高。应可以理解,采用自适应模糊控制算法能够根据所述各个计算节点的实际负载状态和预期目标,动态生成合理的控制输出,避免了固定阈值或权重的局限性。并且,采用模糊化处理能够克服计算节点负载状态的不确定性和非线性性,提高了控制精度和灵敏度,从而达到负载平衡的目的。
应可以理解,自适应模糊算法是一种基于模糊逻辑的算法,用于将连续的输入值映射到离散的模糊集合中,能够根据输入数据的分布情况自动调整模糊集合的形状和范围,从而更好地适应不同的输入情况。
在负载平衡的场景中,自适应模糊算法可以将预定时间点的负载值转化为负载状态标签值,如低、中和高。具体的步骤如下:首先,确定输入变量和输出变量,输入变量是预定时间点的负载值,输出变量是负载状态标签值。然后,根据负载值的分布情况,设计适当的模糊集合,如"低负载"、"中等负载"和"高负载"。每个模糊集合都有一个隶属度函数,用于表示输入值属于该模糊集合的程度。接着,确定规则库,规则库是一组条件-结果对,用于将输入变量映射到输出变量。例如,规则可以是:"如果负载值较小,则负载状态为低负载"。然后,模糊化处理,对于每个预定时间点的负载值,计算其在每个模糊集合中的隶属度。这可以通过应用隶属度函数来实现。接着,模糊推理,根据规则库和模糊化处理得到的隶属度,进行模糊推理,确定负载状态标签值。这可以通过计算每个规则的激活度和输出变量的隶属度来实现。最后,解模糊化,将模糊化处理得到的负载状态标签值转化为具体的离散值,如低、中和高。可以使用常用的解模糊化方法,如最大隶属度法或加权平均法。
通过以上步骤,自适应模糊算法可以将预定时间点的负载值转化为负载状态标签值,为后续的负载调整和任务分配提供离散化的输入。这样可以更好地处理和分析负载数据,实现负载平衡的目标。
对于所述步骤122,接着,为了能够使得模糊化处理后的所述各个计算节点的负载状态标签值有利于进行后续的计算节点状态检测和任务分配,在本申请的技术方案中,进一步使用独热编码对所述各个计算节点在预定时间段内多个预定时间点的负载状态标签值进行独热编码以得到所述各个计算节点的负载状态标签时序拼接独热编码向量。这样,所述各个计算节点的负载状态标签时序拼接独热编码向量中的每个向量表示该计算节点在不同时间点的负载状态时序分布信息,这样的编码方式可以保留了负载状态的时序信息,方便后续的负载状态检测和负载平衡决策。
其中,独热编码(One-Hot Encoding)是一种常用的分类变量编码方法,将每个分类变量的取值转换为一个二进制向量,其中只有一个元素为1,其余元素都为0。这个唯一的1表示当前观察值属于哪个分类。
例如,假设有一个计算节点的负载状态标签有三个可能取值:A、B和C,使用独热编码对这些标签进行编码,可以得到以下结果:
- 负载状态标签 A:[1, 0, 0]
- 负载状态标签 B:[0, 1, 0]
- 负载状态标签 C:[0, 0, 1]
这样,每个负载状态标签都被转换为一个长度为3的二进制向量,其中只有对应标签的位置为1,其他位置都为0。通过这种编码方式,可以将分类变量用于机器学习算法中,而不引入不必要的数值大小关系。在计算负载平衡方法中,使用独热编码对每个计算节点在预定时间段内多个预定时间点的负载状态标签进行编码,得到每个节点的负载状态时序拼接独热编码向量。这样可以将负载状态转化为可以输入神经网络的数值特征,用于后续的特征提取和关联分析。
对于所述步骤123,所述深度神经网络模型为一维卷积神经网络模型。进一步地,对于所述各个计算节点来说,其负载状态在时间维度上是不断变化的,也就是说,每个所述计算节点在各个预定时间点下的负载状态标签值之间具有着时序的关联关系。因此,在本申请的技术方案中,进一步将所述各个计算节点的负载状态标签时序拼接独热编码向量分别通过基于一维卷积神经网络模型的负载状态时序特征提取器中进行特征挖掘,以分别提取出所述各个计算节点的负载状态标签值在时间维度上的时序关联特征信息,即所述各个计算节点的负载状态时序变化特征信息,从而得到多个计算节点负载状态时序特征向量。
一维卷积神经网络在处理时序数据方面具有优势,可以自动学习时序数据中的局部模式和全局模式,并提取出有用的特征。通过堆叠多个卷积层和池化层,CNN可以捕捉到不同尺度的时序模式,从而更好地描述负载状态的变化。在负载状态时序特征提取器中,可以使用多个卷积层和池化层来提取不同层次的特征。卷积层可以通过滑动窗口的方式对输入的负载状态时序拼接独热编码向量进行特征提取,而池化层可以对提取到的特征进行降维和压缩,减少模型的参数量,同时保留关键的特征信息。
通过基于一维卷积神经网络的负载状态时序特征提取器,可以使模型学习到负载状态的时序模式和规律,从而更好地描述负载的变化趋势。这样得到的特征可以用于后续的关联分析,帮助确定计算节点的概率值,实现负载的自动调整和动态分配,提高系统的性能和效率。
对于所述步骤124,包括:将所述多个计算节点负载状态时序特征向量排列为二维特征矩阵后通过基于二维卷积神经网络模型的计算节点间负载关联特征提取器以得到所述计算节点间负载关联特征矩阵。
继而,还考虑到由于所述各个计算节点的负载状态时序变化特征在节点样本维度上也具有着相互的关联关系,为了能够更为充分地捕捉到有关于所述各个计算节点的负载状态变化情况,需要对于这些计算节点的负载状态时序特征进行整体的关联特征提取。具体地,在本申请的技术方案中,进一步将所述多个计算节点负载状态时序特征向量排列为二维特征矩阵后通过基于二维卷积神经网络模型的计算节点间负载关联特征提取器中进行特征挖掘,以提取出所述各个计算节点的负载状态时序变化特征之间的隐含关联性特征分布信息,从而得到计算节点间负载关联特征矩阵。这样,能够对于所述各个计算节点的负载状态在时间维度和样本维度上的关联特征信息进行综合刻画,有利于对于所述各个计算节点的负载状态进行检测以及后续的计算任务的分配。
具体地,在所述步骤130中,基于所述节点间负载时序关联特征,确定所述多个计算节点的多个概率值,包括:以所述各个计算节点负载状态时序特征向量作为查询特征向量,计算其与所述计算节点间负载关联特征矩阵之间的矩阵乘积以得到多个节点负载映射特征向量;以及,将所述多个节点负载映射特征向量通过分类器以得到所述多个概率值。
然后,以所述各个计算节点负载状态时序特征向量作为查询特征向量,计算其与所述计算节点间负载关联特征矩阵之间的矩阵乘积,以此来将所述各个计算节点的负载状态时序变化特征映射到所述各个计算节点负载状态时序特征之间的隐含关联特征的高维空间中,从而得到多个节点负载映射特征向量。这样,能够以所述各个计算节点的负载状态时序变化特征的关联特征信息为背景基础来刻画有关于所述各个计算节点的负载状态时序特征信息,以更加准确地进行各计算节点的负载状态变化趋势监测,从而合理进行计算任务的分配以达到负载平衡的目的。
进一步地,将所述多个节点负载映射特征向量通过分类器以得到所述多个概率值,包括:使用所述分类器的多个全连接层对所述多个节点负载映射特征向量进行全连接编码以得到编码分类特征向量;以及,将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述多个概率值。
进一步地,将所述多个节点负载映射特征向量通过分类器以得到多个概率值。也就是说,以所述各个计算节点的负载状态时序变化特征来进行分类处理,以此来对于所述各个计算节点的负载状态变化情况进行检测,从而得到应分配给该节点的概率值一得到所述多个概率值。进而,将计算任务分配给所述多个概率值中最大概率值对应的计算节点。
在本申请中,所述基于自适应模糊控制的计算负载平衡方法,还包括训练步骤:用于对所述基于一维卷积神经网络模型的负载状态时序特征提取器、所述基于二维卷积神经网络模型的计算节点间负载关联特征提取器和所述分类器进行训练。所述训练步骤,包括:获取训练数据,所述训练数据包括多个计算节点在预定时间段内多个预定时间点的训练负载值,以及,所述多个概率值的真实值;使用自适应模糊算法对所述各个预定时间点的训练负载值进行模糊化处理以将所述各个预定时间点的训练负载值转化为训练负载状态标签值;使用独热编码对所述各个计算节点在预定时间段内多个预定时间点的训练负载状态标签值进行独热编码以得到所述各个训练计算节点的负载状态标签时序拼接独热编码向量;将所述各个训练计算节点的负载状态标签时序拼接独热编码向量分别通过所述基于一维卷积神经网络模型的负载状态时序特征提取器以得到多个训练计算节点负载状态时序特征向量;将所述多个训练计算节点负载状态时序特征向量排列为训练二维特征矩阵后通过所述基于二维卷积神经网络模型的计算节点间负载关联特征提取器以得到训练计算节点间负载关联特征矩阵;以所述各个训练计算节点负载状态时序特征向量作为查询特征向量,计算其与所述训练计算节点间负载关联特征矩阵之间的矩阵乘积以得到多个训练节点负载映射特征向量;将所述多个训练节点负载映射特征向量通过所述分类器以得到多个分类损失函数值;计算所述训练计算节点间负载关联特征矩阵的流形凸分解一致性因数以得到流形凸分解一致性损失函数值;以所述各个分类损失函数值和所述流形凸分解一致性损失函数值的加权和作为损失函数值,并通过梯度下降的反向传播来对所述基于一维卷积神经网络模型的负载状态时序特征提取器、所述基于二维卷积神经网络模型的计算节点间负载关联特征提取器和所述分类器进行训练。
特别地,在本申请的技术方案中,这里,将所述多个计算节点负载状态时序特征向量排列为二维特征矩阵后通过基于二维卷积神经网络模型的计算节点间负载关联特征提取器以得到计算节点间负载关联特征矩阵时,是针对所述多个计算节点负载状态时序特征向量所表达的各个计算节点的负载状态标签值的时序关联特征进行时序-样本交叉维度下的高阶关联特征提取,由此,如果能够使得所述计算节点间负载关联特征矩阵在时序维度和样本维度下的特征表达趋于一致,则有助于提升所述计算节点间负载关联特征矩阵的整体表达效果。
这里,由于所述计算节点间负载关联特征矩阵在行和列方向上分别遵循时序维度和样本维度特征分布,因此,可以通过使得所述计算节点间负载关联特征矩阵在高维特征空间内的流形表达在与行方向和列方向对应的不同分布维度上保持一致,来使得所述计算节点间负载关联特征矩阵在时序维度和样本维度下的特征表达趋于一致。
因此,本申请的申请人在分类损失函数之外,进一步引入所述计算节点间负载关联特征矩阵的流形凸分解一致性损失函数,具体表示为:
其中,表示所述训练计算节点间负载关联特征矩阵的第(/>位置的特征值,和/>分别是所述训练计算节点间负载关联特征矩阵第/>个行向量的均值向量和列向量的均值向量,/>表示向量的一范数,/>表示矩阵的Frobenius范数,/>是特征向量的长度,且/>、/>和/>是权重超参数,/>表示/>函数,/>表示所述流形凸分解一致性损失函数值。
也就是,考虑到所述计算节点间负载关联特征矩阵的行和列维度的时序和样本维度特征表达,所述流形凸分解一致性因数针对所述计算节点间负载关联特征矩阵/>在行和列所代表的子维度上的分布差异性,通过所述计算节点间负载关联特征矩阵/>所表示的特征流形的几何凸分解,来对不同维度上的流形的有限凸多面体的集合进行平展化,并以子维度关联的形状权重的形式来约束几何凸分解,从而促进所述计算节点间负载关联特征矩阵/>的特征流形在行和列所代表的可分解维度上的凸几何表示的一致性,以使得所述计算节点间负载关联特征矩阵在高维特征空间内的流形表达在与行方向和列方向对应的不同分布维度上保持一致,从而使得所述计算节点间负载关联特征矩阵在时序维度和样本维度下的特征表达趋于一致。这样,能够基于各个计算节点的实际负载状态情况来进行计算任务的自动分配和动态调整,以达到负载平衡的目的。
综上,基于本发明实施例的基于自适应模糊控制的计算负载平衡方法100被阐明,利用自适应模糊控制算法对多个计算节点的负载值进行模糊化处理后,再对经过模糊化处理后的所述各个计算节点的负载状态进行关联编码以基于所述各个计算节点的负载状态关联信息来进行计算任务的自动分配和动态调整,以达到负载平衡的目的。
在本发明的一个实施例中,图4为本发明实施例中提供的一种基于自适应模糊控制的计算负载平衡系统的框图。如图4所示,根据本发明实施例的基于自适应模糊控制的计算负载平衡系统200,包括:数据获取模块210,用于获取多个计算节点在预定时间段内多个预定时间点的负载值;关联分析模块220,用于对所述多个计算节点在预定时间段内多个预定时间点的负载值进行关联分析以得到节点间负载时序关联特征;概率值确定模块230,用于基于所述节点间负载时序关联特征,确定所述多个计算节点的多个概率值;以及,节点计算模块240,用于将计算任务分配给所述多个概率值中最大概率值对应的计算节点。
这里,本领域技术人员可以理解,上述基于自适应模糊控制的计算负载平衡系统中的各个单元和模块的具体功能和操作已经在上面参考图1到图3的基于自适应模糊控制的计算负载平衡方法的描述中得到了详细介绍,并因此,将省略其重复描述。
如上所述,根据本发明实施例的基于自适应模糊控制的计算负载平衡系统200可以实现在各种终端设备中,例如用于基于自适应模糊控制的计算负载平衡的服务器等。在一个示例中,根据本发明实施例的基于自适应模糊控制的计算负载平衡系统200可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如,该基于自适应模糊控制的计算负载平衡系统200可以是该终端设备的操作系统中的一个软件模块,或者可以是针对于该终端设备所开发的一个应用程序;当然,该基于自适应模糊控制的计算负载平衡系统200同样可以是该终端设备的众多硬件模块之一。
替换地,在另一示例中,该基于自适应模糊控制的计算负载平衡系统200与该终端设备也可以是分立的设备,并且基于自适应模糊控制的计算负载平衡系统200可以通过有线和/或无线网络连接到该终端设备,并且按照约定的数据格式来传输交互信息。
图5为本发明实施例中提供的一种基于自适应模糊控制的计算负载平衡方法的应用场景图。如图5所示,在该应用场景中,首先,获取多个计算节点在预定时间段内多个预定时间点的负载值(例如,如图5中所示意的C);然后,将获取的负载值输入至部署有基于自适应模糊控制的计算负载平衡算法的服务器(例如,如图5中所示意的S)中,其中所述服务器能够基于自适应模糊控制的计算负载平衡算法对所述负载值进行处理,以生成任务分配给所述多个概率值中最大概率值对应的计算节点。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于自适应模糊控制的计算负载平衡方法,其特征在于,包括:
获取多个计算节点在预定时间段内多个预定时间点的负载值;
对所述多个计算节点在预定时间段内多个预定时间点的负载值进行关联分析以得到节点间负载时序关联特征;
基于所述节点间负载时序关联特征,确定所述多个计算节点的多个概率值;以及
将计算任务分配给所述多个概率值中最大概率值对应的计算节点。
2.根据权利要求1所述的基于自适应模糊控制的计算负载平衡方法,其特征在于,对所述多个计算节点在预定时间段内多个预定时间点的负载值进行关联分析以得到节点间负载时序关联特征,包括:
使用自适应模糊算法对所述各个预定时间点的负载值进行模糊化处理以将所述各个预定时间点的负载值转化为负载状态标签值,其中,所述负载状态标签值包括低、中和高;
使用独热编码对所述各个计算节点在预定时间段内多个预定时间点的负载状态标签值进行独热编码以得到所述各个计算节点的负载状态标签时序拼接独热编码向量;
通过基于深度神经网络模型的负载状态时序特征提取器对所述各个计算节点的负载状态标签时序拼接独热编码向量进行时序关联特征提取以得到多个计算节点负载状态时序特征向量;以及
对所述多个计算节点负载状态时序特征向量进行关联编码以得到计算节点间负载关联特征矩阵作为所述节点间负载时序关联特征。
3.根据权利要求2所述的基于自适应模糊控制的计算负载平衡方法,其特征在于,所述深度神经网络模型为一维卷积神经网络模型。
4.根据权利要求3所述的基于自适应模糊控制的计算负载平衡方法,其特征在于,对所述多个计算节点负载状态时序特征向量进行关联编码以得到计算节点间负载关联特征矩阵作为所述节点间负载时序关联特征,包括:将所述多个计算节点负载状态时序特征向量排列为二维特征矩阵后通过基于二维卷积神经网络模型的计算节点间负载关联特征提取器以得到所述计算节点间负载关联特征矩阵。
5.根据权利要求4所述的基于自适应模糊控制的计算负载平衡方法,其特征在于,基于所述节点间负载时序关联特征,确定所述多个计算节点的多个概率值,包括:
以所述各个计算节点负载状态时序特征向量作为查询特征向量,计算其与所述计算节点间负载关联特征矩阵之间的矩阵乘积以得到多个节点负载映射特征向量;以及
将所述多个节点负载映射特征向量通过分类器以得到所述多个概率值。
6.根据权利要求5所述的基于自适应模糊控制的计算负载平衡方法,其特征在于,将所述多个节点负载映射特征向量通过分类器以得到所述多个概率值,包括:
使用所述分类器的多个全连接层对所述多个节点负载映射特征向量进行全连接编码以得到编码分类特征向量;以及
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述多个概率值。
7.根据权利要求6所述的基于自适应模糊控制的计算负载平衡方法,其特征在于,还包括训练步骤:用于对所述基于一维卷积神经网络模型的负载状态时序特征提取器、所述基于二维卷积神经网络模型的计算节点间负载关联特征提取器和所述分类器进行训练。
8.根据权利要求7所述的基于自适应模糊控制的计算负载平衡方法,其特征在于,所述训练步骤,包括:
获取训练数据,所述训练数据包括多个计算节点在预定时间段内多个预定时间点的训练负载值,以及,所述多个概率值的真实值;
使用自适应模糊算法对所述各个预定时间点的训练负载值进行模糊化处理以将所述各个预定时间点的训练负载值转化为训练负载状态标签值;
使用独热编码对所述各个计算节点在预定时间段内多个预定时间点的训练负载状态标签值进行独热编码以得到所述各个训练计算节点的负载状态标签时序拼接独热编码向量;
将所述各个训练计算节点的负载状态标签时序拼接独热编码向量分别通过所述基于一维卷积神经网络模型的负载状态时序特征提取器以得到多个训练计算节点负载状态时序特征向量;
将所述多个训练计算节点负载状态时序特征向量排列为训练二维特征矩阵后通过所述基于二维卷积神经网络模型的计算节点间负载关联特征提取器以得到训练计算节点间负载关联特征矩阵;
以所述各个训练计算节点负载状态时序特征向量作为查询特征向量,计算其与所述训练计算节点间负载关联特征矩阵之间的矩阵乘积以得到多个训练节点负载映射特征向量;
将所述多个训练节点负载映射特征向量通过所述分类器以得到多个分类损失函数值;
计算所述训练计算节点间负载关联特征矩阵的流形凸分解一致性因数以得到流形凸分解一致性损失函数值;
以所述各个分类损失函数值和所述流形凸分解一致性损失函数值的加权和作为损失函数值,并通过梯度下降的反向传播来对所述基于一维卷积神经网络模型的负载状态时序特征提取器、所述基于二维卷积神经网络模型的计算节点间负载关联特征提取器和所述分类器进行训练。
9.根据权利要求8所述的基于自适应模糊控制的计算负载平衡方法,其特征在于,计算所述训练计算节点间负载关联特征矩阵的流形凸分解一致性因数以得到流形凸分解一致性损失函数值,包括:
以如下损失公式计算所述训练计算节点间负载关联特征矩阵的流形凸分解一致性因数以得到所述流形凸分解一致性损失函数值;
其中,所述损失公式为:
其中,表示所述训练计算节点间负载关联特征矩阵的第(/>位置的特征值,/>和分别是所述训练计算节点间负载关联特征矩阵第/>个行向量的均值向量和列向量的均值向量,/>表示向量的一范数,/>表示矩阵的Frobenius范数,/>是特征向量的长度,且/>、/>和/>是权重超参数,/>表示/>函数,/>表示所述流形凸分解一致性损失函数值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310879056.8A CN117093360A (zh) | 2023-07-18 | 2023-07-18 | 一种基于自适应模糊控制的计算负载平衡方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310879056.8A CN117093360A (zh) | 2023-07-18 | 2023-07-18 | 一种基于自适应模糊控制的计算负载平衡方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117093360A true CN117093360A (zh) | 2023-11-21 |
Family
ID=88777759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310879056.8A Pending CN117093360A (zh) | 2023-07-18 | 2023-07-18 | 一种基于自适应模糊控制的计算负载平衡方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117093360A (zh) |
-
2023
- 2023-07-18 CN CN202310879056.8A patent/CN117093360A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yu et al. | Intelligent edge: Leveraging deep imitation learning for mobile edge computation offloading | |
CN116760772B (zh) | 汇聚分流器的管控系统及其方法 | |
Kim et al. | Integration of inductive learning and neural networks for multi-objective FMS scheduling | |
Le et al. | A collective neurodynamic system for distributed optimization with applications in model predictive control | |
Zhang et al. | Flow shop scheduling with reinforcement learning | |
CN117041017B (zh) | 数据中心的智能运维管理方法及系统 | |
Zhang et al. | Multi-parameter online measurement IoT system based on BP neural network algorithm | |
CN114615304B (zh) | 前分平台式工业物联网控制方法及系统 | |
Simula et al. | Analysis and modeling of complex systems using the self-organizing map | |
CN116882708A (zh) | 基于数字孪生的钢铁工艺流程管控方法、装置及相关设备 | |
CN115983497A (zh) | 一种时序数据预测方法和装置、计算机设备、存储介质 | |
CN108256695A (zh) | 一种基于历史信息的Web服务QoS预测方法 | |
CN110837857A (zh) | 工业用电负荷预测方法、系统及其存储介质 | |
CN108241864A (zh) | 基于多变量分组的服务器性能预测方法 | |
CN116362526B (zh) | 一种用于数字化电厂的云边协同资源管控方法及系统 | |
CN117093360A (zh) | 一种基于自适应模糊控制的计算负载平衡方法 | |
CN116415732A (zh) | 一种基于改进arnn的用户侧电力负荷数据处理方法 | |
Bodyanskiy et al. | Evolving cascaded neural network based on multidimensional Epanechnikov’s kernels and its learning algorithm | |
CN114546609A (zh) | 一种面向异构集群的dnn推理任务批调度方法 | |
CN113747500A (zh) | 移动边缘计算环境下基于生成对抗式网络的高能效低延迟任务卸载方法 | |
Martins et al. | A prediction-based multisensor heuristic for the internet of things | |
Feng et al. | A received signal strength based indoor localization algorithm using ELM technique and ridge regression | |
CN114077491B (zh) | 一种工业智能制造边缘计算任务调度方法 | |
CN111917854B (zh) | 一种面向mcc的协作型迁移决策方法及系统 | |
Kumaran et al. | Deep Reinforcement Learning algorithms for Low Latency Edge Computing Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |