CN113778683A - 一种基于神经网络的Handle标识体系解析负载均衡方法 - Google Patents
一种基于神经网络的Handle标识体系解析负载均衡方法 Download PDFInfo
- Publication number
- CN113778683A CN113778683A CN202111073305.1A CN202111073305A CN113778683A CN 113778683 A CN113778683 A CN 113778683A CN 202111073305 A CN202111073305 A CN 202111073305A CN 113778683 A CN113778683 A CN 113778683A
- Authority
- CN
- China
- Prior art keywords
- load
- server
- neural network
- enterprise
- utilization rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 52
- 238000004458 analytical method Methods 0.000 title claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 12
- 210000002569 neuron Anatomy 0.000 claims description 36
- 230000008569 process Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 15
- HTIQEAQVCYTUBX-UHFFFAOYSA-N amlodipine Chemical compound CCOC(=O)C1=C(COCCN)NC(C)=C(C(=O)OC)C1C1=CC=CC=C1Cl HTIQEAQVCYTUBX-UHFFFAOYSA-N 0.000 claims description 9
- 238000002474 experimental method Methods 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 238000012886 linear function Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 abstract description 10
- 230000008859 change Effects 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241000219000 Populus Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种基于神经网络的Handle标识体系解析负载均衡方法，包括：建立企业‑服务器映射表，记录时间序列数据，训练生成负载利用率预测模型和任务量预测，根据预测结果更新企业‑服务器映射表。通过本发明，首先建立企业‑服务器映射表加快任务响应速度，提高处理任务效率，并使用时间序列数据和BP神经网络，生成负载利用率预测模型，提高预测准确率，然后通过Elman神经网络预测任务量，将其输入负载利用率预测模型预估各服务器的负载变化，最后结合负载利用率分段函数，动态修改映射表的策略，使服务器集群能很好应对Handle标识体系解析任务，提高了服务器集群利用率和负载均衡度,缩短了执行任务所用时间。
Description
技术领域
本发明属于负载均衡技术领域，涉及神经网络方法，具体为一种基于神经网络的能够预测二级节点解析服务器负载变化的负载均衡方法。
背景技术
目前我国工业互联网的市场规模正在逐渐扩大，有望达到万亿级别，工业互联网标识也相应的进行爆发式増长，二级节点解析服务器常常在短时间内收到大量并发的注册和查询请求，因此如何合理地分配集群服务器的任务并满足最大的服务需求是需要解决的关键技术问题，而负载均衡是解决服务器集群难点的核心技术之一。
目前负载均衡算法主要分为静态负载均衡算法和动态负载均衡两大类。对于静态负载均衡算法，如轮询调度算法、随机调度算法、加权轮询调度算法、源地址哈希调度算法、键值范围调度算法等。这类算法容易实现，但是不能根据实时情况进行动态调整，容易导致服务器负载不均衡，无法有效利用起集群的性能。对于动态负载均衡算法，如最小连接数算法、最快响应速度算法、一致性哈希算法等，这类算法可以根据节点状况实时变化，但是未考虑服务器间的性能差异和任务请求的大小，不能准确判断服务器真实的负载利用率。陈大才提出一种基于预测模型和独立训练节点的负载均衡算法(陈大才.基于Nginx的高并发访问服务器的研究与应用[D].沈阳：中国科学院大学(中国科学院沈阳计算技术研究所)，2018)，通过预测响应时间来分配服务器，但是当任务请求小而多时，预测算法反会增加响应时间。郑浩等人提出了一种自适应负载指标权值的负载均衡算法(郑浩,李宁,杨小涛.自适应负载指标权值的负载均衡算法[J].计算机工程与设计,2019,40(3):623-626,643)，通过服务器节点各负载指标的实际观测值动态调整各负载指标的权值，但是容易因频繁的权值修改引起集群抖动。李中华等人提出一种基于流量溢出效应的动态负载均衡模型与算法(李中华,罗尚平,王慧.D-Spillover负载均衡的算法研究[J].重庆师范大学学报(自然科版),2020,37(06):7-12)，通过对数据流进行粒子化最优分解，粒子群寻优法，以粒子化等比例利用带宽，实现充分利用网络的带宽，最大化发挥网络设备性能。但是对服务器的任务请求进行粒子化最优分解后，加大了任务后续的处理，增加了处理时间；周磊等人提出了一种基于二部图最大匹配的动态负载均衡算法(周磊,孟利民,周立鹏,蒋维.基于二部图最大匹配的动态负载均衡算法[J].高技术通讯,2020,30(08):798-804)，通过以服务器所执行任务的任务量与实际完成时间的比值作为服务器的负载指标，根据待分配任务的任务量和期望完成时间以及各个服务器的负载指标，构建服务器与任务的二部图，并求解最大匹配，最后按匹配结果将任务实时发送至对应服务器。实现较好的负载效果，但是存在任务未匹配到服务器的情况，导致该任务响应时间过长，并且服务器集群过大时，算法的效率将下降。
在工业互联网中二级节点的服务器集群的主要服务请求是处理注册任务和查询任务，任务大小相对固定。Handle标识体系采用迭代解析方式，通过向GHR(Global HandleRegistry)发送标识前缀，以获取前缀所属LHS(Local Handle Service)服务站点信息；向LHS服务站点发送完整标识，以获取解析结果。对于Handle标识注册与解析过程中任务请求小而多的情况，任务量波动大的情况和Handle标识特有的解析过程。现有的动态负载均衡算法无法同时满足响应时间短，负载预测准确度高和集群利用率高。
因此，本发明针对Handle标识体系的特点，设计了一种基于神经网络的Handle标识体系解析负载均衡方法。
发明内容
本发明目的在于克服现有技术中存在的问题，提出一种基于神经网络的Handle标识体系解析负载均衡方法，该方法特别适用于Handle标识体系。
概括地说，本发明方法包括：通过引入企业在二级节点申请的企业前缀和二级节点解析服务器集群，建立多对一的企业-服务器映射表，实现解析任务的快速响应，通过引入服务器负载利用率计算公式，实现服务器负载状态数值化，通过引入Elman神经网络，实现预测二级节点的标识注册量和查询量，通过引入BP神经网络，实现预测二级节点解析服务器集群的负载利用率，通过引入负载利用率分段函数，动态调整映射表，提高集群利用率。
为了实现本发明目的，采用的技术方案如下：
一种基于神经网络的Handle标识体系解析负载均衡方法，包括以下步骤：
(1)、根据二级节点分配的企业前缀和二级节点解析服务器集群，建立多对一的企业-服务器映射表；
(2)、按照时间记录不同企业的标识注册量、标识查询量和服务器的负载利用率并生成时间序列数据；
(3)、使用BP神经网络和时间序列数据建立负载利用率预测模型；
(4)、负载控制服务器每隔固定时间使用Elman神经网络和时间序列数据预测未来一段时间内企业的标识注册量和标识查询量；
(5)、将预测的标识注册量和标识查询量根据映射表进行汇总，并输入负载利用率预测模型得到服务器集群的预测负载利用率；
(6)、根据预测负载利用率更新企业-服务器映射表；
(7)、当有任务请求时，负载控制服务器查找映射表，查找成功转步骤(8)，查找失败转步骤(9)；
(8)、在任务下发前判断对应服务器的负载利用率，如果服务器超载，将信息发送给负载控制服务器，负载控制服务器删除该企业前缀的映射并转步骤(9)；否则转步骤(10)；
(9)、负载控制服务器查找当前负载利用率最低的服务器，与该任务的企业前缀建立映射关系，写入映射表中；转步骤(7)；
(10)、执行任务。
进一步的，所述步骤(2)中，本发明方法根据服务器负载状态无法数值化表示的情况，引入运行时服务器CPU、内存、网络带宽、磁盘IO四项负载指标利用率计算服务器负载利用率的公式。
其中，L代表负载利用率，LCPU代表CPU的利用率，LMemory代表内存的利用率，LBandwidth代表带宽的利用率，LDisk代表磁盘IO的利用率，R(R1、R2、R3、R4)代表各部分利用率对负载利用率L的影响程度。
所述步骤(2)中，时间序列数据是以分钟为单位进行记录。
进一步的，所述步骤(3)中，BP神经网络的输入层神经元为2个，输出层神经元为1个，隐含层神经元个数由多次实验获得最佳个数。
进一步的，所述步骤(4)中，固定时间由使用人员根据实际情况进行确定，固定时间与任务波动频率成反比，即任务波动越频繁则固定时间越短。Elman神经网络的输入层神经元为4个，输出层神经元为1个，隐含层神经元个数由多次实验获得最佳个数。
进一步的，所述步骤(6)中，映射表的更新过程包括以下步骤：
首先设定负载利用率的2个取值LLow，LHigh分别作为低负载,高负载的临界值，定义阈值范围(0，LLow)代表服务器的低负载区，(LLow，LHigh)代表服务器的正常负载区，(LHigh，1)代表服务器的高负载区。得到t时刻的负载利用率为Lt。
如果Lt处于低负载区，可认为服务器的性能没有得到充分使用，根据公式(9)计算出该服务器需要增加的企业前缀数量；
如果Lt处于正常负载区，服务器可以继续接受新任务，映射表无需发生变化；
如果Lt处于高负载区，可认为服务器出现负载过重的情况，根据公式(9)计算出该服务器需要减少的企业前缀数量。
由上所述，计算服务器负责企业前缀个数变化的负载利用率分段函数如下
其中，ΔW为服务器映射的企业前缀数量变化，N为服务器处于满负载时的企业前缀数量，M为N的x倍(1<x<LHigh/LLow)。
当所有的服务器都计算出结果后，将高负载区的服务器减少的企业前缀通过轮询的方式加入到低负载区的服务器中，但是低负载区的服务器增加的企业前缀个数不能超过公式计算的结果。如果低负载区的服务器增加的企业前缀个数已经达到最大，还有企业前缀未与服务器建立映射关系，则将超出的企业前缀轮询的映射到正常负载区的服务器中。
本发明方法首先建立企业-服务器映射表加快任务响应速度，提高处理任务效率，并使用时间序列数据和BP神经网络，生成负载利用率预测模型，提高预测准确率，然后通过Elman神经网络预测任务量，将其输入负载利用率预测模型预估各服务器的负载变化，最后结合负载利用率分段函数，动态修改映射表的策略，使服务器集群能很好应对Handle标识体系解析任务，提高了服务器集群利用率和负载均衡度，缩短了执行任务所用时间。
与现有技术相比，本发明的优势在于：
1、本发明通过建立企业-服务器映射表，加快了任务响应的速度，提高了处理任务效率，即使服务器的规模增大，对任务的响应速度影响很小。
2、本发明引入Elman神经网络，根据其具有动态记忆功能，适合进行时间序列预测，提高了标识注册量和查询量的预测准确度。
3、本发明使用标识注册量和标识查询量作为输入参数，负载利用率作为输出结果，通过BP神经网络生成负载利用率预测模型，不仅考虑到服务器间的性能差异，任务对服务器资源的消耗情况，还考虑到注册量和查询量之间的潜在关系，提高了服务器负载利用率预测准确度。
4、本发明引入负载利用率分段函数，动态修改映射表的策略，不仅避免了服务器集群因频繁修改导致的集群抖动，而且相对于修改服务器权值，能更加反映出服务器的负载变化，更加精细化，使服务器集群在低并发和高并发时都有很好的表现，提高整个集群利用率。
附图说明
图1表示本发明负载均衡方法整体示意图。
图2表示基于BP神经网络建立负载利用率预测模型的流程示意图。
图3表示基于Elman神经网络预测任务量的流程示意图。
图4表示基于预测结果周期性更新映射表流程示意图。
图5表示服务请求流程示意图。
具体实施方式
以下结合附图通过具体实施例详细说明本发明，但不构成对本发明的限制。
一种基于神经网络的Handle标识体系解析负载均衡方法，包括：建立企业-服务器映射表，记录时间序列数据，训练生成负载利用率预测模型和任务量预测，根据预测结果更新企业-服务器映射表。具体如图1所示，本实例分为三个部分，分别为初始化阶段、周期性更新阶段和运行阶段。
一、初始化阶段：包括步骤(1)～步骤(3)
(1)首先使用已经在二级节点注册的企业前缀，按照前缀的编号顺序依次与服务器建立映射，生成多对一的企业-服务器映射表；
(2)然后负载控制服务器按照时间记录企业的标识注册量、标识查询量和服务器的负载利用率，生成相应的时间序列数据，其中负载利用率由公式(1)计算得出。
本发明方法根据服务器负载状态无法数值化表示的情况，引入运行时服务器CPU、内存、网络带宽、磁盘IO四项负载指标利用率计算服务器负载利用率的公式。
其中，L代表负载利用率，LCPU代表CPU的利用率，LMemory代表内存的利用率，LBandwidth代表带宽的利用率，LDisk代表磁盘IO的利用率，R(R1、R2、R3、R4)代表各部分利用率对负载利用率L的影响程度.
具体实施时，使用层次分析-熵权法确定R值，具体如下：
步骤1：使用层次分析法计算R值。
首先建立层次结构模型，构造判断矩阵A(n＝4)。判断矩阵的元素表示为同一层次指标之间的相对重要性。判断矩阵的元素aij表示第i个因素相对于第j个因素的重要程度。
A＝(aij)n×n,aij＝1/aji (2)
接着进行权值计算。计算判断矩阵A的最大特征向量λmax及对应的特征向量ω＝(ω1,ω2,ω3,ω4)，并对权重进行归一化处理。
最后进行一致性检验，判断矩阵是否满足一致性要求，用指标CR刻画。当CR<0.1时，判断矩阵满足一致性要求，标准化后的特征向量可以作为权向量。其计算公式为：
式中，CI为一致性指标，RI为平均随机一致性指标，取值为0.9。
步骤2：使用熵权法计算R值。
首先选取m台不同性能的服务器和4个负载指标，则xij’(i＝1,2,...,m；j＝1,2,3,4)为第i台服务器的第j个负载指标的数值，并对xij’进行归一化处理，将归一化后的结果记为xij。
接着计算第j项负载指标下第i台服务器值占该指标比重Pij。
接着计算第j项指标的熵值ej并计算信息熵冗余度dj。
最后计算各项指标的权重。
步骤3：最小二乘法组合层次分析-熵权法。
层次分析法决定主观权重，熵权法决定客观权重，使用最小二乘法优化主观权重和客观权重结果，最终确定各负载指标权重，如公式(8)所示。
式中，μj为各负载指标的综合权重(即表示R1、R2、R3、R4)，ωj为层次分析法得到的各负载指标权重，
为熵权法得到的各负载指标权重。
(3)利用时间序列数据生成负载利用率预测模型如图2所示，包括以下步骤：
步骤1：构建合适的BP神经网络，隐含层神经元采用对数S型传递函数logsig作为传递函数，输出层神经元则采用purelin线性函数，网络训练函数为traingdx，网络迭代次数最多为1000，期望误差为10-3，输入的是总标识注册量和总标识查询量，输入层神经元取2个，输出的是负载利用率，输出层神经元取1个。隐含层的神经元的选取一般通过经验性选取，可以通过多次实验获得最佳隐含层神经元个数，本实例选取双隐含层神经元4个，构成2×4×1的三层神经网络模型。
步骤2：BP神经网络初始化。
步骤3：将服务器对应的企业的标识注册量和标识查询量作为输入层，负载利用率作为输出层，进行BP神经网络训练。
步骤4：测试训练完的负载利用率预测模型，若误差未达到阈值转步骤5，否则转步骤3。
步骤5：得到负载利用率预测模型。
步骤6：重复上述过程，得到所有服务器的负载利用率预测模型。
注：当修改R参数后，要重新生成负载利用率预测模型。
二、周期性更新阶段：包括步骤(4)～步骤(6)
(4)负载控制服务器每隔固定时间使用Elman神经网络和时间序列数据预测企业的标识注册量和标识查询量，如图3所示。
步骤1：构建合适的Elman神经网络，隐含层神经元采用非线性logsig作为传递函数，输出层神经元采用purelin线性函数函数，网络训练函数为BPTT，网络迭代次数最多为1000，期望误差为10-3，隐含层的神经元的选取一般通过经验性选取，可以通过多次实验获得最佳隐含层神经元个数，本实例选取隐含层神经元8个，输入层由4个神经元组成{Zt-3h，Zt-2h，Zt-1h，Zt}，分别表示t时刻及之前3个小时的历史值。输出层由1个神经元组成，Zt+1h表示t时刻之后1个小时的预测值。构成4×8×8×1的四层神经网络模型。
步骤2：Elman神经网络初始化。
步骤3：训练Elman神经网络。
步骤4：测试训练结果，若误差未达到阈值转步骤5，否则转步骤3。
步骤5：预测该企业的标识注册量和标识查询量。
步骤6：重复上述过程，预测所有企业的标识注册量和标识查询量。
(5)将预测结果按照服务器的映射关系进行汇总，汇总后将其输入到负载利用率预测模型中，得到各服务器的预测负载利用率。
(6)再根据预测负载利用率更新企业-服务器映射表。映射表的更新过程如图4所示，首先设定负载利用率的2个取值LLow，LHigh分别作为低负载,高负载的临界值，定义阈值范围(0，LLow)代表服务器的低负载区，(LLow，LHigh)代表服务器的正常负载区，(LHigh，1)代表服务器的高负载区。服务器的预测负载利用率为Lt。
如果Lt处于低负载区，将其带入公式(9)，计算出该服务器需要增加的企业前缀数量；
如果Lt处于正常负载区，将其带入公式(9)，该服务器与企业前缀的映射关系无需发生变化；
如果Lt处于高负载区，将其带入公式(9)，计算出该服务器需要减少的企业前缀数量。
由上所述，计算服务器负责企业前缀个数变化的负载利用率分段函数如下：
其中，ΔW为服务器映射的企业前缀数量变化，N为服务器处于满负载时的企业前缀数量，M为N的x倍(1<x<LHigh/LLow)。
当所有的服务器都带入公式(9)计算出结果后，将高负载区的服务器减少的企业前缀通过轮询的方式加入到低负载区的服务器中，但是低负载区的服务器增加的企业前缀个数不能超过公式9计算的结果。如果低负载区的服务器增加的企业前缀个数已经达到最大，还有企业前缀未与服务器建立映射关系，则将超出的企业前缀轮询的映射到正常负载区的服务器中。
三、运行阶段：包括步骤(7)～步骤(10)
如图5所示，当有服务请求时，负载控制服务器查找企业-服务器映射表，如果查找失败，负载控制服务器查询当前负载利用率最低的服务器，与其建立映射关系并写入映射表中，重新查询映射表；如果查找成功，则判断所下发的服务器的负载利用率，如果服务器超载，则将超载信息发送给负载控制服务器，负载控制服务器在映射表中删除该企业前缀与服务器之间的映射，并查找当前负载利用率最低的服务器，重新建立映射关系并写入映射表中，重新查询映射表；如果服务器未超载，则正常执行任务。
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照本发明实施例进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明的技术方案的精神和范围，其均应涵盖本发明的权利要求保护范围中。
Claims (10)
1.一种基于神经网络的Handle标识体系解析负载均衡方法，其特征在于：包括以下步骤：
(1)、根据二级节点分配的企业前缀和二级节点解析服务器集群，建立多对一的企业-服务器映射表；
(2)、按照时间记录不同企业的标识注册量、标识查询量和服务器的负载利用率并生成时间序列数据；
(3)、使用BP神经网络和时间序列数据生成负载利用率预测模型；
(4)、负载控制服务器每隔固定时间使用Elman神经网络和时间序列数据预测不同企业的标识注册量和标识查询量；
(5)、将预测的不同企业的标识注册量和标识查询量根据映射表进行相应汇总，并输入负载利用率预测模型得到服务器集群的预测负载利用率；
(6)、根据服务器集群的预测负载利用率更新企业-服务器映射表；
(7)、当有服务请求时，负载控制服务器查找映射表，查找成功转步骤(8)，查找失败转步骤(9)；
(8)、在任务下发前判断对应服务器节点的负载利用率，如果服务器超载，则将信息发送给负载控制服务器，负载控制服务器删除该企业前缀的映射并转步骤(9)；否则转步骤(10)；
(9)、负载控制服务器查找当前负载利用率最低的服务器，与该任务的企业前缀建立映射关系，写入映射表中；转步骤(7)；
(10)、执行任务。
2.根据权利要求1所述的一种基于神经网络的Handle标识体系解析负载均衡方法，其特征在于：步骤(2)中，服务器负载利用率如下：
其中，L代表负载利用率，LCPU代表CPU的利用率，LMemory代表内存的利用率，LBandwidth代表带宽的利用率，LDisk代表磁盘IO的利用率，R1、R2、R3、R4代表各部分利用率对负载利用率L的影响程度。
3.根据权利要求1或2所述的一种基于神经网络的Handle标识体系解析负载均衡方法，其特征在于：步骤(2)中，时间序列数据是以分钟为单位进行记录。
4.根据权利要求3所述的一种基于神经网络的Handle标识体系解析负载均衡方法，其特征在于：步骤(3)中，BP神经网络的输入层神经元为2个，输出层神经元为1个，隐含层神经元个数由实验获得最佳个数。
5.根据权利要求4所述的一种基于神经网络的Handle标识体系解析负载均衡方法，其特征在于：步骤(4)中，固定时间由使用人员根据实际情况进行确定，固定时间与任务波动频率成反比，即任务波动越频繁则固定时间越短。
6.根据权利要求5所述的一种基于神经网络的Handle标识体系解析负载均衡方法，其特征在于：步骤(4)中，Elman神经网络的输入层神经元为4个，输出层神经元为1个，隐含层神经元个数由实验获得最佳个数。
7.根据权利要求6所述的一种基于神经网络的Handle标识体系解析负载均衡方法，其特征在于：步骤(6)中，映射表更新过程包括以下步骤：
首先设定负载利用率的2个取值LLow，LHigh分别作为低负载、高负载的临界值，定义阈值范围(0，LLow)代表服务器的低负载区，(LLow，LHigh)代表服务器的正常负载区，(LHigh，1)代表服务器的高负载区；得到t时刻的负载利用率为Lt；
如果Lt处于低负载区，认为服务器的性能没有充分使用，根据以下公式[M×(LLow–Lt)]计算出该服务器需要增加的企业前缀数量；
如果Lt处于正常负载区，服务器可以继续接受新任务，映射表无需发生变化；
如果Lt处于高负载区，认为服务器出现负载过重的情况，根据以下公式[N×(Lt–LHigh)]计算出该服务器需要减少的企业前缀数量；
其中，N为服务器处于满负载时的企业前缀数量，M为N的x倍，1<x<LHigh/LLow；
当所有的服务器都计算出结果后，将高负载区的服务器减少的企业前缀通过轮询的方式加入到低负载区的服务器中，但是低负载区的服务器增加的企业前缀个数不能超过公式计算的结果；如果低负载区的服务器增加的企业前缀个数已经达到最大，还有企业前缀未与服务器建立映射关系，则将超出的企业前缀轮询的映射到正常负载区的服务器中。
8.根据权利要求4所述的一种基于神经网络的Handle标识体系解析负载均衡方法，其特征在于：利用时间序列数据生成负载利用率预测模型，具体以下：
步骤1、构建BP神经网络，隐含层神经元采用对数S型传递函数logsig作为传递函数，输出层神经元则采用purelin线性函数，网络训练函数为traingdx，网络迭代次数最多为1000，期望误差为10-3，输入的是总标识注册量和总标识查询量，输入层神经元取2个，输出的是负载利用率，输出层神经元取1个，双隐含层神经元取4个，构成2×4×1的三层神经网络模型；
步骤2、BP神经网络初始化；
步骤3、将服务器对应的企业的标识注册量和标识查询量作为输入层，负载利用率作为输出层，进行BP神经网络训练；
步骤4、测试训练完的负载利用率预测模型，若误差未达到阈值转步骤5，否则转步骤3；
步骤5、得到负载利用率预测模型；
步骤6、重复上述过程，得到所有服务器的负载利用率预测模型。
9.根据权利要求6所述的一种基于神经网络的Handle标识体系解析负载均衡方法，其特征在于：负载控制服务器每隔固定时间使用Elman神经网络和时间序列数据预测企业的标识注册量和标识查询量，具体如下：
步骤1、构建Elman神经网络，隐含层神经元采用非线性logsig作为传递函数，输出层神经元采用purelin线性函数函数，网络训练函数为BPTT，网络迭代次数最多为1000，期望误差为10-3，隐含层神经元选取8个，输入层由4个神经元组成{Zt-3h，Zt-2h，Zt-1h，Zt}，分别表示t时刻及之前3个小时的历史值；输出层由1个神经元组成，Zt+1h表示t时刻之后1个小时的预测值；构成4×8×8×1的四层神经网络模型；
步骤2、Elman神经网络初始化；
步骤3、训练Elman神经网络；
步骤4、测试训练结果，若误差未达到阈值转步骤5，否则转步骤3；
步骤5、预测该企业的标识注册量和标识查询量；
步骤6、重复上述过程，预测所有企业的标识注册量和标识查询量。
10.根据权利要求8所述的一种基于神经网络的Handle标识体系解析负载均衡方法，其特征在于：当修改参数R后，要重新生成负载利用率预测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111073305.1A CN113778683B (zh) | 2021-09-14 | 一种基于神经网络的Handle标识体系解析负载均衡方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111073305.1A CN113778683B (zh) | 2021-09-14 | 一种基于神经网络的Handle标识体系解析负载均衡方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113778683A true CN113778683A (zh) | 2021-12-10 |
| CN113778683B CN113778683B (zh) | 2024-05-28 |
Family
ID=
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114969209A (zh) * | 2022-06-15 | 2022-08-30 | 支付宝(杭州)信息技术有限公司 | 训练方法及装置、预测资源消耗量的方法及装置 |
| CN115189997A (zh) * | 2022-06-24 | 2022-10-14 | 华南理工大学 | 基于云、雾、边缘协同的云机器人实时监测与控制方法 |
| CN115277708A (zh) * | 2022-07-18 | 2022-11-01 | 齐鲁工业大学 | 一种流媒体服务器负载动态分配方法 |
| CN116743764A (zh) * | 2023-08-11 | 2023-09-12 | 智联信通科技股份有限公司 | 工业互联网标识解析管理系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106790502A (zh) * | 2016-12-16 | 2017-05-31 | 广东睿哲科技股份有限公司 | 一种基于NAT64前缀的IPv4终端、IPv6服务互通业务的负载均衡系统 |
| CN109995864A (zh) * | 2018-12-18 | 2019-07-09 | 天津城建大学 | 一种基于模糊逻辑的sdn负载均衡方法 |
| CN111459985A (zh) * | 2020-03-31 | 2020-07-28 | 美的集团股份有限公司 | 标识信息处理方法及装置 |
| CN111581475A (zh) * | 2020-04-13 | 2020-08-25 | 江苏省互联网行业管理服务中心 | 一种识别标识解析流量的系统及方法 |
| CN111915102A (zh) * | 2020-08-22 | 2020-11-10 | 武汉空心科技有限公司 | 一种基于负载预测的工作平台工作量预测方法及系统 |
| CN111930511A (zh) * | 2020-08-24 | 2020-11-13 | 北京工业大学 | 一种基于机器学习的标识解析节点负载均衡装置 |
| CN112087504A (zh) * | 2020-08-31 | 2020-12-15 | 浪潮通用软件有限公司 | 一种基于工作负载特性的动态负载均衡的方法及装置 |
| CN112653774A (zh) * | 2020-12-16 | 2021-04-13 | 北京航天智造科技发展有限公司 | 工业互联网标识编码方法及装置 |
| CN112866132A (zh) * | 2020-12-31 | 2021-05-28 | 网络通信与安全紫金山实验室 | 面向海量标识的动态负载均衡器及方法 |
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106790502A (zh) * | 2016-12-16 | 2017-05-31 | 广东睿哲科技股份有限公司 | 一种基于NAT64前缀的IPv4终端、IPv6服务互通业务的负载均衡系统 |
| CN109995864A (zh) * | 2018-12-18 | 2019-07-09 | 天津城建大学 | 一种基于模糊逻辑的sdn负载均衡方法 |
| CN111459985A (zh) * | 2020-03-31 | 2020-07-28 | 美的集团股份有限公司 | 标识信息处理方法及装置 |
| CN111581475A (zh) * | 2020-04-13 | 2020-08-25 | 江苏省互联网行业管理服务中心 | 一种识别标识解析流量的系统及方法 |
| CN111915102A (zh) * | 2020-08-22 | 2020-11-10 | 武汉空心科技有限公司 | 一种基于负载预测的工作平台工作量预测方法及系统 |
| CN111930511A (zh) * | 2020-08-24 | 2020-11-13 | 北京工业大学 | 一种基于机器学习的标识解析节点负载均衡装置 |
| CN112087504A (zh) * | 2020-08-31 | 2020-12-15 | 浪潮通用软件有限公司 | 一种基于工作负载特性的动态负载均衡的方法及装置 |
| CN112653774A (zh) * | 2020-12-16 | 2021-04-13 | 北京航天智造科技发展有限公司 | 工业互联网标识编码方法及装置 |
| CN112866132A (zh) * | 2020-12-31 | 2021-05-28 | 网络通信与安全紫金山实验室 | 面向海量标识的动态负载均衡器及方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114969209A (zh) * | 2022-06-15 | 2022-08-30 | 支付宝(杭州)信息技术有限公司 | 训练方法及装置、预测资源消耗量的方法及装置 |
| CN115189997A (zh) * | 2022-06-24 | 2022-10-14 | 华南理工大学 | 基于云、雾、边缘协同的云机器人实时监测与控制方法 |
| CN115189997B (zh) * | 2022-06-24 | 2023-06-16 | 华南理工大学 | 基于云、雾、边缘协同的云机器人实时监测与控制方法 |
| CN115277708A (zh) * | 2022-07-18 | 2022-11-01 | 齐鲁工业大学 | 一种流媒体服务器负载动态分配方法 |
| CN115277708B (zh) * | 2022-07-18 | 2023-10-24 | 齐鲁工业大学 | 一种流媒体服务器负载动态分配方法 |
| CN116743764A (zh) * | 2023-08-11 | 2023-09-12 | 智联信通科技股份有限公司 | 工业互联网标识解析管理系统 |
| CN116743764B (zh) * | 2023-08-11 | 2023-10-24 | 智联信通科技股份有限公司 | 工业互联网标识解析管理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8185909B2 (en) | Predictive database resource utilization and load balancing using neural network model | |
| CN113110933B (zh) | 一种具有Nginx负载均衡技术的系统 | |
| CN108416465B (zh) | 一种移动云环境下的工作流优化方法 | |
| CN109818786B (zh) | 一种云数据中心应用可感知的分布式多资源组合路径最优选取方法 | |
| CN109120715A (zh) | 一种云环境下动态负载均衡方法 | |
| CN110830562B (zh) | 一种基于虚拟节点的有限负载一致性哈希负载均衡策略 | |
| Hamrouni et al. | A survey of dynamic replication and replica selection strategies based on data mining techniques in data grids | |
| CN113485826B (zh) | 一种边缘服务器负载均衡方法、系统 | |
| Liu et al. | Scalable and adaptive data replica placement for geo-distributed cloud storages | |
| CN111258980A (zh) | 一种云存储系统中基于组合预测的动态文件放置方法 | |
| CN112835698A (zh) | 一种基于异构集群的请求分类处理的动态负载均衡方法 | |
| Li et al. | Scalable replica selection based on node service capability for improving data access performance in edge computing environment | |
| CN111556173A (zh) | 一种基于强化学习的服务链映射方法 | |
| CN115718644A (zh) | 一种面向云数据中心的计算任务跨区迁移方法及系统 | |
| CN108416054B (zh) | 基于文件访问热度的动态hdfs副本个数计算方法 | |
| CN111176784B (zh) | 一种基于极限学习机和蚁群系统的虚拟机整合方法 | |
| Li et al. | Neighborhood search-based job scheduling for IoT big data real-time processing in distributed edge-cloud computing environment | |
| Mostafa et al. | An intelligent dynamic replica selection model within grid systems | |
| CN112765177B (zh) | 一种基于负载驱动的分布式图数据分割和复制方法 | |
| Li et al. | A data placement strategy based on clustering and consistent hashing algorithm in cloud computing | |
| CN113778683B (zh) | 一种基于神经网络的Handle标识体系解析负载均衡方法 | |
| CN113778683A (zh) | 一种基于神经网络的Handle标识体系解析负载均衡方法 | |
| Zhang et al. | Development of a new cloudlet content caching algorithm based on web mining | |
| CN115016889A (zh) | 一种用于云计算的虚拟机优化调度方法 | |
| Ren et al. | Smig-rl: An evolutionary migration framework for cloud services based on deep reinforcement learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |