CN116405500B - 基于数据分析和云计算数据分析系统资源管理方法 - Google Patents

基于数据分析和云计算数据分析系统资源管理方法 Download PDF

Info

Publication number
CN116405500B
CN116405500B CN202310650681.5A CN202310650681A CN116405500B CN 116405500 B CN116405500 B CN 116405500B CN 202310650681 A CN202310650681 A CN 202310650681A CN 116405500 B CN116405500 B CN 116405500B
Authority
CN
China
Prior art keywords
user
target
similarity evaluation
occupancy rate
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310650681.5A
Other languages
English (en)
Other versions
CN116405500A (zh
Inventor
马海峰
李少敏
王静
荆海伟
宋士彪
鲁宽
李福蕾
李司慧
董冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Dalu Mechanism & Electron Co ltd
Original Assignee
Jinan Dalu Mechanism & Electron Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Dalu Mechanism & Electron Co ltd filed Critical Jinan Dalu Mechanism & Electron Co ltd
Priority to CN202310650681.5A priority Critical patent/CN116405500B/zh
Publication of CN116405500A publication Critical patent/CN116405500A/zh
Application granted granted Critical
Publication of CN116405500B publication Critical patent/CN116405500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1021—Server selection for load balancing based on client or server locations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明涉及图像处理技术领域，公开了基于数据分析和云计算数据分析系统资源管理方法，包括：获取每个用户邻近范围内接入的所有位置节点；每个用户与其它每一个用户之间的相似评价性；将所有相似评价性中最大值所对应的两个用户作为参考用户和目标用户组；利用目标用户组中获得目标服务器组；根据目标服务组中每一个服务器在进行计算时的占用率得到的负载指数对接入到目标服务器组中的目标用户是否进行分配进行判断；避免高运算用户一直接入到固定的服务器中造成服务器一直负载过高，服务器出现异常的情况，降低了高负载服务器长时间处于高负载情况的风险，提高了整个云系统的计算能力和降低云系统的运行成本。

Description

基于数据分析和云计算数据分析系统资源管理方法
技术领域
本发明涉及数据处理技术领域，具体涉及基于数据分析和云计算数据分析系统资源管理方法。
背景技术
系统资源管理场景中，算力资源分布在云计算系统中，云对于不同用户计算速度与传输时延不同，而用户利用云的算力执行计算任务时，用户需要的最好的计算环境为高算力低时延的计算节点进行计算，而实际生产过程中节点之间算力差异较大，分布时延也不相同，云主控需要尽量安排对于用户而言高算力低时延的节点进行计算。
云计算系统拥有大量计算节点，而用户接入云中，其与节点之间分布不同，常规lof算法通过计算用户位置相对于其他节点的离群特征进行判断，将用户接入到固定的节点中，而由于用户需求的计算力不同，如果节点接入的用户需求的运算量较大，则会导致节点负载增高，而其它节点接入的用户的需求计算力可能比较小，就会存在部分的节点计算力一直处于负载过大而另一部分节点可能处于空置状态，负载过大节点位置的服务器会容易发生异常，造成整个云计算系统整体的运算能力降低的风险，提高了整个云计算系统的运行成本。
发明内容
本发明用于解决目前部分节点的负载一直处于高负载运算的过程，容易造成该节点出的服务器发生异常的技术问题，提供一种根据当前高负载节点出的服务器在下次运算前对接入的用户进行从新分配，降低高负载节点处的服务器的负载，提高整个云计算系统的运算能力，避免服务器一直处于高负载的运算中造成服务器容易发生异常的情况的基于数据分析和云计算数据分析系统资源管理方法，包括：
获取云计算系统中每个服务器的位置节点和接入到云计算系统中的用户；
获取每个用户邻近范围内接入的所有位置节点；
利用获取的每个用户邻近范围内所有的位置节点获取每个用户与其它每一个用户之间的相似评价性；
获取获得的所有相似评价性中最大值所对应的两个用户作为参考用户；
对每个参考用户与其它每个用户之间的相似评价性进行降序排列得到降序序列，将降序序列中目标位置之前的所有相似评价性作为目标相似评价性组；
获取目标相似评价性组中相似评价性数量最大的一组目标相似评价性组中所包含的用户作为目标用户，形成目标用户组；
根据目标用户组中每一个用户邻近范围内的所有位置节点获取目标服务器组；
利用目标服务组中每一个服务器在进行计算时的占用率获取该目标服务器组的负载指数；
当该目标服务器组的负载指数超过设定的阈值时，将该目标服务器组对应的目标用户组中的用户接入到其它位置节点的服务器上。
进一步的，每个用户与其它每一个用户之间的相似评价性的方法包括：
获取每个用户接入的所有位置节点和其它每个用户接入的所有位置节点的交集位置节点的数量及该两个用户之间的位置距离得到每个用户和其它每一个用户之间的相似评价性。
进一步的，获取所述降序序列中目标位置的方法包括：
获取降序序列中每一个相似评价性与该相似评价性下一个的相似评价性的差值；
将得到差值最大的所对应的相似评价性所在的位置作为目标位置。
进一步的，获取目标服务器组的负载指数的方法包括：
获取目标服务器组所有目标服务器当前的占用率；
获取所有目标服务器中相同占有率最多的占有率、所有占有率中的最大占有率和最小占有率；
利用相同占有率最多的占有率、最大占有率和最小占有率获得目标服务器的负载指数；
所述负载指数的表达式为：
式中：表示第/>个目标服务器的占用率；/>表示所有目标服务器中相同占有率最多的占有率；/>表示所有目标服务器中的占有率最小的占有率；/>表示所有目标服务器中的占有率最大的占有率。
进一步的，获取每个用户邻近范围内接入的所有位置节点的方法是通过LOF算法来获取的。
进一步的，所述相似评价性的表达式为：
式中：为用户/>和用户/>的相似评价性；/>表示用户/>邻近范围内接入的所有位置节点；/>表示用户/>邻近范围内接入的所有位置节点；/>表示用户/>邻近范围内接入的所有位置节点和用户/>邻近范围内接入的所有位置节点的交集中位置节点的数量；/>表示用户/>和用户/>之间的位置距离。
本发明的有益效果是：利用每个用户邻近范围内接入的所有位置节点获取每个用户其它用户之间的相似评价性，获取相似评价性最大值所对应的两个参考用户，根据两个参考用户分别与其它用户之间的相似评价性获取目标用户组，利用目标用户组中用户邻近范围内的位置节点获取目标服务器组，利用目标服务器组中每一个服务器的占用率来计算该目标服务器组的负载指数，当目标服务器组中的负载指数超过设定的阈值时，说明接入到目标服务器组中的目标用户组中的用户所需求的运算能力过大，如下一次还将该需求运算能力过大的用户接入到目标服务器组中则会继续造成服务器负载过大的情况，因此当获得该目标用户的需求能力过大时，在下次运算前将该目标用户组中的所有用户接入到其它服务器中，避免高运算用户一直接入到固定的服务器中造成服务器一直负载过高，服务器出现异常的情况，降低了高负载服务器长时间处于高负载情况的风险，提高了整个云系统的计算能力和降低云系统的运行成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例
在云计算系统中，将位置节点布置到云计算系统中，每个位置节点设置运控主机即服务器，通过位置节点但的分布坐标构建云系统样本空间，用户按照其位置接入到云系统中的位置节点中，形成整个云系统，用户需要进行计算任务时，由接入到的服务器进行运算。
如图1所示的基于数据分析和云计算数据分析系统资源管理方法，包括：
获取云计算系统中每个服务器的位置节点和接入到云计算系统中的用户；
在云系统样本空间中，位置节点与用户接入位置均作为数据点存在与空间中，通过现有的LOF蒜贩获取每个用户邻近范围内接入的所有位置节点；
如用户，其离群因子/>，LOF算法得到用户/> 邻近范围内接入的所有位置节点组/>；按照此方法得到所有用户的邻近范围内接入的所有位置节点。
由于用户接入的位置节点是多个，不同的用户可能存在接入到相同的位置节点中，鉴于此本申请利用每个用户邻近范围内所有的位置节点获取每个用户与其它每一个用户之间的相似评价性；
具体的方法为：获取每个用户接入的所有位置节点和其它每个用户接入的所有位置节点的交集位置节点的数量及该两个用户之间的位置距离得到每个用户和其它每一个用户之间的相似评价性；
相似评价性的表达式为：
式中：为用户/>和用户/>的相似评价性；/>表示用户/>邻近范围内接入的所有位置节点；/>表示用户/>邻近范围内接入的所有位置节点；/>表示用户/>邻近范围内接入的所有位置节点和用户/>邻近范围内接入的所有位置节点的交集中位置节点的数量；/>表示用户/>和用户/>之间的位置距离；/>表示指数函数；
为两用户接入到位置节点的交集个数，代表两个用户的计算任务分配至位置节点的相似，代表两用户计算需求增长会带来更多相同的位置节点负载增加；作为两个用户的位置距离，越小代表两用户接入地址越接近；通过e的指数函数进行数据差异的扩大，减少距离相近的用户分配有与其他用户不同的计算节点导致数据判断异常。
获取每个用户与用户之间的相似评价性后，需要对用户聚集位置进行判断，用户聚集位置由于在较小范围内存在较多用户，因此其相似评价值均较高，得到差异较大的用户处即应停止用户聚集，得到对更多相同位置节点占用的用户。
因此位置相近的用户聚集位置进行选取：
在选取时，获取所有相似评价性中最大的相似评价性，将最大相似评价性所对应的用户作为参考用户；将每个参考用户与其它每个用户之间的相似评价性按照从大小进行降序排列，然后获取降序序列中相邻两个相似评价性的差值，获取差值最大对应的位置，即将该位置之前所有相似评价性的数量作为目标相似评价性组；
比较两个参考用户得到的在降序序列中在目标位置之前目标相似评价性组中相似评价性的数量多少，当那个目标位置之前的所有相似评价性的数量多说明该参考用户接入的每个位置节点接入的用户就会更多，该位置节点上的服务器负载的程度就可能更高；
将目标相似评价性组中相似评价性数量最大的一组目标相似评价性组中所包含的用户作为目标用户，形成目标用户组；完成用户的聚集位置的选取。
将目标用户组中每一个用户邻近范围内所有位置节点进行并集，得到目标用户组对应的位置节点，由于位置节点位置即服务器位置，因此通过并集后的位置节点得到目标服务器组，该服务器组为负载过大的服务器组；则需要对该接入到该服务器组中计算需求过大的目标用户从新进行分配，将该目标用户接入到其它服务器中降低服务器组中的负载；
具体在判断目标服务器组的负载是否过大时，按照如下方法来判断：
获取目标服务器组所有目标服务器当前的占用率；
获取所有目标服务器中相同占有率最多的占有率、所有占有率中的最大占有率和最小占有率；
利用相同占有率最多的占有率、最大占有率和最小占有率获得目标服务器的负载指数；
所述负载指数的表达式为：
式中：表示第/>个目标服务器的占用率；/>表示所有目标服务器中相同占有率最多的占有率；/>表示所有目标服务器中的占有率最小的占有率；/>表示所有目标服务器中的占有率最大的占有率。
对于负载指数，将占用率较小的情况分给更大比例，以更明显的体现组整体都处于占用率更高的工作状态，通过tanh[-·]进行归一化，得到[0,1]之间的组负载指数，便于进行分析；
当该负载指数缠裹设定的阈值即0.75时，说明该目标服务器属于高负载运行，则将接入到目标服务器中的目标用户分配到其它的服务器中，在进行分配时随机进行分配，降低目标服务器组中服务器的负载，提高了目标服务器的计算效率，同时降低了高负载服务器长时间处于高负载情况的风险，提高了整个云系统的计算能力和降低云系统的运行成本。
具体的是，根据当前时刻用户需求的任务量，目标服务器中的目标服务器的占用率计算当前时刻任务下，目标服务器组的负载指数，当该负载指数超过设定的阈值时，在完成此次任务后，将接入到目标服务器中的目标用户随机分配到其它服务器中，进行下次任务的进行，在进行下一次计算任务时，获取随机分配后的用户之间的相似评价性（所有用户，包括分配的目标用户和没有分配的非目标用户）；利用相似评价性获取新的目标用户组和目标服务器组，从新获取该目标服务器组的负载指数是否超过阈值，当负载指数不超过阈值时，不会该目标用户组中的用户进行分配，当超过阈值时，继续对目标用户组中的用户进行分配，每一次在执行计算任务的过程中都会选择出目标服务器组（负载较大的服务器），当目标服务器组中的负载指数超过设定的阈值时，在进行下一次计算任务前，对其接入到目标服务器组中的目标用户进行分配，按照此方法超过负载的服务器在进行下一次任务时不会在有目标用户接入，降低了超载服务器的负载率，确保超负载的情况不集中在一组服务器中，避免了服务器长时间处于高负载的情况下容易出现异常的状况，提高了整个云系统的计算能力和降低云系统的运行成本。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于数据分析和云计算数据分析系统资源管理方法，其特征在于，包括：
获取云计算系统中每个服务器的位置节点和接入到云计算系统中的用户；
获取每个用户邻近范围内接入的所有位置节点；
利用获取的每个用户邻近范围内所有的位置节点获取每个用户与其它每一个用户之间的相似评价性；
获取获得的所有相似评价性中最大值所对应的两个用户作为参考用户；
对每个参考用户与其它每个用户之间的相似评价性进行降序排列得到降序序列，将降序序列中目标位置之前的所有相似评价性作为目标相似评价性组；
获取目标相似评价性组中相似评价性数量最大的一组目标相似评价性组中所包含的用户作为目标用户，形成目标用户组；
根据目标用户组中每一个用户邻近范围内的所有位置节点获取目标服务器组；
利用目标服务组中每一个服务器在进行计算时的占用率获取该目标服务器组的负载指数；
当该目标服务器组的负载指数超过设定的阈值时，将该目标服务器组对应的目标用户组中的用户接入到其它位置节点的服务器上；
获取每个用户与其它每一个用户之间的相似评价性的方法包括：
获取每个用户接入的所有位置节点和其它每个用户接入的所有位置节点的交集位置节点的数量及该两个用户之间的位置距离得到每个用户和其它每一个用户之间的相似评价性；
所述相似评价性的表达式为：
式中：为用户/>和用户/>的相似评价性；/>表示用户/>邻近范围内接入的所有位置节点；/>表示用户/>邻近范围内接入的所有位置节点；/>表示用户/>邻近范围内接入的所有位置节点和用户/>邻近范围内接入的所有位置节点的交集中位置节点的数量；/>表示用户/>和用户/>之间的位置距离。
2.根据权利要求1所述的基于数据分析和云计算数据分析系统资源管理方法，其特征在于，获取所述降序序列中目标位置的方法包括：
获取降序序列中每一个相似评价性与该相似评价性下一个的相似评价性的差值；
将得到差值最大的所对应的相似评价性所在的位置作为目标位置。
3.根据权利要求1所述的基于数据分析和云计算数据分析系统资源管理方法，其特征在于，获取目标服务器组的负载指数的方法包括：
获取目标服务器组所有目标服务器当前的占用率；
获取所有目标服务器中相同占有率最多的占有率、所有占有率中的最大占有率和最小占有率；
利用相同占有率最多的占有率、最大占有率和最小占有率获得目标服务器的负载指数；
所述负载指数的表达式为：
式中：表示第/>个目标服务器的占用率；/>表示所有目标服务器中相同占有率最多的占有率；/>表示所有目标服务器中的占有率最小的占有率；/>表示所有目标服务器中的占有率最大的占有率。
4.根据权利要求1所述的基于数据分析和云计算数据分析系统资源管理方法，其特征在于，获取每个用户邻近范围内接入的所有位置节点的方法是通过LOF算法来获取的。
CN202310650681.5A 2023-06-05 2023-06-05 基于数据分析和云计算数据分析系统资源管理方法 Active CN116405500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310650681.5A CN116405500B (zh) 2023-06-05 2023-06-05 基于数据分析和云计算数据分析系统资源管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310650681.5A CN116405500B (zh) 2023-06-05 2023-06-05 基于数据分析和云计算数据分析系统资源管理方法

Publications (2)

Publication Number Publication Date
CN116405500A CN116405500A (zh) 2023-07-07
CN116405500B true CN116405500B (zh) 2023-08-08

Family

ID=87010836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310650681.5A Active CN116405500B (zh) 2023-06-05 2023-06-05 基于数据分析和云计算数据分析系统资源管理方法

Country Status (1)

Country Link
CN (1) CN116405500B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007312A (zh) * 2015-07-03 2015-10-28 叶秀兰 一种云计算服务器自适应负载均衡控制方法及控制系统
CN105959234A (zh) * 2016-06-30 2016-09-21 南京理工大学 安全感知的云无线接入网络下的负载均衡资源优化方法
WO2023005702A1 (zh) * 2021-07-28 2023-02-02 腾讯科技（深圳）有限公司 基于边缘计算的数据处理方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11979284B2 (en) * 2021-08-31 2024-05-07 Cisco Technology, Inc. Orchestrated reconnect for client-unaware rolling of network nodes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105007312A (zh) * 2015-07-03 2015-10-28 叶秀兰 一种云计算服务器自适应负载均衡控制方法及控制系统
CN105959234A (zh) * 2016-06-30 2016-09-21 南京理工大学 安全感知的云无线接入网络下的负载均衡资源优化方法
WO2023005702A1 (zh) * 2021-07-28 2023-02-02 腾讯科技（深圳）有限公司 基于边缘计算的数据处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN116405500A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
US20150277772A1 (en) Global Memory Sharing Method and Apparatus, and Communications System
CN112860695B (zh) 监控数据查询方法、装置、设备、存储介质及程序产品
EP4002115A1 (en) Resource allocation method and resource offloading method
CN108519917A (zh) 一种资源池分配方法和装置
CN108804383B (zh) 基于度量空间的支撑点并行枚举方法及装置
US10944645B2 (en) Node of a network and a method of operating the same for resource distribution
CN112217745A (zh) 基于智能终端云计算的在线办公处理方法及网络设备
CN115629865B (zh) 一种基于边缘计算的深度学习推理任务调度方法
CN114780244A (zh) 容器云资源弹性分配方法、装置、计算机设备及介质
CN110955642A (zh) 数据采集优化方法、装置、设备及可读存储介质
CN116405500B (zh) 基于数据分析和云计算数据分析系统资源管理方法
EP4300311A2 (en) Processing allocation in data center fleets
CN114675973A (zh) 资源管理方法、设备、存储介质及程序产品
CN113377866A (zh) 一种虚拟化数据库代理服务的负载均衡方法及装置
KR20180035023A (ko) 스토리지 오케스트레이션의 학습형 최적화 대상 볼륨 선정 방법
CN111061697A (zh) 日志数据处理方法、装置、电子设备及存储介质
CN113282405B (zh) 一种负载调整的优化方法及终端
CN117349037B (zh) 在离线应用干扰消除方法、装置、计算机设备及存储介质
CN116668379B (zh) 数据传输方法及系统、fds管理模块、存储介质及电子装置
CN117640541B (zh) 一种云服务器资源分配方法、装置、设备和介质
CN115379014B (zh) 数据请求分发方法、装置，以及，电子设备
CN112887414B (zh) 资源信息分批推送方法、装置、计算机设备和存储介质
CN112181604B (zh) 一种缩容目标选择方法及装置
CN116582481A (zh) 用电信息采集系统任务智能调度方法
Dev et al. Optimizing VM Allocation with Queue Dependent Requests in fog Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant