CN114666335A - 一种基于dds的分布式系统负载均衡装置 - Google Patents
一种基于dds的分布式系统负载均衡装置 Download PDFInfo
- Publication number
- CN114666335A CN114666335A CN202210281072.2A CN202210281072A CN114666335A CN 114666335 A CN114666335 A CN 114666335A CN 202210281072 A CN202210281072 A CN 202210281072A CN 114666335 A CN114666335 A CN 114666335A
- Authority
- CN
- China
- Prior art keywords
- load
- node
- task
- nodes
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1029—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers using data related to the state of servers by a load balancer
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明涉及一种基于DDS的分布式系统负载均衡装置，属于分布式运算领域。本发明的装置包括客户端和服务端，客户端部署在需要进行负载均衡管理的计算机节点上，客户端包括节点资源信息收集模块和命令接收执行模块，用于所在计算机节点的节点资源信息收集并将信息上报到服务端，通过接收服务端的命令执行节点上任务的迁移操作；服务端包括节点负载检测模块和负载均衡调度模块，从客户端接收节点资源信息，针对各节点的资源特性统计负载状态，根据负载状态分析出任务迁移方案，向客户端发送；客户端与服务端之间通过DDS中间件进行数据和命令通信。本发明解耦实现了节点间大批量的、低延时的数据传输，具有良好的稳定性、扩展性、移植性以及灵活性。
Description
技术领域
本发明属于分布式运算领域，具体涉及一种基于DDS的分布式系统负载均衡装置。
背景技术
数据分发服务规范(DataDistributionService，DDS)是一个分布式数据交换的国际标准，采用以主题为中心的订阅发布的通信结构，为高实时、大并发的应用系统提供了低延迟、高吞吐量、去中心化的通信解决方案，使分布式系统的参与者在时间、空间以及控制流上完全解耦，因此备受推崇。
分布式系统是为了满足大量的计算、存储需求将各种计算、存储和网络资源组合为整体，内部通过协作的方式为外部系统或使用者提供服务。在分布式系统中，数据和计算被分成不同的小任务，通过负载均衡的调度和网络传输的方式在各个计算机节点上进行计算、存储和传输，最终输出计算结果进行存储，并为外部提供服务。分布式系统负载均衡装置的设计需要综合考虑节点的CPU性能、RAM大小、网络带宽和任务数量等各类因素。负载均衡装置内部需要交换的数据具有如下特点：(1)时间敏感：负载信息、指令数据和时间点紧密关联，脱离时间的数据是无意义的；(2)高实时性：负载信息由于直接反应节点、任务状态，需要尽快被接收和处理，以满足分布式系统服务响应的高敏要求，因此需要尽可能的缩短数据在中间链路上的转换、处理、路由、传输的时间；(3)大数据量、大并发：负载均衡装置采集数据的时间间隔相对较小(通常在秒级甚至毫秒级)，短时间内会上传大量的数据。
在实际设计中，负载均衡装置种类众多，例如按照装置类型的不同可以分为硬件负载均衡/软件负载均衡。在当前基于软件的负载均衡装置架构模型中，组件之间或者节点之间的通信依赖于专用的、紧耦合的通信连接件。首先这种传输模式使得负载均衡装置组件间的数据层紧耦合，不利于新增节点的快速接入，而且不利于应对高实时、大并发的数据传输需求，这类数据的传输往往需要专业技术或软件作为支撑；其次这种方式缺乏灵活性且不利于软件移植和功能上的扩展，造成资源的浪费。
发明内容
(一)要解决的技术问题
本发明要解决的技术问题是如何提供一种基于DDS的分布式系统负载均衡装置，以解决现有的基于软件的负载均衡装置架构不利于新增节点的快速接入，不利于应对高实时、大并发的数据传输需求，缺乏灵活性且不利于软件移植和功能上的扩展，造成资源的浪费等方面的问题。
(二)技术方案
为了解决上述技术问题，本发明提出一种基于DDS的分布式系统负载均衡装置，该装置包括客户端和服务端，客户端部署在需要进行负载均衡管理的各计算机节点上，客户端包括节点资源信息收集模块和命令接收执行模块，客户端用于执行所在计算机节点的节点资源信息收集并将信息上报到服务端，通过接收服务端的命令执行节点上任务的迁移操作；服务端包括节点负载检测模块和负载均衡调度模块，服务端从客户端接收节点资源信息，针对各节点的资源特性统计负载状态，根据负载状态分析出任务迁移方案，向客户端发送；客户端与服务端之间通过DDS中间件进行数据和命令通信。
进一步地，所述服务端和客户端部署在同一节点上，或者部署在单独的计算机上。
进一步地，所述节点资源信息收集模块通过节点的系统接口周期性地采集节点的负载信息，包括节点名称、总内存、空闲内存、内存使用率、CPU使用率、综合利用率、节点负载阈值和任务负载信息列表，形成节点负载信息主题数据并上报到节点负载检测模块；
节点负载检测模块在收到节点资源信息收集模块发布的节点负载信息主题数据后，对所有节点及其上任务的负载状态进行检测，及时发现负载异常；节点负载检测识别三类负载异常：节点负载超过阈值、任务负载超过阈值和高负载类节点与低负载类节点负载算术平均值差超过阈值；
负载均衡调度模块用于当出现负载异常时，对任务进行模拟调度生成任务迁移方案，进而建立以目的节点IP信息为基础的任务迁移命令主题数据并发布到网络中；
命令接收执行模块订阅网络中发送至本节点的命令，并将命令信息放入队列中进行依次处理，并调用系统提供的任务创建和任务销毁命令接口完成任务的迁移工作，通过系统接口的执行结果判断迁移是否成功，再将命令的执行情况发布至网络当中，从而完成该模块的功能。
进一步地，所述综合利用率反映了节点的综合负载状况，由CPU的使用情况、内存的使用情况综合决定，是内存使用率和CPU使用率的加权和，即节点综合利用率＝α×节点内存使用率+(1-α)×节点CPU使用率,α∈[0,1]，CPU使用率和内存使用率所占的比例由比例参数α设置。
进一步地，所述任务负载信息列表保存节点上所有用户任务的负载信息，包括任务基本信息和任务负载信息，任务基本信息包括任务名称、任务全局唯一标识和任务优先级，任务负载信息包括任务的CPU使用率、任务的内存使用率、任务的CPU负载阈值和任务的内存阈值；其中任务的CPU使用率和任务的内存使用率在任务运行阶段通过系统接口获取，任务的CPU负载阈值和任务的内存阈值为用户预设。
进一步地，所述节点负载超过阈值为：当节点的综合利用率m_sysUsage超出节点负载阈值m_sysThreshold时，则认为该节点负载超过阈值，负载超过阈值的节点会直接通知负载均衡调度模块处理。
进一步地，所述任务负载超过阈值为：当任务的CPU使用率m_taskCpuUsage超出任务的CPU负载阈值m_taskCpuThreshold或当任务的内存使用率m_taskMemoryUsage超出任务的内存阈值m_taskMemoryThreshold，则表明任务负载超出阈值；若节点上存在部分任务负载超过阈值，但未造成节点超载的情况，超阈值的任务会被直接通知负载均衡调度模块处理。
进一步地，所述高负载类节点与低负载类节点负载算术平均值差超阈值为：除了超负载节点外，节点负载检测模块会使用聚类算法将其余未超负载节点按照节点的综合负载情况分为低负载、中负载、高负载节点；当高负载节点与低负载节点的综合利用率算术平均值的差值超过阈值，或者中负载节点的占比低于预期值，则认为节点集中在低负载和高负载类别，此时系统的负载不均衡，直接通知负载均衡调度模块处理。
进一步地，所述负载均衡调度模块对任务进行模拟调度生成任务迁移方案包括：
针对节点负载检测模块检测到的三种负载异常的情况，制定不同的策略：
当节点负载超过阈值时，负载均衡调度模块依据节点上部署的任务的资源占用情况，按照任务负载从大到小的顺序选择部分任务模拟迁出到其他节点上，迁移的目的节点集合优先为低负载类节点，当低负载类节点的资源不能满足任务运行需求时，则将任务迁出到中负载类节点上，直到原节点不再超负载则停止任务的模拟迁出过程，即完成拟迁出任务及其迁移目的节点的组合过程；
当任务负载超阈值时，负载均衡调度模块则会模拟将超载任务迁移到网络中其他节点，迁移目的节点优先为低负载类的节点，当低负载类节点的资源不能满足任务运行需求时，则将任务迁出到中负载类节点上，并统计模拟迁移后该任务的负载情况以及目的节点的负载情况，直到该任务不再超载并且目的节点也不超载为止，即完成该任务的迁移目的节点选择过程；
当高负载类节点与低负载类节点负载算术平均值差超阈值，也即分布式系统整体负载不均衡的情况下，负载均衡调度模块首先在每个高负载节点上模拟迁出随机数量的任务，并统计模拟迁出后的系统整体负载，直到系统整体负载不再超阈值为止，即完成高负载节点上迁出任务及其迁移目的节点的组合过程；迁移目的节点集为低负载和中负载节点合集。
进一步地，所述负载均衡调度模块建立以目的节点IP信息为基础的任务迁移命令主题数据并发布到网络中具体包括：在上述三种负载异常情形下，遴选出待迁移任务及迁移目的节点后，负载均衡调度模块建立以目的节点IP信息为基础的任务迁移命令主题数据并发布到网络中，任务迁移命令是任务创建命令和任务销毁命令的组合命令，对应两条不同的主题数据；任务创建命令主题数据内容包括任务负载信息、目的节点信息以及任务创建命令；任务销毁命令主题数据内容包括任务负载信息、目的节点信息以及任务销毁命令；其中目的节点信息包括目的节点名称和目的节点IP地址。
(三)有益效果
本发明提出一种基于DDS的分布式系统负载均衡装置，本发明去掉了数据传输过程中的中转阶段，解耦实现了节点间大批量的、低延时的数据传输，提高了分布式系统的稳定性和可靠性，同时按用户主题进行数据的发布订阅，实现了数据层面和应用层面的解耦，有利于应用的快速扩展和移植。
附图说明
图1为本发明基于DDS的分布式系统负载均衡装置架构图。
具体实施方式
为使本发明的目的、内容和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
基于此，本发明提供一种基于DDS的分布式系统负载均衡装置，通过建立统一的数据模型使得数据完全独立于负载均衡装置，基于该装置可以实现分布式系统负载均衡装置组件间的高效数据分发，负载均衡装置可以通过DDS接口高效自然地从网络中读取和写入数据，具有良好的扩展性、移植性以及灵活性。
如图1是本发明的系统架构图，本发明提出的一种基于DDS的分布式系统负载均衡装置，包括客户端和服务端，客户端部署在需要进行负载均衡管理的各计算机节点上，客户端包括节点资源信息收集模块和命令接收执行模块，客户端用于执行具体所在计算机节点的节点资源信息收集并将信息上报到服务端，通过接收服务端的命令执行节点上任务的迁移操作；服务端可以和客户端部署在同一节点上，也可以部署在单独的计算机上，服务端包括节点负载检测模块和负载均衡调度模块，服务端从客户端接收资源信息，针对各节点的资源特性统计负载状态，根据负载状态分析出任务迁移方案，向客户端发送。DDS中间件用于客户端与服务端之间的数据和命令通信。
服务端和客户端各模块详细功能和交互介绍如下。
(1)节点资源信息收集模块
节点资源信息收集模块通过节点的系统接口周期性地(如500毫秒)采集节点的负载信息，包括节点名称、总内存、空闲内存、内存使用率、CPU使用率、综合利用率、节点负载阈值和任务负载信息列表，形成节点负载信息主题数据并上报到节点负载检测模块，其中节点负载阈值为用户预设。
其中综合利用率反映了节点的综合负载状况，由CPU的使用情况、内存的使用情况综合决定，是内存使用率和CPU使用率的加权和，即节点综合利用率＝α×节点内存使用率+(1-α)×节点CPU使用率,α∈[0,1]，CPU使用率和内存使用率所占的比例由比例参数α设置。若无设置，则按默认的0.5进行计算。
任务负载信息列表保存节点上所有用户任务的负载信息，包括任务名称、任务全局唯一标识、任务优先级等任务基本信息，还包括任务的CPU使用率、任务的内存使用率、任务的CPU负载阈值和任务的内存阈值等任务负载信息。其中任务的CPU使用率和任务的内存使用率均可以在任务运行阶段通过系统接口获取，任务的CPU负载阈值和任务的内存阈值为用户预设。
节点负载信息structNodeLoadInfo的属性列表如表1所示，其中标识符同时作为DDS主题的主题字段名：
表1节点负载信息structNodeLoadInfo的属性列表
任务负载信息structTaskLoadInfo的属性列表如表2所示：
表2任务负载信息structTaskLoadInfo的属性列表
| 序号 | 标识 | 名称 | 值类型 |
| 1 | m_taskName | 任务名称 | 字符串 |
| 2 | m_taskGuid | 任务全局唯一标识 | 整型 |
| 3 | m_priority | 任务优先级 | 整型 |
| 4 | m_taskCpuUsage | 任务的CPU使用率 | 浮点型 |
| 5 | m_taskMemoryUsage | 任务的内存使用率 | 浮点型 |
| 6 | m_taskCpuThreshold | 任务的CPU负载阈值 | 整型 |
| 7 | m_taskMemoryThreshold | 任务的内存阈值 | 整型 |
(2)节点负载检测模块
节点负载检测模块在收到节点资源信息收集模块发布的节点负载信息主题数据后，首先对所有节点及其上任务的负载状态进行检测，及时发现负载异常。节点负载检测识别三类负载异常：节点负载超过阈值、任务负载超过阈值、高负载类节点与低负载类节点负载算术平均值差超过阈值。
对节点负载检测模块检测的三类负载异常特征详细说明如下：
1)节点负载超过阈值：当节点的综合利用率m_sysUsage超出节点负载阈值m_sysThreshold时，则认为该节点负载超过阈值。超阈值的节点会被直接通知负载均衡调度模块处理。
2)任务负载超过阈值：当任务的CPU使用率m_taskCpuUsage超出任务的CPU负载阈值m_taskCpuThreshold或当任务的内存使用率m_taskMemoryUsage超出任务的内存阈值m_taskMemoryThreshold则表明任务负载超出阈值。若节点上存在部分任务负载超过阈值，但未造成节点超载的情况(若节点负载超过阈值则按照节点负载超过阈值处理)，超阈值的任务会被直接通知负载均衡调度模块处理。
3)高负载类节点与低负载类节点负载算术平均值差超阈值：除了超负载节点外，节点负载检测模块会使用聚类算法将其余未超负载节点按照节点的综合负载情况分为低负载、中负载、高负载节点。当高负载节点与低负载节点的综合利用率算术平均值的差值超过阈值，或者中负载节点的占比低于预期值，则认为节点集中在低负载和高负载类别，此时系统的负载不均衡，直接通知负载均衡调度模块处理。
(3)负载均衡调度模块
负载均衡调度模块用于当整个系统出现(2)中所述负载异常时，对任务进行模拟调度生成任务迁移方案，进而建立以目的节点IP信息为基础的任务迁移命令主题数据并发布到网络中，从而使得系统达到均衡的状态。针对负载检测模块检测到的三种负载异常的情况，负载均衡调度模块需要制定不同的策略：
1)节点负载超过阈值时，负载均衡调度模块依据节点上部署的任务的资源占用情况，按照任务负载从大到小的顺序选择部分任务模拟迁出到其他节点上，迁移的目的节点集合优先为低负载类节点，当低负载类节点的资源不能满足任务运行需求时，则将任务迁出到中负载类节点上，直到原节点不再超负载则停止任务的模拟迁出过程，即完成拟迁出任务及其迁移目的节点的组合过程。
2)任务负载超阈值时，负载均衡调度模块则会模拟将超载任务迁移到网络中其他节点，迁移目的节点优先为低负载类的节点，当低负载类节点的资源不能满足任务运行需求时，则将任务迁出到中负载类节点上，并统计模拟迁移后该任务的负载情况以及目的节点的负载情况，直到该任务不再超载并且目的节点也不超载为止，即完成该任务的迁移目的节点选择过程。
3)高负载类节点与低负载类节点负载算术平均值差超阈值，也即分布式系统整体负载不均衡的情况下，负载均衡调度模块首先在每个高负载节点上模拟迁出随机数量的任务，并统计模拟迁出后的系统整体负载，直到系统整体负载不再超阈值为止，即完成高负载节点上迁出任务及其迁移目的节点的组合过程。迁移目的节点集为低负载和中负载节点合集。
在上述三种负载异常情形下，遴选出待迁移任务及迁移目的节点后，负载均衡调度模块建立以目的节点IP信息为基础的任务迁移命令主题数据并发布到网络中，任务迁移命令是任务创建命令和任务销毁命令的组合命令，对应两条不同的主题数据。任务创建命令主题数据内容包括任务负载信息、目的节点信息以及任务创建命令。任务销毁命令主题数据内容包括任务负载信息、目的节点信息以及任务销毁命令。其中目的节点信息包括目的节点名称和目的节点IP地址。网路中的节点在订阅到与自身IP信息匹配的任务迁移命令主题数据后，则执行各个任务到最终目的节点集合上的实际部署处理。
任务创建和任务销毁命令的属性列表如下，其中标识符同时作为DDS主题的主题字段名。
表3任务创建和任务销毁命令的属性列表
| 序号 | 标识 | 名称 | 值类型 |
| 1 | m_taskLoadInfo | 任务负载信息列表 | TaskLoadInfo型 |
| 2 | m_nodeName | 节点名称 | 字符串 |
| 3 | m_nodeIP | 节点IP地址 | 整型 |
| 4 | m_excCmd | 任务创建/销毁命令 | 枚举型 |
(4)命令接收执行模块
负载均衡命令接收执行模块订阅网络中发送至本节点的命令，并将命令信息放入队列中进行依次处理，并调用系统提供的任务创建和任务销毁命令接口完成任务的迁移工作，通过系统接口的执行结果判断迁移是否成功，再将命令的执行情况发布至网络当中，从而完成该模块的功能。
本发明基于DDS中间件技术构建分布式系统负载均衡装置，去掉了数据传输过程中的中转阶段，解耦实现了节点间大批量的、低延时的数据传输，提高了分布式系统的稳定性和可靠性，同时按用户主题进行数据的发布订阅，实现了数据层面和应用层面的解耦，有利于应用的快速扩展和移植。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种基于DDS的分布式系统负载均衡装置，其特征在于，该装置包括客户端和服务端，客户端部署在需要进行负载均衡管理的各计算机节点上，客户端包括节点资源信息收集模块和命令接收执行模块，客户端用于执行所在计算机节点的节点资源信息收集并将信息上报到服务端，通过接收服务端的命令执行节点上任务的迁移操作；服务端包括节点负载检测模块和负载均衡调度模块，服务端从客户端接收节点资源信息，针对各节点的资源特性统计负载状态，根据负载状态分析出任务迁移方案，向客户端发送；客户端与服务端之间通过DDS中间件进行数据和命令通信。
2.如权利要求1所述的基于DDS的分布式系统负载均衡装置，其特征在于，所述服务端和客户端部署在同一节点上，或者部署在单独的计算机上。
3.如权利要求1或2所述的基于DDS的分布式系统负载均衡装置，其特征在于，所述节点资源信息收集模块通过节点的系统接口周期性地采集节点的负载信息，包括节点名称、总内存、空闲内存、内存使用率、CPU使用率、综合利用率、节点负载阈值和任务负载信息列表，形成节点负载信息主题数据并上报到节点负载检测模块；
节点负载检测模块在收到节点资源信息收集模块发布的节点负载信息主题数据后，对所有节点及其上任务的负载状态进行检测，及时发现负载异常；节点负载检测识别三类负载异常：节点负载超过阈值、任务负载超过阈值和高负载类节点与低负载类节点负载算术平均值差超过阈值；
负载均衡调度模块用于当出现负载异常时，对任务进行模拟调度生成任务迁移方案，进而建立以目的节点IP信息为基础的任务迁移命令主题数据并发布到网络中；
命令接收执行模块订阅网络中发送至本节点的命令，并将命令信息放入队列中进行依次处理，并调用系统提供的任务创建和任务销毁命令接口完成任务的迁移工作，通过系统接口的执行结果判断迁移是否成功，再将命令的执行情况发布至网络当中，从而完成该模块的功能。
4.如权利要求3所述的基于DDS的分布式系统负载均衡装置，其特征在于，所述综合利用率反映了节点的综合负载状况，由CPU的使用情况、内存的使用情况综合决定，是内存使用率和CPU使用率的加权和，即节点综合利用率＝α×节点内存使用率+(1-α)×节点CPU使用率,α∈[0,1]，CPU使用率和内存使用率所占的比例由比例参数α设置。
5.如权利要求4所述的基于DDS的分布式系统负载均衡装置，其特征在于，所述任务负载信息列表保存节点上所有用户任务的负载信息，包括任务基本信息和任务负载信息，任务基本信息包括任务名称、任务全局唯一标识和任务优先级，任务负载信息包括任务的CPU使用率、任务的内存使用率、任务的CPU负载阈值和任务的内存阈值；其中任务的CPU使用率和任务的内存使用率在任务运行阶段通过系统接口获取，任务的CPU负载阈值和任务的内存阈值为用户预设。
6.如权利要求5所述的基于DDS的分布式系统负载均衡装置，其特征在于，所述节点负载超过阈值为：当节点的综合利用率m_sysUsage超出节点负载阈值m_sysThreshold时，则认为该节点负载超过阈值，负载超过阈值的节点会直接通知负载均衡调度模块处理。
7.如权利要求5所述的基于DDS的分布式系统负载均衡装置，其特征在于，所述任务负载超过阈值为：当任务的CPU使用率m_taskCpuUsage超出任务的CPU负载阈值m_taskCpuThreshold或当任务的内存使用率m_taskMemoryUsage超出任务的内存阈值m_taskMemoryThreshold，则表明任务负载超出阈值；若节点上存在部分任务负载超过阈值，但未造成节点超载的情况，超阈值的任务会被直接通知负载均衡调度模块处理。
8.如权利要求5所述的基于DDS的分布式系统负载均衡装置，其特征在于，所述高负载类节点与低负载类节点负载算术平均值差超阈值为：除了超负载节点外，节点负载检测模块会使用聚类算法将其余未超负载节点按照节点的综合负载情况分为低负载、中负载、高负载节点；当高负载节点与低负载节点的综合利用率算术平均值的差值超过阈值，或者中负载节点的占比低于预期值，则认为节点集中在低负载和高负载类别，此时系统的负载不均衡，直接通知负载均衡调度模块处理。
9.如权利要求6-8任一项所述的基于DDS的分布式系统负载均衡装置，其特征在于，所述负载均衡调度模块对任务进行模拟调度生成任务迁移方案包括：
针对节点负载检测模块检测到的三种负载异常的情况，制定不同的策略：
当节点负载超过阈值时，负载均衡调度模块依据节点上部署的任务的资源占用情况，按照任务负载从大到小的顺序选择部分任务模拟迁出到其他节点上，迁移的目的节点集合优先为低负载类节点，当低负载类节点的资源不能满足任务运行需求时，则将任务迁出到中负载类节点上，直到原节点不再超负载则停止任务的模拟迁出过程，即完成拟迁出任务及其迁移目的节点的组合过程；
当任务负载超阈值时，负载均衡调度模块则会模拟将超载任务迁移到网络中其他节点，迁移目的节点优先为低负载类的节点，当低负载类节点的资源不能满足任务运行需求时，则将任务迁出到中负载类节点上，并统计模拟迁移后该任务的负载情况以及目的节点的负载情况，直到该任务不再超载并且目的节点也不超载为止，即完成该任务的迁移目的节点选择过程；
当高负载类节点与低负载类节点负载算术平均值差超阈值，也即分布式系统整体负载不均衡的情况下，负载均衡调度模块首先在每个高负载节点上模拟迁出随机数量的任务，并统计模拟迁出后的系统整体负载，直到系统整体负载不再超阈值为止，即完成高负载节点上迁出任务及其迁移目的节点的组合过程；迁移目的节点集为低负载和中负载节点合集。
10.如权利要求9所述的基于DDS的分布式系统负载均衡装置，其特征在于，所述负载均衡调度模块建立以目的节点IP信息为基础的任务迁移命令主题数据并发布到网络中具体包括：在上述三种负载异常情形下，遴选出待迁移任务及迁移目的节点后，负载均衡调度模块建立以目的节点IP信息为基础的任务迁移命令主题数据并发布到网络中，任务迁移命令是任务创建命令和任务销毁命令的组合命令，对应两条不同的主题数据；任务创建命令主题数据内容包括任务负载信息、目的节点信息以及任务创建命令；任务销毁命令主题数据内容包括任务负载信息、目的节点信息以及任务销毁命令；其中目的节点信息包括目的节点名称和目的节点IP地址。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210281072.2A CN114666335B (zh) | 2022-03-21 | 2022-03-21 | 一种基于数据分发服务dds的分布式系统负载均衡装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210281072.2A CN114666335B (zh) | 2022-03-21 | 2022-03-21 | 一种基于数据分发服务dds的分布式系统负载均衡装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114666335A true CN114666335A (zh) | 2022-06-24 |
| CN114666335B CN114666335B (zh) | 2023-06-02 |
Family
ID=82030794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210281072.2A Active CN114666335B (zh) | 2022-03-21 | 2022-03-21 | 一种基于数据分发服务dds的分布式系统负载均衡装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114666335B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116737345A (zh) * | 2023-08-11 | 2023-09-12 | 之江实验室 | 分布式任务处理系统及方法、装置、存储介质以及设备 |
| CN117014460A (zh) * | 2023-09-28 | 2023-11-07 | 深圳市壹通道科技有限公司 | 一种基于5g通信的分布式信息管理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103918239A (zh) * | 2012-09-28 | 2014-07-09 | 华为技术有限公司 | 负载均衡方法、装置、系统及计算机可读介质 |
| US20150039734A1 (en) * | 2013-08-05 | 2015-02-05 | The Trustees Of The University Of Pennsylvania | Methods, systems, and computer readable media for enabling real-time guarantees in publish-subscribe middleware using dynamically reconfigurable networks |
| CN109995875A (zh) * | 2019-04-11 | 2019-07-09 | 华夏天信（北京）智能低碳技术研究院有限公司 | 虚拟化数据分发弹性网络系统 |
| CN113157459A (zh) * | 2021-05-17 | 2021-07-23 | 刘来凤 | 一种基于云服务的负载信息处理方法及系统 |
| CN113553179A (zh) * | 2021-07-16 | 2021-10-26 | 北京东方国信科技股份有限公司 | 分布式键值存储负载均衡方法及系统 |
-
2022
- 2022-03-21 CN CN202210281072.2A patent/CN114666335B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103918239A (zh) * | 2012-09-28 | 2014-07-09 | 华为技术有限公司 | 负载均衡方法、装置、系统及计算机可读介质 |
| US20150039734A1 (en) * | 2013-08-05 | 2015-02-05 | The Trustees Of The University Of Pennsylvania | Methods, systems, and computer readable media for enabling real-time guarantees in publish-subscribe middleware using dynamically reconfigurable networks |
| CN109995875A (zh) * | 2019-04-11 | 2019-07-09 | 华夏天信（北京）智能低碳技术研究院有限公司 | 虚拟化数据分发弹性网络系统 |
| CN113157459A (zh) * | 2021-05-17 | 2021-07-23 | 刘来凤 | 一种基于云服务的负载信息处理方法及系统 |
| CN113553179A (zh) * | 2021-07-16 | 2021-10-26 | 北京东方国信科技股份有限公司 | 分布式键值存储负载均衡方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116737345A (zh) * | 2023-08-11 | 2023-09-12 | 之江实验室 | 分布式任务处理系统及方法、装置、存储介质以及设备 |
| CN117014460A (zh) * | 2023-09-28 | 2023-11-07 | 深圳市壹通道科技有限公司 | 一种基于5g通信的分布式信息管理系统 |
| CN117014460B (zh) * | 2023-09-28 | 2023-12-29 | 深圳市壹通道科技有限公司 | 一种基于5g通信的分布式信息管理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114666335B (zh) | 2023-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109218355B (zh) | 负载均衡引擎，客户端，分布式计算系统以及负载均衡方法 | |
| CN103207814B (zh) | 一种去中心化的跨集群资源管理与任务调度系统与调度方法 | |
| Gehring et al. | MARS—A framework for minimizing the job execution time in a metacomputing environment | |
| Werstein et al. | Load balancing in a cluster computer | |
| CN108920153B (zh) | 一种基于负载预测的Docker容器动态调度方法 | |
| CN114666335B (zh) | 一种基于数据分发服务dds的分布式系统负载均衡装置 | |
| CN104298550A (zh) | 一种面向Hadoop的动态调度方法 | |
| US20090150711A1 (en) | Information processing device, program thereof, modular type system operation management system, and component selection method | |
| CN110798517B (zh) | 去中心化集群负载均衡方法、系统、移动终端及存储介质 | |
| CN104077212A (zh) | 压力测试系统及方法 | |
| CN112667362B (zh) | Kubernetes上部署Kubernetes虚拟机集群的方法与系统 | |
| CN112148484A (zh) | 一种基于耦合度的微服务在线分配方法与系统 | |
| CN107977271A (zh) | 一种数据中心综合管理系统负载均衡方法 | |
| CN114356587B (zh) | 算力任务跨区域调度方法、系统及设备 | |
| CN112698952A (zh) | 计算资源统一管理方法、装置、计算机设备及存储介质 | |
| CN102339233A (zh) | 云计算集中管理平台 | |
| CN105872082B (zh) | 基于容器集群负载均衡算法的细粒度资源响应系统 | |
| Rathore | A REVIEW TOWARDS: LOAD BALANCING TECHNIQUES. | |
| Raj et al. | Augmenting hierarchical load balancing with intelligence in grid environment | |
| CN114090201A (zh) | 资源调度方法、装置、设备及存储介质 | |
| CN113872673A (zh) | 一种卫星星座仿真的容器云资源调度系统及其调度方法 | |
| CN112799829A (zh) | 一种知识驱动的网络资源编排方法 | |
| CN111209102A (zh) | 一种分布式任务分发方法与系统 | |
| CN117076133B (zh) | 云游戏平台异构资源分配方法、计算机装置及存储介质 | |
| CN111885159A (zh) | 数据采集方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |