CN110427270A - 一种面向rdma网络下分布式连接算子的动态负载均衡方法 - Google Patents

一种面向rdma网络下分布式连接算子的动态负载均衡方法 Download PDF

Info

Publication number
CN110427270A
CN110427270A CN201910734063.2A CN201910734063A CN110427270A CN 110427270 A CN110427270 A CN 110427270A CN 201910734063 A CN201910734063 A CN 201910734063A CN 110427270 A CN110427270 A CN 110427270A
Authority
CN
China
Prior art keywords
node
task
scheduler
rdma
data block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910734063.2A
Other languages
English (en)
Other versions
CN110427270B (zh
Inventor
翁楚良
黄秋丽
贺泽宇
李志方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201910734063.2A priority Critical patent/CN110427270B/zh
Publication of CN110427270A publication Critical patent/CN110427270A/zh
Application granted granted Critical
Publication of CN110427270B publication Critical patent/CN110427270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/485—Task life-cycle, e.g. stopping, restarting, resuming execution
    • G06F9/4856—Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration
    • G06F9/4862—Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration the task being a mobile agent, i.e. specifically designed to migrate
    • G06F9/4875—Task life-cycle, e.g. stopping, restarting, resuming execution resumption being on a different machine, e.g. task migration, virtual machine migration the task being a mobile agent, i.e. specifically designed to migrate with migration policy, e.g. auction, contract negotiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种面向RDMA网络下分布式连接算子的动态负载均衡方法，该方法包括：在分布式连接算子执行分区计算时设置分区计算阶段和再平衡阶段，并在主节点上设置调度器，调度器首先根据调度算法为每个节点分配分区计算阶段的任务，再根据两步迁移算法为空闲节点分配再平衡阶段的任务，第一步，将任务从运行节点迁移至空闲节点；第二步，使空闲节点利用RDMA单边read原语直接读取任务所对应的数据到本地内存中进行计算。本发明解决了分布式连接算子在负载不均衡场景下分区阶段性能下降的问题，利用RDMA网络，将传统移动计算的思路转变为移动数据，从而实现节点间的动态负载均衡。

Description

一种面向RDMA网络下分布式连接算子的动态负载均衡方法
技术领域
本发明属于计算机技术领域，具体而言，涉及一种面向RDMA网络下分布式连接算子的动态负载均衡方法。
背景技术
随着互联网时代对数据存储不断增长的需求和对海量数据处理的需求，分布式内存数据库系统成为业界最热门的问题之一。其中，分布式连接算子作为数据库系统中的常见算子，因其具有耗时久和执行代价昂贵（包括CPU和网络资源）的固有缺陷，是数据库领域研究的一个热点。由于RDMA网络比传统TCP/IP网络具有更高的吞吐量和更低的延迟，越来越多的分布式系统采用RDMA技术来优化网络环境，这无疑给受限于TCP/IP网络的分布式连接算子带来了新的机遇。
分布式连接算子主要包括分区阶段和本地连接阶段，分区阶段又分为分区计算和分区数据传输。分区计算是最早执行的阶段，它的性能影响了下一阶段开始执行的时间，在整个连接算子中十分重要。然而，在传统的大规模分布式集群中，分区计算会因为节点之间的负载不均衡而影响执行效率。通常情况下，为了提高集群整体资源利用率，若干个运行相对独立服务的小规模集群会合并成大规模集群，让所有服务共享大规模集群的资源，并由Brog、YARN 等统一资源调度系统对资源进行管理和分配。但是这些资源调度系统只能针对系统生态圈的应用（比如YARN对应Hadoop生态圈）提供合理的资源管理和调度，无法避免来自该生态圈之外应用的负载干扰。因此，基于大规模集群的分布式连接不可避免地受到节点间负载不均衡的影响。
现有的连接算子分区阶段的优化工作主要集中在分区数据传输。例如，设计基于RDMA 的shuffle算子来加速数据传输；为 Spark开发基于RDMA的SparkRDMAShuffleManager 插件，从而加速Spark的数据传输操作；提出Track Join算法，以减少连接算子的数据传输量。这些工作都具有一定的指导意义，但是他们都忽视了各节点之间负载不均衡对分区计算阶段产生的性能影响。在集群负载不均衡的情况下，负载较重的节点将会成为整个连接算子的性能瓶颈，且造成负载较轻节点的资源浪费。另一方面，由于在传统的网络环境下，数据传输的开销很大，所以传统的思路是把计算移动到数据上，减少数据传输量。但是随着RDMA技术的日益成熟，这也为连接算子的优化带来了新的契机。
发明内容
本发明的目的是提供一种面向RDMA网络下分布式连接算子的动态负载均衡方法，该方法能在负载不均衡场景下执行分布式连接算子的分区计算时实现节点间动态负载均衡。
为实现上述目的，本发明提供的技术方案是，一种面向RDMA网络下分布式连接算子的动态负载均衡方法，其步骤如下：
步骤1：在数据库系统启动阶段，对数据库系统进行RDMA预连接优化和RDMA内存预注册优化；
步骤2：在分布式连接算子执行分区计算时设置分区计算阶段和再平衡阶段，并在主节点上设置调度器；
步骤3：调度器首先根据调度算法为每个节点分配分区计算阶段的任务，并对这些任务进行调度；
步骤4：每个节点并行执行分配到的分区计算阶段的任务，执行完所有分配任务的节点为空闲节点，仍有任务待执行的节点为运行节点；
步骤5：调度器采用检测算法来检测是否存在节点间负载不均衡的情况，若存在，则根据两步迁移算法为各节点分配并调度再平衡阶段的任务，从而实现动态负载均衡；其中，所述两步迁移算法设置了任务迁移执行方式和数据迁移执行方式，任务迁移执行方式将任务从运行节点迁移至空闲节点，数据迁移执行方式使空闲节点利用RDMA单边read原语，直接读取任务所对应的数据到本地内存中进行计算。
所述方法中的RDMA预连接优化，即在数据库系统启动阶段，为集群中的每个节点预先建立RDMA连接，以降低每次进行数据通信前建立连接的开销。
所述方法中的RDMA内存预注册优化，即在数据库系统启动阶段，为每个节点分配大块内存并分成预设大小的内存块，并将这部分内存进行注册，默认预设大小128M，即HDFS默认数据块大小，当需要使用RDMA read远程读取数据时，则选取一块未使用的内存接收数据，以减少每次接收数据时内存注册的开销，当RDMA传输完成后，将该内存块状态置为未使用，以实现内存块复用。
所述方法中的调度器负责收集全局信息，包括每个节点空闲的核数、缓存的数据块以及所有任务执行状态的信息。
所述方法中缓存的数据块，在执行分布式连接算子前生成，是存储在服务器磁盘或者HDFS中的表数据，并由数据库系统按照特定大小将表数据分割成数据块，缓存在服务器内存中，节点中缓存的每个数据块都会被分配一个任务，由该任务负责数据块的执行。
所述方法中的调度算法，其步骤如下：
步骤A-1：调度器从全局信息中获取每个节点在内存中缓存的数据块信息，根据每个节点缓存的数据块信息为每个节点生成并维护待调度任务列表；
步骤A-2：调度器从全局信息中获取每个节点空闲的核数信息，如果节点有空闲的核，则将待调度任务列表中的任务按任务编号从小到大调度到对应节点空闲的核中，作为该节点分区计算阶段的任务，并将任务从待调度任务列表中删除；
步骤A-3：每个节点接收到分区计算阶段的任务后并行地执行分区计算，即对任务所负责执行的数据块中每个元组的连接字段计算哈希值，并将该元组的数据传输到哈希值所对应的节点；
步骤A-4：各节点每当有任务完成，则向调度器汇报，如果任务失败，调度器将失败的任务重新添加到待调度任务列表中。
所述方法中的检测算法，其主要流程如下：
步骤B-1：调度器每调度一个任务到对应节点，则获取所有节点所对应的待调度任务列表；
步骤B-2：调度器循环遍历每个节点所对应的待调度任务列表；
步骤B-3：如果节点所对应的待调度任务列表为空，则将该节点加入空闲节点数组，否则将该节点加入运行节点数组，若空闲节点数组不为空，则说明出现负载不均衡的情况。
所述方法中的任务迁移执行方式，其主要流程如下：
步骤C-1：调度器循环获取空闲节点数组中的每个空闲节点；
步骤C-2：调度器循环获取运行节点数组中的每个运行节点所对应的待调度任务列表；
步骤C-3：如果该运行节点的剩余任务量超过一个阈值，则按任务编号从大至小迁移一部分该节点的剩余任务到空闲节点中的待调度任务列表，作为空闲节点再平衡阶段的任务，并将任务从原节点的待调度任务列表中删除，默认每次迁移两个任务，阈值默认设置为节点逻辑核数的二分之一；
步骤C-4：调度器将空闲节点待调度任务列表中的任务调度到对应的空闲节点，作为该节点再平衡阶段的任务，并将任务从待调度任务列表中删除。
所述方法中数据迁移执行方式，其主要流程如下：
步骤D-1：空闲节点执行再平衡阶段的任务时，向调度器发送一个fetchblock请求以获取任务所对应的数据块；
步骤D-2：调度器接受请求后向该数据块所在的运行节点发送获取数据块信息的请求；
步骤D-3：该运行节点将该数据块固定在物理内存中并注册到网络适配器；
步骤D-4：该运行节点将注册后的信息，即数据块的内存地址和local key，发送给该空闲节点；
步骤D-5：空闲节点创建 RDMA 完成事件的监听器；
步骤D-6：空闲节点根据接收的注册信息使用 RDMA 单边 read原语将数据块读取到本机预注册的内存。
本发明的有益效果是，通过上述一种面向RDMA网络下分布式连接算子的动态负载均衡方法，本发明解决了分布式连接算子在负载不均衡场景下分区阶段性能下降的问题，利用RDMA网络，将传统移动计算的思路转变为移动数据，从而实现节点间的动态负载均衡。
附图说明
图1为本发明实施例中面向RDMA网络下分布式连接算子的动态负载均衡方法的流程图；
图2为本发明实施例中面向RDMA网络下分布式连接算子的动态负载均衡方法的调度算法流程图；
图3为本发明实施例中面向RDMA网络下分布式连接算子的动态负载均衡方法的检测算法流程图；
图4为本发明实施例中面向RDMA网络下分布式连接算子的动态负载均衡方法的任务迁移执行方式流程图；
图5为本发明实施例中面向RDMA网络下分布式连接算子的动态负载均衡方法的数据迁移执行方式流程图。
具体实施方式
本发明在Spark系统的基础上实现了一种面向RDMA网络下分布式连接算子的动态负载均衡方法，目的是在负载不均衡场景下执行分布式连接的分区计算时实现各节点间的动态负载均衡。下面结合实施例及附图，详细描述本发明的技术方案。
实施例
参阅图1，本实施例包括以下具体步骤：
步骤S101：在Spark系统启动阶段，对Spark系统进行RDMA预连接优化和RDMA内存预注册优化；
步骤S102：在分布式连接算子执行分区计算时设置分区计算阶段和再平衡阶段，并在主节点上设置调度器；
步骤S103：调度器首先根据调度算法为每个节点分配分区计算阶段的任务，并对这些任务进行调度；
步骤S104：每个节点并行执行分配到的分区计算阶段的任务，执行完所有分配任务的节点为空闲节点，仍有任务待执行的节点为运行节点；
步骤S105：调度器采用检测算法来检测是否存在节点间负载不均衡的情况，若存在，则根据两步迁移算法为各节点分配并调度再平衡阶段的任务，从而实现动态负载均衡；其中，所述两步迁移算法设置了任务迁移执行方式和数据迁移执行方式，任务迁移执行方式将任务从运行节点迁移至空闲节点，数据迁移执行方式使空闲节点利用RDMA单边read原语，直接读取任务所对应的数据到本地内存中进行计算。
所述RDMA预连接优化，即在数据库系统启动阶段，为集群中的每个节点预先建立RDMA连接，以降低每次进行数据通信前建立连接的开销。
所述RDMA内存预注册优化，即在数据库系统启动阶段，为每个节点分配大块内存并分成预设大小的内存块，并将这部分内存进行注册，默认预设大小128M，即HDFS默认数据块大小，当需要使用RDMA read远程读取数据时，则选取一块未使用的内存接收数据，以减少每次接收数据时内存注册的开销，当RDMA传输完成后，将该内存块状态置为未使用，以实现内存块复用。
所述调度器负责收集全局信息，包括每个节点空闲的核数、缓存的数据块以及所有任务执行状态的信息。
所述缓存的数据块，在执行分布式连接算子前生成，是存储在服务器磁盘或者HDFS中的表数据，并由数据库系统按照特定大小将表数据分割成数据块，缓存在服务器内存中，节点中缓存的每个数据块都会被分配一个任务，由该任务负责数据块的执行。
所述调度算法的流程图如图2所示，具体包括如下步骤：
步骤S201：调度器从全局信息中获取每个节点在内存中缓存的数据块信息，根据每个节点缓存的数据块信息为每个节点生成并维护待调度任务列表；
步骤S202：调度器从全局信息中获取每个节点空闲的核数信息，如果节点有空闲的核，则将待调度任务列表中的任务按任务编号从小到大调度到对应节点空闲的核中，作为该节点分区计算阶段的任务，并将任务从待调度任务列表中删除；
步骤S203：每个节点接收到分区计算阶段的任务后并行地执行分区计算，即对任务所负责执行的数据块中每个元组的连接字段计算哈希值，并将该元组的数据传输到哈希值所对应的节点；
步骤S204：各节点每当有任务完成，则向调度器汇报，如果任务失败，调度器将失败的任务重新添加到待调度任务列表中。
本实施例所述检测算法的流程图如图3所示，具体包括如下步骤：
步骤S301：调度器每调度一个任务到对应节点，则获取所有节点所对应的待调度任务列表；
步骤S302：调度器循环遍历每个节点所对应的待调度任务列表；
步骤S303：如果节点所对应的待调度任务列表为空，则将该节点加入空闲节点数组，否则将该节点加入运行节点数组，若空闲节点数组不为空，则说明出现负载不均衡的情况。
所述任务迁移执行方式的流程图如图4所示，具体包括如下步骤：
步骤S401：调度器循环获取空闲节点数组中的每个空闲节点；
步骤S402：调度器循环获取运行节点数组中的每个运行节点所对应的待调度任务列表；
步骤S403：如果该运行节点的剩余任务量超过一个阈值，则按任务编号从大至小迁移一部分该节点的剩余任务到空闲节点中的待调度任务列表，作为空闲节点再平衡阶段的任务，并将任务从原节点的待调度任务列表中删除，默认每次迁移两个任务，阈值默认设置为节点逻辑核数的二分之一；
步骤S404：调度器将空闲节点待调度任务列表中的任务调度到对应的空闲节点，作为该节点再平衡阶段的任务，并将任务从待调度任务列表中删除。
所述数据迁移执行方式的流程图如图5所示，具体包括如下步骤：
步骤S501：空闲节点执行再平衡阶段的任务时，向调度器发送一个fetchblock请求以获取任务所对应的数据块；
步骤S502：调度器接受请求后向该数据块所在的运行节点发送获取数据块信息的请求；
步骤S503：该运行节点将该数据块固定在物理内存中并注册到网络适配器；
步骤S504：该运行节点将注册后的信息，即数据块的内存地址和local key，发送给该空闲节点；
步骤S505：空闲节点创建 RDMA 完成事件的监听器；
步骤S506：空闲节点根据接收的注册信息使用 RDMA 单边 read原语将数据块读取到本机预注册的内存。

Claims (9)

1.一种面向RDMA网络下分布式连接算子的动态负载均衡方法，其特征在于，该方法包括以下具体步骤：
步骤1：在数据库系统启动阶段，对数据库系统进行RDMA预连接优化和RDMA内存预注册优化；
步骤2：在分布式连接算子执行分区计算时设置分区计算阶段和再平衡阶段，并在主节点上设置调度器；
步骤3：调度器首先根据调度算法为每个节点分配分区计算阶段的任务，并对这些任务进行调度；
步骤4：每个节点并行执行分配到的分区计算阶段的任务，执行完所有分配任务的节点为空闲节点，仍有任务待执行的节点为运行节点；
步骤5：调度器采用检测算法来检测是否存在节点间负载不均衡的情况，若存在，则根据两步迁移算法为各节点分配并调度再平衡阶段的任务，从而实现动态负载均衡；其中，所述两步迁移算法设置了任务迁移执行方式和数据迁移执行方式，任务迁移执行方式将任务从运行节点迁移至空闲节点，数据迁移执行方式使空闲节点利用RDMA单边read原语，直接读取任务所对应的数据到本地内存中进行计算。
2.根据权利要求1所述的动态负载均衡方法，其特征在于，所述RDMA预连接优化，即在数据库系统启动阶段，为集群中的每个节点预先建立RDMA连接，以降低每次进行数据通信前建立连接的开销。
3.根据权利要求1所述的动态负载均衡方法，其特征在于，所述RDMA内存预注册优化，即在数据库系统启动阶段，为每个节点分配大块内存并分成预设大小的内存块，并将这部分内存进行注册，默认预设大小 128M，即HDFS默认数据块大小，当需要使用RDMA read远程读取数据时，则选取一块未使用的内存接收数据，以减少每次接收数据时内存注册的开销，当RDMA传输完成后，将该内存块状态置为未使用，以实现内存块复用。
4.根据权利要求1所述的动态负载均衡方法，其特征在于，所述调度器，其负责收集全局信息，包括每个节点空闲的核数、缓存的数据块、空闲的节点以及所有任务执行状态的信息。
5.根据权利要求4所述的动态负载均衡方法，其特征在于，所述缓存的数据块，在执行分布式连接算子前生成，是存储在服务器磁盘或者HDFS中的表数据，并由数据库系统按照特定大小将表数据分割成数据块，缓存在服务器内存中，节点中缓存的每个数据块都会被分配一个任务，由该任务负责数据块的执行。
6.根据权利要求1所述的动态负载均衡方法，其特征在于，所述调度算法，其步骤如下：
步骤A-1：调度器从全局信息中获取每个节点在内存中缓存的数据块信息，根据每个节点缓存的数据块信息为每个节点生成并维护待调度任务列表；
步骤A-2：调度器从全局信息中获取每个节点空闲的核数信息，如果节点有空闲的核，则将待调度任务列表中的任务按任务编号从小到大调度到对应节点空闲的核中，作为该节点分区计算阶段的任务，并将任务从待调度任务列表中删除；
步骤A-3：每个节点接收到分区计算阶段的任务后并行地执行分区计算，即对任务所负责执行的数据块中每个元组的连接字段计算哈希值，并将该元组的数据传输到哈希值所对应的节点；
步骤A-4：各节点每当有任务完成，则向调度器汇报，如果任务失败，调度器将失败的任务重新添加到待调度任务列表中。
7.根据权利要求1所述的动态负载均衡方法，其特征在于，所述检测算法，其步骤如下：
步骤B-1：调度器每调度一个任务到对应节点，则获取所有节点所对应的待调度任务列表；
步骤B-2：调度器循环遍历每个节点所对应的待调度任务列表；
步骤B-3：如果节点所对应的待调度任务列表为空，则将该节点加入空闲节点数组，否则将该节点加入运行节点数组，若空闲节点数组不为空，则说明出现负载不均衡的情况。
8.根据权利要求1所述的动态负载均衡方法，其特征在于，所述任务迁移执行方式，其步骤如下：
步骤C-1：调度器循环获取空闲节点数组中的每个空闲节点；
步骤C-2：调度器循环获取运行节点数组中的每个运行节点所对应的待调度任务列表；
步骤C-3：如果该运行节点的剩余任务量超过一个阈值，则按任务编号从大至小迁移一部分该节点的剩余任务到空闲节点中的待调度任务列表，作为空闲节点再平衡阶段的任务，并将任务从原节点的待调度任务列表中删除，默认每次迁移两个任务，阈值默认设置为节点逻辑核数的二分之一；
步骤C-4：调度器将空闲节点待调度任务列表中的任务调度到对应的空闲节点，作为该节点再平衡阶段的任务，并将任务从待调度任务列表中删除。
9.根据权利要求1所述的动态负载均衡方法，其特征在于，所述数据迁移执行方式，其步骤如下：
步骤D-1：空闲节点执行再平衡阶段的任务时，向调度器发送一个fetchblock请求以获取任务所对应的数据块；
步骤D-2：调度器接受请求后向该数据块所在的运行节点发送获取数据块信息的请求；
步骤D-3：该运行节点将该数据块固定在物理内存中并注册到网络适配器；
步骤D-4：该运行节点将注册后的信息，即数据块的内存地址和local key，发送给该空闲节点；
步骤D-5：空闲节点创建 RDMA 完成事件的监听器；
步骤D-6：空闲节点根据接收的注册信息使用 RDMA 单边 read原语将数据块读取到本机预注册的内存。
CN201910734063.2A 2019-08-09 2019-08-09 一种面向rdma网络下分布式连接算子的动态负载均衡方法 Active CN110427270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910734063.2A CN110427270B (zh) 2019-08-09 2019-08-09 一种面向rdma网络下分布式连接算子的动态负载均衡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910734063.2A CN110427270B (zh) 2019-08-09 2019-08-09 一种面向rdma网络下分布式连接算子的动态负载均衡方法

Publications (2)

Publication Number Publication Date
CN110427270A true CN110427270A (zh) 2019-11-08
CN110427270B CN110427270B (zh) 2022-11-01

Family

ID=68415226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910734063.2A Active CN110427270B (zh) 2019-08-09 2019-08-09 一种面向rdma网络下分布式连接算子的动态负载均衡方法

Country Status (1)

Country Link
CN (1) CN110427270B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111326216A (zh) * 2020-02-27 2020-06-23 中国科学院计算技术研究所 一种针对大数据基因测序文件的快速划分方法
CN112748879A (zh) * 2020-12-30 2021-05-04 中科曙光国际信息产业有限公司 数据获取方法、系统、装置、计算机设备和存储介质
CN114048041A (zh) * 2022-01-14 2022-02-15 湖南大学 一种基于空闲节点主动的安全内存共享方法
WO2023024410A1 (zh) * 2021-08-27 2023-03-02 上海商汤智能科技有限公司 任务调度方法、装置、设备、存储介质及计算机程序产品、计算机程序

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102857577A (zh) * 2012-09-24 2013-01-02 北京联创信安科技有限公司 一种集群存储自动负载均衡的系统及方法
US20150161016A1 (en) * 2011-04-26 2015-06-11 Brian J. Bulkowski Method and system of self-managing nodes of a distributed database cluster with a consensus algorithm
CN107329814A (zh) * 2017-06-16 2017-11-07 电子科技大学 一种基于rdma的分布式内存数据库查询引擎系统
CN109144972A (zh) * 2017-06-26 2019-01-04 华为技术有限公司 一种数据迁移的方法以及数据节点

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150161016A1 (en) * 2011-04-26 2015-06-11 Brian J. Bulkowski Method and system of self-managing nodes of a distributed database cluster with a consensus algorithm
CN102857577A (zh) * 2012-09-24 2013-01-02 北京联创信安科技有限公司 一种集群存储自动负载均衡的系统及方法
CN107329814A (zh) * 2017-06-16 2017-11-07 电子科技大学 一种基于rdma的分布式内存数据库查询引擎系统
CN109144972A (zh) * 2017-06-26 2019-01-04 华为技术有限公司 一种数据迁移的方法以及数据节点

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111326216A (zh) * 2020-02-27 2020-06-23 中国科学院计算技术研究所 一种针对大数据基因测序文件的快速划分方法
CN112748879A (zh) * 2020-12-30 2021-05-04 中科曙光国际信息产业有限公司 数据获取方法、系统、装置、计算机设备和存储介质
WO2023024410A1 (zh) * 2021-08-27 2023-03-02 上海商汤智能科技有限公司 任务调度方法、装置、设备、存储介质及计算机程序产品、计算机程序
CN114048041A (zh) * 2022-01-14 2022-02-15 湖南大学 一种基于空闲节点主动的安全内存共享方法

Also Published As

Publication number Publication date
CN110427270B (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN110427270A (zh) 一种面向rdma网络下分布式连接算子的动态负载均衡方法
US20210081347A1 (en) Graph processing optimization method based on multi-fpga accelerator interconnection
US8949847B2 (en) Apparatus and method for managing resources in cluster computing environment
CN102831120B (zh) 一种数据处理方法及系统
CN102724277B (zh) 虚拟机热迁移和部署的方法、服务器及集群系统
US20100138540A1 (en) Method of managing organization of a computer system, computer system, and program for managing organization
CN101951411A (zh) 云调度系统及方法以及多级云调度系统
Biswas et al. Accelerating tensorflow with adaptive rdma-based grpc
CN104679594B (zh) 一种中间件分布式计算方法
Wang et al. Hybrid pulling/pushing for i/o-efficient distributed and iterative graph computing
US20220027247A1 (en) Maintenance operations based on analysis of collected data
CN104239555A (zh) 基于mpp的并行数据挖掘架构及其方法
KR20140074320A (ko) 트랜잭셔널 미들웨어 머신 환경에서 정확한 로드 밸런싱을 지원하기 위한 시스템 및 방법
Wang et al. A BSP-based parallel iterative processing system with multiple partition strategies for big graphs
Lin et al. A workload-driven approach to dynamic data balancing in MongoDB
Zhang et al. Speeding up vm startup by cooperative vm image caching
Li et al. Improving spark performance with zero-copy buffer management and RDMA
US20240176762A1 (en) Geographically dispersed hybrid cloud cluster
US11579942B2 (en) VGPU scheduling policy-aware migration
CN110597809B (zh) 一种支持树状数据结构的一致性算法系统及其实现方法
CN111107135B (zh) 一种容器镜像并行分发方法、调度器及存储介质
Fu et al. Load Balancing Algorithms for Hadoop Cluster in Unbalanced Environment
Dai et al. A resource occupancy ratio-oriented load balancing task scheduling mechanism for flink
Zhao et al. A holistic cross-layer optimization approach for mitigating stragglers in in-memory data processing
Mao et al. A Load Balancing and Overload Controlling Architecture in Clouding Computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant