CN109117285B - 支持高并发的分布式内存计算集群系统 - Google Patents

支持高并发的分布式内存计算集群系统 Download PDF

Info

Publication number
CN109117285B
CN109117285B CN201810845045.7A CN201810845045A CN109117285B CN 109117285 B CN109117285 B CN 109117285B CN 201810845045 A CN201810845045 A CN 201810845045A CN 109117285 B CN109117285 B CN 109117285B
Authority
CN
China
Prior art keywords
data
task
request
job
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810845045.7A
Other languages
English (en)
Other versions
CN109117285A (zh
Inventor
张学功
黄仝宇
汪刚
宋一兵
侯玉清
刘双广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gosuncn Technology Group Co Ltd
Original Assignee
Gosuncn Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gosuncn Technology Group Co Ltd filed Critical Gosuncn Technology Group Co Ltd
Priority to CN201810845045.7A priority Critical patent/CN109117285B/zh
Publication of CN109117285A publication Critical patent/CN109117285A/zh
Application granted granted Critical
Publication of CN109117285B publication Critical patent/CN109117285B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/548—Queue

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明申请提供了一种保持高并发的分布式内存计算集群系统，包括：Master节点、多个Node节点、集群管理部件和数据库，Master节点，主要功能为接收请求，预分析请求，分配和调度作业、集群监控、收集和返回分析结果。Master节点包括请求分析器、作业调度控制器、作业监视器、集群监视器、请求队列、作业队列和耗时作业队列，Node节点包括任务分析器、任务调度控制器、任务监视器、数据加载引擎、任务队列、数据缓冲区和中间结果缓冲区，集群管理部件主要用于监控和维护整个集群的健康状态，数据库，用于储存历史分片数据和实时数据。能够有效降低“框架消耗”，并能实现数据预加载、请求预分析及纯内存操作。

Description

支持高并发的分布式内存计算集群系统
技术领域
本发明涉及一种软件工程、大数据以及分布式存储和计算等领域，尤其涉及一种支持高并发的分布式内存计算集群系统。
背景技术
随着计算机硬件和大数据技术的发展，在这个信息爆炸的时代，人们渴望从海量数据中快速地统计和获取有价值的信息，这些信息对于企业的发展以及人们的生活有着重要的决策和参考作用。
目前可行性技术方案总结如下：使用hadoop或spark技术，例如，使用hdfs/habse作为数据存储引擎，使用map/reduce或spark技术作为离线数据分析引擎，使kafka、spark-streaming或storm作为实时数据分析引擎。
虽然上述技术方案也能对数据进行分析计算，但是个人认为仍然有存在一些不足，现总结如下：
a)“框架消耗”现象普遍存在。不少大数据技术框架为了达到“综合性”和“共性”，对于一些用之甚少、较难实现而又必须要有的功能，往往采取一些“折中”的办法来实现它们，这在一定程度上牺牲了框架“整体性能”。使用“二八定律”很容易理解，即使用率较高的百分之八十的功能的运作只需要占用百分之二十的资源，而使用率较低的百分之二十的算法却占用着高达百分之八十的资源。为了满足了“综合性”而削弱了“专业性”。这明显不能满足一些并发性和性能要求较高的需求。
b)存在“数据加载”消耗现象。一般大数据分析引擎完成一次请求需要：①加载数据②分析③保存或返回结果这三个环节，而加载数据环节往往是最耗时的，一般需要建立连接、检索数据、传输数据这三个步骤，每个步骤都需要消耗一定的时间，特别是检索数据和传输数据环节，对于数据量比较大的请求，光“加载数据”就要耗费10s加的时间，这还未考虑非并发数据或并发数不足的情况。
c)请求“预分析”不足。对于像SPARK这样的大数据分析引擎，当多个并发请求同时到达时，采取的是“不拒绝”方案。即不管目前集群的资源消耗如何，也不管当下有多少个作业正在运行，SPARK都会给请求分配资源，甚至“抢”占正在运行作业的资源，导致前面运行的所有作业进度变慢，更严重的情况是造成系统瘫痪，即作业之间因为发生资源“抢占”而死锁的现象。
d)非“纯内存”。虽然曾经一度因为SPARK内存计算而取代MAP/REDUCE而轰动整个大数据界，然而SPARK并非纯内存运作，许多中间结果仍然要保存为文件的形式，特别是发生shuffle的时候，即数据需要跨网络传输的时候，中间结果数据一般都会因为内存不足或多或少地保存为文件的形式，有的甚至还要压缩保存，这在一定程度上降低了系统的性能。
发明内容
本发明提供一种支持高并发的分布式内存计算集群系统，有效降低“框架消耗”，并能实现数据预加载、请求预分析及纯内存操作。
为实现上述目的，本申请实施例提供了如下技术方案：
一种支持高并发的分布式内存计算集群系统，包括：Master节点、多个Node节点、集群管理部件和数据库；
所述Master节点，用于接收请求，预分析请求，分配和调度作业、集群监控、收集和返回分析结果，所述Master节点具体包括请求分析器、作业调度控制器、作业监视器、集群监视器、请求队列、作业队列和耗时作业队列，其中：
所述请求分析器，用于从请求队列中获取请求，对所述请求进行分析以判断该请求是否为耗时请求，如为非耗时请求则存入作业队列，如为耗时请求则存入耗时作业队列，
所述作业调度控制器，用于定时检查作业队列，当请求分析器分析完请求后，交由作业调度控制器，若作业队列不空，则先处理该作业队列所有作业，否则，检查耗时作业队列，若不空，则从该耗时作业队列里取出一个作业投放运作，
所述作业监视器，用于监视投放运作的每一个作业，当有作业发生异常、完成情况，则立即通知作业调度控制器准备其他作业的投放运作；
所述集群监视器，用于结合集群管理部件随时监控集群的健康状态，集群的各方面的负载；所述Node节点包括任务分析器、任务调度控制器、任务监视器、数据加载引擎、任务队列、数据缓冲区和中间结果缓冲区，其中：
所述任务分析器，用于分析由Master节点下发的作业的参数和条件，产生一系列任务存放于任务队列里，
所述任务调度控制器，根据情况从任务队列取出任务执行，任务调度控制器维护了一个执行任务的线程池，每个任务对应一个执行线程，线程会根据任务的条件从数据缓冲区或中间结果缓冲区中检索数据进行分析，
所述任务监视器，用于监视正在运行的每一个任务，一旦有任务发生异常、完成情况，立即通知任务调度控制器准备其他任务的执行；
所述数据加载引擎，用于根据分片规则在系统启动或发生扩缩容的时候从数据库加载数据到数据缓冲区；
所述任务队列，每个作业会分配若干个任务，分散到各个Node节点执行，这些任务由任务分析器产生，并以FIFO方式存放在任务队列里面，
所述数据缓冲区，用于存放分析数据的数据结构，
所述中间结果缓冲区，用于暂存最小运行单位的任务的产出；
所述集群管理部件，用于监控和维护整个集群的健康状态；
所述数据库，用于储存历史分片数据和实时数据。优选的，所述请求分析器对所述请求进行分析时，相关的分析因素为数据量，时间跨度，算法难易程度。
优选的，每个因素可以根据需要设置加权参数。
优选的，所述数据分为历史分片数据和实时数据。
优选的，所述历史分片数据一天加载一次，而实时数据根据情况可加载或不加载，每天产生数据量在100w以上时加载。
优选的，所述请求队列按照FIFO的方式存放分析请求。
优选的，所述作业队列按照FIFO方式存放的非耗时的作业。
优选的，所述耗时作业队列按照FIFO方式存放的耗时的作业。
优选的，所述任务分析器产生的任务以批次的形式产生，每个任务仅属于某一批次，批次靠前的先执行，靠后的后执行，每一批次的任务执行的前提条件是前一批次任务执行完毕。
优选的，所述集群管理部件主要用于监控和维护整个集群的健康状态具体为：每个Node节点在系统启动时以服务的形式向集群管理部件注册自己，并提供健康检查的方式，集群管理部件定时通过这种方式回访每个Node节点，如果回访成功，则表示该Node节点是健康的，更新并记录下来；Master节点中的集群监视器定时向集群管理部件获取这些状态，以判断整个集群是否健康运行。
根据上述技术方案可知，本发明至少具有如下技术效果或优点：
1.专注。专注离线分析，即席分析，不会显得鱼龙混杂。
2.高并发。数据预先加载到了“内存”之中，提供分区和索引两种检索方式并存的方法，加快了数据存取速率，降低了单个请求的资源消耗，而且各个请求之间的资源完全隔离，真正做到了多并发和高并发。
3.高性能。尽量map,本地合并，本地计算，减少shuffle次数，减少shuffle数据量，让每个Node的使用发挥到极致，真正做到分布式并发计算。
4.轻量。由于框架功能实现比较单一，只提供离线数据的“即席分析”功能，而且内部结构是优化的，各个组件之间有机结合，因此整体框架显得非常轻量。
附图说明
图1为表示本发明实施例的流程示意图；
具体实施方式
本申请实施例提供了一种支持高并发的分布式内存计算集群系统，能够有效降低“框架消耗”，并能实现数据预加载、请求预分析及纯内存操作。
为使得本申请实施例的发明目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本申请实施例一部分实施例，而非全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请实施例保护的范围。
请参阅图1，本申请实施例提供的一种支持高并发的分布式内存计算集群系统的实施例包括：
如图1所示，一种支持高并发的分布式内存计算集群系统，包括：Master节点10、多个Node节点20、集群管理30和数据库40。
Master节点10，用于接收请求，预分析请求，分配和调度作业、集群监控、收集和返回分析结果等。Master节点包括请求分析器101、作业调度控制器102、作业监视器103、集群监视器104、请求队列105、作业队列106和耗时作业队列107。
请求分析器101用于从请求队列里面获取一个请求，按照预先的一些配置或者经验(例如机器学习)对请求进行分析，以判断该请求是否是耗时请求，如为非耗时请求则存入作业队列，如为耗时请求则存入耗时作业队列。
优选的，相关的分析因素如：数据量，时间跨度，算法难易程度等。
优选的，每个因素可以根据需要设置加权参数。
作业调度控制器102用于定时检查作业队列，当请求分析器分析完请求后，交由作业调度控制器，若队列不空，则先处理该队列所有作业，否则，检查耗时作业队列，若不空，则从该队列里取出一个作业投放运作。作业监视器103会监视投放运作的每一个作业，如作业的状态、进度等，一旦有作业发生异常、完成等情况，立即通知作业调度控制器准备其他作业的投放运作。
集群监视器104，用于结合集群管理部件随时监控集群的健康状态，集群的各方面的负载，如CPU、内存、磁盘等信息。
优选的，请求队列按照FIFO的方式存放分析请求。
优选的，作业队列按照FIFO方式存放的非耗时的作业。
优选的，耗时作业队列按照FIFO方式存放的耗时的作业。
Node节点20包括任务分析器201、任务调度控制器202、任务监视器203、数据加载引擎204、任务队列205、数据缓冲区206和中间结果缓冲区207。
任务分析器201，通过分析由Master下发的作业的参数和条件，产生一系列任务存放于任务队列里。
优选的，这些任务以批次的形式产生，每个任务仅属于某一批次，批次靠前的先执行，靠后的后执行，每一批次的任务执行的前提条件是前一批次任务执行完毕。
任务调度控制器202，根据情况从任务队列取出任务执行。
任务调度控制器202维护了一个执行任务的线程池，每个任务对应一个执行线程，线程会根据任务的条件从数据缓冲区或中间结果缓冲区中检索数据进行分析。
任务监视器203监视正在运行的每一个任务，如任务的状态、进度等，一旦有任务发生异常、完成等情况，立即通知任务调度控制器202准备其他任务的执行。
数据加载引擎204主要功能是根据分片规则在系统启动或发生扩缩容的时候从数据库加载数据到数据缓冲区。
数据分为历史分片数据和实时数据，历史分片数据一天加载一次，而实时数据根据情况可加载或不加载，每天产生数据量在100w以上时加载。
数据缓冲区206和数据加载引擎204实现了数据预加载功能，如果有需要可按照常用的需求做好内存排序，这样大大提高了数据加载的效率，极大地减少了因为数据加载而产生的性能消耗。
任务队列205：每个作业会分配若干个任务，分散到各个Node节点执行，这些任务由任务分析器产生，并以FIFO方式存放在任务队列里面。
数据缓冲区206：用于存放分析数据的数据结构。
优选的，数据分为历史数据和实时数据，这些数据以分区的形式存在，分区的方案可以参考业务需求，一般以时间作为分区参考比较多，必要时，可以将历史数据预先以某些字段排好序，这样进一步提高了检索的效率，从而提高的并发性和性能。实时数据因为数据量较少，可以区别对待而无需排序。
中间结果缓冲区207：任务是最小的运行单位，每个任务都会有所产出，这些产出将不会以文件的形式存在，而是直接暂存于中间结果缓冲区中。这些中间结果数据要么以最终结果的形式发给Master，要么以shuffle的方式发送给其他节点，异或在本地作为下一批任务的输入。
集群管理30主要用于监控和维护整个集群的健康状态。
优选的，集群管理30监控和维护整个集群的健康状态具体为：每个Node节点在系统启动时以服务的形式向集群管理部件注册自己，并提供健康检查的方式，集群管理部件定时通过这种方式回访每个Node节点，如果回访成功，则表示该Node节点是健康的，更新并记录下来。Master节点中的集群监视器定时向集群管理部件获取这些状态，以判断整个集群是否健康运行。
数据库40，用于存储历史分片数据和实时数据。
本申请实施例提供的一种支持高并发的分布式内存计算集群系统，不提供实时流功能，只提供离线分析功能，降低了“框架消耗”；通过请求分析器，实现和加强了“请求预分析”，而“数据缓冲区”和“数据加载引擎”实现了数据预加载功能，提高了数据加载效率，减少了因数据加载而产生的性能消耗。对于需要shuffle的数据，直接通过网络传输，而尽量不通过保存为文件再发送的方式，这样可大大提高系统运作的性能，实现了“纯内存”操作。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种支持高并发的分布式内存计算集群系统，包括：Master节点、多个Node节点、集群管理部件、数据库，其中：
所述Master节点，用于接收请求，预分析请求，分配和调度作业、集群监控、收集和返回分析结果，所述Master节点具体包括请求分析器、作业调度控制器、作业监视器、集群监视器、请求队列、作业队列和耗时作业队列，其中：
所述请求分析器，用于从请求队列中获取请求，对所述请求进行分析，以判断该请求是否为耗时请求，如为非耗时请求则存入作业队列，如为耗时请求则存入耗时作业队列，
所述作业调度控制器，用于定时检查作业队列，当请求分析器分析完请求后，交由作业调度控制器，若作业队列不空，则先处理该作业队列所有作业，否则，检查耗时作业队列，若不空，则从该耗时作业队列里取出一个作业投放运作，
所述作业监视器，用于监视投放运作的每一个作业，当有作业发生异常、完成情况，则立即通知作业调度控制器准备其他作业的投放运作；
所述集群监视器，用于结合集群管理部件随时监控集群的健康状态，集群的各方面的负载；
所述Node节点包括任务分析器、任务调度控制器、任务监视器、数据加载引擎、任务队列、数据缓冲区和中间结果缓冲区，其中：
所述任务分析器，用于分析由Master节点下发的作业的参数和条件，产生一系列任务存放于任务队列里，
所述任务调度控制器，根据情况从任务队列取出任务执行，任务调度控制器维护了一个执行任务的线程池，每个任务对应一个执行线程，线程会根据任务的条件从数据缓冲区或中间结果缓冲区中检索数据进行分析，
所述任务监视器，用于监视正在运行的每一个任务，一旦有任务发生异常、完成情况，立即通知任务调度控制器准备其他任务的执行；
所述数据加载引擎，用于根据分片规则在系统启动或发生扩缩容的时候从数据库加载数据到数据缓冲区；
所述任务队列，每个作业会分配若干个任务，分散到各个Node节点执行，这些任务由任务分析器产生，并以FIFO方式存放在任务队列里面，
所述数据缓冲区，用于存放分析数据的数据结构，
所述中间结果缓冲区，用于暂存最小运行单位的任务的产出；
所述集群管理部件，用于监控和维护整个集群的健康状态；
所述数据库，用于储存历史分片数据和实时数据。
2.如权利要求1所示的系统，其特征在于，所述请求分析器对所述请求进行分析时，其分析因素为数据量，时间跨度，算法难易程度。
3.如权利要求2所示的系统，其特征在于，每个因素可以根据需要设置加权参数。
4.如权利要求1所示的系统，其特征在于，所述数据分为历史分片数据和实时数据。
5.如权利要求4所示的系统，其特征在于，所述历史分片数据一天加载一次，而实时数据根据情况可加载或不加载，每天产生数据量在100w以上时加载。
6.如权利要求1所示的系统，其特征在于，所述请求队列按照FIFO的方式存放分析请求。
7.如权利要求1所示的系统，其特征在于，所述作业队列按照FIFO方式存放的非耗时的作业。
8.如权利要求1所示的系统，其特征在于，所述耗时作业队列按照FIFO方式存放的耗时的作业。
9.如权利要求1所示的系统，其特征在于，所述任务分析器产生的任务以批次的形式产生，每个任务仅属于某一批次，批次靠前的先执行，靠后的后执行，每一批次的任务执行的前提条件是前一批次任务执行完毕。
10.如权利要求1所示的系统，其特征在于，所述集群管理部件主要用于监控和维护整个集群的健康状态具体为：每个Node节点在系统启动时以服务的形式向集群管理部件注册自己，并提供健康检查的方式，集群管理部件定时通过这种方式回访每个Node节点，如果回访成功，则表示该Node节点是健康的，更新并记录下来；Master节点中的集群监视器定时向集群管理部件获取这些状态，以判断整个集群是否健康运行。
CN201810845045.7A 2018-07-27 2018-07-27 支持高并发的分布式内存计算集群系统 Active CN109117285B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810845045.7A CN109117285B (zh) 2018-07-27 2018-07-27 支持高并发的分布式内存计算集群系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810845045.7A CN109117285B (zh) 2018-07-27 2018-07-27 支持高并发的分布式内存计算集群系统

Publications (2)

Publication Number Publication Date
CN109117285A CN109117285A (zh) 2019-01-01
CN109117285B true CN109117285B (zh) 2021-12-28

Family

ID=64863412

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810845045.7A Active CN109117285B (zh) 2018-07-27 2018-07-27 支持高并发的分布式内存计算集群系统

Country Status (1)

Country Link
CN (1) CN109117285B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110659119B (zh) 2019-09-12 2022-08-02 浪潮电子信息产业股份有限公司 一种图片处理方法、装置及系统
CN111198863B (zh) * 2019-12-27 2023-06-20 天阳宏业科技股份有限公司 一种规则引擎及其实现方法
CN111381969B (zh) * 2020-03-16 2021-10-26 北京康吉森技术有限公司 一种分布式软件的管理方法及其系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808334A (zh) * 2016-03-04 2016-07-27 山东大学 一种基于资源重用的MapReduce短作业优化系统及方法
CN105955820A (zh) * 2016-04-20 2016-09-21 北京云宏信达信息科技有限公司 作业流控制方法、装置和系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101502896B1 (ko) * 2011-02-14 2015-03-24 주식회사 케이티 맵 리듀스를 이용한 분산 메모리 클러스터 제어 장치 및 방법
US20140115030A1 (en) * 2012-10-18 2014-04-24 Paul R. Bayliss Intelligent global services bus and system for mobile applications
CN103106249B (zh) * 2013-01-08 2016-04-20 华中科技大学 一种基于Cassandra的数据并行处理系统
CN103617087B (zh) * 2013-11-25 2017-04-26 华中科技大学 一种适合迭代计算的MapReduce优化方法
CN104468710A (zh) * 2014-10-31 2015-03-25 西安未来国际信息股份有限公司 一种混合大数据处理系统及处理方法
CN104391989A (zh) * 2014-12-16 2015-03-04 浪潮电子信息产业股份有限公司 一种分布式etl一体机系统
CN106021484A (zh) * 2016-05-18 2016-10-12 中国电子科技集团公司第三十二研究所 基于内存计算的可定制多模式大数据处理系统
CN107733986B (zh) * 2017-09-15 2021-01-26 中国南方电网有限责任公司 支持一体化部署及监控的保护运行大数据支撑平台
CN108073696B (zh) * 2017-12-11 2020-10-27 厦门亿力吉奥信息科技有限公司 基于分布式内存数据库的gis应用方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105808334A (zh) * 2016-03-04 2016-07-27 山东大学 一种基于资源重用的MapReduce短作业优化系统及方法
CN105955820A (zh) * 2016-04-20 2016-09-21 北京云宏信达信息科技有限公司 作业流控制方法、装置和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Self-Organizing Distributed Memory Cache for Data Sharing Applications in Cluster Environment;Weifeng Liu 等;《2013 IEEE 10th International Conference on High Performance Computing and Communications & 2013 IEEE International Conference on Embedded and Ubiquitous Computing》;20140612;158-164 *
分布式内存数据库数据并行快速加载与索引技术;柳陆;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215(第2期);I138-2216 *
基于Hadoop分布式缓存的研究与实践;梁晓杰 等;《智能计算机与应用》;20151201;第05卷(第06期);29-32 *

Also Published As

Publication number Publication date
CN109117285A (zh) 2019-01-01

Similar Documents

Publication Publication Date Title
EP3180695B1 (en) Systems and methods for auto-scaling a big data system
EP2503733B1 (en) Data collecting method, data collecting apparatus and network management device
CN109117285B (zh) 支持高并发的分布式内存计算集群系统
Wu et al. Energy efficient scheduling for heterogeneous fog computing architectures
Xu et al. Adaptive task scheduling strategy based on dynamic workload adjustment for heterogeneous Hadoop clusters
CN112162865A (zh) 服务器的调度方法、装置和服务器
CN103530189A (zh) 一种面向流式数据的自动伸缩及迁移的方法及装置
CN107153643B (zh) 数据表连接方法及装置
Zhang et al. The real-time scheduling strategy based on traffic and load balancing in storm
US20100162251A1 (en) System, method, and computer-readable medium for classifying problem queries to reduce exception processing
CN114756629B (zh) 基于sql的多源异构数据交互分析引擎及方法
CN105955807A (zh) 一种任务处理系统及方法
Liu et al. Optimizing shuffle in wide-area data analytics
Zhou et al. Fastjoin: A skewness-aware distributed stream join system
CN112631754A (zh) 数据处理方法、装置、存储介质及电子装置
CN109165045A (zh) 一种调整服务器的硬件配置的方法和装置
CN117271142B (zh) 用于分析概率安全分析模型的负载均衡方法和任务调度器
Chen et al. Dosas: Mitigating the resource contention in active storage systems
Liu et al. KubFBS: A fine‐grained and balance‐aware scheduling system for deep learning tasks based on kubernetes
Divya et al. Workload characteristics and resource aware Hadoop scheduler
CN111459648A (zh) 面向应用程序的异构多核平台资源优化方法和装置
Guo et al. Handling data skew at reduce stage in Spark by ReducePartition
Hu et al. Virtual machine consolidation for NUMA systems: a hybrid heuristic grey wolf approach
Guo et al. A Task Priority-based Resource Scheduling Algorithm for Container-based Clouds
CN110427217B (zh) 基于内容的发布订阅系统匹配算法轻量级并行方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant