CN107357871A - 一种面向Storm的基于反馈的连续范围查询负载均衡方法 - Google Patents
一种面向Storm的基于反馈的连续范围查询负载均衡方法 Download PDFInfo
- Publication number
- CN107357871A CN107357871A CN201710536083.XA CN201710536083A CN107357871A CN 107357871 A CN107357871 A CN 107357871A CN 201710536083 A CN201710536083 A CN 201710536083A CN 107357871 A CN107357871 A CN 107357871A
- Authority
- CN
- China
- Prior art keywords
- load
- worker
- query
- downstream
- subquery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 description 8
- 230000003111 delayed effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2471—Distributed queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Probability & Statistics with Applications (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种面向Storm的基于反馈的连续范围查询负载均衡方法，包括：1)上游worker将范围查询按照查询范围与网格的重叠情况，将范围查询划分为子查询；2)按照最小负载优先的分组策略将范围子查询分发到下游worker，并用评估代价更新下游worker的评估负载；3)下游worker执行具体的范围子查询任务，操作数据库或者从缓存中获取查询范围内的移动对象信息，并评估范围查询的真实代价；4)以范围查询的真实代价反馈给下游worker，更新评估负载，得到真实负载，每次优先将范围查询任务分发到下游负载最小的worker中，从而保证worker之间的负载差值尽量小，提高了系统的负载均衡度和吞吐量，并计算单元真实负载更新预估负载，使系统的负载更加均衡，资源利用率更高。
Description
技术领域
本发明涉及通信网络技术领域，尤其涉及一种面向Storm的基于反馈的连续范围查询负载均衡方法。
背景技术
随着定位手段的多样化、移动终端的普及与通讯基础设施的完备，以基于位置服务(Location Based Service，LBS)为代表的移动应用已经步入移动大数据时代。移动大数据环境下，数据规模更大、传播速度更快、多样性更加广泛，呈现出鲜明的流式特征，传统LBS技术面临多种新的挑战。基于位置服务的连续范围查询，具有高并发、低延迟特点，因此需要更高效的针对具有流式特征的移动大数据的处理能力。移动大数据时代的数据处理不仅需要存储与处理能力更强更灵活的计算平台，还需依托于计算平台的处理和优化技术。
然而，在分布式系统中普遍存在着著名的“短板理论”，一个系统如果出现了负载不均衡问题，那么负载最大的节点往往将成为影响系统整体表现的瓶颈和短板。由于经济发展，地理位置等因素，人口密度在不同区域是不相同的，相应的，和LBS应用相对应的移动对象在地理分布上也是不均匀的。ApacheStorm本身作为一个分布式流处理系统，系统内部并没有提供有效的负载均衡机制，而且Storm自带的分组策略如Shuffle Grouping、FieldsGrouping都是基于一种通用思想而设计的分组策略，而没有考虑处理的任务所包含的语义，如连续范围查询具有查询范围、移动对象密度、范围重叠等时空语义，移动对象在地理分布上是不均匀的，因而范围查询的代价也不尽相同，这样很容易导致处理范围查询的各计算单元之间的负载不均衡，性能下降，所以Storm自带分组策略也不能满足系统负载均衡的需要，这无疑对整个系统的性能表现是一种挑战,针对云计算环境中的在线流处理的负载均衡研究相对较少，传统的和针对批处理的负载均衡技术无法直接应用到流处理系统中。
发明内容
针对上述问题，本发明的目的在于提供一种面向Storm的基于反馈的连续范围查询负载均衡方法。
为了解决背景技术中所存在的问题，本发明的技术方案为：
一种面向Storm的基于反馈的连续范围查询负载均衡方法，包括：
1)、上游worker将范围查询按照查询范围与网格的重叠情况，将范围查询划分为子查询；
2)、按照最小负载优先的分组策略将范围子查询分发到下游worker，并用评估代价更新下游worker的评估负载；
3)、下游worker执行具体的范围子查询任务，操作数据库或者从缓存中获取查询范围内的移动对象信息，并评估范围查询的真实代价；
4)、以范围查询的真实代价反馈给下游worker，下游worker更新评估负载，得到真实负载。
所述步骤1)具体步骤为：
根据查询范围和网格重叠量，将数据元组分为多个子查询，每个子查询的查询范围只和一个网格重叠。
所述步骤2)中最小负载优先的分组策略具体包括：
2.1、针对每个范围的子查询，从range表中获取子查询的查询范围所在网格已缓存的区域，并借助扫描线算法计算查询范围中未缓存部分所占比例；
2.2、计算子查询的预估代价，然后从up表中选取记录负载最小的worker，发送到下游；
2.3、更新up表中该worker的负载记录。
4、根据权利要求3所述的面向Storm的基于反馈的连续范围查询负载均衡方法，其特征在于，所述up表为基于Redis的hash类型的up表，记录上游预估的下游的每个worker的负载。
所述扫描线算法为：
A、沿着网格已缓存的区域形成的矩形，对每个矩形的上边和下边用4条横线a，b，c，d将整个图分成了5个部分；
B、自下向上的扫描所有矩形；
C、对每个矩形表示的区域进行求和，求出矩形的总的面积。
所述步骤2.2中计算子查询的评估代价的公式为：
C(q)＝D×r×((1-R)*α+R)
其中，D表示网格的移动对象密度，r表示查询范围大小，R表示查询范围中未被缓存的比例，α是一个参数，表示从缓存中获取结果的代价与从数据库中获取结果的代价的比值。
所述真实负载用采用down表记录，所述down表为基于Redis的hash类型的down表。
与现有技术相比较，本发明的有益效果为：
本发明提供了一种面向Storm的基于反馈的连续范围查询负载均衡方法，利用最小负载优先的分组策略，对有缓存部分和无缓存部分的查询代价作整体评估，提出了最小负载优先的分组策略，每次优先将范围查询任务分发到下游负载最小的worker中，从而保证worker之间的负载差值尽量小，提高了系统的负载均衡度和吞吐量，并计算单元真实负载更新预估负载，使系统的负载更加均衡，资源利用率更高。
附图说明
图1是本发明图面向Storm的基于反馈的连续范围查询负载均衡方法流程图；
图2是本发明图最小负载优先的分组策略执行过程图；
图3是本发明图基于反馈的最小负载优先的分组策略执行过程图。
具体实施方式
下面结合附图对本发明做详细描述。
本发明提供了一种面向Storm的基于反馈的连续范围查询负载均衡方法(LeastLoad First Grouping with Feedback，LLFG-F)，包括：
1)、上游worker将范围查询按照查询范围与网格的重叠情况，将范围查询划分为子查询；
根据查询范围和网格重叠量，将数据元组分为多个子查询，每个子查询的查询范围只和一个网格重叠。
2)、按照最小负载优先的分组策略将范围子查询分发到下游worker，并用评估代价更新下游worker的评估负载；
该步骤具体包括：
2.1、针对每个范围的子查询，从range表中获取子查询的查询范围所在网格已缓存的区域，并借助扫描线算法计算查询范围中未缓存部分所占比例R；
需要说明的是：连续范围查询在查询范围有重叠的情况下，系统会重复查询同一个区域，给系统带来了不必要的处理代价，资源利用率不高，为了减少重复查询，减小系统负载，提高资源利用率和查询效率，本发明提出了基于Redis的缓存机制。缓存机制基于Redis的特点：1)内存存储，快速读写，可以达到10w/s的频率；2)数据结构丰富；3)所有的操作是原子性的，能保证数据的一致性，利用Redis作为缓存存储结构，缓存对象是连续范围查询的查询结果。缓存设计一般包括两部分：1、缓存未命中。客户端从缓存获取数据失败，则从数据库中读取数据，读取成功以后，返回给客户端，并将结果放入缓存；2、缓存命中。客户端直接从缓存读取数据。
基于Redis的数据类型和数据类型的操作，设计了cache，cache_list，cache_sortedSet，range这4张表。
cache：使用了Redis中的hash类型，该表被用作存储范围查询结果——查询范围内的移动对象，其中，移动对象用userid来唯一表示，cache表存储结构如表1所示。
表1 cache表逻辑存储结构
cache表的描述如表2所示。
表2 cache表描述
cache_list：使用了Redis中的list类型，存储的是网格id，该表被用作实现最近最久未使用替换策略，cache_list表存储结构如表3所示。
表3 cache_list逻辑存储结构
cache_list表的描述如表4所示
表4 cache_list表描述
| 字段 | 字段类型 | 字段描述 |
| cache_list | String | list的key |
| value | String | 网格id |
cache_sortedSet：使用了Redis中的sorted set类型，该表被用作实现最少使用替换策略，cache_sortedSet表存储结构如表5所示。
表5 cache_sortedSet逻辑存储结构
cache_sortedSet表的描述如表6所示。
表6 cache_sortedSet表描述
| 字段 | 字段类型 | 字段描述 |
| cache_sortedSet | String | sortedset的key |
| value | String | 网格id |
| score | int | 网格的访问次数 |
range：使用了Redis的hash类型，该表被用作存储范围查询的查询范围，查询范围内的移动对象被cache表存储，range表存储结构如表7所示。
表7 range逻辑存储结构
range表的描述如表8所示。
表8 range表描述
所述扫描线算法为：
A、沿着网格已缓存的区域形成的矩形，对每个矩形的上边和下边用4条横线a，b，c，d将整个图分成了5个部分；
B、自下向上的扫描所有矩形；
C、对每个矩形表示的区域进行求和，求出矩形的总的面积。
扫描线算法的时间复杂度为O(NlogN)，而如果使用求出所有的矩形的并的面积再减去重叠的部分的面积的算法，时间复杂度为O(N2)，所以使用扫描线算法具有更小的时间复杂度，后面的实验部分将会讲到，当矩形数量为1000时，扫描线算法的执行时间为38ms，对用户发起连续范围查询请求到收到查询结果的整个过程，影响不大。
2.2、计算子查询的评估代价，然后从up表中选取记录负载最小的worker，发送到下游；
计算子查询的评估代价的公式为：
C(q)＝D×r×((1-R)*α+R)
其中，D表示网格的移动对象密度，r表示查询范围大小，R表示查询范围中未被缓存的比例，α是一个参数，表示从缓存中获取结果的代价与从数据库中获取结果的代价的比值。
2.3、更新up表中该worker的负载记录。所述up表为基于Redis的hash类型的up表，记录上游预估的下游的每个worker的负载。
最小负载优先分组策略的实现需要用一个数据结构保存下游worker的预估负载，本文设计了一个基于Redis的hash类型的up表，用来记录上游预估的下游的每个worker的负载，up表存储结构如表9所示：
表9 up表存储结构
up表的描述如表10所示。
表10 up表描述
如图2所示，GetCoveredCellsBolt和CellScanBolt之间使用了最小负载优先的分组策略(LLFG)分组策略，首先GetCoveredCellsBolt将范围查询划分为多个范围子查询，然后LLFG针对每个范围子查询，从range表中获取子查询的查询范围所在网格已缓存的区域，并借助扫描线算法计算查询范围中未缓存部分所占比例，计算子查询的预估代价。得到子查询的预估代价以后，接下来从up表中选取记录负载最小的worker，该worker即为子查询分发的目标worker，最后还需要更新up表中该worker的负载记录。
未缓存比例计算公式如：R＝(SL(r+c)-SL(c))/r
其中SL表示扫描线函数，r表示查询范围，c表示range表中已缓存的范围，整个公式的含义就是用扫描线算法计算范围查询的查询范围和已缓存范围的并的面积，然后减去已缓存范围的并的面积，即得查询范围中未缓存区域的面积，用这部分面积除以整个查询范围的面积，即得未缓存部分的比例。LLFG实现了Storm的CustomStreamGrouping接口。
3)、下游worker执行具体的范围子查询任务，操作数据库或者从缓存中获取查询范围内的移动对象信息，并评估范围查询的真实代价；
选择使用反馈，用下游的真实负载来更新上游的预估负载，再用上游的预估负载作为分组依据，而没有选择直接用下游的真实负载作为分组的依据，是因为直接使用下游的负载作为分组依据是不准确的，下游统计的负载是每个worker已经执行完的任务的代价，而每个worker的负载其实应该是已经执行完的任务的代价加上其消息队列中存储的未执行的任务的代价，所以用上游预估负载作为分组依据，再用下游的真实负载更新上游的预估负载是合理的。
本发明设计了一个基于Redis的hash类型的down表，用来记录下游的每个worker的真实负载，down表存储结构如表11所示。
表11 down逻辑存储结构
down表的描述如表12所示。
表12 down表描述
| 字段 | 字段类型 | 字段描述 |
| down | String | hash的key |
| worker | String | worker的id |
| value | String | worker的负载 |
另外，本还设计了一个基于Redis的string类型的计数器counter，用来记录下游所有worker处理的范围查询数量，作为更新评估负载的依据。
4)、以范围查询的真实代价反馈给下游worker，下游worker更新估负载，得到真实负载。
如图3所示，LLFG-F用一个Redis的hash数据类型的down表统计下游worker真实的负载，在CellScanBolt执行范围子查询任务的时候，统计查询范围中有缓存和无缓存两部分区域所包含的移动对象数量，以此评估范围子查询的真实负载，并更新down表。另外，用一个Redis的string类型的计数器counter统计下游worker执行的所有范围查询数量，每执行一定数量的范围查询，就将下游worker真实的负载反馈给LLFG，LLFG用down表中真实负载更新up表中的评估负载。整个过程循环往复的执行，以此使系统的负载更加均衡，基于反馈的最小负载优先的分组策略LLFG-F，使最小负载优先分组策略更加准确，负载更加均衡。
对于本领域技术人员而言，显然能了解到上述具体实施例只是本发明的优选方案，因此本领域的技术人员对本发明中的某些部分所可能作出的改进、变动，体现的仍是本发明的原理，实现的仍是本发明的目的，均属于本发明所保护的范围。
Claims (7)
1.一种面向Storm的基于反馈的连续范围查询负载均衡方法，其特征在于，包括：
1)、上游worker将范围查询按照查询范围与网格的重叠情况，将范围查询划分为子查询；
2)、按照最小负载优先的分组策略将范围子查询分发到下游worker，并用评估代价更新下游worker的评估负载；
3)、下游worker执行具体的范围子查询任务，操作数据库或者从缓存中获取查询范围内的移动对象信息，并评估范围查询的真实代价；
4)、以范围查询的真实代价反馈给下游worker，下游worker更新评估负载，得到真实负载。
2.根据权利要求1所述的面向Storm的基于反馈的连续范围查询负载均衡方法，其特征在于，所述步骤1)具体步骤为：
根据查询范围和网格重叠量，将数据元组分为多个子查询，每个子查询的查询范围只和一个网格重叠。
3.根据权利要求1所述的面向Storm的基于反馈的连续范围查询负载均衡方法，其特征在于，所述步骤2)中最小负载优先的分组策略具体包括：
2.1、针对每个范围的子查询，从range表中获取子查询的查询范围所在网格已缓存的区域，并借助扫描线算法计算查询范围中未缓存部分所占比例；
2.2、计算子查询的预估代价，然后从up表中选取记录负载最小的worker，发送到下游；
2.3、更新up表中该worker的负载记录。
4.根据权利要求3所述的面向Storm的基于反馈的连续范围查询负载均衡方法，其特征在于，所述up表为基于Redis的hash类型的up表，记录上游预估的下游的每个worker的负载。
5.根据权利要求3所述的面向Storm的基于反馈的连续范围查询负载均衡方法，其特征在于，所述扫描线算法为：
A、沿着网格已缓存的区域形成的矩形，对每个矩形的上边和下边用4条横线a，b，c，d将整个图分成了5个部分；
B、自下向上的扫描所有矩形；
C、对每个矩形表示的区域进行求和，求出矩形的总的面积。
6.根据权利要求3所述的面向Storm的基于反馈的连续范围查询负载均衡方法，其特征在于，所述步骤2.2中计算子查询的评估代价的公式为：
C(q)＝D×r×((1-R)*α+R)
其中，D表示网格的移动对象密度，r表示查询范围大小，R表示查询范围中未被缓存的比例，α是一个参数，表示从缓存中获取结果的代价与从数据库中获取结果的代价的比值。
7.根据权利要求1所述的面向Storm的基于反馈的连续范围查询负载均衡方法，其特征在于，所述真实负载用采用down表记录，所述down表为基于Redis的hash类型的down表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710536083.XA CN107357871B (zh) | 2017-07-04 | 2017-07-04 | 一种面向Storm的基于反馈的连续范围查询负载均衡方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710536083.XA CN107357871B (zh) | 2017-07-04 | 2017-07-04 | 一种面向Storm的基于反馈的连续范围查询负载均衡方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107357871A true CN107357871A (zh) | 2017-11-17 |
| CN107357871B CN107357871B (zh) | 2020-08-11 |
Family
ID=60293044
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710536083.XA Expired - Fee Related CN107357871B (zh) | 2017-07-04 | 2017-07-04 | 一种面向Storm的基于反馈的连续范围查询负载均衡方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107357871B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101119359A (zh) * | 2006-08-01 | 2008-02-06 | 中兴通讯股份有限公司 | 基于策略的服务负载均衡方法 |
| CN102073689A (zh) * | 2010-12-27 | 2011-05-25 | 东北大学 | 一种基于区域覆盖的动态最近邻查询方法 |
| CN102289466A (zh) * | 2011-07-21 | 2011-12-21 | 东北大学 | 一种基于区域覆盖的k近邻查询方法 |
| US20120265360A1 (en) * | 2011-04-13 | 2012-10-18 | Andre Smit | Method and system for programming and implementing automated fault isolation and restoration using sequential logic |
| CN105493096A (zh) * | 2013-08-28 | 2016-04-13 | 慧与发展有限责任合伙企业 | 分布式模式发现 |
| CN105701209A (zh) * | 2016-01-13 | 2016-06-22 | 广西师范大学 | 一种提高大数据上并行连接性能的负载平衡方法 |
-
2017
- 2017-07-04 CN CN201710536083.XA patent/CN107357871B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101119359A (zh) * | 2006-08-01 | 2008-02-06 | 中兴通讯股份有限公司 | 基于策略的服务负载均衡方法 |
| CN102073689A (zh) * | 2010-12-27 | 2011-05-25 | 东北大学 | 一种基于区域覆盖的动态最近邻查询方法 |
| US20120265360A1 (en) * | 2011-04-13 | 2012-10-18 | Andre Smit | Method and system for programming and implementing automated fault isolation and restoration using sequential logic |
| CN102289466A (zh) * | 2011-07-21 | 2011-12-21 | 东北大学 | 一种基于区域覆盖的k近邻查询方法 |
| CN105493096A (zh) * | 2013-08-28 | 2016-04-13 | 慧与发展有限责任合伙企业 | 分布式模式发现 |
| CN105701209A (zh) * | 2016-01-13 | 2016-06-22 | 广西师范大学 | 一种提高大数据上并行连接性能的负载平衡方法 |
Non-Patent Citations (2)
| Title |
|---|
| 王贤稳: "Storm实时计算任务调度及负载均衡机制研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 黄容: "基于Storm_slot使用率低优先的动态负载均衡策略", 《电脑知识与技术》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107357871B (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106777351B (zh) | 基于art树分布式系统图存储计算系统及其方法 | |
| Saemundsson et al. | Dynamic performance profiling of cloud caches | |
| CN110188080A (zh) | 基于客户端高效缓存的远程文件数据访问性能优化方法 | |
| CN106155934B (zh) | 一种云环境下基于重复数据的缓存方法 | |
| CN108183947A (zh) | 分布式缓存方法及系统 | |
| CN103345508A (zh) | 一种适用于社会网络图的数据存储方法及系统 | |
| US10061517B2 (en) | Apparatus and method for data arrangement | |
| CN107688438A (zh) | 适用于大规模地震数据存储、快速定位的方法及装置 | |
| CN102819586A (zh) | 一种基于高速缓存的url分类方法和设备 | |
| Wang et al. | Hybrid pulling/pushing for i/o-efficient distributed and iterative graph computing | |
| CN107368608A (zh) | 基于arc替换算法的hdfs小文件缓存管理方法 | |
| Silberstein et al. | Efficient bulk insertion into a distributed ordered table | |
| CN110232074A (zh) | 流数据与维表关联方法及流计算装置 | |
| CN106502875A (zh) | 一种基于云计算的日志生成方法及系统 | |
| CN105975345A (zh) | 一种基于分布式内存的视频帧数据动态均衡存储管理方法 | |
| WO2021183520A1 (en) | Extensible streams on data sources | |
| JP7192645B2 (ja) | 情報処理装置、分散処理システム及び分散処理プログラム | |
| Li et al. | SS-LRU: a smart segmented LRU caching | |
| CN107357871A (zh) | 一种面向Storm的基于反馈的连续范围查询负载均衡方法 | |
| Kumar et al. | An extended approach to Non-Replicated dynamic fragment allocation in distributed database systems | |
| Liroz-Gistau et al. | Dynamic workload-based partitioning algorithms for continuously growing databases | |
| Cui et al. | Performance Comparison Test of HBase and Cassandra Based on YCSB | |
| US20130013824A1 (en) | Parallel aggregation system | |
| Zhu et al. | MCS: memory constraint strategy for unified memory manager in spark | |
| CN109032794A (zh) | 一种电子商务系统的Cache对象缓存方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200811 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |