CN114629908A - 一种基于服务器节点硬件资源密度的数据分片方法 - Google Patents

一种基于服务器节点硬件资源密度的数据分片方法 Download PDF

Info

Publication number
CN114629908A
CN114629908A CN202210312982.2A CN202210312982A CN114629908A CN 114629908 A CN114629908 A CN 114629908A CN 202210312982 A CN202210312982 A CN 202210312982A CN 114629908 A CN114629908 A CN 114629908A
Authority
CN
China
Prior art keywords
server
data
server node
node
arc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210312982.2A
Other languages
English (en)
Other versions
CN114629908B (zh
Inventor
鲁萍
王刚
陈伟
杨运平
黄滔
金路
叶金韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Bangsheng Technology Co ltd
Original Assignee
Zhejiang Bangsheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Bangsheng Technology Co ltd filed Critical Zhejiang Bangsheng Technology Co ltd
Priority to CN202210312982.2A priority Critical patent/CN114629908B/zh
Publication of CN114629908A publication Critical patent/CN114629908A/zh
Application granted granted Critical
Publication of CN114629908B publication Critical patent/CN114629908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/42—Loop networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1074—Peer-to-peer [P2P] networks for supporting data block transmission mechanisms
    • H04L67/1078—Resource delivery mechanisms
    • H04L67/108—Resource delivery mechanisms characterised by resources being split in blocks or fragments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于服务器节点硬件资源密度的数据分片方法。该方法主要分为五个部分：服务器节点硬件资源密度的定义、散列环的定义、服务器节点负责的数据分片规则、服务器节点加入集群后的数据分片变更与服务器节点离开集群后的数据分片变更。该方法实现了相对平均的数据分片，提高集群横向扩展能力，并考虑到服务器节点硬件资源的影响，使得硬件资源多的节点分配到更多的数据分片，同时硬件资源少的节点分配到较少的数据分片，充分利用集群内服务器的硬件资源。此外，该方法在集群内服务器节点增加或删除时，调整数据分片时传输数据量较小，能更快速的调整数据分片的分布。

Description

一种基于服务器节点硬件资源密度的数据分片方法
技术领域
本发明涉及风控、反欺诈等需要进行高频实时信息处理和存储的金融大数据领域，涉及一种基于服务器节点硬件资源密度的数据分片方法。
背景技术
在风控、反欺诈等需要进行高频实时信息处理和存储的金融大数据领域，存在大量金融指标数据存储的需求，而单个服务器节点无法存储和处理金融大数据场景下的庞大数据量，因此需要使用多个服务器节点存储数据。多个不同的服务器节点会构建成服务器集群。完整的数据会被分布到集群内不同的服务器节点上，同时数据的读写负载会被分摊到不同的服务器节点上，这就是数据分片。
数据分片可用于实现服务器集群的横向扩展，即添加服务器节点后，集群的性能也可以得到一定比例的提升。数据分片的目标在于将完整的数据平均分布到不同的服务器节点上，每个服务器节点能够公平地分配到数据以及对应的数据访问负载，从而提供良好的横向扩展能力。假如不同服务器节点分布的数据量不均匀，那么某些服务器节点的数据量和读写负载会明显高于其它服务器节点，造成了负载偏移的现象，导致横向扩展能力不足。
现有的数据分片方法主要分为下列3类：
(1)基于数据范围的数据分片：每个分片会指定一个范围，即指定分片的最小值和最大值，落入该范围的数据归属于该分片。
(2)基于散列值的数据分片：每个分片同样指定一个散列值范围，假如数据的散列值在该范围内，则属于该分片。
(3)基于一致性散列的数据分片：整个散列值范围形成一个环，然后计算服务器节点的散列值并将其添加到环中，之后计算数据的散列值，并在环上顺时针寻找服务器节点，遇到的第一个服务器节点存储该数据。如图1所示的一致性散列分片的样例展示了数据被存储在节点#B中。
然而上述的数据分片方法存在下列缺陷：
(1)对于基于数据范围的数据分片，每个分片的数据量很难控制的很均匀，极易容易造成负载偏移的现象，影响横向扩展能力；
(2)对于基于散列值的数据分片，其缓解了分片数据量不均匀的问题，但是当服务器集群增加或删除节点时，通常会造成服务器集群内多个节点的数据分片变化，调整数据分片时会传输大量的数据；
(3)对于基于一致性散列的数据分片，因为在服务器节点增删时，该方法只变更散列环上的一段弧，其缓解了调整数据分片时会传输数据量大的问题，但服务器节点在散列环上的分布极易变得不均匀，同样造成负载偏移的现象，影响横向扩展能力。
此外，上述数据分配方法中，均未考虑到服务器节点硬件资源对数据分片的影响。集群内，服务器拥有的硬件资源可能有所不同，硬件资源少的服务器节点应分配到更小的数据分片，硬件资源多的服务器节点应分配到更大的数据分片，从而充分利用硬件资源，提升横向扩展的能力，但是现有的数据分片方法无法做到这一点。
综上所述，上述已有数据分片方法无法满足风控、反欺诈等金融大数据领域的大量金融指标数据存储和分片的需求。
发明内容
针对上述已有数据分片方法所产生的问题和缺陷，本发明提出了一种基于服务器节点硬件资源密度的数据分片方法，实现数据分片相对平均地分配到集群内各服务器节点的同时，同时考虑到服务器节点硬件资源的影响，从而满足风控、反欺诈等金融大数据领域的大量金融指标数据存储和分片的需求。
本发明的目的是通过以下技术方案来实现的：一种基于服务器节点硬件资源密度的数据分片方法，该方法包括以下步骤：
(1)获取服务器节点的CPU核心数、内存大小以及网络带宽，根据这三个参数分别乘以权重并求和得到服务器节点硬件资源密度；
(2)将整体服务器全局数据分为P个分片，并形成一个散列环，最后一个分片和第一个分片首位相连，第一个分片标记为分片0，最后一个分片标记为分片P-1；
(3)将服务器节点添加到散列环上，每个节点负责散列环上一段弧的数据分片，这段弧从当前服务器节点开始，然后逆时针走到第一个服务器节点结束。
(4)当服务器集群中新添加服务器节点Snew时，将Snew插入到散列环最长的一段弧中，进行数据分片变更，
(5)当服务器集群中有服务器节点S离开时，寻找S在散列环上顺时针和逆时针的第一个节点，进行逆时针和顺时针延长，数据分片进行变更。
进一步地，步骤(3)中，数据首先计算其散列值，然后对分片数P取余，得到数据所处的分片，并获得该分片所在散列环上的弧，从而确定存储该数据的服务器节点。
进一步地，步骤(4)中服务器集群中新添加服务器节点Snew时，数据分片变更的具体步骤如下：
(4.1)若集群中没有服务器节点，则Snew拥有全部的数据分片，并且Snew位于散列环的起始位置；否则，选取散列环上最长的一段弧，获取存储该弧的数据分片对应的服务器节点，记为Sold；
(4.2)计算Snew和Sold的服务器节点硬件资源密度，分别记为dnew和dold；
(4.3)将该弧拆分成两段，Snew负责的弧对应的分片数pnew和Sold负责的弧对应的分片数pold满足
Figure BDA0003567836840000031
将Snew插入到散列环最长的一段弧中，而Sold在散列环上的位置保持不变。
进一步地，步骤(5)中，服务器集群中有服务器节点S离开时，数据分片进行变更的具体步骤如下：
(5.1)若节点S离开后，集群只剩余1台服务器，那么剩余的1台服务器拥有全部的数据分片，并且其位于散列环的起始位置；
(5.2)若节点S离开后，集群没有服务器，则散列环为空，即散列环上不包含任何服务器节点；
(5.3)否则，寻找S在散列环上顺时针和逆时针的第一个节点，分别记作S1和S2；计算S1和S2的服务器节点硬件资源密度，分别记为d1和d2；
(5.4)S1负责的弧向逆时针延长，S2负责的弧向顺时针延长，延长长度对应的分片数分别为p1和p2，并满足
Figure BDA0003567836840000032
其它服务器节点在环上的位置保持不变。
本发明的有益效果：
(1)本发明方法实现了相对平均的数据分片，提高集群横向扩展能力；
(2)本发明方法在数据分片时，考虑到服务器节点硬件资源的影响，使得硬件资源多的节点分配到更多的数据分片，同时硬件资源少的节点分配到较少的数据分片，从而充分利用集群内服务器的硬件资源，进一步提高集群横向扩展能力；
(3)本发明方法在集群内服务器节点增加或删除时，调整数据分片时传输数据量较小，能更快速的调整完数据分片的分布。
附图说明
图1为现有技术中一致性散列分片的样例示意图；
图2为本发明中散列环的示意图；
图3为实施例定义的初始散列环示意图；
图4为服务器节点加入集群后的数据分片变更示意图；
图5为服务器节点离开集群后的数据分片变更示意图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
本发明提出了一种基于服务器节点硬件资源密度的数据分片方法，通过以下步骤实现：
(1)服务器节点硬件资源密度的定义：该定义可描述为公式d＝a*CPU+b*MEM+c*NET，其中d代表服务器硬件资源的密度，CPU代表服务器节点的CPU核心数，MEM代表服务器节点的内存大小，NET代表服务器节点的网络带宽。而a,b,c为3个可配置参数，用于调整硬件资源密度中的CPU、内存和网络资源的权重。
(2)散列环的定义：整个数据被分为P个分片，并形成一个散列环，最后一个分片和第一个分片首位相连，第一个分片标记为分片0，最后一个分片标记为分片P-1。
(3)服务器节点负责的数据分片规则：服务器节点会被添加到散列环上，每个节点负责散列环上一段弧的数据分片，这段弧从当前服务器节点开始，然后逆时针走到第一个服务器节点结束。如图2所示，节点A负责弧BA的数据分片，节点B负责弧AB的数据分片。数据首先计算其散列值，然后对分片数P取余，得到数据所处的分片，并获得该分片所在散列环上的弧，从而确定存储该数据的服务器节点。
(4)服务器节点加入集群后的数据分片变更：记新添加的服务器节点为Snew，数据分片变更的步骤如下：
(4.1)若集群中没有节点，则Snew拥有全部的数据分片，并且Snew位于散列环的起始位置；
(4.2)否则，选取散列环上最长的一段弧，获取存储该弧的数据分片对应的服务器节点，记为Sold；
(4.3)计算Snew和Sold的服务器节点硬件资源密度，分别记为dnew和dold；
(4.4)将该弧拆分成2段，Snew负责的弧对应的分片数pnew和Sold负责的弧对应的分片数pold满足
Figure BDA0003567836840000041
将Snew插入到散列环中，而Sold在散列环上的位置保持不变。
可知，该方法下，硬件资源密度高的服务器节点获得到的数据分片数量更多，并且增加节点后，数据分片的变更只影响散列环上的一段弧，数据传输量小。
(5)服务器节点离开集群后的数据分片变更：记离开的服务器节点为S，数据分片变更的步骤如下：
(5.1)若节点S离开后，集群只剩余1台服务器，那么剩余的1台服务器拥有全部的数据分片，并且其位于散列环的起始位置；
(5.2)若节点S离开后，集群没有服务器，则散列环为空，即散列环上不包含任何服务器节点；
(5.3)否则，寻找S在散列环上顺时针和逆时针的第一个节点，分别记作S1和S2；
(5.4)计算S1和S2的服务器节点硬件资源密度，分别记为d1和d2；
(5.5)S1负责的弧向逆时针延长，S2负责的弧向顺时针延长，延长长度对应的分片数分别为p1和p2，并满足
Figure BDA0003567836840000051
其它服务器节点在环上的位置保持不变。
可知，删除服务器节点后，该数据分片方法依旧保证硬件资源密度高的服务器节点依旧拥有更多的数据分片，数据分片的变更只影响散列环上的2段弧，数据传输量小。
以一个实施例的方式，对上述基于服务器节点硬件资源密度的数据分片方法进行进一步的说明。
首先定义服务器节点硬件资源密度，本实施例中该定义公式中的a,b,c分别设置为1、1和0，即d＝CPU+MEM，服务器节点硬件资源受CPU核心数和内存容量影响，两者权重相同，且不考虑网络带宽的影响。
接着定义散列环，在本实施例中，数据被分为256个分片，初始散列环如图3所示。
然后是服务器节点加入集群后的数据分片变更。假设初始的散列环如图3所示，然后分别向散列环添加2台服务器节点A和B，A服务器硬件资源为1核心CPU和1GB内存，B服务器硬件资源为2核心CPU和2GB内存，计算得到A和B的硬件资源密度比例为1:2。首先添加服务器A，其占据了全部的散列环，服务器A位于散列环的起始位置，如图4中的a所示；接着添加服务器B，A和B的硬件资源密度比例为1:2，因此服务器B负责的弧长为服务器A的1/2，因此B位于散列环的第85号分片处，如图4中的b所示。
然后服务器节点负责的数据分片规则，以图4中的b为例，此时服务器A负责分片86～255，服务器B负责分片0～85。假设某条数据的散列值为123456789，那么散列值取余256后得到的值为21，即该条数据位于第21个分片。由图4中的b可知，第21个分片位于弧AB，由服务器B负责，因此服务器B会存储该条数据存储。
最后是服务器节点离开集群后的数据分片变更，假设集群中包含4台服务器A、B、C、D，它们均拥有1核心CPU和1GB内存的硬件资源，可知4台服务器的硬件资源密度相同，它们在散列环上拥有相同长度的弧，负责相同数量的分片，如图5中的a所示。之后，服务器B离开集群，原本由B负责的弧AB将会被分摊给服务器A和服务器C。由于服务器A和服务器C拥有相同的硬件资源密度，因此两个服务器各增加了32个分片，服务器A的弧向顺时针延长，服务器C的弧向逆时针延长，最后结果如图5中的b所示，服务器A负责分片192～255和0～31，服务器C负责分片32～127，服务器D不变。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。

Claims (4)

1.一种基于服务器节点硬件资源密度的数据分片方法，其特征在于，该方法包括以下步骤：
(1)获取服务器节点的CPU核心数、内存大小以及网络带宽，根据这三个参数分别乘以权重并求和得到服务器节点硬件资源密度；
(2)将整体服务器全局数据分为P个分片，并形成一个散列环，最后一个分片和第一个分片首位相连，第一个分片标记为分片0，最后一个分片标记为分片P-1；
(3)将服务器节点添加到散列环上，每个节点负责散列环上一段弧的数据分片，这段弧从当前服务器节点开始，然后逆时针走到第一个服务器节点结束。
(4)当服务器集群中新添加服务器节点Snew时，将Snew插入到散列环最长的一段弧中，进行数据分片变更，
(5)当服务器集群中有服务器节点S离开时，寻找S在散列环上顺时针和逆时针的第一个节点，进行逆时针和顺时针延长，数据分片进行变更。
2.根据权利要求1所述的一种基于服务器节点硬件资源密度的数据分片方法，其特征在于，步骤(3)中，数据首先计算其散列值，然后对分片数P取余，得到数据所处的分片，并获得该分片所在散列环上的弧，从而确定存储该数据的服务器节点。
3.根据权利要求1所述的一种基于服务器节点硬件资源密度的数据分片方法，其特征在于，步骤(4)中服务器集群中新添加服务器节点Snew时，数据分片变更的具体步骤如下：
(4.1)若集群中没有服务器节点，则Snew拥有全部的数据分片，并且Snew位于散列环的起始位置；否则，选取散列环上最长的一段弧，获取存储该弧的数据分片对应的服务器节点，记为Sold；
(4.2)计算Snew和Sold的服务器节点硬件资源密度，分别记为dnew和dold；
(4.3)将该弧拆分成两段，Snew负责的弧对应的分片数pnew和Sold负责的弧对应的分片数pold满足
Figure FDA0003567836830000011
将Snew插入到散列环最长的一段弧中，而Sold在散列环上的位置保持不变。
4.根据权利要求1所述的一种基于服务器节点硬件资源密度的数据分片方法，其特征在于，步骤(5)中，服务器集群中有服务器节点S离开时，数据分片进行变更的具体步骤如下：
(5.1)若节点S离开后，集群只剩余1台服务器，那么剩余的1台服务器拥有全部的数据分片，并且其位于散列环的起始位置；
(5.2)若节点S离开后，集群没有服务器，则散列环为空，即散列环上不包含任何服务器节点；
(5.3)否则，寻找S在散列环上顺时针和逆时针的第一个节点，分别记作S1和S2；计算S1和S2的服务器节点硬件资源密度，分别记为d1和d2；
(5.4)S1负责的弧向逆时针延长，S2负责的弧向顺时针延长，延长长度对应的分片数分别为p1和p2，并满足
Figure FDA0003567836830000021
其它服务器节点在环上的位置保持不变。
CN202210312982.2A 2022-03-28 2022-03-28 一种基于服务器节点硬件资源密度的数据分片方法 Active CN114629908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210312982.2A CN114629908B (zh) 2022-03-28 2022-03-28 一种基于服务器节点硬件资源密度的数据分片方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210312982.2A CN114629908B (zh) 2022-03-28 2022-03-28 一种基于服务器节点硬件资源密度的数据分片方法

Publications (2)

Publication Number Publication Date
CN114629908A true CN114629908A (zh) 2022-06-14
CN114629908B CN114629908B (zh) 2023-10-13

Family

ID=81904229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210312982.2A Active CN114629908B (zh) 2022-03-28 2022-03-28 一种基于服务器节点硬件资源密度的数据分片方法

Country Status (1)

Country Link
CN (1) CN114629908B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855294A (zh) * 2012-08-13 2013-01-02 北京联创信安科技有限公司 一种智能哈希数据布局方法、集群存储系统及其方法
JP2015035182A (ja) * 2013-08-09 2015-02-19 日本電信電話株式会社 分散データベースシステム
CN107197035A (zh) * 2017-06-21 2017-09-22 中国民航大学 一种基于一致性哈希算法的亲和性动态负载均衡方法
CN110149373A (zh) * 2019-04-28 2019-08-20 平安科技（深圳）有限公司 基于点对点网络的数据存储方法、装置、介质及服务器
CN110334091A (zh) * 2019-05-09 2019-10-15 重庆天蓬网络有限公司 一种数据分片分布式处理方法、系统、介质和电子设备
CN111177154A (zh) * 2019-12-27 2020-05-19 掌迅亿通(北京)信息科技有限公司 分布式数据库缓存方法及其哈希环优化
CN112558869A (zh) * 2020-12-11 2021-03-26 北京航天世景信息技术有限公司 基于大数据遥感影像缓存方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102855294A (zh) * 2012-08-13 2013-01-02 北京联创信安科技有限公司 一种智能哈希数据布局方法、集群存储系统及其方法
JP2015035182A (ja) * 2013-08-09 2015-02-19 日本電信電話株式会社 分散データベースシステム
CN107197035A (zh) * 2017-06-21 2017-09-22 中国民航大学 一种基于一致性哈希算法的亲和性动态负载均衡方法
CN110149373A (zh) * 2019-04-28 2019-08-20 平安科技（深圳）有限公司 基于点对点网络的数据存储方法、装置、介质及服务器
CN110334091A (zh) * 2019-05-09 2019-10-15 重庆天蓬网络有限公司 一种数据分片分布式处理方法、系统、介质和电子设备
CN111177154A (zh) * 2019-12-27 2020-05-19 掌迅亿通(北京)信息科技有限公司 分布式数据库缓存方法及其哈希环优化
CN112558869A (zh) * 2020-12-11 2021-03-26 北京航天世景信息技术有限公司 基于大数据遥感影像缓存方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
李志成: ""基于一致性哈希的高可用负载均衡方案的设计与实现"", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 02, pages 1 - 79 *
杨凡: ""基于微服务结构下的负载均衡研究与设计"", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 03, pages 1 - 76 *
汤峰: ""面向无人机信息物理系统的资源调度关键技术研究"", 《中国博士学位论文全文数据库工程科技Ⅱ辑》, no. 06, pages 1 - 153 *
潘子浩: ""基于一致性哈希的负载均衡算法研究"", 《现代计算机》, vol. 22, no. 730, pages 81 - 86 *

Also Published As

Publication number Publication date
CN114629908B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
DE112005003035B4 (de) Teilen einer Arbeitslast eines Knotens
CN102819586B (zh) 一种基于高速缓存的url分类方法和设备
US9058540B2 (en) Data clustering method and device, data processing apparatus and image processing apparatus
CN113655969B (zh) 一种基于流式分布式存储系统的数据均衡存储方法
CN108108384A (zh) 一种数据存储方法及装置
US20240004576A1 (en) Automatically tuning a quality of service setting for a distributed storage system with a deep reinforcement learning agent
CN108647266A (zh) 一种异构数据快速分布存储、交互方法
CN106649150A (zh) 一种缓存管理方法及装置
CN111491175B (zh) 一种基于视频内容特征的边缘网络缓存方法和装置
CN115687304A (zh) 一种Flink状态存储优化方法及装置
CN114629908A (zh) 一种基于服务器节点硬件资源密度的数据分片方法
CN109688422A (zh) 一种视频处理的方法及装置
JP7098204B2 (ja) エッジネットワーク環境におけるランダムフォレストアルゴリズムに基づくｖｏｄサービスキャッシュ置き換え方法
CN113722274A (zh) 一种高效的R-tree索引遥感数据存储模型
Hasslinger et al. Web caching evaluation from wikipedia request statistics
CN110413579A (zh) 基于缓存价值的图片缓存方法、设备、存储介质及装置
CN110557427A (zh) 一种均衡网络性能和安全的智能家居安全控制方法
CN113704220A (zh) 一种基于LSTM和遗传算法的Ceph参数调优方法
CN114422960A (zh) 一种基于边缘计算技术的数据分发和缓存方法
CN113225380A (zh) 一种基于谱聚类的内容分发网络缓存方法及系统
CN109756780A (zh) 一种视频处理的方法及装置
Furuya et al. Load balancing method for data management using high availability distributed clusters
CN111309724A (zh) 一种用于对大数据进行处理的方法及系统
CN113727358B (zh) 一种基于km和贪心算法的边缘服务器部署和内容缓存方法
CN116166755B (zh) 一种搜索引擎数据库管理方法、装置及搜索引擎数据库

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant