CN104536988A - MonetDB分布式计算存储方法 - Google Patents

MonetDB分布式计算存储方法 Download PDF

Info

Publication number
CN104536988A
CN104536988A CN201410751853.9A CN201410751853A CN104536988A CN 104536988 A CN104536988 A CN 104536988A CN 201410751853 A CN201410751853 A CN 201410751853A CN 104536988 A CN104536988 A CN 104536988A
Authority
CN
China
Prior art keywords
node
sub
monetdbd
funnel
glusterfs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410751853.9A
Other languages
English (en)
Other versions
CN104536988B (zh
Inventor
周正中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qiyun Technology Co ltd
Original Assignee
HANGZHOU SKY-MOBI TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU SKY-MOBI TECHNOLOGY Co Ltd filed Critical HANGZHOU SKY-MOBI TECHNOLOGY Co Ltd
Priority to CN201410751853.9A priority Critical patent/CN104536988B/zh
Publication of CN104536988A publication Critical patent/CN104536988A/zh
Application granted granted Critical
Publication of CN104536988B publication Critical patent/CN104536988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks

Abstract

本发明涉及一种MonetDB分布式计算存储方法。解决了不能实现MonetDB分布式计算存储，也无法解决数据路由算法和可用的问题，技术方案为：包括基于P2P通讯的glusterfs节点以及HA的部署步骤、monetdbd节点以及HA部署步骤、m-funnel节点以及HA部署步骤和分布式计算存储的部署步骤。本发明同样可以应用在负载均衡场景和数据复制场景，还可以应用在大数据分布式存储的场景，并行计算场景，利用路由选择算法，将数据分布存储，实现线性的性能提升。

Description

MonetDB分布式计算存储方法
技术领域
本发明是一种数据存储方法，特别是涉及一种MonetDB分布式计算存储方法。
背景技术
MonetDB是一种专用于数据统计分析的开源数据库，支持multi-funnel，用于代理客户端的请求，代理的请求转发到底层的数据节点执行，但是代理功能非常单一，使用场景受限，并且存在如下缺点：1.限于将数据转发到所有的底层数据节点执行并返回所有节点运行的结果。也即是没有路由选择算法，选择哪个节点运行，因此目前的技术只能用作负载均衡和数据复制场景。2.-funnel节点和monetdbd节点没有HA机制。存在单点故障。如果能解决现有技术的问题，在MonetDB中实现数据节点的选择，则可以实现分布式计算存储，增强MonetDB的功能。在实现MonetDB分布式计算存储的同时，除了需要解决数据路由算法的问题，还需要解决高可用的问题。
对比技术：CN102591978A，开日期2012年7月18日，公开内容：本发明属于电子文本拷贝检测技术领域，具体为一种针对大规模文档集中两两文档间进行拷贝检测的分布式索引建立以及分发方法和一种分布式文本拷贝检测系统。所述方法是将整个文档集上的拷贝检测分割成个若干的子任务，每个子任务中只用到单个计算机节点中保存的文档和整个文档集所有文档集的一部分文档组成的索引，从而使得每个子任务可以在单独的节点上运行，减小了网络开销。系统基于Map-Reduce技术，使用Apache的开源软件项目Hadoop提供的分布式计算存储框架，具有良好的可扩展性，适合处理大规模文本集上的拷贝检测，电子文本数据集通过磁盘等介质作为输入进入到拷贝检测系统，系统由多台计算机组成的集群对电子文本数据进行处理，将互为拷贝的文档对结果以文件形式输出到磁盘上。此技术方案不能实现MonetDB分布式计算存储，也无法解决数据路由算法和可用的问题。
发明内容
本发明的目的是为解决目前的技术方案存在不能实现MonetDB分布式计算存储，也无法解决数据路由算法和可用的问题，提供一种MonetDB分布式计算存储方法。
本发明解决其技术问题所采用的技术方案是：一种MonetDB分布式计算存储方法，其特征在于：包括基于P2P通讯的glusterfs节点以及HA的部署步骤、monetdbd节点以及HA部署步骤、m-funnel节点以及HA部署步骤和分布式计算存储的部署步骤，
所述glusterfs节点以及HA的部署步骤包括以下子步骤：
glusterfs节点子步骤一，分布式系统添加glusterfs节点peer，
glusterfs节点子步骤二：创建文件系统，创建目录用作brick，所有节点的brick组成大的存储池，
glusterfs节点子步骤三：设置glusterfs的复制份数、条带和权限，
glusterfs节点子步骤四：挑选2个或2个以上的glusterfs节点作为nfs的服务端节点，完成HA布置
glusterfs节点子步骤五：配置这几个节点的虚拟IP，并配置虚拟IP的failover，确定主节点和备节点，
glusterfs节点子步骤六：monetdbd节点使用这些虚拟IP存储HA，挂载glusterfsnfs存储；
所述monetdbd节点以及HA部署步骤包括以下子步骤：
monetdbd节点子步骤一：monetdbd节点使用glusterfs的虚拟IP挂载glusterfsnfs存储，
monetdbd节点子步骤二：在nfs上初始化数据库集群，
monetdbd节点子步骤三：主节点启动数据库集群，并创建数据库，
monetdbd节点子步骤四：配置discovery，sharedtag；
monetdbd节点子步骤五：配置HA，多台主机共享数据库集群文件，在同一时间点，只有主节点启动monetdbd进程和虚拟IP，当主节点故障时，切换到备节点，由备节点启动monetdbd进程，并启动虚拟IP，
monetdbd节点子步骤六：虚拟IP被用于m-funnel连接；
所述m-funnel节点以及HA部署步骤包括以下子步骤：
m-funnel节点子步骤一：初始化数据库集群
m-funnel节点子步骤二：启动数据库集群，创建m-funnel代理数据库
m-funnel节点子步骤三：配置HA，在若干台主机上创建对应的若干个m-funnel代理数据库，
m-funnel节点子步骤四：配置haproxy，代理客户端请求，将客户端分发到各个m-funnel节点，
m-funnel节点子步骤五：配置haproxy的后端探测，当m-funnel节点探测失败时，不与这个节点建立新的会话，知道m-funnel节点重新探测成功才允许继续向这个节点建立会话，配置负载均衡算法，
m-funnel节点子步骤六：配置haproxyHA，当haproxy主节点故障时，虚拟IP切换到haproxy备节点；
所述分布式计算存储的实现步骤包括以下步骤：
分布式计算存储子步骤一：在所有的monetdbd节点创建元数据表，插入元数据，元数据包含当前节点号，节点列表，节点个数，节点列表和节点个数一致，
分布式计算存储子步骤二：在所有的monetdbd节点创建动态接口函数，动态接口函数由人工设定，
分布式计算存储子步骤三：在所有的monetdbd节点创建静态接口函数，静态接口函数由人工设定，
分布式计算存储子步骤四：客户端连接到haproxy代理端口，测试接口函数。
本发明主要的创新点为1.在MonetDB的数据节点实现数据选择路由算法，让MonetDB支持分布式计算存储，2.路由算法支持静态选择和动态选择，可用支持更多的应用场景，静态路由算法指用户在调用接口函数时指定运行节点，动态路由算法指根据传入的变量值和路由选择函数决定运行的节点，3.为了提高MonetDB分布式计算存储系统的可用性，为各个组件提供HA功能，解决了MonetDB分布式计算存储系统单点故障的问题，与传统的MonetDBm-funnel相比带来的效果为传统的m-funnel技术，只能实现所有数据节点执行，不能选择数据节点执行，应用场景比较单一，只能应用于例如负载均衡和数据复制的场景，不能用于大数据场景，本发明解决了数据节点路由选择的问题，扩展了m-funnel的应用场景。
作为优选，在glusterfs节点子步骤一中，分布式系统添加glusterfs节点peer后，为了提高IOPS能力，使用flashcache或bcache技术，将SSD设备作为读写缓存设备。
作为优选，所述配置负载均衡算法为随机算法和权重算法。
作为优选，所述元数据表中必须选择一个静态字段作为哈希函数接收的变量。
作为优选，所述monetdbd的路由功能主要包含以下组件：
组件一：哈希函数，用于接收一个变量，输出一个哈希值，
组件二：节点选择函数，用于接收哈希值，计算并返回节点号，
组件三：动态接口函数，用于接收用户传入值，负责具体的逻辑，并返回用户传入值，此组件的用户传入值包含节点选择函数名、节点选择函数变量和其他设定的变量，
组件四：静态接口函数，用于接收用户传入值，负责具体的逻辑，
组件五：元数据表、存储当前节点号、节点列表和节点个数。
本发明的实质性效果是：1.同样可以应用在负载均衡场景和数据复制场景，2.还可以应用在大数据分布式存储的场景，并行计算场景，3.利用路由选择算法，将数据分布存储，实现线性的性能提升。
附图说明
图1为本发明中的整体架构图；
图2为本发明中的MonetDB HA架构图；
图3为本发明中动态接口函数逻辑图；
图4为本发明中静态接口函数逻辑图；
图5为本发明中哈希函数输入输出图；
图6为本发明中节点选择函数输入输出图。
具体实施方式
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。
实施例：
一种MonetDB分布式计算存储方法(参见附图1、附图2附图3和附图4、图5、图6)，包括基于P2P通讯的glusterfs节点以及HA的部署步骤、monetdbd节点以及HA部署步骤、m-funnel节点以及HA部署步骤和分布式计算存储的部署步骤，
所述glusterfs节点以及HA的部署步骤包括以下子步骤：
glusterfs节点子步骤一，分布式系统添加glusterfs节点peer，
glusterfs节点子步骤二：创建文件系统，创建目录用作brick，所有节点的brick组成大的存储池，
glusterfs节点子步骤三：设置glusterfs的复制份数、条带和权限，
glusterfs节点子步骤四：挑选2个或2个以上的glusterfs节点作为nfs的服务端节点，完成HA布置
glusterfs节点子步骤五：配置这几个节点的虚拟IP，并配置虚拟IP的failover，确定主节点和备节点，
glusterfs节点子步骤六：monetdbd节点使用这些虚拟IP存储HA，挂载glusterfsnfs存储；
所述monetdbd节点以及HA部署步骤包括以下子步骤：
monetdbd节点子步骤一：monetdbd节点使用glusterfs的虚拟IP挂载glusterfsnfs存储，
monetdbd节点子步骤二：在nfs上初始化数据库集群，
monetdbd节点子步骤三：主节点启动数据库集群，并创建数据库，
monetdbd节点子步骤四：配置discovery，sharedtag；
monetdbd节点子步骤五：配置HA，多台主机共享数据库集群文件，在同一时间点，只有主节点启动monetdbd进程和虚拟IP，当主节点故障时，切换到备节点，由备节点启动monetdbd进程，并启动虚拟IP，
monetdbd节点子步骤六：虚拟IP被用于m-funnel连接；
所述m-funnel节点以及HA部署步骤包括以下子步骤：
m-funnel节点子步骤一：初始化数据库集群
m-funnel节点子步骤二：启动数据库集群，创建m-funnel代理数据库
m-funnel节点子步骤三：配置HA，在若干台主机上创建对应的若干个m-funnel代理数据库，
m-funnel节点子步骤四：配置haproxy，代理客户端请求，将客户端分发到各个m-funnel节点，
m-funnel节点子步骤五：配置haproxy的后端探测，当m-funnel节点探测失败时，不与这个节点建立新的会话，知道m-funnel节点重新探测成功才允许继续向这个节点建立会话，配置负载均衡算法，
m-funnel节点子步骤六：配置haproxyHA，当haproxy主节点故障时，虚拟IP切换到haproxy备节点；
所述分布式计算存储的实现步骤包括以下步骤：
分布式计算存储子步骤一：在所有的monetdbd节点创建元数据表，插入元数据，元数据包含当前节点号，节点列表，节点个数，节点列表和节点个数一致，
分布式计算存储子步骤二：在所有的monetdbd节点创建动态接口函数，动态接口函数由人工设定，
分布式计算存储子步骤三：在所有的monetdbd节点创建静态接口函数，静态接口函数由人工设定，
分布式计算存储子步骤四：客户端连接到haproxy代理端口，测试接口函数。
在glusterfs节点子步骤一中，分布式系统添加glusterfs节点peer后，为了提高IOPS能力，使用flashcache或bcache技术，将SSD设备作为读写缓存设备。
所述配置负载均衡算法为随机算法和权重算法。
所述元数据表中必须选择一个静态字段作为哈希函数接收的变量。
所述monetdbd的路由功能主要包含以下组件：
组件一：哈希函数，用于接收一个变量，输出一个哈希值，
组件二：节点选择函数，用于接收哈希值，计算并返回节点号，
组件三：动态接口函数，用于接收用户传入值，负责具体的逻辑，并返回用户传入值，此组件的用户传入值包含节点选择函数名、节点选择函数变量和其他设定的变量，
组件四：静态接口函数，用于接收用户传入值，负责具体的逻辑，
组件五：元数据表、存储当前节点号、节点列表和节点个数。
本实施例中haproxy为专用的软件，用于m-funnel层的HA以及负载均衡，检测后端服务。m-funnel用于代理用户请求发送给monetdbd节点，并接收monetdbd节点的结果返回给客户端。monetdbd为实际存储数据和路由算法的节点,用于接收并返回来自m-funnel节点的请求。
以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (5)

1.一种MonetDB分布式计算存储方法，其特征在于：包括基于P2P通讯的glusterfs节点以及HA的部署步骤、monetdbd节点以及HA部署步骤、m-funnel节点以及HA部署步骤和分布式计算存储的部署步骤，
所述glusterfs节点以及HA的部署步骤包括以下子步骤：
glusterfs节点子步骤一，分布式系统添加glusterfs节点peer，
glusterfs节点子步骤二：创建文件系统，创建目录用作brick，所有节点的brick组成大的存储池，
glusterfs节点子步骤三：设置glusterfs的复制份数、条带和权限，
glusterfs节点子步骤四：挑选2个或2个以上的glusterfs节点作为nfs的服务端节点，完成HA布置
glusterfs节点子步骤五：配置这几个节点的虚拟IP，并配置虚拟IP的failover，确定主节点和备节点，
glusterfs节点子步骤六：monetdbd节点使用这些虚拟IP存储HA，挂载glusterfsnfs存储；
所述monetdbd节点以及HA部署步骤包括以下子步骤：
monetdbd节点子步骤一：monetdbd节点使用glusterfs的虚拟IP挂载glusterfsnfs存储，
monetdbd节点子步骤二：在nfs上初始化数据库集群，
monetdbd节点子步骤三：主节点启动数据库集群，并创建数据库，
monetdbd节点子步骤四：配置discovery，sharedtag；
monetdbd节点子步骤五：配置HA，多台主机共享数据库集群文件，在同一时间点，只有主节点启动monetdbd进程和虚拟IP，当主节点故障时，切换到备节点，由备节点启动monetdbd进程，并启动虚拟IP，
monetdbd节点子步骤六：虚拟IP被用于m-funnel连接；
所述m-funnel节点以及HA部署步骤包括以下子步骤：
m-funnel节点子步骤一：初始化数据库集群
m-funnel节点子步骤二：启动数据库集群，创建m-funnel代理数据库
m-funnel节点子步骤三：配置HA，在若干台主机上创建对应的若干个m-funnel代理数据库，
m-funnel节点子步骤四：配置haproxy，代理客户端请求，将客户端分发到各个m-funnel节点，
m-funnel节点子步骤五：配置haproxy的后端探测，当m-funnel节点探测失败时，不与这个节点建立新的会话，知道m-funnel节点重新探测成功才允许继续向这个节点建立会话，配置负载均衡算法，
m-funnel节点子步骤六：配置haproxyHA，当haproxy主节点故障时，虚拟IP切换到haproxy备节点；
所述分布式计算存储的实现步骤包括以下步骤：
分布式计算存储子步骤一：在所有的monetdbd节点创建元数据表，插入元数据，元数据包含当前节点号，节点列表，节点个数，节点列表和节点个数一致，
分布式计算存储子步骤二：在所有的monetdbd节点创建动态接口函数，动态接口函数由人工设定，
分布式计算存储子步骤三：在所有的monetdbd节点创建静态接口函数，静态接口函数由人工设定，
分布式计算存储子步骤四：客户端连接到haproxy代理端口，测试接口函数。
2.根据权利要求1所述的MonetDB分布式计算存储方法，其特征在于：在glusterfs节点子步骤一中，分布式系统添加glusterfs节点peer后，为了提高IOPS能力，使用flashcache或bcache技术，将SSD设备作为读写缓存设备。
3.根据权利要求1所述的MonetDB分布式计算存储方法，其特征在于：所述配置负载均衡算法为随机算法和权重算法。
4.根据权利要求1或2或3所述的MonetDB分布式计算存储方法，其特征在于：所述元数据表中必须选择一个静态字段作为哈希函数接收的变量。
5.根据权利要求1或2或3所述的MonetDB分布式计算存储方法，其特征在于：所述monetdbd的路由功能主要包含以下组件：
组件一：哈希函数，用于接收一个变量，输出一个哈希值，
组件二：节点选择函数，用于接收哈希值，计算并返回节点号，
组件三：动态接口函数，用于接收用户传入值，负责具体的逻辑，并返回用户传入值，此组件的用户传入值包含节点选择函数名、节点选择函数变量和其他设定的变量，
组件四：静态接口函数，用于接收用户传入值，负责具体的逻辑，
组件五：元数据表、存储当前节点号、节点列表和节点个数。
CN201410751853.9A 2014-12-10 2014-12-10 MonetDB分布式计算存储方法 Active CN104536988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410751853.9A CN104536988B (zh) 2014-12-10 2014-12-10 MonetDB分布式计算存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410751853.9A CN104536988B (zh) 2014-12-10 2014-12-10 MonetDB分布式计算存储方法

Publications (2)

Publication Number Publication Date
CN104536988A true CN104536988A (zh) 2015-04-22
CN104536988B CN104536988B (zh) 2017-10-24

Family

ID=52852516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410751853.9A Active CN104536988B (zh) 2014-12-10 2014-12-10 MonetDB分布式计算存储方法

Country Status (1)

Country Link
CN (1) CN104536988B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117402A (zh) * 2015-07-16 2015-12-02 中国人民大学 基于分段保序哈希的日志数据分片方法及装置
CN106685743A (zh) * 2017-03-09 2017-05-17 上海亿账通区块链科技有限公司 区块链集群处理系统和方法
CN106873910A (zh) * 2017-01-25 2017-06-20 东南大学 一种基于openstack平台的SSD缓存方法
CN106960060A (zh) * 2017-04-10 2017-07-18 聚好看科技股份有限公司 一种数据库集群的管理方法及装置
CN108769199A (zh) * 2018-05-29 2018-11-06 郑州云海信息技术有限公司 一种分布式文件存储系统主节点管理方法及装置
US10162735B2 (en) 2015-09-30 2018-12-25 Red Hat, Inc. Distributed system test automation framework
CN110955720A (zh) * 2018-09-27 2020-04-03 阿里巴巴集团控股有限公司 一种数据加载方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997823A (zh) * 2009-08-17 2011-03-30 联想(北京)有限公司 一种分布式文件系统及其数据访问方法
US20110246460A1 (en) * 2010-03-31 2011-10-06 Cloudera, Inc. Collecting and aggregating datasets for analysis
CN102546247A (zh) * 2011-12-29 2012-07-04 华中科技大学 一种适用流式处理的大规模数据连续分析系统
CN102591978A (zh) * 2012-01-05 2012-07-18 复旦大学 一种分布式文本拷贝检测系统
CN103167035A (zh) * 2013-03-15 2013-06-19 汉柏科技有限公司 HDFS中NameNode单点失效的解决方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101997823A (zh) * 2009-08-17 2011-03-30 联想(北京)有限公司 一种分布式文件系统及其数据访问方法
US20110246460A1 (en) * 2010-03-31 2011-10-06 Cloudera, Inc. Collecting and aggregating datasets for analysis
CN102546247A (zh) * 2011-12-29 2012-07-04 华中科技大学 一种适用流式处理的大规模数据连续分析系统
CN102591978A (zh) * 2012-01-05 2012-07-18 复旦大学 一种分布式文本拷贝检测系统
CN103167035A (zh) * 2013-03-15 2013-06-19 汉柏科技有限公司 HDFS中NameNode单点失效的解决方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117402A (zh) * 2015-07-16 2015-12-02 中国人民大学 基于分段保序哈希的日志数据分片方法及装置
CN105117402B (zh) * 2015-07-16 2018-08-28 中国人民大学 日志数据分片方法及装置
US10162735B2 (en) 2015-09-30 2018-12-25 Red Hat, Inc. Distributed system test automation framework
CN106873910A (zh) * 2017-01-25 2017-06-20 东南大学 一种基于openstack平台的SSD缓存方法
CN106873910B (zh) * 2017-01-25 2020-06-05 东南大学 一种基于openstack平台的SSD缓存方法
CN106685743A (zh) * 2017-03-09 2017-05-17 上海亿账通区块链科技有限公司 区块链集群处理系统和方法
CN106685743B (zh) * 2017-03-09 2018-02-06 上海亿账通区块链科技有限公司 区块链集群处理系统和方法
WO2018161479A1 (zh) * 2017-03-09 2018-09-13 上海亿账通区块链科技有限公司 区块链集群处理系统、方法、计算机设备和存储介质
CN106960060A (zh) * 2017-04-10 2017-07-18 聚好看科技股份有限公司 一种数据库集群的管理方法及装置
CN106960060B (zh) * 2017-04-10 2020-07-31 聚好看科技股份有限公司 一种数据库集群的管理方法及装置
CN108769199A (zh) * 2018-05-29 2018-11-06 郑州云海信息技术有限公司 一种分布式文件存储系统主节点管理方法及装置
CN110955720A (zh) * 2018-09-27 2020-04-03 阿里巴巴集团控股有限公司 一种数据加载方法、装置及系统
CN110955720B (zh) * 2018-09-27 2023-04-07 阿里巴巴集团控股有限公司 一种数据加载方法、装置及系统

Also Published As

Publication number Publication date
CN104536988B (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
CN104536988A (zh) MonetDB分布式计算存储方法
US9843484B2 (en) Graceful scaling in software driven networks
US10291696B2 (en) Peer-to-peer architecture for processing big data
EP2784675B1 (en) Method, device and system for data reconstruction
US20120166403A1 (en) Distributed storage system having content-based deduplication function and object storing method
US10157214B1 (en) Process for data migration between document stores
CN106294585A (zh) 一种云计算平台下的存储方法
CN104065568A (zh) 一种Web服务器集群的路由方法
CN105516284B (zh) 一种集群数据库分布式存储的方法和装置
JP2009295127A (ja) アクセス方法、アクセス装置及び分散データ管理システム
CN102508902A (zh) 云存储系统中可变分块大小的块数据分块方法
CN103595799A (zh) 一种实现分布式共享数据库的方法
CA2941163A1 (en) Data processing method and apparatus
JP2022111013A (ja) 通信ネットワークにおけるコンシステントハッシングの実現方法
Trifa et al. A novel replication technique to attenuate churn effects
KR20130118088A (ko) 멀티 메타데이터 서버 구조를 갖는 분산 파일 시스템 및 이를 이용한 데이터 처리 방법
CN114201362A (zh) 基于Prometheus的企业级高可用监控系统及实现方法
Zhao et al. Research of P2P architecture based on cloud computing
Nguyen et al. Preserving social locality in data replication for online social networks
JP2014164554A (ja) 負荷分散判定システム
Nicolae et al. Discovering and leveraging content similarity to optimize collective on-demand data access to iaas cloud storage
CN114879907A (zh) 一种数据分布确定方法、装置、设备及存储介质
Cao et al. Data allocation of large-scale key-value store system using kinetic drives
Zhuang et al. Design of a more scalable database system
Elghamrawy An adaptive load-balanced partitioning module in Cassandra using rendezvous hashing

Legal Events

Date Code Title Description
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 310000 room 821, building 1, Xinjun building, 330 Internet of things street, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: HANGZHOU SKY NETWORK TECHNOLOGY CO.,LTD.

Address before: 10, 310013, The Union Buildings, No. 2, Bauhinia Road, Hangzhou, Zhejiang, Xihu District

Patentee before: HANGZHOU SKY NETWORK TECHNOLOGY CO.,LTD.

TR01 Transfer of patent right

Effective date of registration: 20210409

Address after: 355200 no.181 erbatou, taimuyang village, Qinyu Town, Fuding City, Ningde City, Fujian Province

Patentee after: Chen Ximei

Address before: Room 821, building 1, Xinjun building, 330 Internet of things street, Xixing street, Binjiang District, Hangzhou City, Zhejiang Province 310000

Patentee before: HANGZHOU SKY NETWORK TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210507

Address after: 2322, Changping Business Building, 99 Honghua Road, Fubao community, Fubao street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Guojia Gaoxin Technology Co.,Ltd.

Address before: 355200 no.181 erbatou, taimuyang village, Qinyu Town, Fuding City, Ningde City, Fujian Province

Patentee before: Chen Ximei

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220718

Address after: 518000 17e-13c, Jinsong building, Tairan Science Park, No. 26, Tairan 4th Road, Tian'an community, Shatou street, Futian District, Shenzhen, Guangdong Province

Patentee after: Shenzhen Yueshi Technology Co.,Ltd.

Address before: 2322, Changping Business Building, 99 Honghua Road, Fubao community, Fubao street, Futian District, Shenzhen, Guangdong 518000

Patentee before: Shenzhen Guojia Gaoxin Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230511

Address after: 518000 901 Anhui Building, 6007 Shennan Avenue, Tian'an Community, Shatou Street, Futian District, Shenzhen, Guangdong Province

Patentee after: Shenzhen Qiyun Technology Co.,Ltd.

Address before: 518000 17e-13c, Jinsong building, Tairan Science Park, No. 26, Tairan 4th Road, Tian'an community, Shatou street, Futian District, Shenzhen, Guangdong Province

Patentee before: Shenzhen Yueshi Technology Co.,Ltd.