CN108616581A - 基于olap/oltp混合应用的数据存储系统及方法 - Google Patents

基于olap/oltp混合应用的数据存储系统及方法 Download PDF

Info

Publication number
CN108616581A
CN108616581A CN201810320910.6A CN201810320910A CN108616581A CN 108616581 A CN108616581 A CN 108616581A CN 201810320910 A CN201810320910 A CN 201810320910A CN 108616581 A CN108616581 A CN 108616581A
Authority
CN
China
Prior art keywords
data
server
routing server
service device
olap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810320910.6A
Other languages
English (en)
Other versions
CN108616581B (zh
Inventor
吕骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Nash Data Technology Co Ltd
Original Assignee
Shenzhen Nash Data Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Nash Data Technology Co Ltd filed Critical Shenzhen Nash Data Technology Co Ltd
Priority to CN201810320910.6A priority Critical patent/CN108616581B/zh
Publication of CN108616581A publication Critical patent/CN108616581A/zh
Application granted granted Critical
Publication of CN108616581B publication Critical patent/CN108616581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1031—Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/54—Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供基于OLAP/OLTP混合应用的数据存储系统及方法，所述数据存储系统包括：负载均衡服务器，通过请求访问判断路由服务器的状态，并统计请求分配可用的路由服务器使其达到负载均衡；路由服务器，与所述负载均衡服务器实现通信，用于实现数据写入过程和数据查询过程；配置服务器，与所述路由服务器实现通信，用于存放数据的元数据信息和索引，记录每一个数据的存放位置；分片服务器，与所述路由服务器实现通信，用于实现异步备份和分离读写。本发明基于Mongo DB数据库的开源数据库实现了二次开发，进而实现了同时支持联机事务处理（OLTP）和联机分析处理（OLAP）两种业务类型的分布式数据存储系统，能快速横向扩展。

Description

基于OLAP/OLTP混合应用的数据存储系统及方法
技术领域
本发明涉及一种数据存储系统，尤其涉及一种基于OLAP/OLTP混合应用的数据存储系统，并涉及应用于所述基于OLAP/OLTP混合应用的数据存储系统的数据存储方法。
背景技术
Mongos DB数据库是基于分布式文件存储的开源数据库，因为分布式的数据存储而广泛应用，但是，现有技术的Mongos DB数据库过于复杂，进而导致存在以下几个问题：第一、存储资源不足，使得Mongos DB数据库所在的系统升级难度大；第二、计算资源不足，引起性能瓶颈；第三、Mongos DB数据库系统吞吐跟不上；第四、无法快速部署，并且后期运营和维护的难度都很大。
发明内容
本发明所要解决的技术问题是需要通过负载均衡合理解决Mongos DB数据库的瓶颈，并且在Mongos DB数据库的基础上支持联机分析处理（OLAP），进而可以快速横向扩展的基于OLAP/OLTP混合应用的数据存储系统，并进一步提供应用于所述基于OLAP/OLTP混合应用的数据存储系统的数据存储方法。
对此，本发明提供一种基于OLAP/OLTP混合应用的数据存储系统，包括：
负载均衡服务器，通过请求访问判断路由服务器的状态，并统计请求分配可用的路由服务器使其达到负载均衡；
路由服务器，与所述负载均衡服务器实现通信，用于实现数据写入过程和数据查询过程；
配置服务器，与所述路由服务器实现通信，用于存放数据的元数据信息和索引，记录每一个数据的存放位置；
分片服务器，与所述路由服务器实现通信，用于实现异步备份和分离读写。
本发明的进一步改进在于，所述负载均衡服务器基于分布式内存数据库，通过请求访问判断配置文件中路由服务器是否存活，对死亡节点对应的路由服务器进行剔除，在预设的第一固定时间后重新请求并判断各个节点是否存活；同时，通过统计请求分配可用的路由服务器使其达到负载均衡。
本发明的进一步改进在于，每隔预设的第二固定时间进行开源数据库集群信息的查询，自动更新相关配置，所述相关配置包括写入刷新时间和读取刷新时间。
本发明的进一步改进在于，所述路由服务器的整体工作过程包括：
步骤S1，应用客户端通过所述路由服务器进行数据查询或数据写入操作；
步骤S2，所述路由服务器在执行数据写入或数据查询前需请求所述配置服务器，以获取相关分片服务器的信息；
步骤S3，所述路由服务器将数据写入操作分发给指定的分片服务器
步骤S4，所述路由服务器将各分片服务器返回的数据进行聚合计算后返回给所述应用客户端。
本发明的进一步改进在于，所述配置服务器用于存放数据的元数据信息，并根据所述分片服务器的分片索引记录每一个数据存放于所述分片服务器的位置。
本发明的进一步改进在于，所述路由服务器实现数据写入过程包括以下步骤：
步骤A1，应用客户端访问所述负载均衡服务器以获取路由服务器地址；
步骤A2，所述负载均衡服务器返回可用的路由服务器地址；
步骤A3，应用客户端访问所述路由服务器，请求写入数据；
步骤A4，所述路由服务器发送请求至所述配置服务器，获取该写入记录；
步骤A5，返回数据所在的分片服务器的地址；
步骤A6，根据所述分片服务器的地址向指定的分片服务器写入数据。
本发明的进一步改进在于，所述步骤S2包括以下子步骤：
步骤A201，将每台路由服务器设置独立的key存储在内存中，路由服务器的值默认为0；
步骤A202，当发生写入操作或更新操作时，所述路由服务器的值加n，K秒后自动减n，n和k均为自然数；
步骤A203，当发生聚合操作时，所述路由服务器的值加m，K秒后自动减m，m为自然数；
步骤A204，当发生查询操作时，所述路由服务器的值加i， K秒后自动减i，i为自然数；
步骤A205，当发生请求分配路由服务器时，取上述路由服务器的值中的最小值。
本发明的进一步改进在于，所述分片服务器设置于至少两个副本集服务器中，所述至少两个副本集服务器包括一个主节点和至少一个从节点，所述从节点与主节点之间分别实现异步同步，所述从节点通过主节点与所述路由服务器实现通信。
本发明的进一步改进在于，所述路由服务器实现数据查询过程包括以下步骤：
步骤B1，应用客户端请求所述负载均衡服务器获取路由服务器地址；
步骤B2，所述负载均衡服务器返回所述路由服务器地址；
步骤B3，向所述路由服务器发送查询请求；
步骤B4，向所述配置服务器请求对应的分片服务器的信息；
步骤B5，返回所述分片服务器的分片信息；
步骤B6，向所述分片服务器的副本集服务器请求数据；
步骤B7，所述分片服务器的副本集服务器分别将查询结果反馈至所述路由服务器；
步骤B8，所述路由服务器将所述分片服务器的副本集服务器返回的查询结果进行聚合，然后返回至所述应用客户端。
本发明还提供一种基于OLAP/OLTP混合应用的数据存储方法，应用于如上所述的基于OLAP/OLTP混合应用的数据存储系统。
与现有技术相比，本发明的有益效果在于：基于Mongo DB数据库的开源数据库实现了二次开发，进而实现了同时支持联机事务处理（OLTP）和联机分析处理（OLAP）两种业务类型的分布式数据存储系统，并通过负载均衡合理解决Mongos DB数据库的瓶颈；本发明得益于整体架构为分布式结构，能够快速横向扩展；经测试证明，本发明可以在10分钟左右部署一套系统，一亿条数据的查询返回所需时间大约为0.1s，大大降低了数据存储系统的技术瓶颈，提高了数据处理能力，并降低了运营和后期维护的难度，在此基础上，还降低了使用人员的门槛，即使是非开发人员也可以查询数据。
附图说明
图1是本发明一种实施例的系统结构示意图；
图2是本发明一种实施例的配置服务器的工作原理示意图；
图3是本发明一种实施例的副本集服务器的同步机制原理示意图。
具体实施方式
下面结合附图，对本发明的较优的实施例作进一步的详细说明。
如图1所示，本例提供一种基于OLAP/OLTP混合应用的数据存储系统，包括：
负载均衡服务器，通过请求访问判断路由服务器的状态，并统计请求分配可用的路由服务器使其达到负载均衡；
路由服务器，与所述负载均衡服务器实现通信，用于实现数据写入过程和数据查询过程；
配置服务器，与所述路由服务器实现通信，用于存放数据的元数据信息和索引，记录每一个数据的存放位置；
分片服务器，与所述路由服务器实现通信，用于实现异步备份和分离读写。
本例所述负载均衡服务器为于分布式内存数据库（Redis）的微服务，通过请求访问判断配置文件中路由服务器是否存活，对死亡节点对应的路由服务器进行剔除，在预设的第一固定时间后重新请求并判断各个节点是否存活；同时，通过统计请求分配可用的路由服务器使其达到负载均衡。本例所述路由服务器为Mongos 服务器，应用的是Mongos DB数据库；所述第一固定时间可以根据实际的需求进行自定义设置；所述负载均衡的默认分配算法为最少分配算法。
优选的，每隔预设的第二固定时间进行开源数据库集群信息的查询，自动更新相关配置，所述相关配置包括写入刷新时间和读取刷新时间。所述第二固定时间同样可以根据实际的需求进行自定义设置，也就是说，在每隔一段时间查询mongo DB的集群信息，进而自动更新相关配置，例如：写入\读取刷新时间等。
本例所述路由服务器的整体工作过程包括：
步骤S1，应用客户端通过所述路由服务器进行数据查询或数据写入操作；
步骤S2，所述路由服务器在执行数据写入或数据查询前需请求所述配置服务器，以获取相关分片服务器的信息；
步骤S3，所述路由服务器将数据写入操作分发给指定的分片服务器
步骤S4，所述路由服务器将各分片服务器返回的数据进行聚合计算后返回给所述应用客户端。
本例可以通过多配置路由服务器来提高系统数据吞吐量，也就是说，通过所述配置服务器和负载均衡服务器的配合，本例所述路由服务器的数据吞吐量明显比现有技术要高。
如图2所示，本例所述配置服务器用于存放数据的元数据信息，并根据所述分片服务器的分片索引记录每一个数据存放于所述分片服务器的位置；本例所述分片索引时通过所述分片服务器片键（Shard key）出来的索引，用来记录每一个数据存放的Shard位置，即分片位置；所述配置服务器通过使用多台所述分片服务器形成主从备份，进行容灾，如图3所示。
本例所述分片服务器（Shard Server）用于存储数据副本集，用于实现异步备份数据和读写分离。本例所述副本集也称副本集服务器。
本例所述路由服务器实现数据写入过程包括以下步骤：
步骤A1，应用客户端访问所述负载均衡服务器（load balancing）以获取路由服务器地址；
步骤A2，所述负载均衡服务器返回可用的路由服务器地址；
步骤A3，应用客户端访问所述路由服务器，请求写入数据；
步骤A4，所述路由服务器发送请求至所述配置服务器（config server），根据相关元数据（metadata）信息,获取该写入记录；
步骤A5，返回数据所在的分片服务器（Shard server）的地址；
步骤A6，根据所述分片服务器的地址向指定的分片服务器（Shard server）写入数据。
更为详细的，所述步骤S2包括以下子步骤：
步骤A201，将每台路由服务器设置独立的key存储在内存中，路由服务器的值（value）默认为0；
步骤A202，当发生写入操作（write）或更新操作（update）时，所述路由服务器的值（value）加n，K秒后自动减n，n和k均为自然数；
步骤A203，当发生聚合（aggregate）操作时，所述路由服务器的值（value）加m，K秒后自动减m，m为自然数；
步骤A204，当发生查询操作时，所述路由服务器的值（value）加i， K秒后自动减i，i为自然数；
步骤A205，当发生请求分配路由服务器时，取上述路由服务器的值（value）中的最小值。其中，n、m、i和K值在所述配置服务器的配置文件中实现配置，可以根据实际的需求进行调整或自定义设置。
如图1和图3所示，本例所述分片服务器设置于至少两个副本集服务器中，所述至少两个副本集服务器包括一个主节点和至少一个从节点，所述从节点与主节点之间分别实现异步同步，所述从节点通过主节点与所述路由服务器实现通信；所述副本集服务器用于存储数据副本集，每一个副本集服务器可以包括多个分片服务器（Shard server），副本集服务器同步机制使用mongo DB的异步同步机制。
本例所述路由服务器实现数据查询过程包括以下步骤：
步骤B1，应用客户端请求所述负载均衡服务器获取路由服务器地址；
步骤B2，所述负载均衡服务器返回所述路由服务器地址, 其分配方案与所述路由服务器实现数据写入过程相同；
步骤B3，向所述路由服务器发送查询请求；
步骤B4，向所述配置服务器请求对应的分片服务器的信息；
步骤B5，返回所述分片服务器的分片信息；
步骤B6，向所述分片服务器的副本集服务器请求数据；
步骤B7，所述分片服务器的副本集服务器分别将查询结果反馈至所述路由服务器；
步骤B8，所述路由服务器将所述分片服务器的副本集服务器返回的查询结果进行聚合，然后返回至所述应用客户端。本例所述应用客户端简称客户端。
本例还提供一种基于OLAP/OLTP混合应用的数据存储方法，应用于如上所述的基于OLAP/OLTP混合应用的数据存储系统。
综上，本例基于Mongo DB数据库的开源数据库实现了二次开发，进而实现了同时支持联机事务处理（OLTP）和联机分析处理（OLAP）两种业务类型的分布式数据存储系统，并通过负载均衡合理解决Mongos DB数据库的瓶颈；本发明得益于整体架构为分布式结构，能够快速横向扩展；经测试证明，本发明可以在10分钟左右部署一套系统，一亿条数据的查询返回所需时间大约为0.1s，大大降低了数据存储系统的技术瓶颈，提高了数据处理能力，并降低了运营和后期维护的难度，在此基础上，还降低了使用人员的门槛，即使是非开发人员也可以查询数据。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于OLAP/OLTP混合应用的数据存储系统，其特征在于，包括：
负载均衡服务器，通过请求访问判断路由服务器的状态，并统计请求分配可用的路由服务器使其达到负载均衡；
路由服务器，与所述负载均衡服务器实现通信，用于实现数据写入过程和数据查询过程；
配置服务器，与所述路由服务器实现通信，用于存放数据的元数据信息和索引，记录每一个数据的存放位置；
分片服务器，与所述路由服务器实现通信，用于实现异步备份和分离读写。
2.根据权利要求1所述的基于OLAP/OLTP混合应用的数据存储系统，其特征在于，所述负载均衡服务器基于分布式内存数据库，通过请求访问判断配置文件中路由服务器是否存活，对死亡节点对应的路由服务器进行剔除，在预设的第一固定时间后重新请求并判断各个节点是否存活；同时，通过统计请求分配可用的路由服务器使其达到负载均衡。
3.根据权利要求1所述的基于OLAP/OLTP混合应用的数据存储系统，其特征在于，每隔预设的第二固定时间进行开源数据库集群信息的查询，自动更新相关配置，所述相关配置包括写入刷新时间和读取刷新时间。
4.根据权利要求1至3任意一项所述的基于OLAP/OLTP混合应用的数据存储系统，其特征在于，所述路由服务器的整体工作过程包括：
步骤S1，应用客户端通过所述路由服务器进行数据查询或数据写入操作；
步骤S2，所述路由服务器在执行数据写入或数据查询前需请求所述配置服务器，以获取相关分片服务器的信息；
步骤S3，所述路由服务器将数据写入操作分发给指定的分片服务器
步骤S4，所述路由服务器将各分片服务器返回的数据进行聚合计算后返回给所述应用客户端。
5.根据权利要求1至3任意一项所述的基于OLAP/OLTP混合应用的数据存储系统，其特征在于，所述配置服务器用于存放数据的元数据信息，并根据所述分片服务器的分片索引记录每一个数据存放于所述分片服务器的位置。
6.根据权利要求1至3任意一项所述的基于OLAP/OLTP混合应用的数据存储系统，其特征在于，所述路由服务器实现数据写入过程包括以下步骤：
步骤A1，应用客户端访问所述负载均衡服务器以获取路由服务器地址；
步骤A2，所述负载均衡服务器返回可用的路由服务器地址；
步骤A3，应用客户端访问所述路由服务器，请求写入数据；
步骤A4，所述路由服务器发送请求至所述配置服务器，获取该写入记录；
步骤A5，返回数据所在的分片服务器的地址；
步骤A6，根据所述分片服务器的地址向指定的分片服务器写入数据。
7.根据权利要求6所述的基于OLAP/OLTP混合应用的数据存储系统，其特征在于，所述步骤S2包括以下子步骤：
步骤A201，将每台路由服务器设置独立的key存储在内存中，路由服务器的值默认为0；
步骤A202，当发生写入操作或更新操作时，所述路由服务器的值加n，K秒后自动减n，n和k均为自然数；
步骤A203，当发生聚合操作时，所述路由服务器的值加m，K秒后自动减m，m为自然数；
步骤A204，当发生查询操作时，所述路由服务器的值加i， K秒后自动减i，i为自然数；
步骤A205，当发生请求分配路由服务器时，取上述路由服务器的值中的最小值。
8.根据权利要求1至3任意一项所述的基于OLAP/OLTP混合应用的数据存储系统，其特征在于，所述分片服务器设置于至少两个副本集服务器中，所述至少两个副本集服务器包括一个主节点和至少一个从节点，所述从节点与主节点之间分别实现异步同步，所述从节点通过主节点与所述路由服务器实现通信。
9.根据权利要求8所述的基于OLAP/OLTP混合应用的数据存储系统，其特征在于，所述路由服务器实现数据查询过程包括以下步骤：
步骤B1，应用客户端请求所述负载均衡服务器获取路由服务器地址；
步骤B2，所述负载均衡服务器返回所述路由服务器地址；
步骤B3，向所述路由服务器发送查询请求；
步骤B4，向所述配置服务器请求对应的分片服务器的信息；
步骤B5，返回所述分片服务器的分片信息；
步骤B6，向所述分片服务器的副本集服务器请求数据；
步骤B7，所述分片服务器的副本集服务器分别将查询结果反馈至所述路由服务器；
步骤B8，所述路由服务器将所述分片服务器的副本集服务器返回的查询结果进行聚合，然后返回至所述应用客户端。
10.一种基于OLAP/OLTP混合应用的数据存储方法，其特征在于，应用于如权利要求1至9任意一项所述的基于OLAP/OLTP混合应用的数据存储系统。
CN201810320910.6A 2018-04-11 2018-04-11 基于olap/oltp混合应用的数据存储系统及方法 Active CN108616581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810320910.6A CN108616581B (zh) 2018-04-11 2018-04-11 基于olap/oltp混合应用的数据存储系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810320910.6A CN108616581B (zh) 2018-04-11 2018-04-11 基于olap/oltp混合应用的数据存储系统及方法

Publications (2)

Publication Number Publication Date
CN108616581A true CN108616581A (zh) 2018-10-02
CN108616581B CN108616581B (zh) 2021-07-16

Family

ID=63659751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810320910.6A Active CN108616581B (zh) 2018-04-11 2018-04-11 基于olap/oltp混合应用的数据存储系统及方法

Country Status (1)

Country Link
CN (1) CN108616581B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460426A (zh) * 2018-11-05 2019-03-12 郑州云海信息技术有限公司 一种基于MongoDB的分级存储的系统及方法、路由节点
CN109597811A (zh) * 2018-11-26 2019-04-09 湖南节点新火信息安全有限公司 一种分布式安全数据库链块存储方法
CN110163756A (zh) * 2019-05-28 2019-08-23 深圳市网心科技有限公司 一种基于联盟链的交易方法、系统、服务器及区块链系统
CN115599790A (zh) * 2022-11-10 2023-01-13 星环信息科技（上海）股份有限公司（Cn） 一种数据存储系统、数据处理方法、电子设备和存储介质
CN115718787A (zh) * 2023-01-09 2023-02-28 百融至信(北京)科技有限公司 数据表数据同步方法、查询方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731507A (zh) * 2013-05-02 2014-04-16 乐视网信息技术（北京）股份有限公司 一种分布式数据存储设备处理数据的方法及装置
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
CN104580432A (zh) * 2014-12-23 2015-04-29 上海帝联信息科技股份有限公司 memcached系统及内存缓存数据提供、维护和集群维护方法及装置
CN106657379A (zh) * 2017-01-06 2017-05-10 重庆邮电大学 一种nginx服务器负载均衡的实现方法及系统
CN107346307A (zh) * 2016-05-04 2017-11-14 北京京东尚科信息技术有限公司 分布式缓存系统及方法
CN107734004A (zh) * 2017-09-26 2018-02-23 河海大学 一种基于Nginx、Redis的高并发负载均衡系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
CN103731507A (zh) * 2013-05-02 2014-04-16 乐视网信息技术（北京）股份有限公司 一种分布式数据存储设备处理数据的方法及装置
CN104580432A (zh) * 2014-12-23 2015-04-29 上海帝联信息科技股份有限公司 memcached系统及内存缓存数据提供、维护和集群维护方法及装置
CN107346307A (zh) * 2016-05-04 2017-11-14 北京京东尚科信息技术有限公司 分布式缓存系统及方法
CN106657379A (zh) * 2017-01-06 2017-05-10 重庆邮电大学 一种nginx服务器负载均衡的实现方法及系统
CN107734004A (zh) * 2017-09-26 2018-02-23 河海大学 一种基于Nginx、Redis的高并发负载均衡系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460426A (zh) * 2018-11-05 2019-03-12 郑州云海信息技术有限公司 一种基于MongoDB的分级存储的系统及方法、路由节点
CN109597811A (zh) * 2018-11-26 2019-04-09 湖南节点新火信息安全有限公司 一种分布式安全数据库链块存储方法
CN110163756A (zh) * 2019-05-28 2019-08-23 深圳市网心科技有限公司 一种基于联盟链的交易方法、系统、服务器及区块链系统
CN110163756B (zh) * 2019-05-28 2023-07-18 深圳市迅雷网络技术有限公司 一种基于联盟链的交易方法、系统、服务器及区块链系统
CN115599790A (zh) * 2022-11-10 2023-01-13 星环信息科技（上海）股份有限公司（Cn） 一种数据存储系统、数据处理方法、电子设备和存储介质
CN115599790B (zh) * 2022-11-10 2024-03-15 星环信息科技(上海)股份有限公司 一种数据存储系统、数据处理方法、电子设备和存储介质
CN115718787A (zh) * 2023-01-09 2023-02-28 百融至信(北京)科技有限公司 数据表数据同步方法、查询方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN108616581B (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN108616581A (zh) 基于olap/oltp混合应用的数据存储系统及方法
US11153380B2 (en) Continuous backup of data in a distributed data store
CN105324770B (zh) 有效读出副本
LU102666B1 (en) Small-file storage optimization system based on virtual file system in kubernetes user-mode application
US9507843B1 (en) Efficient replication of distributed storage changes for read-only nodes of a distributed database
US7546486B2 (en) Scalable distributed object management in a distributed fixed content storage system
US8346824B1 (en) Data distribution system
US9699017B1 (en) Dynamic utilization of bandwidth for a quorum-based distributed storage system
EP2710477B1 (en) Distributed caching and cache analysis
US20130110873A1 (en) Method and system for data storage and management
CN106909451A (zh) 一种分布式任务调度系统及方法
US20220114064A1 (en) Online restore for database engines
CN104184812B (zh) 一种基于私有云的多点数据传输方法
CN105373613A (zh) 基于策略的储存结构分布
CN104750757B (zh) 一种基于HBase的数据存储方法和设备
CN112162846B (zh) 事务处理方法、设备及计算机可读存储介质
CN105701219A (zh) 一种分布式缓存的实现方法
US20120297010A1 (en) Distributed Caching and Cache Analysis
CN106933891A (zh) 访问分布式数据库的方法和分布式数据服务的装置
CN105843559A (zh) 一种磁盘缓存系统的读写优化方法及系统
WO2020259191A1 (zh) 一种数据中心节点分配方法、装置、系统及计算机设备
CN107276914B (zh) 基于cmdb的自助资源分配调度的方法
CN109710223A (zh) 基于分布式kv存储系统的api网关热插拔系统
US20210097026A1 (en) System and method for managing data using an enumerator
CN110659303A (zh) 一种数据库节点的读写控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant