CN108616581B - 基于olap/oltp混合应用的数据存储系统及方法 - Google Patents

基于olap/oltp混合应用的数据存储系统及方法 Download PDF

Info

Publication number
CN108616581B
CN108616581B CN201810320910.6A CN201810320910A CN108616581B CN 108616581 B CN108616581 B CN 108616581B CN 201810320910 A CN201810320910 A CN 201810320910A CN 108616581 B CN108616581 B CN 108616581B
Authority
CN
China
Prior art keywords
server
data
routing
data storage
load balancing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810320910.6A
Other languages
English (en)
Other versions
CN108616581A (zh
Inventor
吕骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Nash Big Data Technology Co ltd
Original Assignee
Shenzhen Nash Big Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Nash Big Data Technology Co ltd filed Critical Shenzhen Nash Big Data Technology Co ltd
Priority to CN201810320910.6A priority Critical patent/CN108616581B/zh
Publication of CN108616581A publication Critical patent/CN108616581A/zh
Application granted granted Critical
Publication of CN108616581B publication Critical patent/CN108616581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1031—Controlling of the operation of servers by a load balancer, e.g. adding or removing servers that serve requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/54—Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供基于OLAP/OLTP混合应用的数据存储系统及方法，所述数据存储系统包括：负载均衡服务器，通过请求访问判断路由服务器的状态，并统计请求分配可用的路由服务器使其达到负载均衡；路由服务器，与所述负载均衡服务器实现通信，用于实现数据写入过程和数据查询过程；配置服务器，与所述路由服务器实现通信，用于存放数据的元数据信息和索引，记录每一个数据的存放位置；分片服务器，与所述路由服务器实现通信，用于实现异步备份和分离读写。本发明基于Mongo DB数据库的开源数据库实现了二次开发，进而实现了同时支持联机事务处理（OLTP）和联机分析处理（OLAP）两种业务类型的分布式数据存储系统，能快速横向扩展。

Description

基于OLAP/OLTP混合应用的数据存储系统及方法
技术领域
本发明涉及一种数据存储系统，尤其涉及一种基于OLAP/OLTP混合应用的数据存储系统，并涉及应用于所述基于OLAP/OLTP混合应用的数据存储系统的数据存储方法。
背景技术
Mongos DB数据库是基于分布式文件存储的开源数据库，因为分布式的数据存储而广泛应用，但是，现有技术的Mongos DB数据库过于复杂，进而导致存在以下几个问题：第一、存储资源不足，使得Mongos DB数据库所在的系统升级难度大；第二、计算资源不足，引起性能瓶颈；第三、Mongos DB数据库系统吞吐跟不上；第四、无法快速部署，并且后期运营和维护的难度都很大。
发明内容
本发明所要解决的技术问题是需要通过负载均衡合理解决Mongos DB数据库的瓶颈，并且在Mongos DB数据库的基础上支持联机分析处理（OLAP），进而可以快速横向扩展的基于OLAP/OLTP混合应用的数据存储系统，并进一步提供应用于所述基于OLAP/OLTP混合应用的数据存储系统的数据存储方法。
对此，本发明提供一种基于OLAP/OLTP混合应用的数据存储系统，包括：
负载均衡服务器，通过请求访问判断路由服务器的状态，并统计请求分配可用的路由服务器使其达到负载均衡；
路由服务器，与所述负载均衡服务器实现通信，用于实现数据写入过程和数据查询过程；
配置服务器，与所述路由服务器实现通信，用于存放数据的元数据信息和索引，记录每一个数据的存放位置；
分片服务器，与所述路由服务器实现通信，用于实现异步备份和分离读写。
本发明的进一步改进在于，所述负载均衡服务器基于分布式内存数据库，通过请求访问判断配置文件中路由服务器是否存活，对死亡节点对应的路由服务器进行剔除，在预设的第一固定时间后重新请求并判断各个节点是否存活；同时，通过统计请求分配可用的路由服务器使其达到负载均衡。
本发明的进一步改进在于，每隔预设的第二固定时间进行开源数据库集群信息的查询，自动更新相关配置，所述相关配置包括写入刷新时间和读取刷新时间。
本发明的进一步改进在于，所述路由服务器的整体工作过程包括：
步骤S1，应用客户端通过所述路由服务器进行数据查询或数据写入操作；
步骤S2，所述路由服务器在执行数据写入或数据查询前需请求所述配置服务器，以获取相关分片服务器的信息；
步骤S3，所述路由服务器将数据写入操作分发给指定的分片服务器
步骤S4，所述路由服务器将各分片服务器返回的数据进行聚合计算后返回给所述应用客户端。
本发明的进一步改进在于，所述配置服务器用于存放数据的元数据信息，并根据所述分片服务器的分片索引记录每一个数据存放于所述分片服务器的位置。
本发明的进一步改进在于，所述路由服务器实现数据写入过程包括以下步骤：
步骤A1，应用客户端访问所述负载均衡服务器以获取路由服务器地址；
步骤A2，所述负载均衡服务器返回可用的路由服务器地址；
步骤A3，应用客户端访问所述路由服务器，请求写入数据；
步骤A4，所述路由服务器发送请求至所述配置服务器，获取该写入记录；
步骤A5，返回数据所在的分片服务器的地址；
步骤A6，根据所述分片服务器的地址向指定的分片服务器写入数据。
本发明的进一步改进在于，所述步骤S2包括以下子步骤：
步骤A201，将每台路由服务器设置独立的key存储在内存中，路由服务器的值默认为0；
步骤A202，当发生写入操作或更新操作时，所述路由服务器的值加n，K秒后自动减n，n和k均为自然数；
步骤A203，当发生聚合操作时，所述路由服务器的值加m，K秒后自动减m，m为自然数；
步骤A204，当发生查询操作时，所述路由服务器的值加i， K秒后自动减i，i为自然数；
步骤A205，当发生请求分配路由服务器时，取上述路由服务器的值中的最小值。
本发明的进一步改进在于，所述分片服务器设置于至少两个副本集服务器中，所述至少两个副本集服务器包括一个主节点和至少一个从节点，所述从节点与主节点之间分别实现异步同步，所述从节点通过主节点与所述路由服务器实现通信。
本发明的进一步改进在于，所述路由服务器实现数据查询过程包括以下步骤：
步骤B1，应用客户端请求所述负载均衡服务器获取路由服务器地址；
步骤B2，所述负载均衡服务器返回所述路由服务器地址；
步骤B3，向所述路由服务器发送查询请求；
步骤B4，向所述配置服务器请求对应的分片服务器的信息；
步骤B5，返回所述分片服务器的分片信息；
步骤B6，向所述分片服务器的副本集服务器请求数据；
步骤B7，所述分片服务器的副本集服务器分别将查询结果反馈至所述路由服务器；
步骤B8，所述路由服务器将所述分片服务器的副本集服务器返回的查询结果进行聚合，然后返回至所述应用客户端。
本发明还提供一种基于OLAP/OLTP混合应用的数据存储方法，应用于如上所述的基于OLAP/OLTP混合应用的数据存储系统。
与现有技术相比，本发明的有益效果在于：基于Mongo DB数据库的开源数据库实现了二次开发，进而实现了同时支持联机事务处理（OLTP）和联机分析处理（OLAP）两种业务类型的分布式数据存储系统，并通过负载均衡合理解决Mongos DB数据库的瓶颈；本发明得益于整体架构为分布式结构，能够快速横向扩展；经测试证明，本发明可以在10分钟左右部署一套系统，一亿条数据的查询返回所需时间大约为0.1s，大大降低了数据存储系统的技术瓶颈，提高了数据处理能力，并降低了运营和后期维护的难度，在此基础上，还降低了使用人员的门槛，即使是非开发人员也可以查询数据。
附图说明
图1是本发明一种实施例的系统结构示意图；
图2是本发明一种实施例的配置服务器的工作原理示意图；
图3是本发明一种实施例的副本集服务器的同步机制原理示意图。
具体实施方式
下面结合附图，对本发明的较优的实施例作进一步的详细说明。
如图1所示，本例提供一种基于OLAP/OLTP混合应用的数据存储系统，包括：
负载均衡服务器，通过请求访问判断路由服务器的状态，并统计请求分配可用的路由服务器使其达到负载均衡；
路由服务器，与所述负载均衡服务器实现通信，用于实现数据写入过程和数据查询过程；
配置服务器，与所述路由服务器实现通信，用于存放数据的元数据信息和索引，记录每一个数据的存放位置；
分片服务器，与所述路由服务器实现通信，用于实现异步备份和分离读写。
本例所述负载均衡服务器为于分布式内存数据库（Redis）的微服务，通过请求访问判断配置文件中路由服务器是否存活，对死亡节点对应的路由服务器进行剔除，在预设的第一固定时间后重新请求并判断各个节点是否存活；同时，通过统计请求分配可用的路由服务器使其达到负载均衡。本例所述路由服务器为Mongos 服务器，应用的是Mongos DB数据库；所述第一固定时间可以根据实际的需求进行自定义设置；所述负载均衡的默认分配算法为最少分配算法。
优选的，每隔预设的第二固定时间进行开源数据库集群信息的查询，自动更新相关配置，所述相关配置包括写入刷新时间和读取刷新时间。所述第二固定时间同样可以根据实际的需求进行自定义设置，也就是说，在每隔一段时间查询mongo DB的集群信息，进而自动更新相关配置，例如：写入\读取刷新时间等。
本例所述路由服务器的整体工作过程包括：
步骤S1，应用客户端通过所述路由服务器进行数据查询或数据写入操作；
步骤S2，所述路由服务器在执行数据写入或数据查询前需请求所述配置服务器，以获取相关分片服务器的信息；
步骤S3，所述路由服务器将数据写入操作分发给指定的分片服务器
步骤S4，所述路由服务器将各分片服务器返回的数据进行聚合计算后返回给所述应用客户端。
本例可以通过多配置路由服务器来提高系统数据吞吐量，也就是说，通过所述配置服务器和负载均衡服务器的配合，本例所述路由服务器的数据吞吐量明显比现有技术要高。
如图2所示，本例所述配置服务器用于存放数据的元数据信息，并根据所述分片服务器的分片索引记录每一个数据存放于所述分片服务器的位置；本例所述分片索引时通过所述分片服务器片键（Shard key）出来的索引，用来记录每一个数据存放的Shard位置，即分片位置；所述配置服务器通过使用多台所述分片服务器形成主从备份，进行容灾，如图3所示。
本例所述分片服务器（Shard Server）用于存储数据副本集，用于实现异步备份数据和读写分离。本例所述副本集也称副本集服务器。
本例所述路由服务器实现数据写入过程包括以下步骤：
步骤A1，应用客户端访问所述负载均衡服务器（load balancing）以获取路由服务器地址；
步骤A2，所述负载均衡服务器返回可用的路由服务器地址；
步骤A3，应用客户端访问所述路由服务器，请求写入数据；
步骤A4，所述路由服务器发送请求至所述配置服务器（config server），根据相关元数据（metadata）信息,获取该写入记录；
步骤A5，返回数据所在的分片服务器（Shard server）的地址；
步骤A6，根据所述分片服务器的地址向指定的分片服务器（Shard server）写入数据。
更为详细的，所述步骤S2包括以下子步骤：
步骤A201，将每台路由服务器设置独立的key存储在内存中，路由服务器的值（value）默认为0；
步骤A202，当发生写入操作（write）或更新操作（update）时，所述路由服务器的值（value）加n，K秒后自动减n，n和k均为自然数；
步骤A203，当发生聚合（aggregate）操作时，所述路由服务器的值（value）加m，K秒后自动减m，m为自然数；
步骤A204，当发生查询操作时，所述路由服务器的值（value）加i， K秒后自动减i，i为自然数；
步骤A205，当发生请求分配路由服务器时，取上述路由服务器的值（value）中的最小值。其中，n、m、i和K值在所述配置服务器的配置文件中实现配置，可以根据实际的需求进行调整或自定义设置。
如图1和图3所示，本例所述分片服务器设置于至少两个副本集服务器中，所述至少两个副本集服务器包括一个主节点和至少一个从节点，所述从节点与主节点之间分别实现异步同步，所述从节点通过主节点与所述路由服务器实现通信；所述副本集服务器用于存储数据副本集，每一个副本集服务器可以包括多个分片服务器（Shard server），副本集服务器同步机制使用mongo DB的异步同步机制。
本例所述路由服务器实现数据查询过程包括以下步骤：
步骤B1，应用客户端请求所述负载均衡服务器获取路由服务器地址；
步骤B2，所述负载均衡服务器返回所述路由服务器地址, 其分配方案与所述路由服务器实现数据写入过程相同；
步骤B3，向所述路由服务器发送查询请求；
步骤B4，向所述配置服务器请求对应的分片服务器的信息；
步骤B5，返回所述分片服务器的分片信息；
步骤B6，向所述分片服务器的副本集服务器请求数据；
步骤B7，所述分片服务器的副本集服务器分别将查询结果反馈至所述路由服务器；
步骤B8，所述路由服务器将所述分片服务器的副本集服务器返回的查询结果进行聚合，然后返回至所述应用客户端。本例所述应用客户端简称客户端。
本例还提供一种基于OLAP/OLTP混合应用的数据存储方法，应用于如上所述的基于OLAP/OLTP混合应用的数据存储系统。
综上，本例基于Mongo DB数据库的开源数据库实现了二次开发，进而实现了同时支持联机事务处理（OLTP）和联机分析处理（OLAP）两种业务类型的分布式数据存储系统，并通过负载均衡合理解决Mongos DB数据库的瓶颈；本发明得益于整体架构为分布式结构，能够快速横向扩展；经测试证明，本发明可以在10分钟左右部署一套系统，一亿条数据的查询返回所需时间大约为0.1s，大大降低了数据存储系统的技术瓶颈，提高了数据处理能力，并降低了运营和后期维护的难度，在此基础上，还降低了使用人员的门槛，即使是非开发人员也可以查询数据。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (7)

1.一种基于OLAP/OLTP混合应用的数据存储系统，其特征在于，包括：
负载均衡服务器，通过请求访问判断配置文件中路由服务器是否存活，并统计请求分配可用的路由服务器使其达到负载均衡；
路由服务器，与所述负载均衡服务器实现通信，用于实现数据写入过程和数据查询过程；所述路由服务器为Mongos服务器，所述Mongos服务器应用的是Mongos DB数据库；
配置服务器，与所述路由服务器实现通信，用于存放数据的元数据信息，并根据所述分片服务器的分片索引记录每一个数据存放于所述分片服务器的位置；所述分片索引时通过所述分片服务器片键出来的索引，用来记录每一个数据存放的分片位置；所述配置服务器通过使用多台所述分片服务器形成主从备份，进行容灾；
分片服务器，与所述路由服务器实现通信，用于实现异步备份和分离读写；所述分片服务器设置于至少两个副本集服务器中，所述至少两个副本集服务器包括一个主节点和至少一个从节点，所述从节点与主节点之间分别实现异步同步，所述从节点通过主节点与所述路由服务器实现通信；所述副本集服务器用于存储数据副本集，一个副本集服务器包括多个分片服务器，所述副本集服务器同步机制使用mongo DB的异步同步机制；
所述数据存储系统，用于通过所述负载均衡服务器与所述配置服务器的配合，来提升所述路由服务器的数据吞吐量，并通过配置多个所述路由服务器，来提升所述数据存储系统的数据吞吐量；
所述路由服务器的整体工作过程包括：
步骤S1，应用客户端通过所述路由服务器进行数据查询或数据写入操作；
步骤S2，所述路由服务器在执行数据写入或数据查询前需请求所述配置服务器，以获取相关分片服务器的信息；
步骤S3，所述路由服务器将数据写入操作分发给指定的分片服务器
步骤S4，所述路由服务器将各分片服务器返回的数据进行聚合计算后返回给所述应用客户端。
2.根据权利要求1所述的基于OLAP/OLTP混合应用的数据存储系统，其特征在于，所述负载均衡服务器基于分布式内存数据库，通过请求访问判断配置文件中路由服务器是否存活，对死亡节点对应的路由服务器进行剔除，在预设的第一固定时间后重新请求并判断各个节点是否存活；同时，通过统计请求分配可用的路由服务器使其达到负载均衡。
3.根据权利要求1所述的基于OLAP/OLTP混合应用的数据存储系统，其特征在于，每隔预设的第二固定时间进行开源数据库集群信息的查询，自动更新相关配置，所述相关配置包括写入刷新时间和读取刷新时间。
4.根据权利要求1至3任意一项所述的基于OLAP/OLTP混合应用的数据存储系统，其特征在于，所述路由服务器实现数据写入过程包括以下步骤：
步骤A1，应用客户端访问所述负载均衡服务器以获取路由服务器地址；
步骤A2，所述负载均衡服务器返回可用的路由服务器地址；
步骤A3，应用客户端访问所述路由服务器，请求写入数据；
步骤A4，所述路由服务器发送请求至所述配置服务器，获取该写入记录；
步骤A5，返回数据所在的分片服务器的地址；
步骤A6，根据所述分片服务器的地址向指定的分片服务器写入数据。
5.根据权利要求4所述的基于OLAP/OLTP混合应用的数据存储系统，其特征在于，所述步骤A2包括以下子步骤：
步骤A201，将每台路由服务器设置独立的key存储在内存中，路由服务器的值默认为0；
步骤A202，当发生写入操作或更新操作时，所述路由服务器的值加n，K秒后自动减n，n和k均为自然数；
步骤A203，当发生聚合操作时，所述路由服务器的值加m，K秒后自动减m，m为自然数；
步骤A204，当发生查询操作时，所述路由服务器的值加i，K秒后自动减i，i为自然数；
步骤A205，当发生请求分配路由服务器时，取上述路由服务器的值中的最小值。
6.根据权利要求1所述的基于OLAP/OLTP混合应用的数据存储系统，其特征在于，所述路由服务器实现数据查询过程包括以下步骤：
步骤B1，应用客户端请求所述负载均衡服务器获取路由服务器地址；
步骤B2，所述负载均衡服务器返回所述路由服务器地址；
步骤B3，向所述路由服务器发送查询请求；
步骤B4，向所述配置服务器请求对应的分片服务器的信息；
步骤B5，返回所述分片服务器的分片信息；
步骤B6，向所述分片服务器的副本集服务器请求数据；
步骤B7，所述分片服务器的副本集服务器分别将查询结果反馈至所述路由服务器；
步骤B8，所述路由服务器将所述分片服务器的副本集服务器返回的查询结果进行聚合，然后返回至所述应用客户端。
7.一种基于OLAP/OLTP混合应用的数据存储方法，其特征在于，应用于如权利要求1至6任意一项所述的基于OLAP/OLTP混合应用的数据存储系统。
CN201810320910.6A 2018-04-11 2018-04-11 基于olap/oltp混合应用的数据存储系统及方法 Active CN108616581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810320910.6A CN108616581B (zh) 2018-04-11 2018-04-11 基于olap/oltp混合应用的数据存储系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810320910.6A CN108616581B (zh) 2018-04-11 2018-04-11 基于olap/oltp混合应用的数据存储系统及方法

Publications (2)

Publication Number Publication Date
CN108616581A CN108616581A (zh) 2018-10-02
CN108616581B true CN108616581B (zh) 2021-07-16

Family

ID=63659751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810320910.6A Active CN108616581B (zh) 2018-04-11 2018-04-11 基于olap/oltp混合应用的数据存储系统及方法

Country Status (1)

Country Link
CN (1) CN108616581B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109460426A (zh) * 2018-11-05 2019-03-12 郑州云海信息技术有限公司 一种基于MongoDB的分级存储的系统及方法、路由节点
CN109597811A (zh) * 2018-11-26 2019-04-09 湖南节点新火信息安全有限公司 一种分布式安全数据库链块存储方法
CN110163756B (zh) * 2019-05-28 2023-07-18 深圳市迅雷网络技术有限公司 一种基于联盟链的交易方法、系统、服务器及区块链系统
CN114281901A (zh) * 2020-09-27 2022-04-05 福建天晴数码有限公司 一种基于ClickHouse集群实现OLAP高并发的方法及系统
CN115599790B (zh) * 2022-11-10 2024-03-15 星环信息科技(上海)股份有限公司 一种数据存储系统、数据处理方法、电子设备和存储介质
CN115718787B (zh) * 2023-01-09 2023-05-05 百融至信(北京)科技有限公司 数据表数据同步方法、查询方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103731507A (zh) * 2013-05-02 2014-04-16 乐视网信息技术（北京）股份有限公司 一种分布式数据存储设备处理数据的方法及装置
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
CN104580432A (zh) * 2014-12-23 2015-04-29 上海帝联信息科技股份有限公司 memcached系统及内存缓存数据提供、维护和集群维护方法及装置
CN106657379A (zh) * 2017-01-06 2017-05-10 重庆邮电大学 一种nginx服务器负载均衡的实现方法及系统
CN107346307A (zh) * 2016-05-04 2017-11-14 北京京东尚科信息技术有限公司 分布式缓存系统及方法
CN107734004A (zh) * 2017-09-26 2018-02-23 河海大学 一种基于Nginx、Redis的高并发负载均衡系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104050249A (zh) * 2011-12-31 2014-09-17 北京奇虎科技有限公司 分布式查询引擎系统和方法及元数据服务器
CN103731507A (zh) * 2013-05-02 2014-04-16 乐视网信息技术（北京）股份有限公司 一种分布式数据存储设备处理数据的方法及装置
CN104580432A (zh) * 2014-12-23 2015-04-29 上海帝联信息科技股份有限公司 memcached系统及内存缓存数据提供、维护和集群维护方法及装置
CN107346307A (zh) * 2016-05-04 2017-11-14 北京京东尚科信息技术有限公司 分布式缓存系统及方法
CN106657379A (zh) * 2017-01-06 2017-05-10 重庆邮电大学 一种nginx服务器负载均衡的实现方法及系统
CN107734004A (zh) * 2017-09-26 2018-02-23 河海大学 一种基于Nginx、Redis的高并发负载均衡系统

Also Published As

Publication number Publication date
CN108616581A (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
CN108616581B (zh) 基于olap/oltp混合应用的数据存储系统及方法
US20200186602A1 (en) Continuous backup of data in a distributed data store
US10929428B1 (en) Adaptive database replication for database copies
US10740355B2 (en) System and method for optimizing data migration in a partitioned database
US11496588B2 (en) Clustering layers in multi-node clusters
US9280591B1 (en) Efficient replication of system transactions for read-only nodes of a distributed database
US8543596B1 (en) Assigning blocks of a file of a distributed file system to processing units of a parallel database management system
CN110147407B (zh) 一种数据处理方法、装置及数据库管理服务器
US10909091B1 (en) On-demand data schema modifications
US10990571B1 (en) Online reordering of database table columns
US9984139B1 (en) Publish session framework for datastore operation records
US10719554B1 (en) Selective maintenance of a spatial index
US11537619B1 (en) Replica group modification in a distributed database
CN111159140B (zh) 数据处理方法、装置、电子设备及存储介质
US11288237B2 (en) Distributed file system with thin arbiter node
US20220188340A1 (en) Tracking granularity levels for accessing a spatial index
US11907162B2 (en) Minimizing data volume growth under encryption changes
US20170270149A1 (en) Database systems with re-ordered replicas and methods of accessing and backing up databases
US11625503B2 (en) Data integrity procedure
US11048547B2 (en) Method and system for routing and executing transactions
US11256695B1 (en) Hybrid query execution engine using transaction and analytical engines
CN117687970A (zh) 一种元数据检索方法、装置及电子设备和存储介质
KR20130038517A (ko) 분산된 컨테이너들을 사용하여 데이터를 관리하는 시스템 및 방법
US20210097026A1 (en) System and method for managing data using an enumerator
US11940972B2 (en) Execution of operations on partitioned tables

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant