CN107229639B - 分布式实时数据库的存储系统 - Google Patents

分布式实时数据库的存储系统 Download PDF

Info

Publication number
CN107229639B
CN107229639B CN201610174008.9A CN201610174008A CN107229639B CN 107229639 B CN107229639 B CN 107229639B CN 201610174008 A CN201610174008 A CN 201610174008A CN 107229639 B CN107229639 B CN 107229639B
Authority
CN
China
Prior art keywords
data
distributed
storage
module
service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610174008.9A
Other languages
English (en)
Other versions
CN107229639A (zh
Inventor
鲍远松
黄明
万英杰
沈春锋
史宁
纪娣芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Baosight Software Co Ltd
Original Assignee
Shanghai Baosight Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Baosight Software Co Ltd filed Critical Shanghai Baosight Software Co Ltd
Priority to CN201610174008.9A priority Critical patent/CN107229639B/zh
Publication of CN107229639A publication Critical patent/CN107229639A/zh
Application granted granted Critical
Publication of CN107229639B publication Critical patent/CN107229639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种分布式实时数据库的存储系统，包括：分布式数据网关模块：用于数据的接收与查询代理；分布式消息队列模块：用于通过分布式消息队列实现数据的发布与订阅；分布式实时流计算服务模块：用于基于storm实时流计算框架，实现消息订阅服务、内存快照存储服务以及持久化存储服务；分布式缓存服务模块：用于通过分布式缓存存储数据快照；分布式存储服务模块：通过Nosql数据库HBase进行分布式存储服务，通过分布式搜索引擎Solr实现数据的检索。本发明有效地提升企业的智能化和信息化水平，并利用大数据技术挖掘潜在的数据价值，为企业的转型发展提供坚实的数据基础。

Description

分布式实时数据库的存储系统
技术领域
本发明涉及分布式实时数据库，具体地，涉及分布式实时数据库的存储系统的架构。本发明能够广泛应用于工业大数据存储。
背景技术
伴随着工业4.0的持续推进，工业设备的智能化以及企业的信息化改造将快速推进，由此也带来了数据的爆发式增长，对传统的实时数据库在点数规模、数据分布、可靠性、扩展性等多个方面提出了巨大挑战。对比研究目前国际领先的实时数据库产品PI、PHD，发现这些产品在面对工业大数据时都具有如下的局限性：
(1)数据存储服务未能实现分布式架构，当单机服务异常时将导致服务不可用，无法提供检索和存储功能；
(2)数据存储无副本机制，数据的安全性需要用户自己备份，无法保证在磁盘损坏时所有的数据拥有可靠的备份；
(3)缺乏灵活的动态扩展能力，当存储性能或者存储容量达到瓶颈时难以做到动态的水平扩展；
(4)数据检索能力有限，仅仅支持按照时间戳的检索条件，对于按值范围或者模糊检索不支持；
(5)计算能力有限，仅仅能够根据其提供的有限的计算方法进行计算，无法有效地利大数据分布式计算技术实现对海量数据的计算分析
经检索，发现如下相关检索结果。
相关检索结果1：
申请号：CN201410144241.3 名称：一种适用于电力系统的分布式实时数据库管理系统及实现方法
摘要：该专利文献公开了一种适用于电力系统的实时数据库管理系统及实现方法，属于数据库技术领域。本发明的实时数据库管理系统包括服务端、实时数据库端和客户端，并利用文件映射、实例ID、版本号、客户端缓存等机制来实现实时数 据库的分布式管理。本发明实现了多个数据库实例的透明化，让客户对多个数据库实例的访问视同为对单个实例的访问。本发明有利于数据库全省集中式部署，同时便于全省统一数据规划、数据模型和数据标准，还能满足现有及未来数据接入需求。
技术要点比较：该专利文献给出了利用hash算法实现数据的分布式存储，但是对于数据的一致性、可靠性、安全性和扩展性没有给出具体的技术方案。本发明不仅给出了高扩展性的分布式架构，而且解决了高可用、数据安全和整体系统的弹性扩展问题，该专利文献只是本发明分布式存储服务数据分片存储的一个子集。
相关检索结果2：
申请号：201110286149.7 名称：分布式实时数据库数据层次索引方法
摘要：该专利文献属于分布式实时数据库领域，提供了一种分布式环境下的实时数据库层次索引方法，该方法在实现实时数据库分布式的条件下，将数据存储服务器对应哈希键值，并首尾相连构成环形哈希空间，并建立数据层次索引方法，保证了实时数据库数据的高效存储和检索。
技术要点比较：该专利文献给出了分布式实时数据库的检索技术方案，但并未给出在分布式环境下索引数据本身的安全可靠的分布式存储方案，未能彻底解决分布式实时数据库面临的数据一致性和安全性挑战。
相关检索结果3：
科技论文：名称：基于云技术的分布式实时数据库高性能数据存储检索机制的研究，钱益舟，2012年《浙江大学》
摘要：随着大型流程工业迅速发展，企业生产信息化要求不断提高。实时数据库系统作为工业信息化基础数据平台，对点数规模、数据分布、可靠性、扩展性的要求不断提高。系统现有架构存在规模相对固定、性能难以扩展、灵活性不足的缺点，难以满足海量存储、分布式冗余备份、规模动态调整等需求。当前云计算技术以其海量数据存储、规模动态扩展、系统可用性可靠性高等特点得到了广泛的运用。因此本文对系统架构做出大胆变革，将云计算核心技术引入到实时系统中来，在分布式架构下设计实现实时数据存储检索机制。本文通过研究现有实时数据存储检索技术与云计算核心技术之一的高性能分布式存储技术，结合实时数据特点与动态扩展要求，基于分布式通讯服务平台，提出一种具有分布式应用特点的实时数据存储检索机制，实现海量数据实时写入、分布式存储、多重冗余备份、数据检索准确高效并支持系统规模动态扩展。本文以云计算技术为背景，基于分布式通讯服务平台， 结合应用需求将分布式实时数据库数据存储检索机制的研究要点划分为数据存储、数据组织与数据检索三部分。通过利用分布式哈希表(DHT)技术，将分布式数据存储机制简化为本地数据存储，在机制框架内最大程度地利用集中式数据存储技术；数据组织机制以数据点、记录单元设计为基础，实现数据“版本化”管理和数据页序列管理，并设计数据迁移、副本同步、一致性修复等机制；数据检索机制结合系统数据组织与数据分布特性进行检索任务的分割与分发，针对“版本化”数据进行查询算法与流程设计，并通过缓存设计进一步提高检索性能。本文最后搭建测试平台、设计测试用例，对数据存储性能、数据检索性能进行功能、性能测试。结果表明系统能够实现海量数据实时写入、数据分布式冗余存储、数据检索准确高效并支持系统规模动态扩展，达到设计需求。
技术要点比较：该科技论文从理论上阐述了分布式实时数据库高性能数据存储与检索机制并给出了对应的算法，但未能具体给出行之有效可扩展的架构设计，整个架构设计过于笼统，对于数据传输的可靠性保证、实时流数据处理和分布式索引机制以及对于未来的分布式计算的支撑并未能给出明确的设计方案。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种分布式实时数据库的存储系统。本发明要解决的技术问题是如何基于当前流行的开源的大数据处理技术，实现分布式的实时数据库系统，使其具有高可靠、高可用、高性能和动态扩展的特性，满足工业大数据的存储要求，弥补传统的实时数据库的不足。
根据本发明提供的一种分布式实时数据库的存储系统，包括：
分布式数据网关模块：用于数据的接收与查询代理；
分布式消息队列模块：用于通过分布式消息队列实现数据的发布与订阅；
分布式实时流计算服务模块：用于基于storm实时流计算框架，实现消息订阅服务、内存快照存储服务以及持久化存储服务；
分布式缓存服务模块：用于通过分布式缓存存储数据快照；
分布式存储服务模块：通过Nosql数据库HBase进行分布式存储服务，通过分布式搜索引擎Solr实现数据的检索。
优选地，在数据存储过程中：
分布式数据网关模块在分布式消息队列模块中创建数据存储话题和数据变化订阅话 题，通过数据存储话题实现数据的上传，通过数据变化订阅话题接收数据变化，从而在数据变化时通知分布式实时数据库的客户端；
第三方客户端调用分布式实时数据库的客户端传输数据；
分布式数据网关模块的负载均衡服务器接收到数据，将数据发送到负荷较小的数据网关，数据网关将数据发送到分布式消息队列中的数据存储话题；
分布式实时流计算服务模块从数据存储话题中接收到订阅消息，传送给消息订阅服务；
消息订阅服务在数据发生变化以及该数据被分布式实时数据库订阅时，将该数据通过数据变化订阅话题发布出去，并将数据路由到内存快照存储服务；
内存快照存储服务将数据发送到分布式缓存服务模块进行快照的存储，并将数据路由到持久化存储服务；
持久化存储将数据发送到分布式存储服务模块进行数据的持久化存储；
分布式存储服务模块接收数据，一方面将数据传输到分布式搜索引擎Solr进行数据的异步索引，另一方面将数据序列化存储到Hadoop的分布式文件系统中。
优选地，在数据检索过程中：
第三方客户端通过分布式实时数据库的客户端提交数据查询命令到分布式数据网关模块；
分布式数据网关模块根据查询类型进行分类查询，具体的：对于内存快照查询，直接查询分布式缓存服务模块；对于时间查询，直接通过HBase的行键查询；对于按值查询，直接提交给Solr查询；
分布式数据网关模块返回查询结果。
优选地，分布式数据网关模块中的分布式数据网关采用Haproxy和多个数据节点的分布式部署方式，分布式消息队列基于分布式消息队列Kafka；数据传输的安全性由Kafka消息序列化机制和副本机制保证，数据处理的安全性由storm分布式框架的容错机制和数据被处理且仅被处理一次的机制保证，数据存储的安全性则由HBase的数据存储副本机制保证；采用HBase的行键索引和Solr索引相结合；分布式数据网关采用Netty的纯异步RPC通信框架，采用分布式的部署方式。
优选地，在数据存储过程中：分布式缓存服务模块存储标签tag点对应的数据项；分布式存储服务模块将不同的标签tag点数据放在同一行，通过时间作为主键。
与现有技术相比，本发明具有如下的有益效果：
本发明给出了一种纯分布式实时数据库的存储系统，可有效的解决传统的实时数据库在应对工业大数据在可靠性、扩展性、检索和其上的计算支撑能力的不足，有效地提升企业的智能化和信息化水平，并利用大数据技术挖掘潜在的数据价值，为企业的转型发展提供坚实的数据基础。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为分布式实时数据库架构图。
图2为分布式数据缓存服务数据存储格式图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的一种分布式实时数据库的存储系统，包括：
分布式数据网关模块：用于数据的接收与查询代理；
分布式消息队列模块：用于通过分布式消息队列实现数据的发布与订阅；
分布式实时流计算服务模块：用于基于storm实时流计算框架，实现消息订阅服务、内存快照存储服务以及持久化存储服务；
分布式缓存服务模块：用于通过分布式缓存存储数据快照；
分布式存储服务模块：通过Nosql数据库HBase进行分布式存储服务，通过分布式搜索引擎Solr实现数据的检索。
优选地，在数据存储过程中：
分布式数据网关模块在分布式消息队列模块中创建数据存储话题和数据变化订阅话题，通过数据存储话题实现数据的上传，通过数据变化订阅话题接收数据变化，从而在数据变化时通知分布式实时数据库的客户端；
第三方客户端调用分布式实时数据库的客户端传输数据；
分布式数据网关模块的负载均衡服务器接收到数据，将数据发送到负荷较小的数据 网关，数据网关将数据发送到分布式消息队列中的数据存储话题；
分布式实时流计算服务模块从数据存储话题中接收到订阅消息，传送给消息订阅服务；
消息订阅服务在数据发生变化以及该数据被分布式实时数据库订阅时，将该数据通过数据变化订阅话题发布出去，并将数据路由到内存快照存储服务；
内存快照存储服务将数据发送到分布式缓存服务模块进行快照的存储，并将数据路由到持久化存储服务；
持久化存储将数据发送到分布式存储服务模块进行数据的持久化存储；
分布式存储服务模块接收数据，一方面将数据传输到分布式搜索引擎Solr进行数据的异步索引，另一方面将数据序列化存储到Hadoop的分布式文件系统中。
优选地，在数据检索过程中：
第三方客户端通过分布式实时数据库的客户端提交数据查询命令到分布式数据网关模块；
分布式数据网关模块根据查询类型进行分类查询，具体的：对于内存快照查询，直接查询分布式缓存服务模块；对于时间查询，直接通过HBase的行键查询；对于按值查询，直接提交给Solr查询；
分布式数据网关模块返回查询结果。
优选地，分布式数据网关模块中的分布式数据网关采用Haproxy和多个数据节点的分布式部署方式，分布式消息队列基于分布式消息队列Kafka；数据传输的安全性由Kafka消息序列化机制和副本机制保证，数据处理的安全性由storm分布式框架的容错机制和数据被处理且仅被处理一次的机制保证，数据存储的安全性则由HBase的数据存储副本机制保证；采用HBase的行键索引和Solr索引相结合；分布式数据网关采用Netty的纯异步RPC通信框架，采用分布式的部署方式。
优选地，在数据存储过程中：分布式缓存服务模块存储标签tag点对应的数据项；分布式存储服务模块将不同的标签tag点数据放在同一行，通过时间作为主键。
下面对本发明进行更为详细的说明。
分布式实时数据库的存储系统的架构见图1，主要由如下几个模块组成：
分布式数据网关模块：分布式数据网关模块主要由负载均衡服务(LB)模块和多个数据网关构成(GW)，通过分布式的数据网关实现数据的接收与查询代理，该数据网关完全采用无状态设计模式，从而任何一台网关的异常都不会导致整个系统的异常；
分布式消息队列模块：分布式消息队列模块采用开源的kafka消息队列，由多个broker节点组成，通过分布式消息队列实现数据的发布与订阅功能，该消息队列必须满足高吞吐量、高可靠性和持久化能力，从而实现数据的可靠传输；
分布式实时流计算服务模块：基于分布式实时流处理框架storm，实现了消息订阅(Notify Bolt)、内存快照存储(Memstore Bolt)和持久化存储(Persistent Bolt)三个服务，通过实时流计算服务，对于上传的数据进行计算、变化订阅通知、内存快照存储与持久化存储，该框架必须满足动态可扩展，高可用和实时性，任何一台节点的宕机不会影响数据的处理，确保数据可以被流式框架中的所有数据处理任务执行，同时可以动态的在流计算服务中新增任务，满足对实时流处理的动态需求；
分布式缓存服务模块：基于Nosql数据库Redis进行设计，通过分布式缓存存储数据快照，也就是数据的最新值，确保数据的实时检索性能；
分布式存储服务模块：分布式存储服务是通过Nosql数据库HBase进行存储，通过分布式搜索引擎Solr实现数据的检索，分布式存储服务是用来做工业数据的持久化存储，其必须满足大容量、高可靠、高性能、数据副本安全、动态扩展和对基于其上的分布式计算框架的支持，是整个分布式实时数据库的核心。
分布式实时数据库的存储系统的存储流程如下：
1)系统初始化，分布式数据网关模块在分布式消息队列模块中创建数据存储TOPIC和数据变化订阅TOPIC，通过数据存储TOPIC实现数据的上传，通过数据变化订阅TOPIC接收数据变化，从而实现数据变化通知客户端的功能；
2)第三方数据采集客户端调用分布式实时数据库客户端SDK传输数据；
3)分布式数据网关的LB服务器接收到数据，将数据发送到负荷较小的数据网关节点，数据网关节点将数据发送到分布式消息队列中的数据存储TOPIC；
4)分布式流式计算服务Spout从数据存储TOPIC中接收到订阅消息，传送给NotifyBolt；
5)Notify Bolt判断数据是否变化以及该数据是否被客户端订阅，如果满足变化和被订阅的条件，将该数据通过数据变化订阅TOPIC发布出去，并同时将数据路由到Memstore Bolt；
6)分布式流式计算服务Memstore Bolt将数据发送到分布式缓存服务进行快照的存储，并同时将数据路由到Persistent Bolt；
7)分布式流式计算服务Persistent Bolt将数据发送到分布式存储服务进行数据的持久化存储；
8)分布式存储服务接收数据，一方面通过HBase的SEP处理器将数据传输到分布式搜索引擎Solr进行数据的异步索引，另一方面通过其HBase自身机制将数据序列化存储到Hadoop的hdfs系统中。
分布式实时数据库的存储系统的数据检索流程如下：
1)第三方服务通过SDK提交数据查询命令到分布式数据网关；
2)分布式数据网关根据查询类型进行分类查询，具体如下：
对于内存快照查询，其直接查询分布式缓存服务；
对于时间查询，直接通过hbase的行键查询；
对于按值查询，直接提交给solr查询
3)分布式网关返回查询结果。
分布式实时数据库的存储系统的存储流程特性分析：
高可靠性与动态扩展：整个系统采用纯分布式架构无单点故障，分布式数据网关采用Haproxy加多个数据节点的分布式部署方式，分布式消息队列基于分布式消息队列kafka，分布式流式计算框架采用Storm，分布式存储采用HBase，对应的数据索引采用Solr分布式搜索引擎，采用这种分布式架构系统可方便的进行节点动态扩展；
数据安全性：数据传输的安全性由kafka消息序列化机制和副本机制保证，数据处理的安全性由storm分布式框架的容错机制和数据被处理且仅被处理一次的机制保证，数据存储的安全性则由HBase的数据存储副本机制保证，整个系统从数据的传输、处理到最后存储均安全可靠；
多维度查询：采用HBase的行键索引和Solr索引相结合，可实现对于数值的多种复杂条件组合查询，例如正则表达式查询；
分布式计算的支持：对于实时计算我们采用了storm流式计算框架，仅仅需要在storm中增加对应的数据计算Bolt即可，对于并行分布式计算，由于我们采用了HBase+HDFS的存储方式，可方便的采用Spark分布式计算框架对历史数据进行计算分析；
高性能：分布式数据网关采用Netty的纯异步RPC通信框架，采用分布式的部署方式，可实现性能的任意扩展，所采用的消息队列服务、流式计算服务、分布式内存服务和分布式存储服务均具有高性能和弹性扩展的能力，整个系统的性能可通过增加节点数得到快速的提升；
分布式实时数据库的存储系统的存储结构设计：
工业数据主要是时序数据，数据通常是由点名tag、值、时间戳、数据质量四个部分组成，其在分布式缓存服务和分布式存储服务中存储结构分别如图2所示。
分布式缓存服务采用redis的hmset数据结构，存储tag点对应的数据项；
分布式存储服务采用HBase的无模式稀疏设计，将不同的tag点数据放在同一行，通过时间作为主键。
在一个优选的具体实施方式中，本发明采用：
四台X86服务器(命名为A、B、C、D)，且内存配置不低于64G，CPU推荐最低E2650。
部署分布式网关服务模块，LB服务器部署在A，网关服务器部署在B、C、D。
部署分布式消息队列服务模块，将kafka同时部署在A、B、C、D四台机器并完成集群的配置。
部署分布式流式计算服务模块，将storm nimbus部署在节点A，B、C、D分别部署Supervisor节点并完成集群的配置。
部署分布式缓存服务模块，将redis分别部署在节点A，B、C、D并完成集群的配置。
部署分布式存储服务模块，将HBase的master部署在节点A，节点B、C、D分别部署RegionServer，同时完成Hadoop环境的配置，将Hadoop的Namenode部署在节点A，节点B、C、D分别部署DataNode并完成集群的配置。
在一个能源云能耗数据存储平台的应用中：
(1)配置能源云数据采集网关，配置需要采集的点
(2)能源云数据采集网关从智能设备采集到数据，通过分布式实时数据库存储客户端SDK发送数据到分布式数据网关
(3)分布式数据网关将数据发送到分布式消息队列
(4)分布式流式数据处理服务从分布式消息队列里消费数据，依次通过NotifyBolt、Memstore Bolt和Persistent Bolt完成数据的变化通知、快照存储和持久化存储。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (3)

1.一种分布式实时数据库的存储系统，其特征在于，包括：
分布式数据网关模块：用于数据的接收与查询代理；
分布式消息队列模块：用于通过分布式消息队列实现数据的发布与订阅；
分布式实时流计算服务模块：用于基于storm实时流计算框架，实现消息订阅服务、内存快照存储服务以及持久化存储服务；
分布式缓存服务模块：用于通过分布式缓存存储数据快照；
分布式存储服务模块：通过Nosql数据库HBase进行分布式存储服务，通过分布式搜索引擎Solr实现数据的检索；
在数据存储过程中：
分布式数据网关模块在分布式消息队列模块中创建数据存储话题和数据变化订阅话题，通过数据存储话题实现数据的上传，通过数据变化订阅话题接收数据变化，从而在数据变化时通知分布式实时数据库的客户端；
第三方客户端调用分布式实时数据库的客户端传输数据；
分布式数据网关模块的负载均衡服务器接收到数据，将数据发送到负荷较小的数据网关，数据网关将数据发送到分布式消息队列中的数据存储话题；
分布式实时流计算服务模块从数据存储话题中接收到订阅消息，传送给消息订阅服务；
消息订阅服务在数据发生变化以及该数据被分布式实时数据库订阅时，将该数据通过数据变化订阅话题发布出去，并将数据路由到内存快照存储服务；
内存快照存储服务将数据发送到分布式缓存服务模块进行快照的存储，并将数据路由到持久化存储服务；
持久化存储将数据发送到分布式存储服务模块进行数据的持久化存储；
分布式存储服务模块接收数据，一方面将数据传输到分布式搜索引擎Solr进行数据的异步索引，另一方面将数据序列化存储到Hadoop的分布式文件系统中；
分布式数据网关模块中的分布式数据网关采用Haproxy和多个数据节点的分布式部署方式，分布式消息队列基于分布式消息队列Kafka；数据传输的安全性由Kafka消息序列化机制和副本机制保证，数据处理的安全性由storm分布式框架的容错机制和数据被处理且仅被处理一次的机制保证，数据存储的安全性则由HBase的数据存储副本机制保证；采用HBase的行键索引和Solr索引相结合；分布式数据网关采用Netty的纯异步RPC通信框架，采用分布式的部署方式。
2.根据权利要求1所述的分布式实时数据库的存储系统，其特征在于，在数据检索过程中：
第三方客户端通过分布式实时数据库的客户端提交数据查询命令到分布式数据网关模块；
分布式数据网关模块根据查询类型进行分类查询，具体的：对于内存快照查询，直接查询分布式缓存服务模块；对于时间查询，直接通过HBase的行键查询；对于按值查询，直接提交给Solr查询；
分布式数据网关模块返回查询结果。
3.根据权利要求1所述的分布式实时数据库的存储系统，其特征在于，在数据存储过程中：分布式缓存服务模块存储标签tag点对应的数据项；分布式存储服务模块将不同的标签tag点数据放在同一行，通过时间作为主键。
CN201610174008.9A 2016-03-24 2016-03-24 分布式实时数据库的存储系统 Active CN107229639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610174008.9A CN107229639B (zh) 2016-03-24 2016-03-24 分布式实时数据库的存储系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610174008.9A CN107229639B (zh) 2016-03-24 2016-03-24 分布式实时数据库的存储系统

Publications (2)

Publication Number Publication Date
CN107229639A CN107229639A (zh) 2017-10-03
CN107229639B true CN107229639B (zh) 2020-07-28

Family

ID=59932308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610174008.9A Active CN107229639B (zh) 2016-03-24 2016-03-24 分布式实时数据库的存储系统

Country Status (1)

Country Link
CN (1) CN107229639B (zh)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019085A (zh) * 2017-10-31 2019-07-16 上海宝信软件股份有限公司 一种基于HBase的分布式时序数据库
CN108123938A (zh) * 2017-12-14 2018-06-05 中盈优创资讯科技有限公司 一种aaa服务实现方法及系统
CN108154927A (zh) * 2017-12-21 2018-06-12 华子昂 一种智能中医机器人软件架构
CN108491277A (zh) * 2017-12-28 2018-09-04 华南师范大学 一种中小学生学习资源实时热点协同过滤及推荐的方法
CN108345635A (zh) * 2017-12-29 2018-07-31 广州品唯软件有限公司 一种高可用的账单系统及账单生成处理方法
CN108270860A (zh) * 2018-01-16 2018-07-10 宇星科技发展(深圳)有限公司 环境质量在线监测数据的采集系统及方法
CN108446399B (zh) * 2018-03-29 2021-07-30 重庆大学 一种结构化海量实时数据的动态存储优化方法
CN110647575B (zh) * 2018-06-08 2022-03-11 成都信息工程大学 基于分布式的异构处理框架构建方法及系统
CN109669925B (zh) * 2018-11-21 2021-03-02 北京市天元网络技术股份有限公司 非结构化数据的管理方法及装置
CN109412939B (zh) * 2018-12-11 2021-05-25 中冶京诚工程技术有限公司 记录工业网络通信周期过程数据的通信网关和工作方法
CN109815026A (zh) * 2018-12-18 2019-05-28 国电南京自动化股份有限公司 基于分布式组件的电力时序数据库
CN109753531A (zh) * 2018-12-26 2019-05-14 深圳市麦谷科技有限公司 一种大数据统计方法、系统、计算机设备及存储介质
CN109800252A (zh) * 2019-03-05 2019-05-24 深圳市国晨工程造价咨询有限公司 一种工程项目档案信息管理系统
CN110209651B (zh) * 2019-05-16 2023-06-09 南京华盾电力信息安全测评有限公司 基于MongoDB的时序数据库系统
CN110196885B (zh) * 2019-06-13 2021-02-02 东方电子股份有限公司 一种云化分布式实时数据库系统
CN110413599A (zh) * 2019-06-18 2019-11-05 上海展湾信息科技有限公司 数据实时处理与存储系统及方法
CN110688399A (zh) * 2019-08-26 2020-01-14 远光软件股份有限公司 一种流式计算实时报表系统及方法
CN110727722A (zh) * 2019-08-30 2020-01-24 安徽四创电子股份有限公司 一种海量并发性雷达数据存储方法
CN111309764B (zh) * 2019-12-18 2023-04-25 上海金融期货信息技术有限公司 一种高效低冗余客户端数据缓存装置
CN111309794A (zh) * 2020-01-17 2020-06-19 青梧桐有限责任公司 一种数据存储引擎
CN111225069B (zh) * 2020-03-13 2023-06-20 浙江书香荷马文化有限公司 一种分布式行情数据处理系统及方法
CN115087968A (zh) * 2020-03-24 2022-09-20 深圳市欢太科技有限公司 数据传输方法及装置
CN111427964B (zh) * 2020-04-15 2024-06-18 核新云科技(南京)有限公司 一种面向运行时间戳的工业云数据存储模型
CN111797094A (zh) * 2020-05-25 2020-10-20 北京旷视科技有限公司 数据处理方法、装置和电子设备
CN111782647A (zh) * 2020-05-29 2020-10-16 易联众信息技术股份有限公司 一种eos网络的区块数据存储方法、系统、介质及设备
CN111858588B (zh) * 2020-07-15 2024-05-10 中国建设银行股份有限公司 一种分布式应用索引服务平台及数据处理方法
CN112307270B (zh) * 2020-10-10 2022-11-29 苏州浪潮智能科技有限公司 一种图数据库中图计算方法及装置
CN112417033A (zh) * 2020-10-19 2021-02-26 中国科学院计算机网络信息中心 一种分布式图数据库多节点数据一致性实现方法和系统
CN112435022B (zh) * 2020-11-19 2023-09-22 上海领健信息技术有限公司 基于用户实时数据的动态检索系统、及方法
CN112783669A (zh) * 2021-01-06 2021-05-11 北京同有飞骥科技股份有限公司 分布式存储管理方法及系统
CN113079087B (zh) * 2021-03-31 2022-11-22 上海天旦网络科技发展有限公司 互联数据网关、基于互联数据网关的数据处理系统和方法
CN113486099A (zh) * 2021-06-23 2021-10-08 华泰证券股份有限公司 一种内存计算服务框架及实现系统
CN113407600B (zh) * 2021-08-18 2021-11-23 浩鲸云计算科技股份有限公司 一种动态实时同步多源大表数据的增强实时计算方法
CN114328468B (zh) * 2022-01-10 2024-07-12 安捷中科(北京)数据科技有限公司 时序实时数据库数据存储和处理的方法、系统及电子设备
CN115022392B (zh) * 2022-06-24 2024-04-30 浪潮软件集团有限公司 面向iot的分布式发布订阅服务方法和系统
CN115665191A (zh) * 2022-10-09 2023-01-31 浪潮云信息技术股份公司 基于云存储系统的用户信息同步方法及系统
CN116108240A (zh) * 2022-12-09 2023-05-12 北京火山引擎科技有限公司 一种基于数据湖的流式数据处理方法、装置、设备及介质
CN117193674B (zh) * 2023-11-08 2024-03-29 浪潮软件科技有限公司 一种提升物联网设备海量数据存取效能的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8601066B1 (en) * 1996-04-01 2013-12-03 Daniel L Marks Real time communications system
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统
CN104572976A (zh) * 2014-12-30 2015-04-29 广州唯品会信息科技有限公司 网站数据更新方法和系统
CN104579823A (zh) * 2014-12-12 2015-04-29 国家电网公司 一种基于大数据流的网络流量异常检测系统及方法
CN105426292A (zh) * 2015-10-29 2016-03-23 网易（杭州）网络有限公司 一种游戏日志实时处理系统及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101848236A (zh) * 2010-05-06 2010-09-29 北京邮电大学 具有分布式网络架构的实时数据分发系统及其工作方法
US20140129272A1 (en) * 2012-11-05 2014-05-08 Pacific Gas And Electric Company System and method for managing service restoration in a utility network
CN104539583B (zh) * 2014-12-05 2018-01-30 浙江浙大中控信息技术有限公司 一种实时数据库订阅系统及方法
CN105095421A (zh) * 2015-07-14 2015-11-25 南京国电南自美卓控制系统有限公司 一种实时数据库的分布式的存储方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8601066B1 (en) * 1996-04-01 2013-12-03 Daniel L Marks Real time communications system
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统
CN104579823A (zh) * 2014-12-12 2015-04-29 国家电网公司 一种基于大数据流的网络流量异常检测系统及方法
CN104572976A (zh) * 2014-12-30 2015-04-29 广州唯品会信息科技有限公司 网站数据更新方法和系统
CN105426292A (zh) * 2015-10-29 2016-03-23 网易（杭州）网络有限公司 一种游戏日志实时处理系统及方法

Also Published As

Publication number Publication date
CN107229639A (zh) 2017-10-03

Similar Documents

Publication Publication Date Title
CN107229639B (zh) 分布式实时数据库的存储系统
CN111327681A (zh) 一种基于Kubernetes的云计算数据平台构建方法
CN106850258A (zh) 一种日志管理系统、方法及装置
Siddiqui et al. Pseudo-cache-based IoT small files management framework in HDFS cluster
CN103399894A (zh) 一种基于共享存储池的分布式事务处理方法
CN103823846A (zh) 一种基于图论的大数据存储及查询方法
Gradvohl et al. Comparing distributed online stream processing systems considering fault tolerance issues
Gibadullin et al. Service-oriented distributed energy data management using big data technologies
CN117056303B (zh) 适用于军事行动大数据的数据存储方法及装置
Xun et al. Parallel spatial index algorithm based on Hilbert partition
Sangavi et al. An enhanced DACHE model for the MapReduce environment
Sanderson Global web archive integration with memento
Mitra et al. Alleviating resource requirements for spatial deep learning workloads
Chen et al. Big data storage architecture design in cloud computing
Krechowicz et al. Scalable distributed two-layer block based datastore
Wang et al. DistDL: A distributed deep learning service schema with GPU accelerating
Zhang et al. Big data storage technology suitable for the operation and maintenance of new generation power grid dispatching control system operation
Liao et al. An efficient storage architecture based on blockchain and distributed database for public security big data
Wu et al. The Fault Tolerance of Big Data Systems
Peng et al. Real-time analytics processing with MapReduce
Xia et al. Redundancy-free and load-balanced TGNN training with hierarchical pipeline parallelism
Gupta Big Data: New trend to handle big data
Liu et al. Architectural design of data stream-based big data real-time analysis system
Guo et al. Cloud Computing Platform Design and Machine Learning-Based Fault Location Method in Automatic Dispatching System of Smart Grid
Farhaoui Big data and NoSQL system for control system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant