CN109918450A - 基于分析类场景下的分布式并行数据库及存储方法 - Google Patents
基于分析类场景下的分布式并行数据库及存储方法 Download PDFInfo
- Publication number
- CN109918450A CN109918450A CN201910213512.9A CN201910213512A CN109918450A CN 109918450 A CN109918450 A CN 109918450A CN 201910213512 A CN201910213512 A CN 201910213512A CN 109918450 A CN109918450 A CN 109918450A
- Authority
- CN
- China
- Prior art keywords
- data
- distributed
- analysis classes
- distributed parallel
- back end
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000004458 analytical method Methods 0.000 title claims abstract description 37
- 239000012634 fragment Substances 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 8
- 238000007726 management method Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 6
- 238000013508 migration Methods 0.000 claims description 6
- 230000005012 migration Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 230000000737 periodic effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008676 import Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 14
- 230000008569 process Effects 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于分析类场景下的分布式并行数据库及存储方法，通过设计分布式部署方式，提高数据库并行处理性能；通过设计基于Infiniband网络，利用其高带宽、低延时特性，突破分布式并行处理数据库集群多节点海量数据分布式处理网络瓶颈，提高数据库数据处理性能；通过设计基于SSD存储的数据分层技术，提高元数据访问速度，提高数据库统计计算性能；通过设计宽表，将统计计算后的数据写入宽表，提高分析类场景查询性能。
Description
技术领域
本发明涉及一种分布式并行数据库及存储方法，特别是涉及一种基于分析类场景下的分布式并行数据库及存储方法。
背景技术
随着计算机技术的发展、自动化水平的提高，数据库技术得到不断的发展和广泛的应用，海量数据的快速加载及大规模并行计算对数据库性能提出了更高的要求，传统集中式数据库系统表现出不足。数据库技术已经普遍建立于网络之上，为加强数据库集群数据处理能力，提高响应速度，将数据就地存放本地存储，一个应用程序通过网络连接可以访问分布在不同地理位置的数据库，传统关系数据库发展成以计算机网络及多任务并行处理的分布式数据库，它们在逻辑上是一个统一的整体，物理上则是分别存储在不同的物理节点上。
分析域是公司全业务、全类型、全时间维度数据的汇集中心，为公司各类分析应用提供完备的数据资源、高效的分析计算能力及统一的运行环境。数据分析域是挖掘数据资源价值，提升企业数据应用水平的核心。数据仓库是分析域建设的核心，基于分析类场景给分布式数据库带来四个需求，一是需要接入公司全业务、全量数据，需要大容量存储和灵活的横向扩展；二是基于分析域建设的应用数量剧增，高并发需求迫切；三是分析应用由常规、专业分析转向深度、综合分析，多表关联查询需求将更加普遍；四是现有分析应用迁移需要全面考虑兼容性的问题。
发明内容
发明目的：本发明要解决的技术问题是提供一种基于分析类场景下的分布式并行数据库及存储方法，针对分析类场景下的应用需求，解决了分布式数据加载过程中的网络带宽瓶颈、数据存储中效率瓶颈及数据统计计算过程中的数据读取和元数据访问瓶颈等问题，通过优化网络及存储方式提高分布式并行处理数据库数据加载及统计计算性能，并通过设计使用宽表提高了分析类场景的数据查询性能。
技术方案：本发明所述的基于分析类场景下的分布式并行数据库，包括管理调度节点和数据节点，所述的数据节点存储数据时按照数据热度不同进行数据分开存储，将热数据存储在SSD中，冷数据存储在HDD中。
进一步的，所述的热数据包括元数据、索引数据和若干根据具体业务需求确定的表数据，所述冷数据为除上述包括热数据中的表数据之外的表数据。
进一步的，所述的数据节点定期统计所存储数据的数据热度，根据设定的热度值重新划分热数据和冷数据，将重新划分的数据在SSD和HDD之间进行数据迁移。
进一步的，所述的数据节点抽取存储数据进行统计计算，根据统计计算涉及的所有字段建立宽表，将统计计算后的数据按字段存入宽表。
进一步的，系统中所有节点之间使用Infiniband网络连接。
本发明所述的基于分析类场景下的分布式并行数据库存储方法，方法包括：
构建分布式并行处理数据库集群，设置若干个管理调度节点及数据节点；
设置分布规则，管理调度节点按照分布规则初始化分片并生成分片映射表；
将准备导入的源系统数据服务器上的数据抽取为文本格式文件，通过SQL方式加载到所述分布式并行数据库；
管理调度节点进行Hash计算，同时按照HashMap映射，确定加载数据存储的具体数据节点，向该数据节点发送加载文件指令，所述数据节点接受管理调度节点的加载文件指令，按照管理调度节点指定的文件偏移量读取数据服务器上的文件；
数据节点根据数据热度的不同进行存储位置的分配，将热数据存储在SSD中，冷数据存储在HDD中；
根据分析类场景要求，数据节点抽取存储数据进行统计计算，根据统计计算涉及的所有字段建立宽表，将统计计算后的数据按字段存入宽表。
进一步的，所述的分布规则包括随机分布规则、Hash分布规则和复制分布规则；
所述的随机分布规则为创建随机分布表时，使数据随机且均匀分布到数据集群所有分片上，并交由管理集群记录其分布等信息；
所述的Hash分布规则为在创建Hash分布表时，通过指定某列为Hash分布列，数据入库时，根据Hash分布列的数据值计算Hash值，以确定该数据的存储分片；
所述的复制分布规则为根据具体业务要求将维度表设置为复制表，复制表在每个节点上存储完整数据。
进一步的，方法还包括，数据节点定期统计所存储数据的数据热度，根据设定的热度值重新划分热数据和冷数据，将重新划分的数据在SSD和HDD之间进行数据迁移。
进一步的，所述的热数据包括元数据、索引数据和若干根据具体业务需求确定的表数据，所述冷数据为除上述包括热数据中的表数据之外的表数据。
有益效果：本系统能够解决数据加载过程中的网络瓶颈以及提高海量数据统计计算过程中I/O瓶颈和元数据访问性能，有如下特点：
1、适用于分布式并行处理数据库在信息化系统应用领域，特别是海量数据加载及统计计算的分析类场景；
2、适用于多种数据源数据的加载，支持FTP、HTTP、Hadoop等多种数据源；
3、提供网络优化技术，多节点同时加载，实现并行化处理，充分利用CPU及网络通信等计算机资源；
4、提供存储优化技术，采用高性能存储设备并优化元数据存储方式，提高I/O性能。
附图说明
图1是本发明方法的流程图；
图2是本发明分布式并行数据库示意图；
图3是系统扩展示意图；
图4是数据分片示意图；
图5是数据加载示意图；
图6是数据分开存储及迁移示意图。
具体实施方式
本实施例的分布式并行处理数据库采用联邦架构，采用多节点部署在不同服务器上构成数据库集群，按照功能将节点分为管理调度节点和数据节点，其中多个管理调度节点构成管理调度集群，多个数据节点构成存储计算集群。管理调度集群可以分为管理集群和调度集群，其中管理集群作为整个数据库系统的管理者，用于集群各节点间共享信息，负责数据存储分布方式，控制各节点状态、主备节点一致性状态。调度集群负责SQL解析、优化、分布式执行计划生成及执行调度，采用统一的访问接口将分布式并行数据库系统作为一个逻辑整体进行访问，同时调度集群作为数据的分发者和收集者，将请求分发到多个数据节点上并行处理，提高分布式数据接入和访问效率。本发明的数据节点分为存储和计算功能，负责根据管理节点制定的数据存储分布方式存储整个数据库系统的数据，并接收来自经调度集群分解的任务并进行相应计算，执行结果返回给应用程序。本发明中分布式并行处理数据库通过并行使用多个CPU和磁盘并行加载数据、执行查询等操作提高数据库系统性能，通过调度集群分发任务，多节点同时执行，每个节点有独立的存储和内存系统，业务分发到各个节点上，节点之间通过网络连接，作为整体提供数据库服务，对网络性能要求较高。为充分利用网络及CPU资源，节点可以按需独立扩展。
分布式并行处理数据库采用统一的访问接口，通过SQL方式实现高速数据加载，集群节点内部充分利用各节点上多核并行处理资源，通过高度资源利用率达到较高的加载性能。数据加载本质上是服务器节点间的数据传输，数据加载过程中，考虑到利用集群全体计算资源能力，将更多的节点参与到加载处理Hash散列计算和数据分发中。加载过程中，集群中各个节点从管理调度节点接受到各自加载文件段指令后，按照管理调度节点指定给它的文件偏移量读取文件，并进行散列计算，同时按照HashMap映射，将散列计算后的数据记录传发给对应的节点，进行数据拆分处理，将散列计算后的数据通过网络传输到对应的数据节点的主分片上，主分片上的数据通过网络传输到备份分片上进行备份，数据库集群达到一定规模后，集群处理数据的能力将远大于网络传输能力，导致集群加载数据达到瓶颈。同时，数据查询时，也将依赖数据节点间网络传输速度，传统网络已不能满足要求，需采用高带宽、低延时的Infiniband网络提高数据库集群的性能。Infiniband网络采用双队列程序提取技术，将数据从适配器直接送入到应用程序内存。传统网络中，来自网卡的数据首先需拷贝到核心内存，再拷贝到应用存储空间，或从应用存储空间将数据拷贝到核心内存，然后再经网卡发送到网络，这种操作方式需经过核心内存的转换，不仅增加了数据流传输路径长度，也降低了I/O访问速度，增加了CPU负担，占用了节点上的计算资源。采用Infiniband网络，将来自网卡的数据直接拷贝到应用空间，避免了核心内存的参与。在进行海量数据处理时可达到最大的吞吐量。
分布式并行处理数据库将数据进行分片处理后分布到各数据节点上，将超大数据表进行数据和索引分片存储，实现大规模数据存储，同同时能够发挥多节点并行计算的优势，提升数据查询分析性能，数据分片方法采用随机分布、Hash分布以及复制分布三种方式。为提高数据库系统的高可用，数据库集群将主分片备份到其他节点的备份分片上，形成冗余备份。若执行查询多个表操作，选取的执行节点为同一个节点时，将造成该节点资源消耗大，影响SQL操作整体效率，为保证高效利用资源，应将执行主节点分布到不同的数据节点上，实现负载均衡，达到执行效率最大化。
加载到分布式并行处理数据库中的数据按照数据热度的不同，采取数据分层存储方式，为提高数据统计计算效率，将数据库元数据、索引数据等数据量较小且需频繁访问的数据存放在SSD中，性能优先，表数据可以根据数据的冷热程度进行存储位置的合理分配，热数据存储在SSD中，冷数据存储在HDD中。实现数据分层，首先将具有不同访问性能的存储设备虚化成一个新的存储设备，所有用户的I/O请求发送给新的虚拟设备，然后按照一定的地址映射关系转发到相应的物理设备或SSD，同时统计I/O的热度，根据数据热度，动态的在不同的存储间迁移数据，达到性能和容量的优化。实现分层存储包括了存储设备虚拟化、I/O热度监测统计以及数据迁移三个方法。
源数据区数据库中数据加载到分布式并行处理数据库，需根据源数据表在分布式并行处理数据库中通过SQL建表语句建立相对应的表，抽取源数据库数据存储到分布式并行处理数据库明细区。为提高分析类场景查询性能，通过设计宽表，将明细数据经统计计算后不同业务逻辑的数据按字段存入宽表。
宽表是指字段较多的数据库表，通常指业务主体相关的指标、维度、属性关联在一起的一张数据表，大部分SQL慢都是由于表关联造成的，由于把不同内容都放在同一张表存储，宽表在数据分析中避免频繁的连接操作，是一种高效的数据存取方式。当一个查询只访问宽表中部分列时，无需读取整个数据块，最大限度减少了所读取的数据量，当少量的列被很多查询竞争访问时，根据分布式并行处理数据库主备分片设计，将执行主节点分布到不同数据节点上，进一步提高I/O性能。
对于宽表上的分析型负载，列存储可以有效减少不必要的I/O、提高数据压缩率。在对一行内的数据进行压缩，宽表能获得更高的压缩比，因为宽表中一行的数据量较大，往往存在更多相似的二进制字节，有利于提高压缩比，通过压缩，缓解了宽表一行数据量太大并导致分片大小不均匀的问题。
本实施例的系统针对分析类场景的需求优化了分布式并行数据库，数据分布式存储能够有效的解决存储容量及计算能力低的问题，并且能够提高并行处理效率，方便扩容。通过设计基于Infiniband网络，利用其高带宽、低延时特性，解决了传统网络带宽低、延时高、系统扩展性差的缺陷，突破分布式并行处理数据库集群多节点海量数据分布式处理网络瓶颈，提高数据库数据处理性能；通过设计基于SSD和HDD存储的数据分层技术，提高元数据访问速度，解决了磁盘读写性能低、系统访问延迟等缺陷，提高数据库统计计算性能；通过设计宽表，将统计计算后的数据写入宽表，提高分析类场景查询性能。
本实施例还提供一种存储方法，方法的总体流程图如图1所示。图中左边为源业务系统数据服务器，右边为分布式并行处理数据库。数据源以FTP为例，首先初始化分布式并行处理数据库并清空目标表，然后将源业务系统中数据抽取为文本文件格式，通过批处理服务加载到数据库明细区并对加载的数据进行统计计算。数据加载过程中由采用Infiniband高性能网络加载到分布式并行数据库，为实现快速统计计算，采用基于SSD存储的数据分层技术，设计宽表，统计计算数据写入宽表，提高分析类场景查询效率。具体步骤如下：
步骤1：实施例的分布式并行数据库如图2所示，将不同数据源数据加载到分布式并行数据库，首先将源业务系统中数据通过数据导出工具导出到数据服务器，例如数据服务器有两台，分别如图2中数据服务器1、数据服务器2；
步骤2：构建分布式并行处理数据库集群，分别设置管理调度节点及数据节点，例如附图2中有一个管理调度节点及4个数据节点，为充分利用网络及CPU资源，节点可以按需独立扩展，如图3所示；
步骤3：初始化分布式并行处理数据库设置分布规则，通过管理调度节点初始化分片并生成分片映射表，采用负载均衡，将超大的数据表进行数据和索引分片存储，如附图4，数据表T分为12个分片，分别存储于4个数据节点中。为保证数据库高可用，设置备份分片；
步骤4：通过SQL方式高速加载数据，如附图5所示，加载过程中，集群中各个节点从管理调度节点接受到各自加载文件段指令后，按照管理调度节点指定给它的文件偏移量读取文件，并进行散列计算，同时按照HashMap映射，将散列计算后的数据记录传发给对应的节点，进行数据拆分处理，节点间通过高性能的Infiniband网络传输数据；
步骤5：加载到分布式并行处理数据库中的数据按照数据热度的不同，采取数据分层存储方式，将数据库元数据、索引数据等数据量较小且需频繁访问的数据存放在SSD中，性能优先，表数据可以根据数据的冷热程度进行存储位置的合理分配，热数据存储在SSD中，冷数据存储在HDD中。实现分层存储包括存储设备虚拟化、IO热度监测统计以及数据迁移三个步骤，流程如附图6所示；
步骤6：根据分析类场景要求，从分布式并行处理数据库中抽取数据进行统计计算，并将计算结果写入宽表，提高分析类场景查询性能。
Claims (10)
1.一种基于分析类场景下的分布式并行数据库，包括管理调度节点和数据节点，其特征在于：所述的数据节点存储数据时将热数据存储在SSD中，冷数据存储在HDD中。
2.根据权利要求1所述的基于分析类场景下的分布式并行数据库，其特征在于：所述的热数据包括元数据、索引数据和若干根据具体业务需求确定的表数据，所述冷数据为除上述包括热数据中的表数据之外的表数据。
3.根据权利要求1所述的基于分析类场景下的分布式并行数据库，其特征在于：所述的数据节点定期统计所存储数据的数据热度，根据设定的热度值重新划分热数据和冷数据，将重新划分的数据在SSD和HDD之间进行数据迁移。
4.根据权利要求1所述的基于分析类场景下的分布式并行数据库，其特征在于：所述的数据节点抽取存储数据进行统计计算，根据统计计算涉及的所有字段建立宽表，将统计计算后的数据按字段存入宽表。
5.根据权利要求1所述的基于分析类场景下的分布式并行数据库，其特征在于：所有节点之间使用Infiniband网络连接。
6.一种基于分析类场景下的分布式并行数据库存储方法，其特征在于，方法包括：
管理调度节点按照分布规则初始化分片并生成分片映射表；
管理调度节点通过SQL方式将文本格式文件加载到所述分布式并行数据库，所述文本格式文件由用户从准备导入的源系统数据服务器上的数据抽取得到；
管理调度节点进行Hash计算，同时按照HashMap映射，确定加载数据存储的具体数据节点，向该数据节点发送加载文件指令，所述数据节点接受管理调度节点的加载文件指令，按照管理调度节点指定的文件偏移量读取数据服务器上的文件；
数据节点将热数据存储在SSD中，冷数据存储在HDD中。
7.根据权利要求6所述的基于分析类场景下的分布式并行数据库存储方法，其特征在于，所述的分布规则包括随机分布规则、Hash分布规则和复制分布规则；
所述的随机分布规则为创建随机分布表时，使数据随机且均匀分布到数据集群所有分片上，管理集群记录分布信息；
所述的Hash分布规则为在创建Hash分布表时，通过指定某列为Hash分布列，数据入库时，根据Hash分布列的数据值计算Hash值，以确定该数据的存储分片；
所述的复制分布规则为根据具体业务要求将维度表设置为复制表，复制表在每个节点上存储完整数据。
8.根据权利要求6所述的基于分析类场景下的分布式并行数据库存储方法，其特征在于还包括：数据节点定期统计所存储数据的数据热度，根据设定的热度值重新划分热数据和冷数据，将重新划分的数据在SSD和HDD之间进行数据迁移。
9.根据权利要求6所述的基于分析类场景下的分布式并行数据库存储方法，其特征在于：所述的热数据包括元数据、索引数据和若干根据具体业务需求确定的表数据，所述冷数据为除上述包括热数据中的表数据之外的表数据。
10.根据权利要求6所述的基于分析类场景下的分布式并行数据库存储方法，其特征在于，方法还包括：根据分析类场景要求，数据节点抽取存储数据进行统计计算，根据统计计算涉及的所有字段建立宽表，将统计计算后的数据按字段存入宽表。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910213512.9A CN109918450B (zh) | 2019-03-20 | 2019-03-20 | 基于分析类场景下的分布式并行数据库及存储方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910213512.9A CN109918450B (zh) | 2019-03-20 | 2019-03-20 | 基于分析类场景下的分布式并行数据库及存储方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109918450A true CN109918450A (zh) | 2019-06-21 |
| CN109918450B CN109918450B (zh) | 2024-01-09 |
Family
ID=66965946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910213512.9A Active CN109918450B (zh) | 2019-03-20 | 2019-03-20 | 基于分析类场景下的分布式并行数据库及存储方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109918450B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110888919A (zh) * | 2019-12-04 | 2020-03-17 | 阳光电源股份有限公司 | 基于HBase的对大数据统计分析的方法及装置 |
| CN112182028A (zh) * | 2020-09-29 | 2021-01-05 | 北京人大金仓信息技术股份有限公司 | 基于分布式数据库的表的数据行数查询方法和装置 |
| CN112395372A (zh) * | 2020-12-10 | 2021-02-23 | 四川长虹电器股份有限公司 | 基于关系型数据库系统二维表的快速统计方法 |
| CN112486860A (zh) * | 2019-09-11 | 2021-03-12 | 伊姆西Ip控股有限责任公司 | 管理存储系统的地址映射的方法、设备和计算机程序产品 |
| CN115357629A (zh) * | 2022-10-20 | 2022-11-18 | 成都宽邦科技有限公司 | 用于金融数据流的处理方法、系统、电子装置及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105491149A (zh) * | 2015-12-26 | 2016-04-13 | 深圳市金立通信设备有限公司 | 一种数据存储方法及终端 |
| CN105653524A (zh) * | 2014-11-10 | 2016-06-08 | 阿里巴巴集团控股有限公司 | 一种数据存储方法、装置和系统 |
| CN106709048A (zh) * | 2017-01-05 | 2017-05-24 | 无锡江南计算技术研究所 | 一种面向高性能计算的分布式数据组织方法 |
| CN107329982A (zh) * | 2017-06-01 | 2017-11-07 | 华南理工大学 | 一种基于分布式列式存储的大数据并行计算方法及系统 |
| CN108268217A (zh) * | 2018-01-10 | 2018-07-10 | 北京航天云路有限公司 | 一种基于时序数据冷热分类的分层存储方法 |
| US20180314720A1 (en) * | 2017-04-27 | 2018-11-01 | Microsoft Technology Licensing, Llc | Database selection in distributed computing systems |
-
2019
- 2019-03-20 CN CN201910213512.9A patent/CN109918450B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105653524A (zh) * | 2014-11-10 | 2016-06-08 | 阿里巴巴集团控股有限公司 | 一种数据存储方法、装置和系统 |
| CN105491149A (zh) * | 2015-12-26 | 2016-04-13 | 深圳市金立通信设备有限公司 | 一种数据存储方法及终端 |
| CN106709048A (zh) * | 2017-01-05 | 2017-05-24 | 无锡江南计算技术研究所 | 一种面向高性能计算的分布式数据组织方法 |
| US20180314720A1 (en) * | 2017-04-27 | 2018-11-01 | Microsoft Technology Licensing, Llc | Database selection in distributed computing systems |
| CN107329982A (zh) * | 2017-06-01 | 2017-11-07 | 华南理工大学 | 一种基于分布式列式存储的大数据并行计算方法及系统 |
| CN108268217A (zh) * | 2018-01-10 | 2018-07-10 | 北京航天云路有限公司 | 一种基于时序数据冷热分类的分层存储方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112486860A (zh) * | 2019-09-11 | 2021-03-12 | 伊姆西Ip控股有限责任公司 | 管理存储系统的地址映射的方法、设备和计算机程序产品 |
| CN110888919A (zh) * | 2019-12-04 | 2020-03-17 | 阳光电源股份有限公司 | 基于HBase的对大数据统计分析的方法及装置 |
| CN112182028A (zh) * | 2020-09-29 | 2021-01-05 | 北京人大金仓信息技术股份有限公司 | 基于分布式数据库的表的数据行数查询方法和装置 |
| CN112395372A (zh) * | 2020-12-10 | 2021-02-23 | 四川长虹电器股份有限公司 | 基于关系型数据库系统二维表的快速统计方法 |
| CN115357629A (zh) * | 2022-10-20 | 2022-11-18 | 成都宽邦科技有限公司 | 用于金融数据流的处理方法、系统、电子装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109918450B (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bakshi | Considerations for big data: Architecture and approach | |
| Gessert et al. | NoSQL database systems: a survey and decision guidance | |
| CN109918450A (zh) | 基于分析类场景下的分布式并行数据库及存储方法 | |
| US9767131B2 (en) | Hierarchical tablespace space management | |
| JP5765416B2 (ja) | 分散ストレージシステムおよび方法 | |
| US20170083573A1 (en) | Multi-query optimization | |
| CN107329982A (zh) | 一种基于分布式列式存储的大数据并行计算方法及系统 | |
| US20120072656A1 (en) | Multi-tier caching | |
| JP2005196602A (ja) | 無共有型データベース管理システムにおけるシステム構成変更方法 | |
| US20150212741A1 (en) | Apparatus for in-memory data management and method for in-memory data management | |
| CN110196851A (zh) | 一种数据存储方法、装置、设备及存储介质 | |
| US12007998B2 (en) | Caching for disk based hybrid transactional analytical processing system | |
| CN111708894B (zh) | 一种知识图谱创建方法 | |
| Lu et al. | TridentKV: A read-optimized LSM-tree based KV store via adaptive indexing and space-efficient partitioning | |
| Chai et al. | Adaptive lower-level driven compaction to optimize LSM-tree key-value stores | |
| Lan et al. | A lightweight time series main-memory database for IoT real-time services | |
| Yuan et al. | Rubato DB: A highly scalable staged grid database system for OLTP and big data applications | |
| Xu et al. | Banian: a cross-platform interactive query system for structured big data | |
| Ghosh et al. | Popular is cheaper: Curtailing memory costs in interactive analytics engines | |
| US20220382758A1 (en) | Query processing for disk based hybrid transactional analytical processing system | |
| CN107924399B (zh) | 处理对主机而言数据传输量不明的检索请求的检索处理系统和方法 | |
| Li et al. | Financial big data hot and cold separation scheme based on hbase and redis | |
| Su et al. | MERP: A Multi-index Evaluation Replication Placement Strategy for Cloud Storage Cluster | |
| CN110569310A (zh) | 一种云计算环境下的关系大数据的管理方法 | |
| Huang et al. | An adaptive eviction framework for anti-caching based in-memory databases |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: No. 19 Chengxin Avenue, Moling Street, Jiangning District, Nanjing City, Jiangsu Province, 211106 Patentee after: Nanjing Nanrui Ruizhong Data Co.,Ltd. Country or region after: Zhong Guo Patentee after: NARI Group Corp. Country or region after: China Patentee after: STATE GRID CORPORATION OF CHINA Patentee after: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. Address before: 210003 No. 180 Software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province Patentee before: CHINA REALTIME DATABASE Co.,Ltd. Country or region before: Zhong Guo Patentee before: NARI Group Corp. Country or region before: China Patentee before: STATE GRID CORPORATION OF CHINA Patentee before: STATE GRID JIANGSU ELECTRIC POWER Co.,Ltd. |
|
| CP03 | Change of name, title or address |