CN106528847A - 一种海量数据的多维度处理方法及系统 - Google Patents

一种海量数据的多维度处理方法及系统 Download PDF

Info

Publication number
CN106528847A
CN106528847A CN201611052099.5A CN201611052099A CN106528847A CN 106528847 A CN106528847 A CN 106528847A CN 201611052099 A CN201611052099 A CN 201611052099A CN 106528847 A CN106528847 A CN 106528847A
Authority
CN
China
Prior art keywords
data
module
index
redis
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611052099.5A
Other languages
English (en)
Inventor
范卫卫
张翼
温宗臣
何良均
严亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Original Assignee
BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd filed Critical BEIJING GEO POLYMERIZATION TECHNOLOGY Co Ltd
Priority to CN201611052099.5A priority Critical patent/CN106528847A/zh
Publication of CN106528847A publication Critical patent/CN106528847A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种海量数据的多维度处理方法，其能够在分钟级别内得到最新业务数据的分析结果，可以实时反映业务变化。该方法包括以下步骤：(1)实时数据接收：通过kafka接入原始数据；(2)实时数据处理：通过storm实时处理原始数据，生成聚合数据后，聚合数据的索引保存到redis，聚合数据本身保存到Hbase；(3)数据索引：读取redis中的索引数据，提供基于内存的高效检索功能；(4)历史数据处理：根据redis中的索引数据，定位读取Hbase数据；(5)查询：根据用户需求对海量数据进行查询。还有海量数据的多维度处理系统。

Description

一种海量数据的多维度处理方法及系统
技术领域
本发明涉及大数据处理的技术领域，尤其涉及一种海量数据的多维度处理方法，以及海量数据的多维度处理系统。
背景技术
长久以来,软件系统被划分为两类:OLTP和OLAP。OLTP称为事务系统,主要处理业务数据,关注点是如何高效的增加或查询业务数据。OLAP称为分析系统,主要是对数据的分析,关注点在于海量数据的多维度分析。
随着互联网的发展,特别是移动互联网的爆发后,越来越多的数据被产生，数据产生的也越来越快,如何能高效的分析海量数据就成为了迫切的需求。
现有方式:通过定时ETL过程,从OLTP系统中抽取原始业务数据,经过预定义的多重处理,把结果在保存下,以供OLAP系统使用。
受限于原始业务数据的数据量,以及要避免影响OLTP系统的性能,常见场景是在晚间进行ETL抽取工作。
这种做法明显的缺点就是数据延迟问题。因为业务数据要当天晚间才会被抽取处理,分析系统的结果就会滞后。一天的滞后期在当前的互联网环境下,是完全不能接受的。
发明内容
为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种海量数据的多维度处理方法，其能够在分钟级别内得到最新业务数据的分析结果，可以实时反映业务变化。
本发明的技术方案是：这种海量数据的多维度处理方法，该方法包括以下步骤：
(1)实时数据接收：通过kafka接入原始数据；
(2)实时数据处理：通过storm实时处理原始数据，生成聚合数据后，聚合数据的索引保存到redis，聚合数据本身保存到Hbase；
(3)数据索引：读取redis中的索引数据，提供基于内存的高效检索功能；
(4)历史数据处理：根据redis中的索引数据，定位读取Hbase数据；
(5)查询：根据用户需求对海量数据进行查询。
本发明通过kafka接入原始数据，通过storm实时处理原始数据，生成聚合数据后，聚合数据的索引保存到redis，聚合数据本身保存到Hbase，读取redis中的索引数据，提供基于内存的高效检索功能，根据redis中的索引数据，定位读取Hbase数据，根据用户需求对海量数据进行查询，从而能够在分钟级别内得到最新业务数据的分析结果，可以实时反映业务变化。
还提供了一种海量数据的多维度处理系统，该系统包括：
实时数据接收模块，其配置来实时地、连续地采集原始数据；
实时数据处理模块，其配置来通过storm实时处理原始数据，生成聚合数据后，聚合数据的索引保存到redis，聚合数据本身保存到Hbase；
数据索引模块，其配置来读取redis中的索引数据，提供基于内存的高效检索功能；
历史数据处理模块，其配置来根据redis中的索引数据，定位读取Hbase数据；
查询模块，其配置来根据用户需求对海量数据进行查询。
附图说明
图1所示为根据本发明的海量数据的多维度处理方法的流程图。
图2所示为根据本发明的海量数据的多维度处理系统的结构示意图。
具体实施方式
如图1所示，这种海量数据的多维度处理方法，该方法包括以下步骤：
(1)实时数据接收：通过kafka接入原始数据；
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览，搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。
(2)实时数据处理：通过storm实时处理原始数据，生成聚合数据后，聚合数据的索引保存到redis，聚合数据本身保存到Hbase；
storm是一个开源的分布式实时计算系统，可以简单、可靠的处理大量的数据流。而且支持水平扩展，具有高容错性，保证每个消息都会得到处理。storm的部署和运维都很便捷，更为重要的是可以使用任意编程语言来开发应用。
redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set--有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。
HBase–Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
(3)数据索引：读取redis中的索引数据，提供基于内存的高效检索功能；
(4)历史数据处理：根据redis中的索引数据，定位读取Hbase数据；
(5)查询：根据用户需求对海量数据进行查询。
本发明通过kafka接入原始数据，通过storm实时处理原始数据，生成聚合数据后，聚合数据的索引保存到redis，聚合数据本身保存到Hbase，读取redis中的索引数据，提供基于内存的高效检索功能，根据redis中的索引数据，定位读取Hbase数据，根据用户需求对海量数据进行查询，从而能够在分钟级别内得到最新业务数据的分析结果，可以实时反映业务变化。
另外，所述步骤(5)中通过rest的通用查询接口进行查询。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：ROM/RAM、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种海量数据的多维度处理系统，该系统通常以与方法各步骤相对应的功能模块的形式表示。使用该方法的系统，该系统包括：
实时数据接收模块，其配置来实时地、连续地采集原始数据；
实时数据处理模块，其配置来通过storm实时处理原始数据，生成聚合数据后，聚合数据的索引保存到redis，聚合数据本身保存到Hbase；
数据索引模块，其配置来读取redis中的索引数据，提供基于内存的高效检索功能；
历史数据处理模块，其配置来根据redis中的索引数据，定位读取Hbase数据；
查询模块，其配置来根据用户需求对海量数据进行查询。
另外，所述实时数据处理模块中，根据实时数据接收模块收集到的数据，根据预定义的聚合周期、纬度字段、指标字段，通过在内存中进行实时计算，完成从原始数据到维度数据的转换，得到某时间段内对应维度下的各项计算指标.处理后生成的维度数据，以时间段为单位保存为一个个数据块，这些数据块的信息发送给数据索引模块；经过一定时间后，数据块内容发送到历史数据处理模块。
另外，所述历史数据处理模块，接收实时数据处理模块发送的数据块，把数据块保存到离线数据中；根据查询需要读取离线数据。
另外，所述数据索引模块接收实时数据处理模块和历史数据处理模块上报的数据块信息，建立索引。
另外，所述查询模块接收外部的查询请求,返回结果数据。
另外，所述查询模块中，通过rest的通用查询接口进行查询。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。

Claims (8)

1.一种海量数据的多维度处理方法，其特征在于：该方法包括以下步骤：
(1)实时数据接收：通过kafka接入原始数据；
(2)实时数据处理：通过storm实时处理原始数据，生成聚合数据后，聚合数据的索引保存到redis，聚合数据本身保存到Hbase；
(3)数据索引：读取redis中的索引数据，提供基于内存的高效检索功能；
(4)历史数据处理：根据redis中的索引数据，定位读取Hbase数据；
(5)查询：根据用户需求对海量数据进行查询。
2.根据权利要求1所述的海量数据的多维度处理方法，其特征在于：所述步骤(5)中通过rest的通用查询接口进行查询。
3.一种海量数据的多维度处理系统，其特征在于：该系统包括：
实时数据接收模块，其配置来实时地、连续地采集原始数据；
实时数据处理模块，其配置来通过storm实时处理原始数据，生成聚合数据后，聚合数据的索引保存到redis，聚合数据本身保存到Hbase；
数据索引模块，其配置来读取redis中的索引数据，提供基于内存的高效检索功能；
历史数据处理模块，其配置来根据redis中的索引数据，定位读取Hbase数据；
查询模块，其配置来根据用户需求对海量数据进行查询。
4.根据权利要求3所述的海量数据的多维度处理系统，其特征在于：所述实时数据处理模块中，根据实时数据接收模块收集到的数据，根据预定义的聚合周期、纬度字段、指标字段，通过在内存中进行实时计算，完成从原始数据到维度数据的转换，得到某时间段内对应维度下的各项计算指标.处理后生成的维度数据，以时间段为单位保存为一个个数据块，这些数据块的信息发送给数据索引模块；经过一定时间后，数据块内容发送到历史数据处理模块。
5.根据权利要求4所述的海量数据的多维度处理系统，其特征在于：所述历史数据处理模块，接收实时数据处理模块发送的数据块，把数据块保存到离线数据中；根据查询需要读取离线数据。
6.根据权利要求5所述的海量数据的多维度处理系统，其特征在于：所述数据索引模块接收实时数据处理模块和历史数据处理模块上报的数据块信息，建立索引。
7.根据权利要求6所述的海量数据的多维度处理系统，其特征在于：所述查询模块接收外部的查询请求,返回结果数据。
8.根据权利要求6所述的海量数据的多维度处理系统，其特征在于：所述查询模块中，通过rest的通用查询接口进行查询。
CN201611052099.5A 2016-11-24 2016-11-24 一种海量数据的多维度处理方法及系统 Pending CN106528847A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611052099.5A CN106528847A (zh) 2016-11-24 2016-11-24 一种海量数据的多维度处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611052099.5A CN106528847A (zh) 2016-11-24 2016-11-24 一种海量数据的多维度处理方法及系统

Publications (1)

Publication Number Publication Date
CN106528847A true CN106528847A (zh) 2017-03-22

Family

ID=58357101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611052099.5A Pending CN106528847A (zh) 2016-11-24 2016-11-24 一种海量数据的多维度处理方法及系统

Country Status (1)

Country Link
CN (1) CN106528847A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193909A (zh) * 2017-05-08 2017-09-22 杭州东方通信软件技术有限公司 数据处理方法及系统
CN107341230A (zh) * 2017-07-03 2017-11-10 北京奇虎科技有限公司 异构数据库的数据同步方法及装置
CN107592351A (zh) * 2017-09-06 2018-01-16 北京锐安科技有限公司 一种基于Redis的多用户发布订阅方法及系统
CN108038085A (zh) * 2017-12-27 2018-05-15 世纪龙信息网络有限责任公司 实时任务的数据校准方法及装置
CN108052661A (zh) * 2017-12-27 2018-05-18 广州品唯软件有限公司 分布式环境下的聚合检索的方法、装置及可读存储介质
CN108959442A (zh) * 2018-06-13 2018-12-07 福建天晴数码有限公司 基于预定义计算规则的流式实时计算方法、存储介质
CN109471856A (zh) * 2018-09-17 2019-03-15 中新网络信息安全股份有限公司 一种基于Hbase协处理器的大数据实时索引方法
CN109656958A (zh) * 2018-12-18 2019-04-19 北京小米移动软件有限公司 数据查询方法以及系统
CN110502510A (zh) * 2019-08-28 2019-11-26 南威软件股份有限公司 一种wifi终端设备轨迹数据的实时分析和去重方法及系统
CN110597894A (zh) * 2019-08-26 2019-12-20 重庆华医康道科技有限公司 一种组织机构数据实时查询系统
CN111061758A (zh) * 2018-10-16 2020-04-24 杭州海康威视数字技术股份有限公司 数据存储方法、装置及存储介质
CN111813871A (zh) * 2020-06-30 2020-10-23 北京九章云极科技有限公司 一种数据实时处理系统及方法
CN112905566A (zh) * 2021-03-18 2021-06-04 苏州科达科技股份有限公司 数据处理方法、装置及电子设备
CN113392130A (zh) * 2020-03-13 2021-09-14 阿里巴巴集团控股有限公司 数据处理方法、装置及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425772A (zh) * 2013-08-13 2013-12-04 东北大学 一种具有多维信息的海量数据查询方法
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统
CN104618343A (zh) * 2015-01-06 2015-05-13 中国科学院信息工程研究所 一种基于实时日志的网站威胁检测的方法及系统
CN104944240A (zh) * 2015-05-19 2015-09-30 重庆大学 一种基于大数据技术的电梯设备的状态监测系统
CN105468720A (zh) * 2015-11-20 2016-04-06 北京锐安科技有限公司 集成分布式数据处理系统的方法、相应系统及其数据处理方法
CN105574643A (zh) * 2015-11-23 2016-05-11 江苏瑞中数据股份有限公司 一种电网实时数据中心与大数据平台融合方法
CN105681397A (zh) * 2015-12-30 2016-06-15 曙光信息产业(北京)有限公司 一种网络流量数据存储方法及系统、查询方法及装置
CN105678398A (zh) * 2015-12-24 2016-06-15 国家电网公司 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统
CN105681303A (zh) * 2016-01-15 2016-06-15 中国科学院计算机网络信息中心 一种大数据驱动的网络安全态势监测及可视化方法
CN105681768A (zh) * 2016-03-29 2016-06-15 浪潮通信信息系统有限公司 一种通过通信数据实现人流实时监控的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425772A (zh) * 2013-08-13 2013-12-04 东北大学 一种具有多维信息的海量数据查询方法
CN104036025A (zh) * 2014-06-27 2014-09-10 蓝盾信息安全技术有限公司 一种基于分布式的海量日志采集系统
CN104618343A (zh) * 2015-01-06 2015-05-13 中国科学院信息工程研究所 一种基于实时日志的网站威胁检测的方法及系统
CN104944240A (zh) * 2015-05-19 2015-09-30 重庆大学 一种基于大数据技术的电梯设备的状态监测系统
CN105468720A (zh) * 2015-11-20 2016-04-06 北京锐安科技有限公司 集成分布式数据处理系统的方法、相应系统及其数据处理方法
CN105574643A (zh) * 2015-11-23 2016-05-11 江苏瑞中数据股份有限公司 一种电网实时数据中心与大数据平台融合方法
CN105678398A (zh) * 2015-12-24 2016-06-15 国家电网公司 基于大数据技术的电力负荷预测方法及基于该方法的研究应用系统
CN105681397A (zh) * 2015-12-30 2016-06-15 曙光信息产业(北京)有限公司 一种网络流量数据存储方法及系统、查询方法及装置
CN105681303A (zh) * 2016-01-15 2016-06-15 中国科学院计算机网络信息中心 一种大数据驱动的网络安全态势监测及可视化方法
CN105681768A (zh) * 2016-03-29 2016-06-15 浪潮通信信息系统有限公司 一种通过通信数据实现人流实时监控的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘高军等: "基于Redis的海量小文件分布式存储方法研究", 《计算机工程与科学》 *
崔丹等: "基于Redis实现HBase二级索引的方法", 《软件》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107193909A (zh) * 2017-05-08 2017-09-22 杭州东方通信软件技术有限公司 数据处理方法及系统
CN107341230A (zh) * 2017-07-03 2017-11-10 北京奇虎科技有限公司 异构数据库的数据同步方法及装置
CN107592351A (zh) * 2017-09-06 2018-01-16 北京锐安科技有限公司 一种基于Redis的多用户发布订阅方法及系统
CN107592351B (zh) * 2017-09-06 2021-01-12 北京锐安科技有限公司 一种基于Redis的多用户发布订阅方法及系统
CN108052661A (zh) * 2017-12-27 2018-05-18 广州品唯软件有限公司 分布式环境下的聚合检索的方法、装置及可读存储介质
CN108038085A (zh) * 2017-12-27 2018-05-15 世纪龙信息网络有限责任公司 实时任务的数据校准方法及装置
CN108959442A (zh) * 2018-06-13 2018-12-07 福建天晴数码有限公司 基于预定义计算规则的流式实时计算方法、存储介质
CN109471856A (zh) * 2018-09-17 2019-03-15 中新网络信息安全股份有限公司 一种基于Hbase协处理器的大数据实时索引方法
CN111061758A (zh) * 2018-10-16 2020-04-24 杭州海康威视数字技术股份有限公司 数据存储方法、装置及存储介质
CN111061758B (zh) * 2018-10-16 2023-10-20 杭州海康威视数字技术股份有限公司 数据存储方法、装置及存储介质
CN109656958A (zh) * 2018-12-18 2019-04-19 北京小米移动软件有限公司 数据查询方法以及系统
CN109656958B (zh) * 2018-12-18 2021-11-16 北京小米移动软件有限公司 数据查询方法以及系统
CN110597894B (zh) * 2019-08-26 2022-03-04 重庆华医康道科技有限公司 一种组织机构数据实时查询系统
CN110597894A (zh) * 2019-08-26 2019-12-20 重庆华医康道科技有限公司 一种组织机构数据实时查询系统
CN110502510A (zh) * 2019-08-28 2019-11-26 南威软件股份有限公司 一种wifi终端设备轨迹数据的实时分析和去重方法及系统
CN110502510B (zh) * 2019-08-28 2022-08-09 南威软件股份有限公司 一种wifi终端设备轨迹数据的实时分析和去重方法及系统
CN113392130A (zh) * 2020-03-13 2021-09-14 阿里巴巴集团控股有限公司 数据处理方法、装置及设备
CN111813871A (zh) * 2020-06-30 2020-10-23 北京九章云极科技有限公司 一种数据实时处理系统及方法
CN112905566A (zh) * 2021-03-18 2021-06-04 苏州科达科技股份有限公司 数据处理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN106528847A (zh) 一种海量数据的多维度处理方法及系统
CN108874971B (zh) 一种应用于海量标签化实体数据存储的工具和方法
CN105183735B (zh) 数据的查询方法及查询装置
Johanson et al. Big automotive data: Leveraging large volumes of data for knowledge-driven product development
JP6388655B2 (ja) 選択性用データビットインターリーブによるリレーショナルデータベースのマルチカラムインデックスの生成
Padgavankar et al. Big data storage and challenges
CN106528787B (zh) 一种基于海量数据多维分析的查询方法及装置
CN103544261B (zh) 一种海量结构化日志数据全局索引管理方法及装置
US20140358845A1 (en) Data warehouse compatibility
CN107391502B (zh) 时间间隔的数据查询方法、装置及索引构建方法、装置
CN103268336A (zh) 一种快数据和大数据结合的数据处理方法及其系统
CN103838867A (zh) 日志处理方法和装置
CN110990726A (zh) 时空大数据智能服务系统
WO2020077027A1 (en) Method and system for executing queries on indexed views
Ma et al. KSQ: Top-k similarity query on uncertain trajectories
CN106471501B (zh) 数据查询的方法、数据对象的存储方法和数据系统
CN111258978A (zh) 一种数据存储的方法
CN104408163A (zh) 一种数据分级存储方法和装置
CN102880541A (zh) 日志信息的获取系统和获取方法
CN103440249A (zh) 一种非结构化数据快速检索的系统及方法
CN102779138A (zh) 实时数据的硬盘存取方法
CN102968464A (zh) 一种基于索引的本地资源快速检索系统及其检索方法
CN109271449A (zh) 一种基于文件的分布式存储查询系统及查询方法
CN109783441A (zh) 基于Bloom Filter的海量数据查询方法
CN103353901A (zh) 基于Hadoop分布式文件系统的表数据的有序管理方法以及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170322

RJ01 Rejection of invention patent application after publication