CN104252536A - 一种基于hbase的上网日志数据查询方法及装置 - Google Patents

一种基于hbase的上网日志数据查询方法及装置 Download PDF

Info

Publication number
CN104252536A
CN104252536A CN201410471568.1A CN201410471568A CN104252536A CN 104252536 A CN104252536 A CN 104252536A CN 201410471568 A CN201410471568 A CN 201410471568A CN 104252536 A CN104252536 A CN 104252536A
Authority
CN
China
Prior art keywords
hbase
rowkey
internet log
log data
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410471568.1A
Other languages
English (en)
Other versions
CN104252536B (zh
Inventor
朱爱军
陈威
叶潇
席先广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FUJIAN NEW LAND SOFTWARE ENGINEERING Co Ltd
Original Assignee
FUJIAN NEW LAND SOFTWARE ENGINEERING Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FUJIAN NEW LAND SOFTWARE ENGINEERING Co Ltd filed Critical FUJIAN NEW LAND SOFTWARE ENGINEERING Co Ltd
Priority to CN201410471568.1A priority Critical patent/CN104252536B/zh
Publication of CN104252536A publication Critical patent/CN104252536A/zh
Application granted granted Critical
Publication of CN104252536B publication Critical patent/CN104252536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/957—Browsing optimisation, e.g. caching or content distillation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种基于hbase的上网日志数据查询方法，包括：通过客户端输入RowKey字段值，向bhase发送上网日志查询请求；hbase根据查询请求所输入的RowKey字段值获取满足条件的RowKey范围；其中，所述RowKey的长度小于预设的长度阈值；hbase根据所述RowKey字段值在所述的RowKey范围内找到对应的列族范围，并将查找到列族中的列值返回给客户端，其中，所有上网日志字段都存储在一个列族的一个列中；客户端接收并解析所述列值。本发明还公开一种基于hbase的上网日志数据查询装置。本发明既提高了上网日志数据的查询性能，又能够降低存储空间占用，方便外部接口直接查询上网清单数据。

Description

一种基于hbase的上网日志数据查询方法及装置
技术领域
本发明涉及非结构化数据存储与查询领域，特别是涉及一种基于hbase的上网日志数据查询方法及装置。
背景技术
不方便用数据库二维逻辑表来表现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。
在移动互联网不断发展、信息量不断膨胀的大环境背景下，各种移动通信公司的大型系统都记录下了海量的用户上网日志。很多公司仍采用传统的ETL工具进行数据采集、分析、查询，负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
随着移动互联网时代的到来，手机终端应用的普及，面对日益增长的海量上网日志数据，原系统传统的ETL工具实际已彻底失效，主要原因是数据格式转换的开销太大，在性能上无法满足海量数据的采集、分析、查询需求。传统的数据分析算法必须依靠计算机性能的提升来满足，缺少一种分布式的可扩展的架构的支持；并且传统的上网日志分析和数据统计及数据查询方法受到单机内外存、CPU资源有限的限制，在进行海量上网日志数据的分析查询时遇到了瓶颈。
在这种背景下，系统必须寻求一种新的分布式的可扩展的数据库架构，在硬件基本不变的情况下来满足海量数据的采集、分析及查询功能。
发明内容
本发明所要解决的技术问题是：提供一种基于hbase的上网日志数据查询方法，能够解决现有技术中大数据量分析、查询效率低的问题。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于hbase的上网日志数据查询方法，包括：通过客户端输入RowKey字段值，向bhase发送上网日志查询请求；hbase根据查询请求所输入的RowKey字段值获取满足条件的RowKey范围；其中，所述RowKey的长度小于预设的长度阈值；hbase根据所述RowKey字段值在所述的RowKey范围内找到对应的列族范围，并将查找到列族中的列值返回给客户端，其中，所有上网日志字段都存储在一个列族的一个列中；客户端接收并解析所述列值。
为解决上述技术问题，本发明还提供另一技术方案：
一种基于hbase的上网日志数据查询装置，包括请求模块、RowKey范围确定模块、列族范围确定模块和解析模块；所述请求模块用于通过客户端输入RowKey字段值，向bhase发送上网日志查询请求；所述RowKey范围确定模块用于hbase根据查询请求所输入的RowKey字段值获取满足条件的RowKey范围；其中，所述RowKey的长度小于预设的长度阈值；所述列族范围确定模块用于hbase根据所述RowKey字段值在所述的RowKey范围内找到对应的列族范围，并将查找到列族中的列值返回给客户端，其中，所有上网日志字段都存储在一个列族的一个列中；所述解析模块用于客户端接收并解析所述列值。
本发明的有益效果在于：区别于现有技术中ETL工具在性能上无法满足海量数据的采集、分析、查询需求，本发明引入hbase分布式数据库用于存储清单数据，使在硬件基本不变的情况满足海量数据的采集、分析及查询功能，并且通过控制RowKey的长度与内容，同时优化列存储的字段个数与保存格式，既提高了上网日志数据的查询性能，又能够降低存储空间占用，方便外部接口直接并发查询上网清单数据。
附图说明
图1为本发明基于hbase的上网日志数据查询方法一实施方式的流程图；
图2为本发明基于hbase的上网日志数据查询装置一实施方式的功能框图；
图3为本发明基于hbase的上网日志数据查询方法一实施方式的过程示意图；
标号说明：
10、请求模块；  20、RowKey范围确定模块；  30、列族范围确定模块；  40、解析模块。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
hbase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用hbase技术可在廉价PCServer上搭建起大规模结构化存储集群。
hbase建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(RowKey)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。
hbase中的表一般有这样的特点：
1、大：一个表可以有上亿行，上百万列；
2、面向列：面向列(簇)的存储和权限控制，列(簇)独立检索；
3、稀疏：对于为空的列，并不占用存储空间，因此表可以设计的非常稀疏。
RowKey
与nosql数据库一样，RowKey是用来检索记录的主键。访问hbase table中的行，只有三种方式：
1、通过单个RowKey访问；
2、通过RowKey的range；
3、全表扫描。
RowKey行键可以是任意字符串(最大长度是64KB，实际应用中长度一般为10-100bytes)，在hbase内部，RowKey保存为字节数组。存储时，数据按照RowKey的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。
列族
hbase表中的每个列，都归属于某个列族。列族是表schema的一部分(而列不是)，必须在使用表之前定义。访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据。
本发明最关键的构思在于：利用hbase自身对非结构化数据的良好支持，通过控制RowKey的长度与内容，同时优化列存储的字段个数与保存格式，既提高了上网日志数据的查询性能，又能够降低存储空间占用，方便外部接口直接并发查询上网清单数据。
请参照图1，一种基于hbase的上网日志数据查询方法，包括：
通过客户端输入RowKey字段值，向bhase发送上网日志查询请求；
hbase根据查询请求所输入的RowKey字段值获取满足条件的RowKey范围；其中，所述RowKey的长度小于预设的长度阈值；
hbase根据所述RowKey字段值在所述的RowKey范围内找到对应的列族范围，并将查找到列族中的列值返回给客户端，其中，所有上网日志字段都存储在一个列族的一个列中；
客户端接收并解析所述列值。
在一实施方式中，所述RowKey＝0128，13799942424，20140820070231，CMNET，19695683515405564110，即RowKey取值限定为手机号取模，手机号，时间(STARTTIME直到秒)，接入点，sid，则rowkey长度控制在58个字节，即所述RowKey的长度阈值为58。
从上述描述可知，本发明的有益效果在于：本发明将hbase分布式数据库用于存储手机上网数据清单，hbase独有的列存储不同于传统的关系型数据库，其数据在表中是按列存储的，而按列存储所带来的重要好处之一，就是查询是的选择规则是通过列来定义的，因此整个数据库在查询时是自动索引的，按列存储每个字段的数据聚集存储，在查询时只需要少数几个字段的时候能大大减少读取的数据量，而且本发明对hbase的RowKey的长度进行限定，避免因膨胀率带来空间上的浪费，以及将所有上网日志字段都设计在一个列族的一个列中，极大程度减少了列族与列的个数，进一步减少了磁盘空间的占用，从而大大提高大数据量分析、查询效率。
进一步的，所述RowKey字段值为上网日志数据主键的集合，其中所述主键为手机号、sid、接入点。
进一步的，所述RowKey字段值为手机号取模+手机号+开始时间+接入点。同时在rowkey字段值中加入开始时间与手机号取模，能够快速确定范围，提高查询效率
进一步的，所述列族中列值的格式为上网日志数据各字段值，所述字段值之间以逗号分隔。
请参阅图2，本发明提供的另一技术方案为：
一种基于hbase的上网日志数据查询装置，包括请求模块10、RowKey范围确定模块20、列族范围确定模块30和解析模块40；
所述请求模块10用于通过客户端输入RowKey字段值，向hbase发送上网日志查询请求；
所述RowKey范围确定模块20用于hbase根据查询请求所输入的RowKey字段值获取满足条件的RowKey范围；其中，所述RowKey的长度小于预设的长度阈值；
所述列族范围确定模块30用于hbase根据所述RowKey字段值在所述的RowKey范围内找到对应的列族范围，并将查找到列族中的列值返回给客户端，其中，所有上网日志字段都存储在一个列族的一个列中；
所述解析模块40用于客户端接收并解析所述列值。
由上述描述可知，本发明将hbase分布式数据库用于存储手机上网数据清单，hbase独有的列存储不同于传统的关系型数据库，其数据在表中是按列存储的，而按列存储所带来的重要好处之一，就是查询是的选择规则是通过列来定义的，因此整个数据库在查询时是自动索引的，按列存储每个字段的数据聚集存储，在查询时只需要少数几个字段的时候能大大减少读取的数据量，而且本发明对hbase的RowKey的长度进行限定，避免因膨胀率带来空间上的浪费，以及将所有上网日志字段都设计在一个列族的一个列中，极大程度减少了列族与列的个数，进一步减少了磁盘空间的占用，从而大大提高大数据量分析、查询效率。
进一步的，所述RowKey字段值为上网日志数据主键的集合。
进一步的，所述RowKey字段值为手机号取模+手机号+时间+接入点。
本发明中将RowKey设计为上网日志数据几个主键的顺序集合，并严格控制RowKey长度，避免因膨胀率带来空间上的浪费，如RowKey设计为：手机号取模+手机号+时间+接入点。
进一步的，所述列族中列值的格式为上网日志数据各字段值，所述字段值之间以逗号分隔。
在本发明中，我们将所有上网日志字段都设计在一个列族的一个列中，不同字段之间以逗号分隔，如：手机号码,手机型号，流量类型,终端类型，上线时间，下线时间，上行流量，下行流量,登录地址和网站，网络类型(2G/3G)，服务名，如此，极大程度减少了列族与列的个数，进一步减少了磁盘空间的占用
请参照图3，本发明的实施例一，在hbase中查询上网日志数据的具体流程为：
步骤1，由客户端向hbase发起请求，传入RowKey相关字段值。只需传入符合规则的RowKey、时间范围等简单条件即可在hbase中定位满足条件的记录；
步骤2，hbase收到请求，根据条件查找到对应RowKey范围。RowKey在hbase中类似于主键，具有唯一性，并且hbase自身使用RowKey定位海量数据的机制有利于提升性能，其效率更优于普通关系型数据库；
步骤3，hbase根据RowKey查找到对应的列族范围。首先定位RowKey范围后，再定位列族范围，避免多余的查询开销；
步骤4，hbase将查找到列族中的列值返回给请求端，列值格式为各字段值以逗号分隔，如13400026728，iPhone4，CMWAP，2014-01-0219:20:42.125,2014-01-0219:20:42.443，204，114，111.13.12.58，2，\xE7\xBD\x91\xE7\xAB\x99，由请求端解析列值获取各上网日志字段内容。将各字段值合并字符保存在一个列值中，有利于节省磁盘空间，由于直接从hbase查询的数据量不大，将简单的字段解析工作交给外部请求端，能够降低集群开销，提高查询效率；
至此，上网日志数据查询的具体流程结束。
其中，表一为上网日志数据HBase数据模型；
表一
表二为列族中的列值记录；
表二
经过分析计算，通过本发明膨胀率可从原有的8倍缩小为2倍，降低了维护与设备成本，并将条件查询的筛选工作交给了RowKey，对查询性能无任何影响。
综上所述，本发明提供的基于hbase的上网日志数据查询方法及装置引入了hbase分布式数据库用于存储上网日志数据清单，hbase的数据在表中是按行存储的，实现整个数据库是自动索引化的，本发明对hbase的RowKey的长度进行限定，避免因膨胀率带来空间上的浪费，以及将所有上网日志字段都设计在一个列族的一个列中，极大程度减少了列族与列的个数，进一步减少了磁盘空间的占用，从而大大提高大数据量分析、查询效率。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种基于hbase的上网日志数据查询方法，其特征在于，包括：
通过客户端输入RowKey字段值，向hbase发送上网日志查询请求；
hbase根据查询请求所输入的RowKey字段值获取满足条件的RowKey范围；其中，所述RowKey的长度小于预设的长度阈值；
hbase根据所述RowKey字段值在所述的RowKey范围内找到对应的列族范围，并将查找到列族中的列值返回给客户端，其中，所有上网日志字段都存储在一个列族的一个列中；
客户端接收并解析所述列值。
2.根据权利要求1所述的基于hbase的上网日志数据查询方法，其特征在于，所述RowKey字段值为上网日志数据主键的集合。
3.根据权利要求2所述的基于hbase的上网日志数据查询方法，其特征在于，所述RowKey字段值为手机号取模+手机号+开始时间+接入点。
4.根据权利要求2所述的基于hbase的上网日志数据查询方法，其特征在于，所述列族中列值的格式为上网日志数据各字段值，所述字段值之间以逗号分隔。
5.一种基于hbase的上网日志数据查询装置，其特征在于，包括请求模块、RowKey范围确定模块、列族范围确定模块和解析模块；
所述请求模块用于通过客户端输入RowKey字段值，向hbase发送上网日志查询请求；
所述RowKey范围确定模块用于hbase根据查询请求所输入的RowKey字段值获取满足条件的RowKey范围；其中，所述RowKey的长度小于预设的长度阈值；
所述列族范围确定模块用于hbase根据所述RowKey字段值在所述的RowKey范围内找到对应的列族范围，并将查找到列族中的列值返回给客户端，其中，所有上网日志字段都存储在一个列族的一个列中；
所述解析模块用于客户端接收并解析所述列值。
6.根据权利要求5所述的基于hbase的上网日志数据查询装置，其特征在于，所述RowKey字段值为上网日志数据主键的集合。
7.根据权利要求6所述的基于hbase的上网日志数据查询装置，其特征在于，所述RowKey字段值为手机号取模+手机号+开始时间+接入点。
8.根据权利要求6所述的基于hbase的上网日志数据查询装置，其特征在于，所述列族中列值的格式为上网日志数据各字段值，所述字段值之间以逗号分隔。
CN201410471568.1A 2014-09-16 2014-09-16 一种基于hbase的上网日志数据查询方法及装置 Active CN104252536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410471568.1A CN104252536B (zh) 2014-09-16 2014-09-16 一种基于hbase的上网日志数据查询方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410471568.1A CN104252536B (zh) 2014-09-16 2014-09-16 一种基于hbase的上网日志数据查询方法及装置

Publications (2)

Publication Number Publication Date
CN104252536A true CN104252536A (zh) 2014-12-31
CN104252536B CN104252536B (zh) 2017-12-08

Family

ID=52187426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410471568.1A Active CN104252536B (zh) 2014-09-16 2014-09-16 一种基于hbase的上网日志数据查询方法及装置

Country Status (1)

Country Link
CN (1) CN104252536B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104750870A (zh) * 2015-04-20 2015-07-01 河海大学 一种基于HBase的日志存储系统及实现方法
CN105069665A (zh) * 2015-09-06 2015-11-18 北京京东尚科信息技术有限公司 多渠道站外广告报表数据的排序展示方法及装置
CN106294826A (zh) * 2016-08-17 2017-01-04 北京北信源软件股份有限公司 一种集群数据实时查询方法及系统
CN106326361A (zh) * 2016-08-10 2017-01-11 中国农业银行股份有限公司 一种基于HBase数据库的数据查询方法及装置
CN107291881A (zh) * 2017-06-19 2017-10-24 北京计算机技术及应用研究所 基于HBase的海量日志存储和查询方法
CN107515867A (zh) * 2016-06-15 2017-12-26 阿里巴巴集团控股有限公司 一种NoSQL数据库的数据存储、查询方法和装置以及一种rowKey全组合的生成方法和装置
CN107851003A (zh) * 2015-04-02 2018-03-27 数据仓库投资有限公司 用于改进程序性能的字段专业化系统和方法
CN108319608A (zh) * 2017-01-16 2018-07-24 中国移动通信集团湖南有限公司 访问日志存储查询的方法、装置及系统
CN108415925A (zh) * 2018-01-10 2018-08-17 平安科技（深圳）有限公司 电子装置、数据调用日志生成及查询方法及存储介质
CN108427705A (zh) * 2018-01-17 2018-08-21 平安科技（深圳）有限公司 电子装置、分布式系统日志查询方法及存储介质
CN109165193A (zh) * 2018-07-27 2019-01-08 阿里巴巴集团控股有限公司 日志数据的存储方法、装置、客户端及服务器
CN109446196A (zh) * 2018-09-26 2019-03-08 努比亚技术有限公司 主键生成处理及确定方法、主键生成及应用服务器
CN109885548A (zh) * 2019-02-22 2019-06-14 网易（杭州）网络有限公司 日志查询方法、装置、存储介质和电子装置
CN110362549A (zh) * 2019-06-17 2019-10-22 平安普惠企业管理有限公司 日志存储检索方法、电子装置及计算机设备
CN112597214A (zh) * 2020-12-28 2021-04-02 浪潮云信息技术股份公司 一种基于HBase的健康医疗数据查询方法
CN112749223A (zh) * 2021-01-28 2021-05-04 道和云科技(天津)有限公司 一种接口日志配置化、结构化存储方法及系统
CN113297273A (zh) * 2021-06-09 2021-08-24 北京百度网讯科技有限公司 查询元数据的方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102725753A (zh) * 2011-11-28 2012-10-10 华为技术有限公司 优化数据访问的方法及装置、优化数据存储的方法及装置
CN103116610A (zh) * 2013-01-23 2013-05-22 浙江大学 基于HBase的矢量空间大数据存储方法
US20130185337A1 (en) * 2012-01-18 2013-07-18 Cloudera, Inc. Memory allocation buffer for reduction of heap fragmentation
CN103646073A (zh) * 2013-12-11 2014-03-19 浪潮电子信息产业股份有限公司 一种基于HBase表的条件查询优化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102725753A (zh) * 2011-11-28 2012-10-10 华为技术有限公司 优化数据访问的方法及装置、优化数据存储的方法及装置
US20130185337A1 (en) * 2012-01-18 2013-07-18 Cloudera, Inc. Memory allocation buffer for reduction of heap fragmentation
CN103116610A (zh) * 2013-01-23 2013-05-22 浙江大学 基于HBase的矢量空间大数据存储方法
CN103646073A (zh) * 2013-12-11 2014-03-19 浪潮电子信息产业股份有限公司 一种基于HBase表的条件查询优化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
静谧也哉: "基于HBASE的并行计算架构之rowkey设计篇", 《HTTP://XDATAOPEN.BLOG.51CTO.COM/4219560/1117864》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107851003A (zh) * 2015-04-02 2018-03-27 数据仓库投资有限公司 用于改进程序性能的字段专业化系统和方法
CN104750870B (zh) * 2015-04-20 2018-11-27 河海大学 一种基于HBase的日志存储系统及实现方法
CN104750870A (zh) * 2015-04-20 2015-07-01 河海大学 一种基于HBase的日志存储系统及实现方法
CN105069665A (zh) * 2015-09-06 2015-11-18 北京京东尚科信息技术有限公司 多渠道站外广告报表数据的排序展示方法及装置
CN107515867B (zh) * 2016-06-15 2021-06-29 阿里巴巴集团控股有限公司 一种NoSQL数据库的数据存储、查询方法和装置以及一种rowKey全组合的生成方法和装置
CN107515867A (zh) * 2016-06-15 2017-12-26 阿里巴巴集团控股有限公司 一种NoSQL数据库的数据存储、查询方法和装置以及一种rowKey全组合的生成方法和装置
CN106326361A (zh) * 2016-08-10 2017-01-11 中国农业银行股份有限公司 一种基于HBase数据库的数据查询方法及装置
CN106294826A (zh) * 2016-08-17 2017-01-04 北京北信源软件股份有限公司 一种集群数据实时查询方法及系统
CN106294826B (zh) * 2016-08-17 2019-06-21 北京北信源软件股份有限公司 一种集群数据实时查询方法及系统
CN108319608A (zh) * 2017-01-16 2018-07-24 中国移动通信集团湖南有限公司 访问日志存储查询的方法、装置及系统
CN107291881A (zh) * 2017-06-19 2017-10-24 北京计算机技术及应用研究所 基于HBase的海量日志存储和查询方法
CN108415925A (zh) * 2018-01-10 2018-08-17 平安科技（深圳）有限公司 电子装置、数据调用日志生成及查询方法及存储介质
CN108415925B (zh) * 2018-01-10 2020-11-24 平安科技（深圳）有限公司 电子装置、数据调用日志生成及查询方法及存储介质
CN108427705A (zh) * 2018-01-17 2018-08-21 平安科技（深圳）有限公司 电子装置、分布式系统日志查询方法及存储介质
CN108427705B (zh) * 2018-01-17 2022-04-12 平安科技（深圳）有限公司 电子装置、分布式系统日志查询方法及存储介质
CN109165193A (zh) * 2018-07-27 2019-01-08 阿里巴巴集团控股有限公司 日志数据的存储方法、装置、客户端及服务器
CN109165193B (zh) * 2018-07-27 2022-03-04 创新先进技术有限公司 日志数据的存储方法、装置、客户端及服务器
CN109446196A (zh) * 2018-09-26 2019-03-08 努比亚技术有限公司 主键生成处理及确定方法、主键生成及应用服务器
CN109885548A (zh) * 2019-02-22 2019-06-14 网易（杭州）网络有限公司 日志查询方法、装置、存储介质和电子装置
CN110362549A (zh) * 2019-06-17 2019-10-22 平安普惠企业管理有限公司 日志存储检索方法、电子装置及计算机设备
CN112597214A (zh) * 2020-12-28 2021-04-02 浪潮云信息技术股份公司 一种基于HBase的健康医疗数据查询方法
CN112749223A (zh) * 2021-01-28 2021-05-04 道和云科技(天津)有限公司 一种接口日志配置化、结构化存储方法及系统
CN113297273A (zh) * 2021-06-09 2021-08-24 北京百度网讯科技有限公司 查询元数据的方法、装置和电子设备
CN113297273B (zh) * 2021-06-09 2024-03-01 北京百度网讯科技有限公司 查询元数据的方法、装置和电子设备

Also Published As

Publication number Publication date
CN104252536B (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN104252536A (zh) 一种基于hbase的上网日志数据查询方法及装置
US10664497B2 (en) Hybrid database table stored as both row and column store
US9465843B2 (en) Hybrid database table stored as both row and column store
CN102436513B (zh) 分布式检索方法和系统
CN104424258B (zh) 多维数据查询的方法、查询服务器、列存储服务器及系统
US8924373B2 (en) Query plans with parameter markers in place of object identifiers
EP2608071A1 (en) Hybrid database table stored as both row and column store
US9229961B2 (en) Database management delete efficiency
US10860562B1 (en) Dynamic predicate indexing for data stores
CN107729399B (zh) 数据处理的方法和装置
WO2018036549A1 (zh) 分布式数据库查询方法、装置及管理系统
CN106294695A (zh) 一种面向实时大数据搜索引擎的实现方法
US10762068B2 (en) Virtual columns to expose row specific details for query execution in column store databases
CN111221791A (zh) 一种多源异构数据导入数据湖的方法
WO2013106595A2 (en) Processing store visiting data
US11507555B2 (en) Multi-layered key-value storage
CN103744913A (zh) 一种基于搜索引擎技术的数据库检索方法
CN104462161A (zh) 基于分布式数据库的结构化数据查询方法
US20150339361A1 (en) Exposing data to query generating applications using usage profiles
CN112231351A (zh) 一种pb级海量数据的实时查询方法和装置
CN103034650A (zh) 一种数据处理系统和方法
US10776368B1 (en) Deriving cardinality values from approximate quantile summaries
US20160196310A1 (en) Cross column searching a relational database table
US20140258264A1 (en) Management of searches in a database system
CN103020300B (zh) 一种信息检索方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant