CN107704585A - 一种查询hdfs数据方法及系统 - Google Patents

Abstract

本申请公开了一种查询HDFS数据方法及系统，包括：接收用户输入的目标数据的目标特征信息；将目标特征信息转换为目标数据的目标key；利用目标key在键值数据库中，查找到与目标key相应的目标数据的目标value；解析目标value，得到目标数据的目标位置信息；其中，在对采集到的数据进行数据清洗时，对每条清洗出的数据生成相应的键值对key和value，并保存到键值数据库中；本申请预先对每条清洗出的数据生成相应的键值对key和value，在接收用户输入的目标数据的目标特征信息后，得到目标key，进而利用目标key查找到相应的目标value，最后解析目标value，得到目标数据的目标位置信息，从而完成对目标数据位置的查询，实现了在HDFS中快速查询数据，提高了数据查询效率。

Description

一种查询HDFS数据方法及系统

技术领域

本发明涉及HDFS领域，特别涉及一种查询HDFS数据方法及系统。

背景技术

在当前高速发展的社会中，我们每天徜徉的数据海洋。我们的电脑、移动设备和机器传感器生成各种数据，规模达到了ZB级。借助最佳的大数据工具，企业能够存储、管理和分析这些数据，并获得前所未有的宝贵洞察。面对这些海量的数据，安全的存储和快速的查询是两个最为基本的要求。单纯通过增加硬盘个数来扩展计算机文件系统的存储容量的方式，在容量大小、容量增长速度、数据备份、数据安全等方面的表现都差强人意，而分布式文件系统的出现可以有效解决数据的存储和管理难题。由于数据量巨大，传统的关系型数据库已经不能满足需要。目前更好的做法是构建数据仓库，将数据存放在分布式集群中。例如很多企业会将其业务数据通过采集、清洗存储在Hdfs中，以便通过数据分析来帮助企业更好的发展。但是，相比于海量数据的存储，海量数据的查询表现差强人意，数据的查询效率会极大影响用户体验。

现有技术中，Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。但是这种方法也有致命的缺点：查询效率低下。原因有两点。其一：Hive在查询数据的时候，由于没有索引，需扫描整张表，因此延迟比较高；其二：Hive在每次执行查询任务时都需要将客户端提交的HQL映射成一个mapReduce作业，作业提交和调度的时候需要大量的开销。因此，Hive并不能够在大规模数据集上实现低延迟快速的查询，例如，Hive在几百MB的数据集上执行查询一般有分钟级的时间延迟。

因此，如何实现在HDFS下能够快速查询数据的方法，是当前需要解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种查询HDFS数据方法及系统，实现在HDFS中快速查询数据，提高了数据查询效率。其具体方案如下：

一种查询HDFS数据方法，包括：

接收用户输入的目标数据的目标特征信息；

将所述目标特征信息转换为所述目标数据的目标key；

利用所述目标key在键值数据库中，查找到与目标key相应的目标数据的目标value；

解析所述目标value，得到所述目标数据的目标位置信息；

其中，在对采集到的数据进行数据清洗时，对每条清洗出的数据生成相应的键值对key和value，并保存到所述键值数据库中，value中记载数据的位置信息，key中记载数据的特征信息。

可选的，所述解析所述目标value，得到所述目标数据的目标位置信息的过程，包括：

解析所述目标value，得到所述目标数据的HDFS的分区、偏移量和所述目标数据的长度。

可选的，所述键值数据库为HBase数据库。

可选的，所述得到所述目标数据的目标位置信息后，还包括：

利用所述目标位置信息，将所述目标数据下载到本地保存。

本发明还公开了一种查询HDFS数据系统，包括：

特征信息接收模块，用于接收用户输入的目标数据的目标特征信息；

特征信息转换模块，用于将所述目标特征信息转换为所述目标数据的目标key；

键值查询模块，用于利用所述目标key在键值数据库中，查找到与目标key相应的目标数据的目标value；

位置解析模块，用于解析所述目标value，得到所述目标数据的目标位置信息；

其中，在对采集到的数据进行数据清洗时，对每条清洗出的数据生成相应的键值对key和value，并保存到所述键值数据库中，value中记载数据的位置信息，key中记载数据的特征信息。

可选的，所述位置解析模块，具体用于，解析所述目标value，得到所述目标数据的HDFS的分区、偏移量和所述目标数据的长度。

可选的，还包括：

数据下载模块，用于利用所述目标位置信息，将所述目标数据下载到本地保存。

本发明中，查询HDFS数据方法，包括：接收用户输入的目标数据的目标特征信息；将目标特征信息转换为目标数据的目标key；利用目标key在键值数据库中，查找到与目标key相应的目标数据的目标value；解析目标value，得到目标数据的目标位置信息；其中，在对采集到的数据进行数据清洗时，对每条清洗出的数据生成相应的键值对key和value，并保存到键值数据库中，value中记载数据的位置信息，key中记载数据的特征信息；本发明预先在数据清洗时，对每条清洗出的数据生成相应的键值对key和value，在接收用户输入的目标数据的目标特征信息后，通过将目标特征信息进行相应的转换，得到目标key的形式，进而通过key与value的键值对的索引关系，利用目标key查找到相应的目标value，最后通过解析目标value，得到目标数据的目标位置信息，从而完成对目标数据位置的查询，不必通过扫描整张表来查询满足条件的记录，也不用将HQL(Hibernate Query Language，查询语言)转化成MapReduce作业来完成数据查询，实现了在HDFS中快速查询数据，提高了数据查询效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种查询HDFS数据方法流程示意图；

图2为本发明实施例公开的一种查询HDFS数据系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种查询HDFS数据方法，参见图1所示，该方法包括：

步骤S11：接收用户输入的目标数据的目标特征信息。

具体的，为了查找到目标数据，用户输入目标数据的目标特征信息，目标特征信息为能够转换为目标数据的目标key的信息，当然目标特征信息也可以为目标数据的目标key；接收用户输入的目标数据的目标特征信息，以便查找到目标数据，例如，在信令监测系统中，运营商为了分析用户行为，往往会查询用户在某个时间段内的所有信令，此时目标特征信息可以为用户的手机号以及一个具体的时间段，如手机号为13700000000，时间段为20170815100000-20170815110000。

步骤S12：将目标特征信息转换为目标数据的目标key。

具体的，由于用户不便于记忆目标数据的目标key，因此，用户输入的目标特征信息无法被直接识别，无法直接与目标数据的目标key形成对应关系，因此，先将用户输入的目标特征信息转换为目标数据的目标key，以使能够利用目标key查找目标数据的存储位置，例如，目标特征信息为用户的手机号以及一个具体的时间段，如手机号为13700000000，时间段为20170815100000-20170815110000，则将目标特征信息转换为1370000000020170815100000至1370000000020170815110000目标key的格式。

步骤S13：利用目标key在键值数据库中，查找到与目标key相应的目标数据的目标value。

具体的，利用转换出的目标key，在键值数据库中利用key与value的索引关系查找到与目标key相应的目标数据的目标value，以便于利用目标value查找到目标数据的存储位置。

步骤S14：解析目标value，得到目标数据的目标位置信息。

具体的，通过解析目标value，从中获取目标数据的目标位置信息，目标位置信息可以包括目标数据的HDFS的分区、偏移量和目标数据的长度，从而在HDFS中查询到目标数据，偏移量记载目标数据在HDFS的分区的起始位置，目标数据的长度记载了从偏移量起目标数据的长度。

其中，在对采集到的数据进行数据清洗时，对每条清洗出的数据生成相应的键值对key和value，并保存到键值数据库中，value中记载数据的位置信息，key中记载数据的特征信息。

可见，本发明实施例预先在数据清洗时，对每条清洗出的数据生成相应的键值对key和value，在接收用户输入的目标数据的目标特征信息后，通过将目标特征信息进行相应的转换，得到目标key的形式，进而通过key与value的键值对的索引关系，利用目标key查找到相应的目标value，最后通过解析目标value，得到目标数据的目标位置信息，从而完成对目标数据位置的查询，不必通过扫描整张表来查询满足条件的记录，也不用将HQL(Hibernate QueryLanguage，查询语言)转化成MapReduce作业来完成数据查询，实现了在HDFS中快速查询数据，提高了数据查询效率。

本发明实施例公开了一种具体的查询HDFS数据方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

本发明实施例在上一实施例的基础上，在步骤S14得到目标数据的目标位置信息后，还可以包括：

步骤S15：利用目标位置信息，将目标数据下载到本地保存。

可以理解的是，查询到目标数据的目标位置信息后，将目标数据从HDFS的分区中下载到本地保存，以供后续用户操作使用。

上一实施例中的上述键值数据库可以具体为HBase数据库，相应的目标key为目标rowkey，目标value为目标rowvalue，Hbase为K-V数据库，因此在处理键值对形式的数据时非常高效。

相应的，本发明实施例还公开了一种查询HDFS数据系统，参见图2所示，包括：

特征信息接收模块11，用于接收用户输入的目标数据的目标特征信息；

特征信息转换模块12，用于将目标特征信息转换为目标数据的目标key；

键值查询模块13，用于利用目标key在键值数据库中，查找到与目标key相应的目标数据的目标value；

位置解析模块14，用于解析目标value，得到目标数据的目标位置信息；

其中，在对采集到的数据进行数据清洗时，对每条清洗出的数据生成相应的键值对key和value，并保存到键值数据库中，value中记载数据的位置信息，key中记载数据的特征信息。

可见，本发明实施例预先在数据清洗时，对每条清洗出的数据生成相应的键值对key和value，在接收用户输入的目标数据的目标特征信息后，通过将目标特征信息进行相应的转换，得到目标key的形式，进而通过key与value的键值对的索引关系，利用目标key查找到相应的目标value，最后通过解析目标value，得到目标数据的目标位置信息，从而完成对目标数据位置的查询，不必通过扫描整张表来查询满足条件的记录，也不用将HQL(Hibernate QueryLanguage，查询语言)转化成MapReduce作业来完成数据查询，实现了在HDFS中快速查询数据，提高了数据查询效率。

本发明实施例中，上述位置解析模块14，可以具体用于，解析目标value，得到目标数据的HDFS的分区、偏移量和目标数据的长度。

本发明实施例中，还可以包括：

数据下载模块，用于利用目标位置信息，将目标数据下载到本地保存。

其中，上述键值数据库为可以为HBase数据库。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

以上对本发明所提供的一种查询HDFS数据方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种查询HDFS数据方法，其特征在于，包括：

接收用户输入的目标数据的目标特征信息；

将所述目标特征信息转换为所述目标数据的目标key；

利用所述目标key在键值数据库中，查找到与目标key相应的目标数据的目标value；

解析所述目标value，得到所述目标数据的目标位置信息；

其中，在对采集到的数据进行数据清洗时，对每条清洗出的数据生成相应的键值对key和value，并保存到所述键值数据库中，value中记载数据的位置信息，key中记载数据的特征信息。

2.根据权利要求1所述的查询HDFS数据方法，其特征在于，所述解析所述目标value，得到所述目标数据的目标位置信息的过程，包括：

解析所述目标value，得到所述目标数据的HDFS的分区、偏移量和所述目标数据的长度。

3.根据权利要求1所述的查询HDFS数据方法，其特征在于，所述键值数据库为HBase数据库。

4.根据权利要求1至3任一项所述的查询HDFS数据方法，其特征在于，所述得到所述目标数据的目标位置信息后，还包括：

利用所述目标位置信息，将所述目标数据下载到本地保存。

5.一种查询HDFS数据系统，其特征在于，包括：

特征信息接收模块，用于接收用户输入的目标数据的目标特征信息；

特征信息转换模块，用于将所述目标特征信息转换为所述目标数据的目标key；

键值查询模块，用于利用所述目标key在键值数据库中，查找到与目标key相应的目标数据的目标value；

位置解析模块，用于解析所述目标value，得到所述目标数据的目标位置信息；

其中，在对采集到的数据进行数据清洗时，对每条清洗出的数据生成相应的键值对key和value，并保存到所述键值数据库中，value中记载数据的位置信息，key中记载数据的特征信息。

6.根据权利要求5所述的查询HDFS数据系统，其特征在于，所述位置解析模块，具体用于，解析所述目标value，得到所述目标数据的HDFS的分区、偏移量和所述目标数据的长度。

7.根据权利要求5或6所述的查询HDFS数据方法，其特征在于，还包括：

数据下载模块，用于利用所述目标位置信息，将所述目标数据下载到本地保存。