CN111125090B - 数据存取方法及装置 - Google Patents

Abstract

本发明提供了一种数据存取方法及装置，该方法包括：在Phoenix数据库建立需求表；需求表中包括主键和数据块参数；数据块参数用于确定需求表进行数据存取所使用的数据块个数；使用Spark计算引擎根据数据块获取待处理数据；确定待处理数据与需求表的映射关系，并根据映射关系将待处理数据写入需求表，以使查询模块根据主键查询所述Phoenix数据库。本发明通过Phoenix数据库和Spark计算引擎对Hbase数据库进行数据的写入与查询，提高了数据读取的效率。

Description

数据存取方法及装置

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种数据存取方法及装置。

背景技术

目前，物联网大数据业务多使用Hbase数据库进行数据的存取。对于Hbase数据库，在数据写入Hbase这一方面，传统使用的MapReduce方法存在海量数据处理需要几个小时甚至一天等问题，写入效率低下；另外，在数据读取方面，一个简单的查询，需要写Map和reduce函数，复杂且耗费时间。

发明内容

本发明提供了一种数据存取方法及装置，可以提高数据存储与数据查询的效率。

第一方面，本发明实施例提供了一种数据存取方法，该方法包括：在Phoenix数据库建立需求表；所述需求表中包括主键和数据块参数；所述数据块参数用于确定所述需求表进行数据存取所使用的数据块个数；使用Spark计算引擎根据所述数据块获取待处理数据；确定所述待处理数据与所述需求表的映射关系，并根据所述映射关系将所述待处理数据写入所述需求表，以使查询模块根据所述主键查询所述Phoenix数据库。

第二方面，本发明实施例还提供一种数据存取装置，该装置包括：建立模块，用于在Phoenix数据库建立需求表；所述需求表中包括主键和数据块参数；所述数据块参数用于确定所述需求表进行数据存取所使用的数据块个数；获取模块，用于使用Spark计算引擎根据所述数据块获取待处理数据；写入模块，用于确定所述待处理数据与所述需求表的映射关系，并根据所述映射关系将所述待处理数据写入所述需求表，以使查询模块根据所述主键查询所述Phoenix数据库。

第三方面，本发明实施例还提供一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据存取方法。

第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述数据存取方法。

本发明实施例带来了以下有益效果：本发明实施例提供了一种数据存取方案，该方案首先在Phoenix数据库建立需求表，在建立需求表时确定主键和数据块参数，其中，数据块参数用于确定需求表进行数据存取所使用的数据块个数；之后，使用Spark计算引擎根据数据块获取待处理数据，需求表可以通过多个数据块并行进行数据存取，以提高存取效率，另外，还可以缓解写入压力，实现负载均衡；最后，确定待处理数据与需求表的映射关系，并根据该映射关系将待处理数据写入所述需求表，以使查询模块根据主键高效、灵活地查询Phoenix数据库。本发明实施例通过Phoenix数据库和Spark计算引擎对Hbase数据库进行数据的写入与查询，提高了数据读取的效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据存取方法流程图；

图2为本发明实施例提供的数据块参数设置界面示意图；

图3为本发明实施例提供的分布式文件系统上每分钟目录示意图；

图4为本发明实施例提供的分布式文件系统上每分钟目录另一种示意图；

图5为本发明实施例提供的经Spark处理后的DataFrame部分字段；

图6为本发明实施例提供的Phoenix数据库中多个需求表的字段信息示意图；

图7为本发明实施例提供的数据存取方法查询界面示意图；

图8为本发明实施例提供的二级索引的字段配置参数设置界面示意图；

图9为本发明实施例提供的一种数据存取装置结构框图；

图10为本发明实施例提供的另一种数据存取装置结构框图；

图11为本发明实施例提供的计算机设备结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，物联网大数据业务使用的Hbase数据库，存在Java API或者语法难用，且Hbase不可做JDBC封装服务接口，前台不可调用传统的SQL查询接口直接查询；此外还存在建立二级索引困难，设计Rowkey和Region的预分区策略、均衡负载比较复杂。这将对数据的查询效率和写入效率造成很大的影响。

此外，传统使用的MapReduce方法对数据的处理也不灵活，需要写Map和reduce函数进行查询。并且，MapReduce处理的数据源必须是静态的，不支持流计算。物联网DPI(DeepPacket Inspection，深度报文检测)数据一直都在产生，需要寻求适配物联网大数据的存取技术实现实时写入并提供前台查询。

基于以上问题，本发明实施例提供的一种数据存取方法及装置，通过构建基于Hbase之上的Phoenix，并结合Spark计算引擎，对数据进行写入与查询，可以提高数据的存取效率，提高数据写入及查询灵活性。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种数据存取方法进行详细介绍。

本发明实施例提供了一种数据存取方法，参见图1所示的一种数据存取方法流程图，该方法包括以下步骤：

步骤S102，在Phoenix数据库建立需求表。

在本发明实施例中，Phoenix数据库基于Hbase数据库之上，是一个具备OLTP(On-Line Transaction Processing，联机事务处理过程)和业务数据分析能力的引擎，为用户提供操作HBase的SQL接口，Phoenix整合JDBC(Java Database Connectivity，Java数据库连接)启动服务端口，可以使用标准的JDBC API(Application Programming Interface，应用程序接口)代替HBase客户端API来创建表、插入数据和查询HBase数据，有JDBC封装即可实现服务接口查询。

在Phoenix数据库建立符合业务需求的表；建表语句可参考传统数据库Mysql/Oracle。建表语句中通过PRIMARY KEY可以确定表主键，即确定了Hbase的Rowkey。主键中包括一个或多个字段，该一个或多个字段可以预先根据业务需求确定。

数据块个数即为底层数据块Region的存储个数，通过数据块参数可以确定数据块的个数。例如，参见图2所示的数据块参数设置界面示意图，在建表时使用加盐表(SaltedTable)完成对Region的规划，可以设置salt_buckets＝14，其中，salt_buckets为数据块参数，则确定数据块个数为14个。

需要说明的是，在设置数据块个数时，可以设置数据块个数为执行设备的整数倍，例如，若执行设备为10，则可以设置数据块个数为10、20或30等。将数据块个数设置为执行设备的整数倍，以便每台设备上的数据块个数相同，通过优化主键来均匀分布写入压力，实现负载均衡。另外，通过多台设备的多个数据块进行并发的数据存取，可以提高数据存取的效率。

步骤S104，使用Spark计算引擎根据数据块获取待处理数据。

在本发明实施例中，Spark计算引擎是专为大规模数据处理而设计的快速通用的计算引擎，是一个通用引擎，可用它来完成多种运算，包括SQL查询、文本处理、机器学习等。使用Spark计算引擎对待处理数据进行处理，可以提高数据读取与写入的灵活性。使用Spark计算引擎根据多个数据块可以并发地获取待处理数据。待处理数据可以是物理网大数据等数据。待处理数据可以是保存在HDFS(Hadoop Distributed File System，分布式文件系统)上的数据。

步骤S106，确定待处理数据与需求表的映射关系，并根据映射关系将待处理数据写入需求表，以使查询模块根据主键查询Phoenix数据库。

在本发明实施例中，需求表中包括多个字段信息，根据字段信息即可确定待处理数据与需求表的映射关系，根据映射关系将待处理数据写入需求表，即完成了数据向Phoenix数据库的写入。之后，查询模块可以根据需求表中的主键信息查询Phoenix数据库。

参见图7所示的数据存取方法查询界面示意图，本方案通过select语句即可实现对Phoenix数据库的查询，查询效率以及数据处理的灵活性较高。

另外，需要说明的是，在本发明实施例中，可以创建多个需求表，以对不同类型的数据进行存储与读取。参见图6所示的Phoenix数据库中多个需求表的字段信息示意图，TABLE_NAME是需求表的名称，不同的TABLE_NAME值表示不同的需求表。

本发明实施例提供了一种数据存取方案，该方案首先在Phoenix数据库建立需求表，在建立需求表时确定主键和数据块参数，其中，数据块参数用于确定需求表进行数据存取所使用的数据块个数；之后，使用Spark计算引擎根据数据块获取待处理数据，需求表可以通过多个数据块并行进行数据存取，以提高写入效率，另外，还可以缓解写入压力，实现负载均衡；最后，确定待处理数据与需求表的映射关系，并根据该映射关系将待处理数据写入所述需求表，以使查询模块根据主键高效、灵活地查询Phoenix数据库。本发明实施例通过Phoenix数据库和Spark计算引擎对Hbase数据库进行数据的写入与查询，提高了数据读取的效率。

考虑到为了进一步缓解写入压力，并对数据进行留存，使用Spark计算引擎根据所述数据块获取待处理数据，可以按照如下步骤执行。

使用Spark计算引擎在多个数据块按照预设时长获取DPI数据；根据DPI数据确定分布式数据集；分布式数据集中包括的字段及所述字段的顺序与需求表中一致；将分布式数据集作为待处理数据。

在本发明实施例中，DPI数据可以是物联网DPI数据，保存在HDFS上，考虑到DPI数据的数据量较大，可以按照预设时长获取DPI数据，例如，参见图3所示的分布式文件系统上每分钟目录示意图以及图4所示的分布式文件系统上每分钟目录另一种示意图，可以获取每分钟目录下多个压缩文件，Spark每分钟读取上一分钟目录。预设时长可以根据实际需求进行设置，本发明实施例对此不作具体限定。在得到DPI数据之后，将DPI数据写成DataFrame形式，得到分布式数据集。参见图5所示的经Spark处理后的DataFrame部分字段，分布式数据集中包括多个字段及字段的排列顺序，并且，这些字段及字段的顺序与需求表中一致。

根据DPI数据确定分布式数据集的过程，即将数据以命名列的方式进行整合，首先确定列的字段名称，再根据列的字段名称对数据进行分配。分布式数据集可以实现对Spark从HDFS上获取的数据进行数据清洗及缓存，缓解数据写入的压力，并且通过数据缓存，可以为后续数据的其他应用需求提供支持。

在本发明实施例中，将分布式数据集作为待处理数据，可以调用Phoenix相关Jar包驱动、配置，按照物联网数据中时间戳字段，将其映射入Phoenix库中指定的天表。

考虑到许多业务场景中，需要除主键以外的查询，如果无二级索引将查询的特别慢，而Hbase不自提供二级索引，因此，该方法还可以包括如下步骤：

在Phoenix数据库设置代码段，以根据代码段配置二级索引建立环境；在二级索引建立环境中生成目标语句，以根据目标语句建立二级索引；二级索引包括与主键不同的字段组合；根据二级索引查询Phoenix数据库。

在本发明实施例中，代码段可以为Hbase RegionServer高级配置代码段(安全阀)，通过修改代码段中的参数，可以配置二级索引建立环境，在配置好二级索引建立环境之后，在Phoenix命令行输入类似传统数据库建立二级索引语句，即可建立二级索引，二级索引包括与主键不同的字段组合。根据二级索引可以实现与主键不同维度的Phoenix数据库查询，提高了查询的效率。

考虑到为满足更多不同的查询需求，该方法还包括如下步骤：

更改目标语句中的字段配置参数，以得到不同的二级索引。

在本发明实施例中，参见图8所示的二级索引的字段配置参数设置界面示意图，目标语句中包括字段配置参数，字段配置参数用于确定二级索引中包括的关键字段的名称、值以及说明等信息，通过更改字段配置参数可以得到不同的字段组合，以得到不同的二级索引。

前台调用接口查询Phoenix库。启动物联网大数据Phoenix服务开放端口，前台查询调用后台对Phoenix封装的接口，根据Phoenix库表的主键或索引做业务相应的关联查询

本发明实施例提供了一种数据存取方法及装置，数据写入这一块采用Spark内存计算技术作为数据处理框架，将数据以命名列的方式进行整合，形成一个分布式的数据集合DataFrame，离线或实时写入Phoenix。并可用Spark读取Phoenix库中数据形成DataFrame，在大数据平台对Hbase配置做简单的修改策略即可添加二级索引，利用SparkSql提供灵活的语法做二次统计分析入库，提升非主键字段查询的性能。

该方案使用Phoenix作为物联网大数据存储/提取库；使用Spark将物联网大数据存入Phoenix，使用Spark从Phoenix读取数据。Phoenix基于Hbase之上，既可以完成物联网大数据量的存储，还可以提供JDBC封装服务接口查询。相比Hbase不仅查询修改简单，底层调优(如Region个数、主键设计)也容易的多。该方案利用Spark计算框架，高效的实现数据的存储及计算。

本发明实施例还提供一种数据存取装置，参见图9所示的一种数据存取装置结构框图，该装置包括：

建立模块71，用于在Phoenix数据库建立需求表；需求表中包括主键和数据块参数；数据块参数用于确定需求表进行数据存取所使用的数据块个数；获取模块72，用于使用Spark计算引擎根据数据块获取待处理数据；写入模块73，用于确定待处理数据与需求表的映射关系，并根据映射关系将待处理数据写入需求表，以使查询模块74根据主键查询所述Phoenix数据库。

在一个实施例中，获取模块，具体用于：使用Spark计算引擎在多个数据块按照预设时长获块获取DPI数据；根据DPI数据确定分布式数据集；分布式数据集中包括的字段及字段的顺序与需求表中一致；将分布式数据集作为待处理数据。

在一个实施例中，参见图10所示的另一种数据存取装置结构框图，该装置还包括二级索引模块75，用于：在Phoenix数据库设置代码段，以根据代码段配置二级索引建立环境；在二级索引建立环境中生成目标语句，以根据目标语句建立二级索引；二级索引包括与主键不同的字段组合；根据二级索引查询Phoenix数据库。

在一个实施例中，二级索引模块，还用于：更改目标语句中的字段配置参数，以得到不同的二级索引。

本发明实施例还提供一种计算机设备，参见图11所示的计算机设备结构示意框图，该计算机设备包括存储器81、处理器82，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述任一种方法的步骤。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的计算机设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述

本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述任一种方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据存取方法，其特征在于，包括：

在Phoenix数据库建立需求表；所述需求表中包括主键和数据块参数；所述数据块参数用于确定所述需求表进行数据存取所使用的数据块个数；

使用Spark计算引擎根据所述数据块获取待处理数据；

确定所述待处理数据与所述需求表的映射关系，并根据所述映射关系将所述待处理数据写入所述需求表，以使查询模块根据所述主键查询所述Phoenix数据库。

2.根据权利要求1所述的数据存取方法，其特征在于，使用Spark计算引擎根据所述数据块获取待处理数据，包括：

使用Spark计算引擎在多个所述数据块按照预设时长获取深度数据包检测DPI数据；

根据所述DPI数据确定分布式数据集；所述分布式数据集中包括的字段及所述字段的顺序与所述需求表中一致；

将所述分布式数据集作为待处理数据。

3.根据权利要求1或2所述的数据存取方法，其特征在于，还包括：

在所述Phoenix数据库设置代码段，以根据所述代码段配置二级索引建立环境；

在所述二级索引建立环境中生成目标语句，以根据所述目标语句建立二级索引；所述二级索引包括与所述主键不同的字段组合；

根据所述二级索引查询所述Phoenix数据库。

4.根据权利要求3所述的数据存取方法，其特征在于，还包括：

更改所述目标语句中的字段配置参数，以得到不同的二级索引。

5.一种数据存取装置，其特征在于，包括：

建立模块，用于在Phoenix数据库建立需求表；所述需求表中包括主键和数据块参数；所述数据块参数用于确定所述需求表进行数据存取所使用的数据块个数；

获取模块，用于使用Spark计算引擎根据所述数据块获取待处理数据；

写入模块，用于确定所述待处理数据与所述需求表的映射关系，并根据所述映射关系将所述待处理数据写入所述需求表，以使查询模块根据所述主键查询所述Phoenix数据库。

6.根据权利要求5所述的数据存取装置，其特征在于，所述获取模块，具体用于：

使用Spark计算引擎在多个所述数据块按照预设时长获块获取深度数据包检测DPI数据；

根据所述DPI数据确定分布式数据集；所述分布式数据集中包括的字段及所述字段的顺序与所述需求表中一致；

将所述分布式数据集作为待处理数据。

7.根据权利要求5或6所述的数据存取装置，其特征在于，还包括二级索引模块，用于：

在所述Phoenix数据库设置代码段，以根据所述代码段配置二级索引建立环境；

在所述二级索引建立环境中生成目标语句，以根据所述目标语句建立二级索引；所述二级索引包括与所述主键不同的字段组合；

根据所述二级索引查询所述Phoenix数据库。

8.根据权利要求7所述的数据存取装置，其特征在于，所述二级索引模块，还用于：

更改所述目标语句中的字段配置参数，以得到不同的二级索引。

9.一种计算机设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至4任一项所述的方法的步骤。

10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行上述权利要求1至4任一项所述的方法。

Images