CN115185984A - Hbase数据库的查询节点优化方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及数据库查询技术，提供一种Hbase数据库的查询节点优化方法、装置、设备及存储介质，通过确定所有查询节点中的异常查询节点集合，与优化配置模板，若获取到实时查询中各个查询节点的实时查询时间，确定初始异常查询节点，确定异常查询节点集合中与初始异常查询节点匹配的目标查询节点，确定目标节点对应的目标优化配置模板，在目标查询节点动态配置目标优化配置模板，得到优化后的目标查询节点，获取测试目标时间，若查询时间小于查询阈值，更新目标优化配置模板，通过针对不同的异常查询节点，动态配置对应的优化配置模板，对异常查询节点进行直接优化，减少了实时查询过程中的节点阻塞情况，从而提高了数据实时查询的效率。

Description

Hbase数据库的查询节点优化方法、装置、设备及存储介质

技术领域

本发明涉及数据库查询技术，尤其涉及一种Hbase数据库的查询节点优化方法、装置、设备及存储介质。

背景技术

数据中台系统提供数据存储、离线的数据传输和计算，偶尔会直接面向业务提供实时查询服务。提出实时查询需求的客户是直接面向最终用户的系统或APP的开发团队，他们要求的数据查询功能注重实时性，即需以毫秒级响应速度完成数据的查询并返回结果。因此承接实时查询的数据中台系统一般配备HBase、Clickhouse等作为数据库保证查询效率。

HBase作为一个分布式数据库，其查询效率受多方面因素制约，数据本身设计的缺陷、数据量的扩大、查询链路上的网络延迟等不利因素，使实时查询效率较低，所以现有技术中基于HBase数据库查询时，存在实时查询效率较低的问题，因此，如何提高实时查询效率成为了亟待解决的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种Hbase数据库的查询节点优化方法、装置、设备及存储介质，以解决实时查询效率较低的问题。

第一方面，提供一种Hbase数据库的查询节点优化方法，所述方法包括：

根据从预设的查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，并对所述异常查询节点集合中每个异常查询节点设置优化配置模板；其中，每个异常查询节点至少对应一个优化配置模板；

若获取到实时查询中各个查询节点的实时查询时间，根据各个查询节点的实时查询时间与预设的查询阈值，确定初始异常查询节点；

将所述初始异常查询节点与所述异常查询节点集合中每个查询节点进行一一匹配，确定所述异常查询节点集合中与所述初始异常查询节点匹配的查询节点为目标查询节点；

从所述目标查询节点对应的多个优化配置模板中确定目标优化配置模板，在所述目标查询节点动态配置所述目标优化配置模板，得到优化后的目标查询节点；

测试所述优化后的目标查询节点的查询时间，并在所述查询时间小于所述查询阈值，使用所述目标优化配置模板更新所述目标查询节点。

第二方面，提供一种Hbase数据库的查询节点优化装置，所述装置包括：

优化配置模板设置模块，用于根据从预设的查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，并对所述异常查询节点集合中每个异常查询节点设置优化配置模板；其中，每个异常查询节点至少对应一个优化配置模板；

初始异常查询接节点确定模块，用于若获取到实时查询中各个查询节点的实时查询时间，根据各个查询节点的实时查询时间与预设的查询阈值，确定初始异常查询节点；

匹配模块，用于将所述初始异常查询节点与所述异常查询节点集合中每个查询节点进行一一匹配，确定所述异常查询节点集合中与所述初始异常查询节点匹配的查询节点为目标查询节点；

动态配置模块，用于从所述目标查询节点对应的多个优化配置模板中确定目标优化配置模板，在所述目标查询节点动态配置所述目标优化配置模板，得到优化后的目标查询节点；

更新模块，用于测试所述优化后的目标查询节点的查询时间，并在所述查询时间小于所述查询阈值，使用所述目标优化配置模板更新所述目标查询节点。

第三方面，本发明实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的Hbase数据库的查询节点优化方法。

第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的Hbase数据库的查询节点优化方法。

本发明与现有技术相比存在的有益效果是：

根据从预设的查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，并对异常查询节点集合中每个异常查询节点设置优化配置模板，其中，每个异常查询节点至少对应一个优化配置模板，若获取到实时查询中各个查询节点的实时查询时间，根据各个查询节点的实时查询时间与预设的查询阈值，确定初始异常查询节点，将初始异常查询节点与异常查询节点集合中每个查询节点进行一一匹配，确定异常查询节点集合中与初始异常查询节点匹配的查询节点为目标查询节点，从目标查询节点对应的多个优化配置模板中确定目标优化配置模板，在目标查询节点动态配置目标优化配置模板，得到优化后的目标查询节点，得到优化后的目标查询节点，测试优化后的目标查询节点的查询时间，并在查询时间小于查询阈值，使用目标优化配置模板更新目标查询节点，通过针对不同的异常查询节点，动态配置对应的优化配置模板，对异常查询节点进行直接优化，减少了实时查询过程中的节点阻塞情况，从而提高了数据实时查询的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种Hbase数据库的查询节点优化方法的一应用环境示意图；

图2是本发明一实施例提供的一种Hbase数据库的查询节点优化方法的流程示意图；

图3是本发明一实施例提供的一种Hbase数据库的查询节点优化方法的流程示意图；

图4是本发明一实施例提供的一种Hbase数据库的查询节点优化方法的流程示意图；

图5是本发明一实施例提供的一种Hbase数据库的查询节点优化方法的流程示意图；

图6是本发明一实施例提供的一种Hbase数据库的查询节点优化装置的结构示意图；

图7是本发明一实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本发明说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本发明说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

为了说明本发明的技术方案，下面通过具体实施例来进行说明。

本发明一实施例提供的一种Hbase数据库的查询节点优化方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等计算机设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

参见图2，是本发明一实施例提供的一种Hbase数据库的查询节点优化方法的流程示意图，上述Hbase数据库的查询节点优化方法可以应用于图1中的服务端，上述服务端连接相应的客户端，为客户端提供模型训练服务。如图2所示，该Hbase数据库的查询节点优化方法可以包括以下步骤。

S201：根据从预设的查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，并对异常查询节点集合中每个异常查询节点设置优化配置模板。

在步骤S201中，根据数据查询过程中每个查询节点的历史查询时间，确定所有查询节点中异常查询节点集合，对异常查询节点集合中每个异常查询节点设置优化配置模板，其中，每个异常查询节点至少对应一个优化配置模板，异常查询节点为数据查询过程中响应时间较长的查询节点，根据获得的多个异常查询节点，得到异常查询节点集合，优化配置模板为异常查询节点实时查询过程中动态配置存储。

本实施例中，根据基于Hbase数据库进行数据查询，Hbase数据库是基于Hadoop的分布式存储查询系统，它具有开源、分布式、可扩展及面向列存储的特点，能够为大数据提供随机、实时的读写访问功能，为了提高存储数据的可靠性和系统的稳定性，采用HDFS来作为存储数据，Zookeeper用来协助它管理整个集群。基于Hbase数据库的数据查询过程为用户在业务层发送查询请求，然后在数据库交互层向Hbase数据库进行数据读写，在业务层与数据库交互层之间通过微服务间调用，如dubbo、feign等。数据库交互层微服务以hbase-client的身份与HBase集群通信，完成数据的读取，过程涉及先从Zookeeper集群获取带查询数据所在的HRegion及其所在的HRegionServer，然后向HRegionServer发起请求获取到数据。

在数据查询过程中，各个查询节点之间进行交互，当其中一个查询节点响应时间较长时，将增加数据查询时间，根据每个查询节点的历史查询时间，确定出异常查询节点，例如，业务层与数据库交互层之间的交互节点在数据查询过程中，存在因为数据库交互层微无法处理大量来自业务层微的请求造成节点阻塞的情况，则该查询节点可能为异常查询节点，当hbase-server的zookeeper无法处理大量来自作为hbase-client的数据库交互层的请求时，在数据库交互层与hbase-server的zookeeper之间出现阻塞，则该查询节点可能为异常查询节点，当hbase-server的HRegionServer无法处理大量来自作为hbase-client的数据库交互层的请求时，在在数据库交互层与hbase-server的HRegionServer之间出现阻塞，则该查询节点可能为异常查询节点等，根据各个查询节点的历史查询时间，从而确定出异常查询节点。

当确定出异常查询额几点后，对异常查询节点设置对应的优化配置模板，设置优化配置模板时，针对每个异常查询节点之间交互过程获取可以优化的配置，例如，当业务层与数据库交互层之间的交互节点在数据查询过程中，存在因为数据库交互层无法处理大量来自业务层微的请求造成节点阻塞的情况时，业务层与数据库交互层之间通过调用dubbo、feign进行交互，可以通过优化dubbo-consumer的业务层微服务和作为dubbo-provider的数据库交互层微服务，也可以对dubbo-provider进行横向扩展，当hbase-server的HRegionServer无法处理大量来自作为hbase-client的数据库交互层的请求时，在数据库交互层与hbase-server的HRegionServer之间出现阻塞时，base-server的HRegionServer与数据库交互层之间的交互过程为数据库交互层访问hbase-server的HRegionServer，增大hbase的读缓存，增加HRegionServer的线程数，增大RegionServer容纳Region的数量与定期清除冗余的HBase表等。

需要说明的是，获取到异常查询节点可以进行优化的配置后，从这些配置中获取可以进行动态配置的配置作为优化配置模板，例如，存在因为数据库交互层无法处理大量来自业务层微的请求造成节点阻塞的情况时，可以设置动态配置dubbo模板，但对dubbo-provider进行横向扩展时，需要手动配置，所以选择动态配置dubbo作为该异常查询节点的优化配置模板。当在数据库交互层与hbase-server的HRegionServer之间出现阻塞时，可以通过动态调整hbase.client.ipc.pool.size来增加数据库交互层微服务的数据库连接池容量，该配置可以作为优化配置模板，还可以动态定期清除冗余的HBase表以减少数据库中存在的Region数量，改配置也可以作为动态配置模板，所以该异常查询节点存在两个优化配置模板。依次对每个异常查询节点选择对应的有爱互配置模板。

可选地，根据从预设的查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，包括：

根据从预设的查询系统中获取到的各个查询节点的历史查询时间，计算得到各个查询节点的每一次查询时的平均查询时间；

根据平均查询时间与预设的平均查询阈值，确定查询节点中的异常查询节点集合。

本实施例中，以各个查询节点的平均查询时间来确定该节点是否为异常节点，根据各个查询节点的历史查询时间，计算各个查询节点每一次查询的平均查询时间，当该查询节点的每一次的平均查询时间大于预设的平均查询时间时，确定该查询节点为异常查询节点，从而得到异常查询节点的集合。

S202：若获取到实时查询中各个查询节点的实时查询时间，根据各个查询节点的实时查询时间与预设的查询阈值，确定初始异常查询节点。

在步骤S202中，当实时查询数据库中的数据时，从预设的查询系统中获取每个查询节点的实时查询时间，根据预设的查询阈值，当查询节点的实时查询时间大于预设的查询阈值时，则该查询节点为初始异常查询节点；

本实施例中，为了提高数据库的实时查询效率，数据库性能监控平台实时监控数据查询过程，当监控到存在异常查询节点时，对异常节点进行实时优化，以便提高数据查询效率。监控平台实时监控数据查询过程中每个查询节点的实时查询时间，根据实时查询时间确定出初始异常查询节点。

需要说明的是，查询阈值根据不同的查询节点，查询阈值不同，可以设置每个查询节点的查询阈值，当获取到实时查询的查询时间时，不同的查询节点选择不同的查询阈值，以便得到更准确的初始异常查询节点。例如，当数据库交互层接收业务层发送到查询请求时，在查询请求被接收的时间hbase-server的HRegionServer处理来自作为hbase-client的数据库交互层的请求的时间可能不同，所以需要设置不同的查询阈值。

需要说明的是查询阈值是动态数据，当在不同的查询系统中时，查询阈值也可能不同，例如，Java语言提供的查询系统与Python语言提供的查询系统，在相同的查询节点上查询阈值可能也不相同。

S203：将初始异常查询节点与异常查询节点集合中每个查询节点进行一一匹配，确定异常查询节点集合中与初始异常查询节点匹配的查询节点为目标查询节点。

在步骤S203中，根据实时查询过程中获取到的初始异常查询节点，从异常查询节点几何中确定出与初始异常查询节点对应的目标查询节点，目标查询节点为待优化的查询节点。

本实施例中，对初始异常查询节点与异常查询节点集合中的查询节点进行一一匹配时，可以根据各个查询节点的关键词进行匹配，提取各个查询节点的关键词，通过计算初始异常查询节点中关键词的特征向量与异常查询节点集合中每个异常查询节点中关键词的特征向量之间的余弦值，使用余弦值表征初始异常查询节点与异常查询节点集合中每个异常查询节点的相似性，获取相似度最高的异常查询节点为目标查询节点。

需要说明的是，在进行初始异常查询节点与异常查询节点集合中的异常查询节点点进行一一匹配时，还可以对每个查询节点设置对应的标识，例如，设置不同的标号，当进行匹配时，直接从异常查询节点集合中提取出与初始异常查询节点对应的标识信息，得到目标查询节点。

S204：从目标查询节点对应的多个优化配置模板中确定目标优化配置模板，在目标查询节点动态配置目标优化配置模板，得到优化后的目标查询节点。

在步骤S204中，根据目标查询节点，当目标查询节点包含多个对应的优化配置模板时，从多个优化配置模板中选取其中一个目标优化配置模板，基于目标优化配置模板对目标查询节点进行优化配置，得到优化后的目标查询节点。

本实施例中，根据目标查询节点，以及目标查询节点对应的优化配置模板，获取目标优化配置模板，在对异常查询节点配置优化配置模板时，往往每个异常查询节点可配置多个优化配置模板，例如，当hbase-server的zookeeper无法处理大量来自作为hbase-client的数据库交互层的请求时，在数据库交互层与hbase-server的zookeeper之间出现阻塞时，可以对该异常查询节点配置调整hbase.client.ipc.pool.size的优化配置模板来扩大连接池容量，也可以对该异常查询节点配置数据表作为优化配置模板等，该异常查询节点可以对应两个优化配置模板。

从目标查询节点对应的优化配置模板中选取其中一个优化配置模板为目标优化配置模板，将目标优化配置模板动态配置在目标查询节点，得到优化后的目标查询节点。当目标查询节点对应的优化配置模板值包含一个优化配置模板时，直接将该优化配置模板动态配置在目标查询节点，得到优化后的目标查询节点。

可选地，从目标查询节点对应的多个优化配置模板中确定目标优化配置模板，在目标查询节点动态配置目标优化配置模板，得到优化后的目标查询节点，包括：

基于动态配置时间与动态配置内存对目标查询节点对应的多个优化配置模板进行评分，得到优化配置模板对应的评分列表；

根据评分列表从高到低依次动态配置对应的优化配置模板，若动态配置成功，确定配置成功的优化配置模板为目标优化配置模板。

本实施例中，当目标查询节点对应的优化配置模板包含多个时，对多个优化配置模板进行评分，得到优化配置模板对应的评分列表，根据评分列表从高到低依次动态配置对应的优化配置模板，若动态配置成功，确定配置成功的优化配置模板为目标优化配置模板。例如，当hbase-server的zookeeper无法处理大量来自作为hbase-client的数据库交互层的请求时，在数据库交互层与hbase-server的zookeeper之间出现阻塞时，该查询节点对应多个优化配置模板，基于优化配置模板可以动态调整hbase.client.ipc.pool.size，也可以动态配置数据库的数据表区域。动态调整数据库参数与动态合理配置数据表，当动态调整数据库参数时，需要不断尝试，直到无法减少慢请求比例为止，花费较长的动态配置时间，不断增加数据库连接池容量，增加了动态内存，合理配置数据表区域可以根据待查询数据合理划分数据表的区域，花费较短的动态配置时间，减少数据表区域，减少了对应的动态内存。所以可以从动态配置时间与动态配置内从中，根据预设的评分规则，分别赋予不同的评分，计算得到优化配置模板对应的评分列表。

根据评分列表中的评分，从高到低依次动态配置对应的优化配置模板，动态配置时，若配置成功，则配置成功的优化配置模板作为目标优化配置模板，例如，当动态配置需要扩大动态内存时，内存较低的情况下，依次选取下一个评分的优化配置模板。

S205：测试优化后的目标查询节点的查询时间，并在查询时间小于查询阈值，使用目标优化配置模板更新目标查询节点。

在步骤S205中，通过性能监控平台实时获取到测试优化后的目标查询节点的查询时间，若查询时间小于查询阈值，使用目标优化配置模板更新目标查询节点，当目标查询节点更新目标优化配置模板后，提高了数据查询效率。

本实施例中，根据性能监控平台获取到测试优化后的目标查询节点的查询时间后，当查询时间小于查询阈值，更新目标优化配置模板，当查询时间不小于查询阈值时，对目标查询节点进行回滚处理，删除更新的优化后的目标查询节点，使查询系统保持在原始状态。

根据从预设的更新查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，并对异常查询节点集合中每个异常查询节点设置优化配置模板；其中，每个异常查询节点至少对应一个优化配置模板，若获取到实时查询中各个查询节点的实时查询时间，根据各个查询节点的实时查询时间与预设的查询阈值，确定初始异常查询节点，将初始异常查询节点与异常查询节点集合中每个查询节点进行一一匹配，确定异常查询节点集合中与初始异常查询节点匹配的查询节点为目标查询节点，从目标查询节点对应的多个优化配置模板中确定目标优化配置模板，在目标查询节点动态配置目标优化配置模板，得到优化后的目标查询节点，在目标查询节点动态配置目标优化配置模板，得到优化后的目标查询节点，测试优化后的目标查询节点的查询时间，并在查询时间小于查询阈值，使用目标优化配置模板更新目标查询节点，通过针对不同的异常查询节点，动态配置对应的优化配置模板，对异常查询节点进行直接优化，减少了实时查询过程中的节点阻塞情况，从而提高了数据实时查询的效率。

参见图3，是本发明一实施例提供的一种base数据库的查询节点优化方法的流程示意图，如图3，该base数据库的查询节点优化方法可以包括以下步骤：

S301：根据从预设的查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，并对异常查询节点集合中每个异常查询节点设置优化配置模板；其中，每个异常查询节点至少对应一个优化配置模板；

其中，上述步骤S301与上述步骤S201的内容相同，可参考上述步骤S201的描述，在此不再赘述。

S302：若不能获取到实时查询中各个查询节点的实时查询时间，计算得到实时查询中各个查询节点的第一平均查询时间；

S303：若第一平均查询时间大于预设的第一平均查询阈值，在异常查询节点集合中的每一个异常查询节点依次动态配置优化配置模板，当一个异常查询节点被配置优化配置模板后，获取各个查询节点的第二平均查询时间；

S304：若第二平均时间小于第一平均查询时间，更新异常查询节点对应的优化配置模板；

S305：若第二平均时间大于第一平均查询时间，对异常查询节点进行回滚处理。

本实施例中，当性能监控平台不能获取到实时查询中各个查询节点的实时查询时间，从性能监控平台监控到当待查询数据的查询请求时到返回对应的待查询数据时的总的时间，若第一平均查询时间大于预设的第一平均查询阈值，则认为在数据查询的过程中，存在异常查询节点，但不能确定出异常查询节点的位置，所以在异常查询节点集合中的每一个异常查询节点依次动态配置优化配置模板，当一个异常查询节点被配置优化配置模板后，获取各个查询节点的第二平均查询时间，若第二平均时间小于第一平均查询时间，更新异常查询节点对应的优化配置模板，若第二平均时间大于第一平均查询时间，对异常查询节点进行回滚处理，返回至查询节点未被配置优化配置模板的查询状态。

当不能获取每个查询节点的实时查询时间时，获取整个查询系统中各个查询节点的平均实时查询，以每个查询节点的平均实施查询时间判断是否存在查询效率较低的情况，然后将异常查询节点集合中异常查询节点对应的优化配置模板进行依次进行动态配置，遍历优化配置模板，从而对查询节点进行优化配置，提高查询效率。

参见图4，是本发明一实施例提供的一种Hbase数据库的查询节点优化方法的流程示意图，如图4，该Hbase数据库的查询节点优化方法可以包括以下步骤：

S401：根据从预设的查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，并对异常查询节点集合中每个异常查询节点设置优化配置模板；其中，每个异常查询节点至少对应一个优化配置模板；

S402：若获取到实时查询中各个查询节点的实时查询时间，根据各个查询节点的实时查询时间与预设的查询阈值，确定初始异常查询节点；

S403：将初始异常查询节点与异常查询节点集合中每个查询节点进行一一匹配，确定异常查询节点集合中与初始异常查询节点匹配的查询节点为目标查询节点；

S404：从目标查询节点对应的多个优化配置模板中确定目标优化配置模板，在目标查询节点动态配置目标优化配置模板，得到优化后的目标查询节点；

S405：测试优化后的目标查询节点的查询时间，并在查询时间小于查询阈值，使用目标优化配置模板更新目标查询节点。

其中，上述步骤S401至步骤S405与上述步骤S201至步骤S205的内容相同，可参考上述步骤S201至步骤S205的描述，在此不再赘述。

S406：根据实时查询中的待查询数据，确定待查询数据对应的历史查询次数，若查询次数大于0次，在预设的Redis集群中，查找待查询数据对应的缓存数据。

本实施例中，针对查询节点中由于交互服务的过程中，不能动态配置优化配置模板的情况下，为了提高数据查询效率，设置Redis集群进行数据缓存，减少各个查询节点之间的通信压力。例如在短时间内，当需要查询相同的待查询数据时，每一次查询时，数据库交互层需要处理来自业务层的待查询数据请求，每一次处理待查询数据的请求都需要大量处理时间，将增加数据库服务层与业务层之间的通信压力。

在业务层设置Redis集群，Redis集群可以缓存返回的待查询数据，当Redis集群缓存待查询数据后，可以之间在Redis缓存的数据中查询待查询数据。节省了业务层与数据交互层之间的通信压力。

可选地，在预设的Redis集群中，查找待查询数据对应的缓存数据，包括：

根据接收到的待查询数据的查询请求，获取查询请求中的主键信息；

根据主键信息，在预设的Redis集群中查找待查询数据对应的缓存数据。

本实施例中，根据接收到的待查询数据的查询请求，获取查询请求中的主键信息，待查询的数据请求中包括主键信息，主键信息为数据库数据表中的字段信息，表示某一行或者某一列中的数据。当设置Redis集群后，通过Redis获取到待查询数据的查询请求，根据查询请求在Redis集群中进行查询，查询时通过查询请求中的主键信息进行索引，得到对应主键信息对应的缓存数据。

需要说明的是，使用Redis集群进行缓存对应的历史查询数据，当短时间内查询相同的数据时，第一次返回查询数据后，在Redis集群中的缓存对应的查询数据，缓存时以表名与主键的格式进行缓存，以方便进行索引。

当在Redis集群中查询对应的数据时，可以在业务层节点查询缓存的数据，若在业务层查找到对应额缓存数据，则在业务层返回对应的待查询数据，节省了剩余节点交互过程，提高了查询效率。当业务层节点无缓存数据，则在缓存数据库中查询对应的数据，并返回。

参见图5，是本发明一实施例提供的一种Hbase数据库的查询节点优化方法的流程示意图，如图5，该Hbase数据库的查询节点优化方法可以包括以下步骤：

S501：根据从预设的查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，并对异常查询节点集合中每个异常查询节点设置优化配置模板；其中，每个异常查询节点至少对应一个优化配置模板；

S502：若获取到实时查询中各个查询节点的实时查询时间，根据各个查询节点的实时查询时间与预设的查询阈值，确定初始异常查询节点；

S503：将初始异常查询节点与异常查询节点集合中每个查询节点进行一一匹配，确定异常查询节点集合中与初始异常查询节点匹配的查询节点为目标查询节点；

S504：从目标查询节点对应的多个优化配置模板中确定目标优化配置模板，在目标查询节点动态配置目标优化配置模板，得到优化后的目标查询节点；

S505：测试优化后的目标查询节点的查询时间，并在查询时间小于查询阈值，使用目标优化配置模板更新目标查询节点。

其中，上述步骤S501至步骤S505与上述步骤S201至步骤S205的内容相同，可参考上述步骤S201至步骤S205的描述，在此不再赘述。

S506：基于接收到的待查询数据的查询请求，将查询请求划分为不同的请求批次，并对请求批次分配批次标识；

S507：根据批次标识，将同一批次标识中对应的查询请求的待查询数据进行合并处理，得到同一批次标识中对应的查询请求的待查询数据的合并数据，并返回合并数据。

本实施例中，当短时间内获取到大量带查询数据的查询请求时，对查询请求进行划分，划分时可以依据时间进行划分也可以依据查询请求的个数进行划分，例如，依据时间进行划分批次时，可以设置固定时间内的查询请求为同一批次的查询请求，设置时间阈值，当在时间阈值内获取的查询请求为同一批次的查询请求。当依据查询请求的数量进行划分请求批次时，可以对查询请的数量进行累加计算，当查询请求的数量达到一定数值时，对查询请求划分请求批次，然后重新计算查询请求的累加值，将新获得的查询请求作为下一请求批次。

当划分请求批次后，对每一个请求批次分配不同的标识，以方便业务层依据对应的标识对查询请求进行处理，同一请求批次中的查询请求可以循环使用对应的标识，以方便数据库交互层对查询请求的一次性读取，从而减少了业务层与数据库交互层的通信次数。

将查询请求进行批次划分，得到批次请求，并对不同的批次请求分配不同的批次标识，将大大减少了标识的分配，相同批次标识中的查询请求基于同一个批次标识与数据库交互层进行通信，使数据库交互层可以一次性读取到同一批次标号的查询请求，减少了与数据库交互层的通信次数，从而提高了查询效率。

请参阅图6，图6是本发明实施例提供的一种Hbase数据库的查询节点优化装置的结构示意图。本实施例中该终端包括的各单元用于执行图2至图5对应的实施例中的各步骤。具体请参阅图2至图5以及图2至图5所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图6，Hbase数据库的查询节点优化装置60包括：优化配置模板设置模块61，初始异常查询接节点确定模块62，匹配模块63，动态配置模块64，更新模块65。

优化配置模板设置模块61，用于根据从预设的查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，并对异常查询节点集合中每个异常查询节点设置优化配置模板；其中，每个异常查询节点至少对应一个优化配置模板；

初始异常查询接节点确定模块62，用于若获取到实时查询中各个查询节点的实时查询时间，根据各个查询节点的实时查询时间与预设的查询阈值，确定初始异常查询节点；

匹配模块63，用于将初始异常查询节点与异常查询节点集合中每个查询节点进行一一匹配，确定异常查询节点集合中与初始异常查询节点匹配的查询节点为目标查询节点；

动态配置模块64，用于从目标查询节点对应的多个优化配置模板中确定目标优化配置模板，在目标查询节点动态配置目标优化配置模板，得到优化后的目标查询节点；

更新模块65，用于测试优化后的目标查询节点的查询时间，并在查询时间小于查询阈值，使用目标优化配置模板更新目标查询节点。

可选的是，上述优化配置模板设置模块61包括：

计算单元，用于根据从预设的查询系统中获取到的各个查询节点的历史查询时间，计算得到各个查询节点的每一次查询时的平均查询时间；

异常查询节点集合确定单元，用于根据平均查询时间与预设的平均查询阈值，确定查询节点中的异常查询节点集合。

可选的是，上述动态配置模块64包括：

评分单元，用于基于动态配置时间与动态配置内存对目标查询节点对应的多个优化配置模板进行评分，得到优化配置模板对应的评分列表；

目标优化配置模板确定单元，用于根据评分列表从高到低依次动态配置对应的优化配置模板，若动态配置成功，确定配置成功的优化配置模板为目标优化配置模板。

可选的是，上述优化装置60，还包括：

第一平均查询时间确定模块，用于若不能获取到实时查询中各个查询节点的实时查询时间，计算得到实时查询中各个查询节点的第一平均查询时间；

第二平均查询时间确定模块，用于若第一平均查询时间大于预设的第一平均查询阈值，在异常查询节点集合中的每一个异常查询节点依次动态配置优化配置模板，当一个异常查询节点被配置优化配置模板后，获取各个查询节点的第二平均查询时间；

优化配置模板更新模块，用于若第二平均时间小于第一平均查询时间，更新异常查询节点对应的优化配置模板；

回滚模块，用于若第二平均时间大于第一平均查询时间，对异常查询节点进行回滚处理。

可选的是，上述优化装置60，还包括：

缓存模块，用于根据实时查询中的待查询数据，确定待查询数据对应的历史查询次数，若查询次数大于0次，在预设的Redis集群中，查找待查询数据对应的缓存数据。

可选的是，上述缓存模块，还包括：

主键信息获取单元，用于根据接收到的待查询数据的查询请求，获取查询请求中的主键信息；

缓存数据获取单元，用于根据主键信息，在预设的Redis集群中查找待查询数据对应的缓存数据。

可选的是，上述优化装置60，还包括：

批次划分模块，用于基于接收到的待查询数据的查询请求的时间，将查询请求划分为不同的请求批次，并对请求批次设置批次标识；

合并模块，用于根据批次标识，将同一批次标识中对应的查询请求的待查询数据进行合并处理，得到同一批次标识中对应的查询请求的待查询数据的合并数据，并返回合并数据。

需要说明的是，上述单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图7是本发明实施例提供的一种计算机设备的结构示意图。如图7所示，该实施例的计算机设备包括：至少一个处理器(图7中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个Hbase数据库的查询节点优化方法实施例中的步骤。

该计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图7仅仅是计算机设备的举例，并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。

所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器包括可读存储介质、内存储器等，其中，内存储器可以是计算机设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘，在另一些实施例中也可以是计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

本发明实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现可实现上述方法实施例中的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种Hbase数据库的查询节点优化方法，其特征在于，所述优化方法包括：

根据从预设的查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，并对所述异常查询节点集合中每个异常查询节点设置优化配置模板；其中，每个异常查询节点至少对应一个优化配置模板；

若获取到实时查询中各个查询节点的实时查询时间，根据各个查询节点的实时查询时间与预设的查询阈值，确定初始异常查询节点；

将所述初始异常查询节点与所述异常查询节点集合中每个查询节点进行一一匹配，确定所述异常查询节点集合中与所述初始异常查询节点匹配的查询节点为目标查询节点；

从所述目标查询节点对应的多个优化配置模板中确定目标优化配置模板，在所述目标查询节点动态配置所述目标优化配置模板，得到优化后的目标查询节点；

测试所述优化后的目标查询节点的查询时间，并在所述查询时间小于所述查询阈值，使用所述目标优化配置模板更新所述目标查询节点。

2.如权利要求1所述的Hbase数据库的查询节点优化方法，其特征在于，所述根据从预设的查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，包括：

根据从预设的查询系统中获取到的各个查询节点的历史查询时间，计算得到各个查询节点的每一次查询时的平均查询时间；

根据所述平均查询时间与预设的平均查询阈值，确定查询节点中的异常查询节点集合。

3.如权利要求1所述的Hbase数据库的查询节点优化方法，其特征在于，所述根据从预设的查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，并对所述异常查询节点集合中每个异常查询节点设置优化配置模板之后，还包括：

若不能获取到实时查询中各个查询节点的实时查询时间，计算得到实时查询中各个查询节点的第一平均查询时间；

若所述第一平均查询时间大于预设的第一平均查询阈值，在所述异常查询节点集合中的每一个异常查询节点依次动态配置所述优化配置模板，当一个异常查询节点集合中的异常查询节点被配置所述优化配置模板后，获取各个查询节点的第二平均查询时间；

若所述第二平均时间小于所述第一平均查询时间，更新所述异常查询节点对应的优化配置模板；

若所述第二平均时间大于所述第一平均查询时间，对所述异常查询节点进行回滚处理。

4.如权利要求1所述的Hbase数据库的查询节点优化方法，其特征在于，所述从所述目标查询节点对应的多个优化配置模板中确定目标优化配置模板，，包括：

基于动态配置时间与动态配置内存对所述目标查询节点对应的多个优化配置模板进行评分，得到优化配置模板对应的评分列表；

根据所述评分列表从高到低依次动态配置对应的优化配置模板，若动态配置成功，确定配置成功的优化配置模板为目标优化配置模板。

5.如权利要求1所述的Hbase数据库的查询节点优化方法，其特征在于，所述测试所述优化后的目标查询节点的查询时间，并在所述查询时间小于所述查询阈值，使用所述目标优化配置模板更新所述目标查询节点之后，还包括：

根据实时查询中的待查询数据，确定所述待查询数据对应的历史查询次数，若查询次数大于0次，在预设的Redis集群中，查找所述待查询数据对应的缓存数据。

6.如权利要求5所述的Hbase数据库的查询节点优化方法，其特征在于，所述在预设的Redis集群中，查找所述待查询数据对应的缓存数据，包括：

根据接收到的所述待查询数据的查询请求，获取所述查询请求中的主键信息；

根据所述主键信息，在预设的Redis集群中查找所述待查询数据对应的缓存数据。

7.如权利要求1所述的Hbase数据库的查询节点优化方法，其特征在于，所述测试所述优化后的目标查询节点的查询时间，并在所述查询时间小于所述查询阈值，使用所述目标优化配置模板更新所述目标查询节点之后，还包括：

基于接收到的待查询数据的查询请求的时间，将所述查询请求划分为不同的请求批次，并对所述请求批次设置批次标识；

根据所述批次标识，将所述同一批次标识中对应的查询请求的待查询数据进行合并处理，得到同一批次标识中对应的查询请求的待查询数据的合并数据，并返回合并数据。

8.一种Hbase数据库的查询节点优化装置，其特征在于，所述装置包括：

优化配置模板设置模块，用于根据从预设的查询系统中获取到的各个查询节点的历史查询时间，确定所有查询节点中的异常查询节点集合，并对所述异常查询节点集合中每个异常查询节点设置优化配置模板；其中，每个异常查询节点至少对应一个优化配置模板；

初始异常查询接节点确定模块，用于若获取到实时查询中各个查询节点的实时查询时间，根据各个查询节点的实时查询时间与预设的查询阈值，确定初始异常查询节点；

匹配模块，用于将所述初始异常查询节点与所述异常查询节点集合中每个查询节点进行一一匹配，确定所述异常查询节点集合中与所述初始异常查询节点匹配的查询节点为目标查询节点；

动态配置模块，用于从所述目标查询节点对应的多个优化配置模板中确定目标优化配置模板，在所述目标查询节点动态配置所述目标优化配置模板，得到优化后的目标查询节点；

更新模块，用于测试所述优化后的目标查询节点的查询时间，并在所述查询时间小于所述查询阈值，使用所述目标优化配置模板更新所述目标查询节点。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的Hbase数据库的查询节点优化方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的Hbase数据库的查询节点优化方法。

Images