CN107918676A - 结构化查询的资源优化方法及数据库查询系统 - Google Patents

Abstract

本发明涉及嵌入式数据库技术领域，特别涉及一种结构化查询的资源优化方法及数据库查询系统。其中，结构化查询的资源优化方法，包括：获取多条查询语句；根据多条查询语句，配置处理查询所用的硬件模块。数据库查询系统，包括：指令获取模块，指令获取模块被配置为获取多条查询语句；查询处理模块，查询处理模块被配置为根据多条查询语句，配置处理查询所用的硬件模块。本发明的结构化查询的资源优化方法及系统，能够根据当前待处理的查询语句的排队情况，动态调整用于完成查询处理的硬件模块，从而合理安排硬件模块资源并且提高查询效率。

Description

结构化查询的资源优化方法及数据库查询系统

技术领域

本发明实施例涉及嵌入式数据库技术领域，特别涉及一种结构化查询的资源优化方法及数据库查询系统。

背景技术

人工智能计算平台，是一种能够为用户提供人工智能训练需要的训练、推断工具和数据存储、处理服务的服务平台。人工智能计算平台一般通过一个或者多个数据中心提供支持，每个数据中心可以由多台服务器构成，并且通过各台服务器以网络方式对外提供服务。

人工智能计算平台的数据库查询系统，是为使用人工智能计算平台的用户提供在数据中心的数据库中查询数据的服务系统。目前，在数据库环境中，最常用的数据库查询方式是预先依照数据库的内容设计数据库查询程序(或是利用机器学习建立的查询模型)，以固定的结构化查询语言(英文全称：Structured Query Language，英文缩写：SQL)对数据库进行查询。

在进行数据库SQL查询时，往往需要面临多条SQL查询语句并发请求查询的情况。由于在处理各条SQL查询语句时，每一条SQL查询语句都会被划分为多个流水段，每个流水段根据不同的处理阶段又会由不同的硬件模块进行处理。因此，每个硬件模块的可能会同时分配到多个流水段，并需要对其进行并行处理。此时，可以对硬件模块配置不同的并行度数量，其并行度数量越高，查询处理的效率越高。但是，即使可以对硬件模块进行不同并行度数量的配置，硬件模块的并行度数量在配置好以后即固定，由于无法预知多路查询中各条SQL查询语句的多个流水段的构成，依然会存在需求和资源不匹配的问题，造成资源浪费和性能低下。

现有的解决硬件模块的配置和需求不匹配的方法是，为每个硬件模块预留足够大的并行度数量，但是由于资源有限，无法给每个硬件模块都预留到最大的并行度数量，而且查询语句的各个阶段的流水段的数量也是未知的，从而无法保证该预留的最大的并行度数量可以满足处理数量的需求，因此，依然无法有效地解决硬件模块资源浪费和处理效率低的问题。

发明内容

本发明实施例提供了一种结构化查询的资源优化方法及数据库查询系统，能够根据当前待处理的查询语句的排队情况，动态调整用于完成查询处理的硬件模块，从而合理安排硬件模块资源并且提高查询效率。

为了解决上述技术问题，本发明提供了如下的技术方案：

本发明的一种结构化查询的资源优化方法，包括：

获取多条查询语句；

根据多条查询语句，配置处理查询所用的硬件模块。

进一步地，根据多条查询语句，配置处理查询所用的硬件模块的方法包括：

根据多条查询语句确定处理查询的硬件模块的并行度的建议配置；

根据硬件模块的并行度的建议配置，配置处理查询所用的硬件模块。

进一步地，确定建议配置的方法包括：

根据多条查询语句和预设的通过机器学习建立的模型，获取处理查询的硬件模块的并行度的建议配置。

进一步地，确定处理查询的硬件模块的并行度的建议配置的方法包括：

将多条查询语句划分为对应的多个流水段；

根据多个流水段的数量，确定处理查询的硬件模块的并行度的建议配置。

进一步地，还包括：

将多个流水段根据不同的处理阶段分为多组；

根据各组流水段，确定处理各组流水段对应的硬件模块的并行度的建议配置。

进一步地，根据硬件模块的并行度的建议配置，配置处理查询所用的硬件模块的方法还包括：

获取当前处理查询所用的硬件模块的并行度的预设配置；

根据建议配置和预设配置的匹配结果，确定是否重新配置处理查询所用的硬件模块。

进一步地，还包括：

确定采用预设配置的硬件模块完成查询处理所需的第一时间和将预设配置的硬件模块更换为建议配置的硬件模块完成查询处理所需的第二时间；

根据匹配结果以及第一时间和第二时间的比较结果，确定是否重新配置处理查询所用的硬件模块。

进一步地，第二时间包括：

停止预设配置的硬件模块的时间、等待预设配置的硬件模块处理查询的时间和采用预设配置的硬件模块完成查询处理的时间。

进一步地，结构化查询的资源优化方法应用于对人工智能计算平台的数据库查询。

一种数据库查询系统，包括：

指令获取模块，指令获取模块被配置为获取多条查询语句；

查询处理模块，查询处理模块被配置为根据多条查询语句，配置处理查询所用的硬件模块。

进一步地，查询处理模块包括：

查询配置单元，查询配置单元被配置为根据多条查询语句确定处理查询的硬件模块的并行度的建议配置；以及

硬件配置单元，硬件配置单元被配置为根据硬件模块的并行度的建议配置，配置处理查询所用的硬件模块。

进一步地，指令获取模块包括：

指令处理单元，指令处理单元被配置为将多条查询语句划分为多个流水段；

查询配置单元包括：

队列分析单元，队列分析单元被配置为将多个流水段根据不同的处理阶段分为多组，以使硬件配置单元根据各组流水段，确定处理各组流水段对应的硬件模块的并行度的建议配置。

基于上述公开，本发明实施例的有益效果在于：

本发明实施例的结构化查询的资源优化方法，能够根据获取的多条查询语句，配置处理查询所用的硬件模块，以利用多个与查询语句相匹配的并行度的硬件模块组成最佳的硬件模块组合对多条查询语句进行查询处理，可以避免任务量较少的查询语句占用并行度较高的硬件模块，而浪费硬件模块的资源，降低硬件模块的闲置率，并且提高硬件资源的利用率；也可以避免任务量较多的查询语句使用并行度交底的硬件模块，提高查询处理的效率，并且降低硬件模块进行查询的阻塞率。

本发明实施例的数据库查询系统，由于能够根据获取的多条查询语句，配置处理查询所用的硬件模块，使数据库查询系统具有响应速度高、响应延迟小的优点。

附图说明

图1为本发明实施例的结构化查询的资源优化方法的流程图；

图2为查询语句对应的流水段构成图；

图3为图3所示的流水段重新配置后的构成图；

图4为本发明实施例的数据库查询系统的结构示意图。

具体实施方式

下面，结合附图对本发明的具体实施例进行详细的描述，但不作为本发明的限定。

应理解的是，可以对此处公开的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本公开的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且与上面给出的对本公开的大致描述以及下面给出的对实施例的详细描述一起用于解释本公开的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本发明的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本发明进行了描述，但本领域技术人员能够确定地实现本发明的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。

当结合附图时，鉴于以下详细说明，本公开的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本公开的具体实施例；然而，应当理解，所公开的实施例仅仅是本公开的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本公开模糊不清。因此，本文所公开的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本公开。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本公开的相同或不同实施例中的一个或多个。

下面，结合附图详细的说明本发明实施例，如图1所示，本发明实施例的结构化查询的资源优化方法，包括：

S1、获取多条查询语句。多条查询语句为出现多条SQL查询语句并发请求查询的情况时，在同一时间同时接收到的或者不同时间先后接收到的查询语句。由于在多条查询语句并发请求查询时，若按接收顺序分别单独地执行处理多条查询语句，会导致处理效率降低，并且无法合理地利用硬件模块的硬件资源。因此，为了提高处理效率并且合理地利用硬件资源，可以对多条查询语句同时处理。例如，当在同一时间同时获取了多条查询语句时，对获取的多条查询语句进行同时处理，当在不同时间先后接收到多条查询语句时，可以对先接收到的查询语句进行处理，当继续接收到其他查询语句时，将其直接加入到处理列表中，对其同步进行处理，以减少各条查询语句的等待处理时间，提高用于查询处理的硬件模块的利用率以及查询处理的效率。

S2、当获取了多条查询语句后，可以根据多条查询语句，配置处理查询所用的硬件模块。由于需要对多条查询语句进行同步处理，硬件模块的并行度越大时，可以同时处理的查询语句越多，其处理查询的效率越高。因此，配置处理查询所用的硬件模块可以包括配置用于处理查询的硬件模块的并行度设置，即当获取了多条查询语句后，可以根据多条查询语句确定处理查询的硬件模块的并行度的建议配置，并根据硬件模块的并行度的建议配置，配置处理查询所用的硬件模块。

其中，在对处理查询所用的硬件模块进行配置时，可以通过多种方式实现。例如，当首次获取查询语句时，可以不预先对其分配任何的硬件模块，此时，可以先根据查询语句获取处理这些查询语句应当使用的硬件模块的建议配置，再根据确定的建议配置选择合适的硬件模块，为查询语句分配对应的硬件模块完成多条查询语句的查询。再例如，当已经有查询语句正在被处理，后续又获取了一条或者多条查询语句时，由于正在被处理的查询语句已经预先对其分配好硬件模块正在执行处理，当又有其他查询语句加入处理列表中时，可以根据处理列表中的全部的查询语句获取处理这些查询语句应当使用的硬件模块的建议配置时，再根据建议配置和预先分配好的硬件模块的比较结果，确定是否将预先分配好的硬件模块更换为具有建议配置的硬件模块，并利用最终确定的硬件模块继续完成多条查询语句的查询。

在实际的查询语句的处理中，由于查询语句的长短不一，查询语句中包含的信息量和内容也不同，为了提高查询处理的效率，在处理查询语句时，一般先将查询语句划分为多个流水段，然后再通过对各个流水段的处理完成查询任务。因此，在本发明实施例中，确定处理查询的硬件模块的并行度的建议配置的方法可以为先将多条查询语句划分为多个流水段，然后根据多个流水段的数量，确定处理查询的硬件模块的并行度的建议配置。具体地，可以将多个流水段根据不同的处理阶段分为多组，再根据各组流水段的数量，动态地调整确定处理各组流水段对应的硬件模块的并行度的建议配置。由于各个处理阶段的流水段的数量不同，处理各个处理阶段的硬件模块的速度也不相同，会导致各个处理阶段的待处理的流水段的数量在不同时间可能不同，因此，可以根据各个处理阶段在不同时间的不同流水段的数量，动态地调整其对应的硬件模块的建议配置。

其中，可以以图2和图3为例，对根据多条查询语句的各组流水段的数量，确定处理各组流水段对应的硬件模块的并行度的建议配置的具体方法进行说明。图2中示出了三条查询语句，对三条查询语句分别进行流水段的划分后，第一条查询语句共有六个流水段，第二条查询语句共有五个流水段，第三条查询语句共有三个流水段。当查询处理进行了一段时间后，根据该时刻各个流水段所处的不同的处理阶段，将可以将多个流水段分为四组。其中，第一条查询语句包含一个处于第一处理阶段的流水段、四个处于第二处理阶段的流水段和一个处于第四处理阶段的流水段。第二条查询语句包含四个处于第二处理阶段的流水段和一个处于第三处理阶段的流水段。第三条查询语句包含一个处于第一处理阶段的流水段、一个处于第三处理阶段的流水段和一个处于第四处理阶段的流水段。当这三条查询语句同时处于处理列表中时，各个不同的处理阶段对应的硬件模块需要处理的流水段的数量即如图3中所示，即用于处理第一处理阶段的硬件模块需要处理两个流水段，即用于处理第二处理阶段的硬件模块需要处理八个流水段，即用于处理第三处理阶段的硬件模块需要处理两个流水段，即用于处理第四处理阶段的硬件模块需要处理两个流水段。

若图2中所示的三条查询语句的各个流水段所处的阶段为利用预先分配的硬件模块处理后得到的，例如三条查询语句的四个处理阶段分别分配了平行度为2的硬件模块。由于此时，第二处理阶段实际上有八个流水段等待处理，若应用并行度为2的硬件模块继续进行处理，则该硬件模块需要将八个流水段再分为4组，然后对4组流水段依次进行处理后，再将八个流水段向下一个处理阶段的硬件模块传输，这导致第二处理阶段的处理时间将加长，第三处理阶段和第四处理阶段的硬件模块需要等待较长时间，才能继续执行处理任务，进而降低三条查询语句的处理效率。若可以根据第二处理阶段的实际需要，确定是否将其更换为平行度为8的硬件模块，则可以提高第二处理阶段的流水段的处理速度。以并行度为1的硬件模块的处理速度为基础速度，当并行度为N时，其加速比即为N倍，因此，利用并行度为2的硬件模块处理第一处理阶段、第三处理阶段和第四处理阶段的流水段的加速比为2倍，利用并行度为8的硬件模块处理第二处理阶段的流水段的加速比为8倍。而利用并行度为8的硬件模块处理第二处理阶段的流水段相对于利用并行度为2的硬件模块处理第二处理阶段的流水段的加速比为4倍。

在本发明实施例中，还可以根据多条查询语句和预设的通过机器学习建立的模型，获取处理查询的硬件模块的并行度的建议配置。该预设的模型的输入信息可以为多条查询语句，预设的模型可以根据输入的多条查询语句自动分析确定处理查询的硬件模块的并行度的建议配置。其中，通过机器学习的方式建立预设的模型的方法可以为利用多条已经过查询处理的查询语句及对应的处理这些查询语句的硬件模块的并行度进行训练，从而获得预设的模型。

在本发明实施例中，当已经为处理列表中的多条查询语句预先分配了硬件模块时，根据硬件模块的并行度的建议配置，更换处理查询所用的硬件模块的方法还可以包括：获取当前处理查询所用的硬件模块的并行度的预设配置，然后根据建议配置和预设配置的匹配结果，确定是否重新配置处理查询所用的硬件模块。

具体地，可以先确定采用预设配置的硬件模块完成查询处理所需的第一时间和将预设配置的硬件模块更换为建议配置的硬件模块完成查询处理所需的第二时间。再根据匹配结果以及第一时间和第二时间的比较结果，确定是否重新配置处理查询所用的硬件模块。其中，第二时间可以包括：停止预设配置的硬件模块的时间、等待预设配置的硬件模块处理查询的时间和采用预设配置的硬件模块完成查询处理的时间。

例如，当确定预设的硬件模块的并行度的预设配置与建议配置不一致时，先确定继续预设配置的硬件模块完成查询处理所需的第一时间的长短，然后确定停止采用预设配置的硬件模块的时间、等待预设配置的硬件模块处理查询的时间和采用预设配置的硬件模块完成查询处理的时间的总和即第二时间的长短，将第一时间和第二时间进行比较，若第一时间大于第二时间，则将预设配置的硬件模块更换为建议配置的硬件模块，反之，则无需更换硬件模块，继续使用预设配置的硬件模块完成查询处理。

本发明一个实施例的结构化查询的资源优化方法的具体流程为：首先，获取多条查询语句。其次，将各条查询语句分别分为多个流水段，当经过一段时间的处理后，多个流水段按照不同的处理阶段被分为多组，确定各个处理阶段的流水段数量。再次，根据各组流水段的数量，确定用于处理各组流水段对应的硬件模块的建议配置。然后，判断多条查询语句是否已经预先设有具有预设配置的硬件模块。若未预先设置具有预设配置的硬件模块，则根据建议配置选择具有对应的并行度的硬件模块完成查询处理。若已经预先设置具有预设配置的硬件模块，则判断建议配置是否优于预设配置。若预设配置的并行度大于或者等于建议配置，则无需更换硬件模块。若预设配置的并行度小于建议配置，则确定第一时间和第二时间，判断第二时间是否优于第一时间。若第一时间小于或者等于第二时间，则无需更换硬件模块。若第一时间大于第二时间，则将预设配置的硬件模块更换为建议配置的硬件模块。

由于每两个处理阶段之间均具有缓冲区，因此，当确定将预设配置的硬件模块更换为建议配置的硬件模块时，为了提高对查询指令的处理效率，可以仅停止该处理阶段及之后处理阶段的硬件模块，并在更换了硬件模块之后，重新恢复该处理阶段及之后处理阶段的硬件模块的工作。

本发明实施例的结构化查询的资源优化方法应用于对人工智能计算平台的数据库查询，当使用人工智能计算平台进行数据库查询的用户逐渐增多时，会出现多条查询语句并发请求查询的情况。此时，为了提高查询速度，可以通过采用本发明实施例的结构化查询的资源优化方法对查询处理进行加速，以提高人工智能计算平台的处理效率。

如图4所示，本发明实施例的一种数据库查询系统，包括指令获取模块1、查询处理模块2和多个并行度不同的硬件模块，其中，指令获取模块1可以为计算机的主存，被配置为获取多条查询语句。查询处理模块2可以为加速卡，被配置为根据多条查询语句，配置处理查询所用的硬件模块。

在本发明实施例中，查询处理模块2可以包括查询配置单元22和硬件配置单元23，查询配置单元22被配置为根据多条查询语句确定处理查询的硬件模块的并行度的建议配置，硬件配置单元23被配置为根据硬件模块的并行度的建议配置，配置处理查询所用的硬件模块。

在本发明实施例中，指令获取模块1包括指令接收单元11和指令处理单元12，指令接收单元11被配置为接收多条查询语句，指令处理单元12被配置为将多条查询语句划分为多个流水段。此时，查询配置单元22包括队列分析单元21，队列分析单元21被配置为将多个流水段根据不同的处理阶段分为多组，以使硬件配置单元23根据各组流水段，确定处理各组流水段对应的硬件模块的并行度的建议配置。

本发明实施例的数据库查询系统的工作流程为：首先，指令获取模块1获取多条查询语句，并且将多条查询语句分别以多个流水段的形式传输至查询处理模块2的查询配置单元22，然后再根据查询配置单元22确定的建议配置对硬件模块进行配置，最后根据配置好的硬件模块对多个流水段进行查询处理。具体地为：

首先，指令获取模块1获取多条查询语句。其次，指令处理单元12将各条查询语句分别分为多个流水段，当经过一段时间的处理后，队列分析单元21将多个流水段按照不同的处理阶段分为多组。再次，硬件配置单元23根据各组流水段的数量，确定用于处理各组流水段对应的硬件模块的建议配置。然后，硬件配置单元23判断多条查询语句是否已经预先设有具有预设配置的硬件模块。若未预先设置具有预设配置的硬件模块，则根据建议配置选择具有对应的并行度的硬件模块完成查询处理。若已经预先设置具有预设配置的硬件模块，则判断建议配置是否优于预设配置。若预设配置的并行度大于或者等于建议配置，则无需更换硬件模块。若预设配置的并行度小于建议配置，则确定第一时间和第二时间，判断第二时间是否优于第一时间。若第一时间小于或者等于第二时间，则无需更换硬件模块。若第一时间大于第二时间，则将预设配置的硬件模块更换为建议配置的硬件模块。

综上所述，本发明实施例的结构化查询的资源优化方法及系统，能够对不同处理阶段配置对应并行度的硬件模块，以实现最佳的并行度组合，确保硬件加速资源的高效利用，以提高硬件加速资源的利用率，降低闲置率、阻塞率，并且提高系统的响应速度、减小响应延迟。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的数据处理方法所应用于的电子设备，可以参考前述产品实施例中的对应描述，在此不再赘述。

以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (10)

1.一种结构化查询的资源优化方法，包括：

获取多条查询语句；

根据所述多条查询语句，配置处理查询所用的硬件模块。

2.根据权利要求1所述的结构化查询的资源优化方法，其中，根据所述多条查询语句，配置处理查询所用的硬件模块的方法包括：

根据所述多条查询语句确定处理查询的硬件模块的并行度的建议配置；

根据硬件模块的并行度的建议配置，配置处理查询所用的硬件模块。

3.根据权利要求2所述的结构化查询的资源优化方法，其中，确定所述建议配置的方法包括：

根据所述多条查询语句和预设的通过机器学习建立的模型，获取处理查询的硬件模块的并行度的建议配置。

4.根据权利要求2所述的结构化查询的资源优化方法，其中，确定处理查询的硬件模块的并行度的建议配置的方法包括：

将所述多条查询语句划分为多个流水段；

根据所述多个流水段的数量，确定处理查询的硬件模块的并行度的建议配置。

5.根据权利要求4所述的结构化查询的资源优化方法，其中，还包括：

将所述多个流水段根据不同的处理阶段分为多组；

根据各组所述流水段，确定处理各组所述流水段对应的硬件模块的并行度的建议配置。

6.根据权利要求2所述的结构化查询的资源优化方法，其中，根据硬件模块的并行度的建议配置，配置处理查询所用的硬件模块的方法还包括：

获取当前处理查询所用的硬件模块的并行度的预设配置；

根据所述建议配置和所述预设配置的匹配结果，确定是否重新配置处理查询所用的硬件模块。

7.根据权利要求6所述的结构化查询的资源优化方法，其中，还包括：

确定采用所述预设配置的硬件模块完成查询处理所需的第一时间和将所述预设配置的硬件模块更换为所述建议配置的硬件模块完成查询处理所需的第二时间；

根据所述匹配结果以及所述第一时间和所述第二时间的比较结果，确定是否重新配置处理查询所用的硬件模块。

8.根据权利要求7所述的结构化查询的资源优化方法，其中，所述第二时间包括：

停止所述预设配置的硬件模块的时间、等待所述预设配置的硬件模块处理查询的时间和采用所述预设配置的硬件模块完成查询处理的时间。

9.根据权利要求1所述的结构化查询的资源优化方法，其中，所述结构化查询的资源优化方法应用于对人工智能计算平台的数据库查询。

10.一种数据库查询系统，包括：

指令获取模块，所述指令获取模块被配置为获取多条查询语句；

查询处理模块，所述查询处理模块被配置为根据所述多条查询语句，配置处理查询所用的硬件模块。