CN101196901B - 用于数据库查询的计算机系统和方法 - Google Patents

Abstract

在包括多个节点和互连所述节点的多个网络的网络计算机系统中，数据库查询优化器在优化查询时考虑网络选择。所述查询优化器为查询记录包括网络信息的历史信息。网络监控器确定所述多个网络的网络特征。随后所述查询优化器根据所述网络特征，并且可选地也根据所述历史信息为查询选择网络。结果是考虑网络选择的查询优化器，由此提供根据所述网络的所述特征优化的查询。

Description

用于数据库查询的计算机系统和方法

技术领域

本发明一般地涉及数据库查询优化，并且更特别地涉及一种在包括多个节点和多个网络路径的系统中当执行查询时考虑网络选择的查询优化器。

背景技术

已经开发了数据库系统，其允许计算机以允许用户搜索和获取数据库中特定信息的方式存储大量信息。例如，保险公司的数据库可以包含其所有投保人及投保人的当前帐户信息，包括支付记录、保险金额、保单号、保单类型、排除给付等。数据库系统允许保险公司在其数据库中从数以千计以及可能数百万的投保人中获取某个投保人的帐户信息。

从数据库中获取信息典型地通过使用查询完成。数据库查询典型地包括一个或者由逻辑算子互连的多个谓词表达式。已开发出了数据库查询优化器，用来评估查询以及确定如何根据影响查询性能的多个不同因素最佳地执行所述查询。然而，已知的查询优化器在执行查询时均未能考虑对网络的选择。作为结果，已知的查询优化器不能根据多个网络的特征优化查询。

发明内容

在包括多个节点和互联所述节点的多个网络的网络计算机系统中，数据库查询优化器在优化查询时考虑网络选择。所述查询优化器为查询记录包括网络信息的历史信息。网络监控器确定所述多个网络的网络特征。随后所述查询优化器根据所述网络特征，并且可选地也根据所述历史信息为查询选择网络。结果是考虑网络选择的查询优化器，由此提供根据所述网络的特征优化的查询。

参照附图和以下更具体的描述，将理解前述的和其它的特征和优势。

附图说明

参照附图对本发明进行描述，其中相同的元件使用相同的参考标号。

图1是包括查询优化器的网络计算机系统的方框图，其中所述优化器在优化数据库查询时考虑网络选择；

图2是可以由图1中的网络监控器124确定的可能的网络特征表124；

图3是根据优选实施例的计算机系统的方框图，所述计算机系统通过多个网络连接到多个其它计算机系统(或节点)；

图4是图1和图3中的查询优化器125在执行查询时选择网络的方法的流程图；

图5是所述查询优化器在执行查询时记录包括网络信息的历史信息的方法的流程图；

图6是将查询与执行所述查询使用的网络相关联的历史信息表；

图7是图1和图3中的网络监控器123确定和存储网络特征的方法的流程图；以及

图8是代表图1和图3所示网络特征124的一个特定实现的网络文件记录表。

具体实施方式

已开发出包括通过多个不同网络路径彼此连接的多个节点的计算机系统。IBM开发的BlueGene超级计算机家族包括通过多个不同网络连接到一起的数以千计的计算机节点。例如，在BlueGene体系结构中，节点通过环接(torus)网络和逻辑树网络互连。环接网络利用环回链路在三维网格中连接节点。逻辑树网络以二叉树配置连接所有节点，其中每个节点有一个父节点和两个子节点，不过根据硬件配置，某些节点也可能有一个子节点或没有子节点。在BlueGene体系结构中，环接和逻辑树网络是独立网络，这意味着其不共享网络资源如链路或分组注入FIFO。

当节点象在Blue Gene体系结构中那样与不同的独立网络互连时，选择使用哪个网络能够影响包括其它节点的数据库查询的性能。作为结果，查询优化器现在可以在执行数据库查询时考虑对网络的选择。已知的查询优化器在优化数据库查询时考虑多种因素，但没有一种已知的查询优化器在执行查询时考虑网络选择。

本公开和权利要求书提供了一种在执行查询时考虑网络选择的查询优化器。所述查询优化器为查询记录表示过去执行查询时网络选择的历史信息。网络监控器确定每个所述网络的网络特征。随后所述查询优化器根据查询本身的属性，根据所述历史信息以及根据所述网络特征选择网络。结果是能够更优化地执行查询的查询优化器，其当在网络计算机系统中通过多个网络与其它节点连接的节点上执行查询时考虑网络选择。

参考图1，所示系统115包括通过多个网络(在图1中示出为107A，107B，107C，...，107N)连接到一起的多个节点105。所述多个网络也连接到网络监控器123，网络监控器123监控网络并确定适当的网络特征124。数据库查询优化器125记录包括在查询优化器125执行查询时的网络选择信息的历史信息127。网络选择机制126根据网络特征124和/或历史信息127为查询选择网络。结果是在执行查询时考虑网络选择的查询优化器125。在最优选的实现中，所述多个网络是独立网络，因此一个网络的问题不影响不同网络的功能。然而，也可以使用不独立的网络。

图2的表中示出了网络特征124的一些特定例子。网络特征124可以包括表征网络的网络拓扑项目210，如网格型、环接型、环型、总线型、树型等。网络利用率220可以表示网络是否忙、故障、空闲等。网络延时230表明网络的延迟。也可以指定其它网络能力240，如算术逻辑单元(ALU)归约操作。图2所示是网络特征的一些具体例子，本公开和权利要求书明确地扩展到包括能够描述或以其它方式表征网络的任何适当的参数或度量的网络特征。

参考图3，计算机系统100是计算机系统的一个适当的实现，所述计算机系统可以是通过多个网络将多个节点互连的网络计算机系统中的节点，并且包括在执行数据库查询时考虑网络选择的查询优化器。计算机系统100是IBM e Server System i计算机系统。但是，本领域的技术人员可以理解，本公开可以同样地用于任意计算机系统，无论计算机系统是复杂的多用户计算机装置、单用户工作站、嵌入式控制系统，还是或大型并行计算机系统，如IBM开发的BlueGene计算机系统。如图3所示，计算机系统100包括一个或多个处理器110、主存储器120、大型存储接口130、显示器接口140以及多个网络接口，在图3中示为网络接口150A、150B和150N。这些系统组件通过使用系统总线160互连。大型存储接口130用于将大型存储设备(如直接访问存储设备155)连接到计算机系统100。一种特定类型的直接访问存储设备155是可读可写CD-RW驱动器，其可以向CD-RW 195写入数据或从CD-RW 195获取数据。

主存储器120优选地包含数据121、操作系统122、网络监控器123和数据库查询优化器125。数据121代表任何作为计算机系统100中任何程序的输入或输出的数据。操作系统122是行业内公知为i5/OS的多任务操作系统；然而，本领域的普通技术人员将可以理解，本发明的精神和范围不限于任何一种操作系统。网络监控器123是监控连接到计算机系统100的多个网络的特征的软件机制。所述网络监控器将这些特征记录为网络特征124。所述数据库查询优化器包括网络选择机制126和历史信息127。当查询优化器125执行数据库查询时，它记录包括网络选择信息的历史信息127。网络选择机制126在执行查询时通过查看所述查询本身的属性和/或网络特征124和/或历史信息127为所述查询考虑网络选择。通过在执行查询时考虑网络选择，查询优化器125可以增强所述查询的性能。

计算机系统100采用公知的虚拟寻址机制，其允许计算机系统100的程序如同只访问大型、单个存储实体而不是访问多个较小存储实体(如主存储器120和DASD设备155)那样工作。因此，虽然数据121、操作系统122、网络监控器123和查询优化器125在图中所示为位于主存储器120中，本领域的普通技术人员将可以认识到，这些项目并非必需地同时完全包含于主存储器120中。应当注意，本文所使用的术语“存储器”一般地是指计算机系统100的整个虚拟存储器，并且可以包括连接到计算机系统100的其他计算机系统的虚拟存储器。

处理器110可以由一个或多个微处理器和/或集成电路构成。处理器110执行存储于主存储器120中的程序指令。主存储器120存储处理器110可访问的程序和数据。当计算机系统100启动时，处理器110最初执行构成操作系统122的程序指令。

尽管所示的计算机系统100只包括一个处理器和一个系统总线，本领域的普遍技术人员将可以理解，考虑网络选择的查询优化器可以使用具有多个处理器和/或多个总线的计算机系统来实施。另外，所使用的接口优选地分别包括独立的、完全编程的微处理器，用于为处理器110分流(off-load)计算密集型处理。然而，本领域的普遍技术人员可以理解，也可以使用I/O适配器执行这些功能。

显示器接口140用于直接地将一个或多个显示器165连接到计算机系统100。这些显示器165可以是非智能的(即哑的)终端或者完全可编程的工作站，其用于向系统管理员和用户提供与计算机系统100通信的能力。然而，请注意，虽然提供显示器接口140以支持与一个或多个显示器165的通信，计算机系统并非必需地需要显示器165，因为所有所需的与用户的交互以及其它处理可以通过一个或多个网络接口实现。

图3中示为150A，150B，...，150N的网络接口用于通过独立网络(例如170A，170B，...，170N)将计算机系统100连接到其它计算机系统或工作站，在此示为节点(例如图3中的175A，175B，...，175N)。网络接口150A，150B，...，150N和网络170A，170B，...，170N广义地代表互连电子设备的任何适当的方式，而无论所述网络是否包括当前模拟和/或数字技术或通过未来的某些联网机制。另外，可使用很多不同网络协议实现网络。这些协议是专门的计算机程序，其允许计算机通过网络进行通信。TCP/IP(传输控制协议/网际协议)是适当的网络协议的一个例子。

在此应重点注意，上文描述是完全功能性的计算机系统环境下的情况，本领域的普通技术人员将可以理解，所述查询优化器可以被分发作为各种形式的程序产品，并且权利要求扩展到所有适当类型的用于实际实现分发的计算机可读介质。适当的计算机可读介质的例子包括：可录介质，如软盘和CD-RW(例如图5中的195)，以及传输介质，如数字和模拟通信链路。

本文的实施例也可作为与客户公司、非盈利组织、政府实体、内部组织机构等的服务合作的一部分交付。这些实施例可以包括配置计算机系统以执行本文所述的部分或全部方法以及布置实现本文所述某些或全部方法的软件、硬件和网络服务。这些实施例也可以包括分析客户操作，响应于所述分析创建建议，建设实现所述建议的一部分的系统，将所述系统整合到现存过程和基础设施中，计量所述系统的使用，将费用分配给所述系统的用户，以及为所述系统的使用计费。

参照图4，方法400优选地由图1和图3中所述查询优化器125执行。方法400开始于收到要执行的查询(步骤410)。所述查询可以包括指定网络的表达式参数，或者可以包括指定网络的与所述查询相关的属性。这两种情况都广义地解释为所述查询的属性。如果为所述查询指定了网络(步骤420＝是)，则检查所述网络是否可用(步骤422)。如果可用(步骤422＝是)，选择所述网络(步骤470)并且使用所选网络执行所述查询(步骤480)。如果所述网络不可用(步骤422＝否)，或者如果没有为所述查询指定网络(步骤420＝否)，方法400随后确定处理所述查询所涉及的节点(步骤430)。接下来，如果所述节点的布局确定了选择哪一个网络(步骤440＝是)，并且如果所述网络可用(步骤442＝是)，则选择所述网络(步骤470)并且使用所述网络执行所述查询(步骤480)。如果所述网络不可用(步骤442＝否)或者如果所述节点的布局未确定使用哪一个网络(步骤440＝否)，则方法400确定是否历史信息确定选择哪一个网络(步骤450)。如果是(步骤450＝是)并且如果网络可用(步骤452＝是)，则选择所述网络(步骤470)并使用所述网络执行所述查询(步骤480)。如果所述网络不可用(步骤452＝否)或者如果历史信息未确定使用哪一个网络(步骤450＝否)，则从所述网络监控器(步骤460)确定可用的网络(步骤460)。从可用网络中选择一个(步骤470)，并且使用所述网络执行所述查询(步骤480)。

当执行涉及选择网络的查询时，所述查询优化器优选地记录包括网络选择的历史信息，以便下一次执行查询时可以使用该历史信息(例如图4中的步骤450)。参照图5，方法500优选地由图1和图3中所述查询优化器125执行。执行所述查询(步骤510)。确定执行所述查询涉及的节点(步骤520)。确定执行所述查询所用的网络(步骤530)。确定执行所述查询经过的时间(步骤540)。随后记录在步骤520，530和540中确定的结果(步骤550)。图6中的一个示例表600是图1和图3中所示的历史信息127的一个适当的实现。图6中的表6中的历史信息包括所执行的查询，使用的网络，经过时间，以及在处理所述查询过程中涉及的节点的节点列表。表600包括多个条目，在图6中示为610A，...，610N，以代表与不同查询有关的记录可以记录在同一个表中。

图1和图3中的网络监控器确定一个或多个所述网络的网络特征124。参照图7，方法700优选地由网络监控器123执行。对于每一个网络(步骤710)，确定当前网络利用率(步骤720)。如果可能，预测未来网络利用率(步骤730)。可以根据存储于网络文件中的以前的统计数据来预测未来网络利用率。如果应用以前曾经运行过或具有可识别的模式，也可根据历史预测未来网络利用率，以及可以根据所提供的有关应用的信息预测未来网络利用率。例如，某种类型的应用传统上执行特定类型的查询。这样，财务应用可以向特定节点执行查询，而科学应用可以向所有节点执行查询。记录每个节点的网络延迟(步骤740)。计算平均延迟(步骤750)。随后可根据计算得出的平均延迟确定网络的可用性(步骤760)。例如，如果所述计算得出的平均延迟超过某个指定的阈值水平，则所述网络将不可用，但如果所述计算得出的平均延迟低于或等于指定的阈值水平，则网络将是可用的。请注意，在图7的步骤760中由网络监控器确定网络是否可用与在图4的步骤422、442和452中确定网络是否可用相关，并且可使用任何适当的启示或标准来确定。

图7中的方法700可以按照设定的时间间隔执行，使得网络特征124持续更新，而无论它们何时被使用。当然，在替代实施例中，方法700可以在需要网络特征时按需执行。当需要网络特征时按需执行方法700的益处是：数据可以是最新的。当需要网络特征时按需执行方法700的缺点是：网络监控器123确定网络特征所引入的延迟。使网络监控器定期收集网络特征意味着：在任何时候如果所述查询优化器需要这些特征，则这些所述特征是很容易获得的。间隔期间可以按照需要调整以平衡系统性能和数据太过时的问题。

网络监控器123优选地存储其从网络确定的信息，如图1和图3所示的网络特征124。图8示出的网络文件记录表800是一种存储网络特征的合适方法。如图8所示，网络文件记录优选地包括网络标识符、时间戳、当前利用率、未来利用率以及可用性。表800优选地包括多个记录810A，...，810N。

现在我们提出一些简单的例子来描述在执行数据库查询时查询优化器如何考虑网络选择。假设查询涉及存储于单个节点中的数据，对于所述查询优化器一个适当的标准是根据网络特征选择到所述节点的最快的可用的网络。在一个不同的例子中，假设数据存在于不同的节点上。为了读或写，所述查询优化器可以选择有良好收集特征的网络，例如逻辑树网络。为了读和写，所述查询优化器可选择具有良好全局到全局(all-to-all)特征的网络，例如网格型或环接型网络。在所有情况下，优选地避免链路争用和忙网络。

在执行查询时允许网络优化器考虑网络选择的概念非常有益，特别是当用于大型并行计算机系统如IBM开发的BlueGene计算机系统时。BlueGene非常适用于被多个不同节点分割的数据库，因此在处理查询时需要涉及很多不同节点。在此环境下，当查询优化器处理查询时智能地选择使用哪一个网络可以大幅度提高查询性能。

本领域的普通技术人员可以理解，在权利要求书范围内可以有很多变型。这样，虽然上文特别地示出和描述了本公开，但是本领域的普通技术人员可以理解，在不背离权利要求书的精神和范围的条件下可以对形式和细节做出这些或其它的改变。例如，为执行数据库查询可以使用任何适当的启示或标准来选择网络。本公开和权利要求书明确地扩展到查询优化器为执行数据库查询而选择网络时使用的任何适当的启示或标准。此外，尽管本文所述例子描述了为执行查询而选择单一网络，本公开和权利要求书在此明确地扩展到为执行查询而选择多个网络。

Claims (16)

1.一种装置，包括：

至少一个处理器；

连接到所述至少一个处理器的存储器；

连接到多个网络的多个网络接口；以及

查询优化器，存在于所述存储器内并且由所述至少一个处理器执行，所述查询优化器在执行数据库查询时，通过在选择所述多个网络中的至少一个网络用于执行所述查询时考虑所述多个网络的特征，而考虑网络选择。

2.一种网络计算机系统，包括：

通过多个网络彼此连接的多个节点；以及

在所述多个节点的至少一个节点上执行的查询优化器，所述查询优化器在执行数据库查询时，通过在选择所述多个网络中的至少一个网络用于执行所述查询时考虑所述多个网络的特征，而考虑网络选择。

3.根据权利要求2的网络计算机系统，其中所述查询优化器根据所述查询的至少一个属性选择所述多个网络中的所述至少一个网络。

4.根据权利要求2的网络计算机系统，其中所述查询优化器根据处理所述查询所涉及的多个节点的布局选择所述多个网络中的所述至少一个网络。

5.根据权利要求2的网络计算机系统，其中所述查询优化器根据包括由所述查询优化器在以前执行查询时所收集的网络信息的历史信息，选择所述多个网络中的所述至少一个网络。

6.根据权利要求2的网络计算机系统，其中所述多个网络的所述特征包括网络拓扑。

7.根据权利要求2的网络计算机系统，其中所述多个网络的所述特征包括网络利用率。

8.根据权利要求2的网络计算机系统，其中所述多个网络的所述特征包括网络延迟。

9.一种用于在连接到多个网络的网络计算机系统中执行对数据库的查询的计算机实现的方法，所述方法包括以下步骤：

(A)确定所述多个网络的特征；并且

(B)根据所述多个网络的所述特征选择所述多个网络中的至少一个网络用于执行所述查询。

10.根据权利要求9的方法，其中步骤(B)根据所述查询的至少一个属性选择所述多个网络中的所述至少一个网络。

11.根据权利要求9的方法，其中步骤(B)根据处理所述查询所涉及的多个节点的布局选择所述多个网络中的所述至少一个网络。

12.根据权利要求9的方法，其中步骤(B)根据包括在以前执行查询时所收集的网络信息的历史信息选择所述多个网络中的所述至少一个网络。

13.根据权利要求9的方法，其中所述多个网络的所述特征包括网络拓扑。

14.根据权利要求9的方法，其中所述多个网络的所述特征包括网络利用率。

15.根据权利要求9的方法，其中所述多个网络的所述特征包括网络延迟。

16.一种用于部署计算机基础设施的方法，包括将计算机可读代码整合到计算机系统，其中所述代码与所述计算机系统相结合来执行根据权利要求9的方法。

Images