CN101908004A - 促进请求执行的装置和方法 - Google Patents

Abstract

提供一种促进请求执行的装置，可利用数据处理系统操作，所述数据处理系统具有用于访问请求的访问部件和用于处理请求的处理部件，所述装置包括：分配器，用于将多个标识符分配给相应的多个请求；用于将阈值关联于第一标识符和第二标识符的部件；请求处理器，用于将满足阈值的请求与合格组相关联；以及用于控制访问部件使得所述访问部件可操作为访问与合格组相关联的请求，并可操作为防止访问不与合格组相关联的请求的部件。

Description

促进请求执行的装置和方法

技术领域

本发明涉及用于促进请求的执行的装置。

背景技术

在面向服务的架构中，将应用组织成交互服务的层级(或者甚至是网络)是很自然的。也就是说，服务提供商将会自主地利用其它服务。

在这种情况下，之前的“层”(tier)的概念(例如，在“双层客户服务器”或“三层客户服务器”中所用)不再具有太多意义。当一个服务提供商调用另一服务时，它不知道也不关心为完成其请求的一部分而发生的进一步的委派。

由此，变得非常重要的是，确保服务提供商(例如，服务器处理)即使在必须等待它极少或不能控制的其它服务器的应答的情况下也可以持续地响应于其客户。这意味着这样的观察结果，即，服务提供商必须明确地为多线程的，或者，必须通过一些等效的方法，具备并行处理多个请求的能力，这样，如果一些请求由于服务器无法控制的原因无法前进(例如，由于服务器不得不等待远程服务的应答)，将会有其它请求可以前进，于是服务器可以工作于这样的其它请求。这种方案的目的是要典型地最大化服务提供商中的吞吐量，而不必然地最小化对于任意特定请求者的响应时间。

不幸的是，上述方法有其自身的问题。例如，如果正在进行中的请求数目变得太大，那么管理它们所需要的努力变得非常显著，实际上可能会降低性能(这是关于麻烦使操作系统调度器过载这一问题的变体，通常称为“系统颠簸”)。

此外，还存在这样的危险，即服务器用来决定接下来要前进到哪儿的算法(例如，其调度功能)可能偏向其他请求而忽略特定的请求，导致很长的延迟。例如，如果服务器正在试图并行处理若干请求，那么有可能一个请求将会被忽略掉，而其他请求接收到对可用处理时间的不成比例的大量享用。大概这会被认为是算法设计的失误，但是，它导致了响应的延迟，而不是更为可见的“当机”或错误响应这一事实，使得看来更有可能是，这样的现象会出现在未检测到的执行中。

发明内容

根据第一方面，优选实施例提供了一种促进请求执行的装置，可利用数据处理系统操作，所述数据处理系统具有用于访问请求的访问部件和用于处理请求的处理部件，所述装置包括：分配器，用于将多个标识符分配给相应的多个请求；用于将阈值关联于第一标识符和第二标识符的部件；请求处理器，用于将满足阈值的请求与合格组相关联；以及用于控制访问部件使得所述访问部件可操作为访问与合格组相关联的请求，并可操作为防止访问不与合格组相关联的请求的部件。

根据第二方面，优选实施例提供了一种促进请求执行的方法，可利用数据处理系统操作，所述数据处理系统具有用于访问请求的访问部件和用于处理请求的处理部件，所述方法包括以下步骤：将多个标识符分配给相应的多个请求；将阈值关联于第一标识符和第二标识符；将满足阈值的请求与合格组相关联；以及控制所述访问部件使得所述访问部件与合格组相关联的请求，并防止访问不与合格组相关联的请求。

根据第三方面，优选实施例提供了一种计算机程序，包括程序代码部件，当所述程序在计算机上运行时，所述程序代码部件适于执行上述方法的所有步骤。

有利地，优选实施例允许服务器得到有效利用-也就是说，每当服务器具有空闲容量(例如，由于请求在等待完成)，服务器就可操作为读取另一请求，并开始工作于该另一请求。

有利地，优选实施例防止服务器偏向于一个请求超过另一请求，使得与推迟执行的延长时间段相关联的开销得到最小化。

有利地，优选实施例允许与管理多个处于执行状态的请求相关联的开销得到最小化。

附图说明

现在将参照如以下所示明的优选实施例仅通过示例的方式描述本发明，其中：

图1是其中执行优选实施例的系统的框图；

图2是根据优选实施例的装置的框图；

图3是示出优选实施例的第一过程中包含的操作步骤的流程图；

图4是示出优选实施例的第二过程中包含的操作步骤的流程图；以及

图5A到5D描绘了一个队列的表示。

具体实施方式

现在将参照附图描述优选实施例。

图1是系统(100)的框图，其中可以执行优选实施例的装置。系统(100)包括客户计算机(105)，其可操作为与服务器计算机(110)连接，并可操作为产生请求。

服务器计算机(110)可操作为例如在消息队列(112)上接收请求，并处理所述请求。优选地，服务器还可操作为并行处理多个请求。服务器计算机(110)可操作为与一个或多个远程服务器计算机(120，125和130)通信，例如如果处理请求需要的话。

系统(100)还包括根据优选实施例的装置(115)，其可操作为与服务器计算机(110)通信。

在图2中更详细地描绘了装置(115)，其包括分配器(200)，核查器(205)和请求处理器(210)，其每一个可操作为与队列(112)通信。

现在将参照图3描述与接收请求相关联的优选实施例的过程。

在步骤300，在服务器计算机(110)的队列(112)上接收来自客户计算机(105)的新请求。在此处的示例中，该新请求是在队列(112)上接收到的第一请求。

响应于此，分配器(200)被调用，并且分配器(200)分配(步骤305)一个唯一的序列标识符(例如，“1”)给该第一请求。

优选地，序列标识符是正整数(例如，数字)。通过递增当前的序列标识符使得提供偏序，由此来产生序列中进一步的序列标识符，因此，在这里的示例中，较早的请求(当前请求)的序列标识符(例如，“1”)所具有的值低于后续的、较新的请求的序列标识符(例如，“2”)。因此，序列标识符被添加给请求，其顺序使得请求以队列(112)到达。可以理解，可以用其他类型的标识符(例如，时间戳)来执行优选实施例。

优选地，分配器(200)将序列标识符与“跨度”相关联—在这里的示例中，跨度表示这样一个整数，其代表服务器计算机(110)可以(例如，同时)处理的任何请求对的序列标识符之间的最大允许差。

通过允许(具有足够容量的)服务器访问和处理序列标识符与跨度相关联的请求，而防止服务器计算机(110)访问和处理序列标识符不与跨度相关联的请求，跨度允许工作得到节制。因此，跨度有效地对服务器计算机(110)可以访问和处理的请求设定了约束，服务器计算机(110)可操作为遵守所述约束。

在这里的示例中，跨度为“3”。

分配器(200)将序列标识符通信给核查器(205)。在步骤310，核查器(205)核查序列标识符。更具体地，核查器(205)将第一请求的序列标识符与关联于“最早”在先请求的一个或多个在先分配的序列标识符进行比较。

在此处的示例中，由于新请求是第一请求，因此不存在在先分配的序列标识符，并且在步骤320，通过请求处理器(210)将第一请求添加到“合格组”中，也就是，服务器计算机(110)可操作为进行访问以进行处理的请求的组。

在此处的示例中，在队列(112)上接收到第二请求(步骤325处为正结果)，分配器(200)分配(步骤305)一个唯一的序列标识符(例如，“2”)给该第二请求。分配器(200)将该序列标识符通信给核查器(205)。在步骤310，核查器(205)(例如通过访问队列(112))核查该序列标识符相对于最早在先分配的序列标识符(例如，“1”)，以确定下式是否成立：2＞(1+3)。由于测试不成立，在步骤320，通过请求处理器(210)将第一请求添加到合格组。

在步骤310处的测试将最新请求和最早请求的序列标识符相对于跨度(任何请求对的序列标识符之间的最大允许差)进行比较，以确定最新请求是否可以与合格组相关联。仅当最新请求和最早请求的序列标识符之间的差小于跨度时，允许服务器计算机(110)开始工作于该最新请求。

在此处的示例中，在队列(112)上接收到第三请求(步骤325处为正结果)，分配器(200)分配(步骤305)一个唯一的序列标识符(例如，“3”)给该第三请求。分配器(200)将该序列标识符通信给核查器(205)。在步骤310，核查器(205)核查该序列标识符相对于最早在先分配的序列标识符(例如，“1”)，以确定下式是否成立：3＞(1+3)。由于测试不成立，在步骤320，通过请求处理器(210)将第三请求添加到合格组。

在此处的示例中，在队列(112)上接收到第四请求(步骤325处为正结果)，分配器(200)分配(步骤305)一个唯一的序列标识符(例如，“4”)给该第四请求。分配器(200)将该序列标识符通信给核查器(205)。在步骤310，核查器(205)核查该序列标识符相对于最早在先分配的序列标识符(例如，“1”)，以确定下式是否成立：4＞(1+3)。由于测试不成立，在步骤320，通过请求处理器(210)将第三请求添加到合格组。

在此处的示例中，在队列(112)上接收到第五请求(步骤325处为正结果)，分配器(200)分配(步骤305)一个唯一的序列标识符(例如，“5”)给该第五请求。分配器(200)将该序列标识符通信给核查器(205)。在步骤310，核查器(205)核查该序列标识符相对于最早在先分配的序列标识符(例如，“1”)，以确定下式是否成立：5＞(1+3)。由于测试是成立的，将该第五请求添加到合格组将会“违反”跨度所设定的约束。因此，在步骤315，通过请求处理器(210)将第五请求添加到队列(112)的尾部而不是合格组中—此处第五请求被称为“等待请求”，因为第五请求正在队列(112)中等待成为合格组中的成员。

在此处的示例中，在队列(112)上接收到第六请求(步骤325处为正结果)，分配器(200)分配(步骤305)一个唯一的序列标识符(例如，“6”)给该第六请求。分配器(200)将该序列标识符通信给核查器(205)。在步骤310，核查器(205)核查该序列标识符相对于最早在先分配的序列标识符(例如，“1”)，以确定下式是否成立：6＞(1+3)。由于测试是成立的，在步骤315，通过请求处理器(210)将第六请求添加到队列(112)的尾部—第六请求也被称为“等待请求”。

在图5A中示出产生的队列(112)的表示，其中，第一、第二、第三和第四请求与合格组相关联，而第五和第六请求不与合格组相关联。

在此处的示例中，在队列(112)上没有接收到进一步的请求(步骤325处为否定结果)，该过程结束。

现在将参照图4描述与处理请求相关联的优选实施例的过程。

在步骤400，服务器计算机(110)访问合格组，并完成对合格组中请求的工作。

注意到，优选地，允许服务器计算机(110)具有能够工作于合格组中任意请求的灵活性。还注意到，优选地，服务器计算机(110)可操作为同时工作于合格组中的多个请求-这提供了有效性，因为，如果请求之一的处理停止(例如，由于合法原因，比如，服务器计算机(110)等待从远程服务器计算机的响应，或者存在错误情况)，会有一个请求“池”有待进行工作。还注意到，服务器计算机(110)可以访问一个或多个远程服务器计算机(120，125和130)以完成请求。

在此处的示例中，服务器计算机(110)完成对第二请求的工作。

在步骤405，请求处理器(210)将第二请求从队列(112)中移除(例如，使得它不会错误地被处理)。注意到，第二请求也从合格组中被移除。图5B示出产生的队列(112)的表示。

在步骤410，核查器(205)核查合格组中最早序列标识符的序列标识符(例如，“1”)相对于等待请求的最早序列标识符(例如，“5”)，以确定下式是否成立：1+3＞5。

该测试将与跨度相关联的合格组中的最早请求相对于等待请求进行比较，以确定等待请求是否可以与合格组相关联。将最早请求包含在上述比较中以确保，如果最早的请求还没有被处理，那么等待请求就不与合格组相关联。

在现有技术中，不利地，当服务器计算机可操作为处理多个请求时，可能处理新的请求，而将相对较早的请求忽略掉。

在此处的示例中，由于测试不成立，在步骤420，请求处理器(210)确定服务器计算机(110)是否完成了另一请求。

在此处的示例中，在步骤400，服务器计算机(110)访问合格组，并完成对合格组中另一请求的工作。在此处的示例中，服务器计算机(110)完成对第三请求的工作。

在步骤405，请求处理器(210)将第三请求从队列(112)中移除，图5C示出产生的队列(112)的表示。注意到，第三请求还从合格组中被移除。

在步骤410，核查器(205)核查合格组中最早序列标识符的序列标识符(例如，“1”)相对于等待请求的最早序列标识符(例如，“5”)，以确定下式是否成立：1+3＞5。由于测试不成立，在步骤420，请求处理器(210)确定服务器是否完成了另一请求(例如，通过使用监听方法)。

注意到，多个较新的请求已经完成(即，第二请求和第三请求)-事实可能如此，因为，例如较新的请求需要目前不用的资源，而在队列(112)头部的请求需要完全排满工作的资源。尽管多个较新请求的完成已经在合格组中留下“空间”，但是，由于相对更早的请求(例如，第一请求)还没有得到处理，等待请求(例如，第五请求)不能成为合格请求的一部分-以此方式，有利地，较早的请求不会被服务器计算机(110)“忽略”掉。

尽管服务器计算机(110)可以有利于在后面的另一请求(例如，第二请求和第三请求)而推迟开始对队列(112)头部的请求(例如，第一请求)的工作，但是，如果服务器计算机(110)过于频繁地推迟工作，那么最终，最早请求和等待请求之间的差将使得跨度阻止服务器计算机(110)开始对等待请求的工作，直到它完成对合格组中的请求(例如，最早请求)中的至少一个的工作。

在此处的示例中，在步骤400，服务器计算机(110)访问合格组，并完成对合格组中另一请求的工作。在此处的示例中，服务器计算机(110)完成对第一请求的工作。

在步骤405，请求处理器(210)将第一请求从队列(112)中移除，图5D示出产生的队列(112)的表示。注意到，第一请求还从合格组中被移除。

在步骤410，核查器(205)核查合格组中最早序列标识符的序列标识符(例如，“4”)相对于等待请求的最早序列标识符(例如，“5”)，以确定下式是否成立：4+3＞5。由于测试成立，在步骤415，请求处理器(210)将第五请求转移到合格组中。产生的合格组包含第四请求和第五请求。有利地，由于第一请求已经完成，第五请求可以转移到合格组中。

在步骤425中，核查器(205)确定另一等待请求是否在队列(112)中。

在此处的示例中，由于在队列(112)中存在另一等待请求(即，第六请求)，过程进行至步骤410，其中核查器(205)核查合格组中最早序列标识符的序列标识符(例如，“4”)相对于等待请求的最早序列标识符(例如，“6”)，以确定下式是否成立：4+3＞6。由于测试成立，在步骤415，请求处理器(210)将第六请求转移到合格组中。产生的合格组包含第四请求、第五请求和第六请求-由此，尽可能多的等待请求被转移到合格组中。注意到，跨度可作用为“滑块”，可以进行移动以包括进一步的请求。

在步骤425，核查器(205)确定是否有另一等待请求在队列(112)中。在此处的示例中，由于队列(112)中不存在进一步的等待请求，因此，在步骤420，请求处理器(210)确定服务器是否完成了另一请求(例如，通过监听方法)。

在此处的示例中，服务器没有完成另一请求，过程结束。

有利地，优选实施例通过允许服务器计算机有效处理多个请求并最大化其吞吐量而使其“保持忙碌”。然而，防止服务器计算机过载，并防止其忽略任何请求。这些优势通过服务器计算机本身的最小开销来提供。

注意到，优选实施例并不简单是将请求付诸执行然后抛到脑后，由此对当前的负载平衡机制进行了改进。

在优选实施例中，外部实体(例如负载平衡系统管理工具)可操作为响应于改变的环境而调节服务器计算机，使服务器计算机适应于自主计算环境。下面将更详细地对此进行描述。

在现有技术中，使用多线程的服务器计算机，在多数操作系统中，创建新线程的动作在资源消耗上是相当昂贵的。典型地，通过维持一个空闲线程池来最小化线程创建操作的数目。

因此，当线程没有工作可做时，并不是删除该线程，而是将它置于空闲池中，当更多工作到达时，通过从空闲池中重新激活线程来避免线程创建的成本。重新激活的过程存在一定的初始化成本，但是远远小于创建线程所涉及的成本。

在优选实施例中，跨度用于改变在任意时刻对于服务器计算机可用的请求的数目。优选地，外部实体可操作为监视受跨度影响的请求(例如，需要等待“早先”请求完成的请求)。

在优选实施例中，外部实体可以监视空闲线程池，以确定服务器计算机实际上繁忙的程度，并监视上述跨度。响应于这样的监视，外部实体可操作为根据一个或多个规则提供信息。

在一个示例中，如果响应于监视，外部实体确定服务器计算机具有空闲线程，并且这样的线程维持在空闲状态持续了延长的时间段，这表明，服务器没有充分工作，优选地，外部实体推荐跨度数目应该增加。

在另一示例中，如果外部实体确定跨度太大使得流入请求(几乎)从不等待，那么优选地，外部实体推荐删除线程中的至少一个(因此，将资源还给一些其它工作)。尽管这样的推荐教导的方案偏离了上述的现有技术的机制，但是优选实施例利用了来自空闲线程池的真实测量和跨度，由此做出上述的确定。

在另一示例中，如果外部实体确定空闲线程池(几乎)总是空的，并且跨度还迫使请求必须等待，这可能由于服务器计算机过载。优选地，外部实体推荐线程数目应该增加。尽管线程创建相当昂贵，并且如果下层硬件已经完全排满工作，线程创建并不能减轻这种情况，但是通过进行这样的推荐，给管理员提供了至少尝试减轻这种情况的选项。

有利地，响应于监视，外部实体可以进行这样的推荐，其关联于，例如改变跨度以改变服务器计算机可以做的工作的量(有利地，优化吞吐量)，或者调查瓶颈或未使用的资源可能位于服务器计算机的其它何处。

有利地，优选实施例提供了多种益处。例如，它使得“黑盒子”测试更加容易。只要测试装具知道对于任何给定服务提供商的跨度，优选实施例允许核查输入队列，以确定该跨度没有被违反。在另一示例中，优选实施例还允许服务器计算机的简单、低成本策略来并行处理多个请求。

在替代实施例中，合格组中的例如等待外部事件完成的请求可能不能够完成。优选地，从其余请求中，服务器计算机可操作为进行具有最低序列号的请求(即，最早请求)。这可能并不必然是最优方案，但是它代价低廉并有效，并提供了其它方案进行改进所基于的基准面。该方案还意味着，服务器计算机不需要是多线程的，多线程的设计选择例如由于同步的复杂性和上下文切换的成本，经常带来显著的编码和运行时负担。

本领域技术人员清楚的是，本发明优选实施例的方法的全部或部分可以适当地并有用地体现在逻辑装置或多个逻辑装置中，其包含被布置为执行上述方法的步骤的逻辑元件，这样的逻辑元件可以包含硬件部件、固件部件或其组合。

本领域技术人员同样清楚的是，根据本发明优选实施例的逻辑布置的全部或部分可以适当地体现在逻辑装置中，其包括逻辑元件以执行方法的步骤，并且这样的逻辑元件可以包含例如可编程逻辑阵列或专用集成电路中的逻辑门之类的部件。这样的逻辑布置还可以体现为使能元件，用于暂时地或永久地例如使用虚拟硬件描述语言以这样的阵列或电路建立逻辑结构，其可以进行存储并使用固定的或可传输的载体介质进行传输。

可以理解，上述方法和布置还适于完全地或部分地在一个或多个处理上运行的软件中执行(图中未示出)，所述软件可以提供为在适当的数据载体上承载的一个或多个计算机程序元件的形式(图中未示出)，例如磁盘或光盘等等。数据传输的通道可以同样地包括所有描述的存储介质以及信号承载介质，例如有线或无线信号承载介质。

本发明还适于体现为用于计算机系统的计算机程序产品。这样的执行可包括一系列计算机可读指令，这些指令或者固定在有形介质上，例如磁盘、CD-ROM、ROM或硬盘之类的计算机可读介质，或者可经由调制解调器或其它接口设备，通过有形介质(包括但不限于光学或模拟通信线路)或者使用无线技术(包括但不限于微波、红外或其它传输技术)无形地传输到计算机系统。一系列的计算机可读指令体现本文之前描述的功能性的全部或一部分。

本领域技术人员可以理解，这样的计算机可读指令可以用多种变成语言写成，用于许多计算机架构或操作系统。此外，这样的执行可以使用任何现有的或未来的存储技术存储，包括但不限于，半导体、磁或光学存储，或使用现有的或未来的任何通信技术传输，包括但不限于光学、红外或微波。可以构想，这样的计算机程序产品可以随着可移除介质而得到分发，伴有印刷的或电子的文档，例如计算机系统预加载的现成软件，例如加载到系统ROM上或固定磁盘上，或者通过例如因特网或万维网的网络从服务器或电子公告板分发。

作为替代，本发明的优选实施例可以实现为计算机执行的方法的形式，所述方法部署一种服务，该服务包含部署计算机程序代码的步骤，所述计算机程序代码当部署到计算机基础结构中并在其上执行时可操作为使得所述计算机系统执行上述方法的所有步骤。

本领域技术人员清楚的是，可以对前述示例性实施例做出许多改进和变体，而不偏离本发明的范围。

Claims (12)

1.一种促进请求执行的装置，可利用数据处理系统操作，所述数据处理系统具有用于访问请求的访问部件和用于处理请求的处理部件，所述装置包括：

分配器，用于将多个标识符分配给相应的多个请求；

用于将阈值关联于第一标识符和第二标识符的部件；

请求处理器，用于将满足阈值的请求与合格组相关联；以及

用于控制访问部件使得所述访问部件可操作为访问与合格组相关联的请求，并可操作为防止访问不与合格组相关联的请求的部件。

2.如权利要求1所述的装置，其中，所述分配器可操作为按照接收到所述相应的多个请求的顺序将所述多个标识符分配给所述相应的多个请求。

3.如权利要求1或2所述的装置，其中，所述请求处理器可操作为防止将具有不满足所述阈值的标识符的请求包含在所述合格组中。

4.如前述任意权利要求所述的装置，其中，所述请求处理器可操作为响应于所述访问部件访问合格组中的请求以及处理部件处理所访问的请求，将已处理的请求从合格组中移除。

5.如权利要求1所述的装置，还包括：

核查器，响应于将已处理的请求从合格组中移除，用于核查不与合格组相关联的请求的标识符，以确定该标识符是否满足所述阈值。

6.如权利要求5所述的装置，其中，所述核查器可操作为响应于不与合格组相关联的请求的标识符满足所述阈值，将该请求包含在合格组中。

7.如权利要求5所述的装置，其中，所述核查器可操作为响应于不与合格组相关联的请求的标识符不满足所述阈值，防止将该请求包含在合格组中。

8.如前述任意权利要求所述的装置，还包括：

用于关联于规则组监视与请求相关联的参数的部件；以及

响应于所述用于监视的部件，用于产生与以下项目中的至少一个相关联的数据的部件，所述项目包括：修改所述阈值，以及修改与数据处理系统相关联的一个或多个过程。

9.如权利要求8所述的装置，其中所述参数包括以下中的至少一个：与通过处理部件处理所述请求的时间段相关联的值；以及与关联于所述数据处理系统的一个或多个过程相关联的状态。

10.如前述任意权利要求所述的装置，其中所述处理部件可操作为同时处理请求。

11.一种促进请求执行的方法，可利用数据处理系统操作，所述数据处理系统具有用于访问请求的访问部件和用于处理请求的处理部件，所述方法包括以下步骤：

将多个标识符分配给相应的多个请求；

将阈值关联于第一标识符和第二标识符；

将满足阈值的请求与合格组相关联；以及

控制所述访问部件使得所述访问部件访问与合格组相关联的请求，并防止访问不与合格组相关联的请求。

12.一种计算机程序，包括程序代码部件，当所述程序在计算机上运行时，所述程序代码部件适于执行权利要求11的所有步骤。

Images