CN105393221A - 应用启动端点的自动调整 - Google Patents

Abstract

调整可用于服务传入连接请求的应用启动端点服务器的数量。应用启动端点是可用于启动其他应用的实体，诸如运行代码。端点的示例包括会话管理服务器中的虚拟机或者会话。监视与传入连接速率和用户数量相关联的系统负载。作为响应，计算添加阈值和可能的移除阈值。如果系统负载上升到添加阈值以上，则将(诸)应用启动端点服务器添加到可处理传入连接请求的端点集合。如果系统负载下降到移除阈值以下，则从端点集合移除(诸)应用启动端点服务器。可为每一租户计算添加和移除阈值，并且可基于租户行为调整这些添加和移除阈值。

Description

应用启动端点的自动调整

背景

桌面是可用于启动其他应用的平台。在远程桌面环境中，桌面平台被提供在与查看桌面的客户机相比遥远的位置处。在该上下文中，远程桌面平台可被视为应用启动端点，因为客户端连接到该端点以获取由桌面平台提供的应用启动能力。

应用启动端点的示例是虚拟机。虚拟机远程地运行桌面逻辑，但是向本地客户机提供渲染指令。用户可与客户端机器交互以启动将在虚拟机的上下文中运行的应用。应用启动端点的另一示例是由会话管理服务器(也称为终端服务器)管理的会话。

应用启动端点常规上保持连续运行以处理传入连接请求。同样，常规上，端点服务器被提供最大化的使用能力。

简要概述

本文中所描述的至少一些实施例涉及调整可用于服务(service)传入连接请求的应用启动端点服务器的数量。应用启动端点是可启动其他应用的实体，诸如运行代码。端点的示例包括终端服务器中的虚拟机或者会话。

监视该系统的负载。例如，负载可能是传入连接请求的速率和登录到该系统中的用户的数量的函数。作为响应，计算添加阈值和可能的移除阈值。如果负载上升到超过添加阈值，则将一个或多个应用启动端点服务器添加到可处理传入连接请求的端点服务器集合。如果负载下降到移除阈值以下，则从可处理传入连接请求的端点服务器集合移除一个或多个应用启动端点服务器。

在一些实施例中，随着接收到传入连接请求，它们被分配给负载最多的应用启动服务器。因此，当负载下降时，更有可能将存在可更立即地(immediately)从应用启动端点服务器集合移除的未使用的应用启动端点。在一些实施例中，为每一租户计算添加和移除阈值，并且基于租户行为调整这些添加和移除阈值。

本概述并非旨在标识出要求保护的主题的关键特征或必要特征，亦非旨在用作辅助确定要求保护的主题的范围。

附图简述

为了描述可获取上述以及其他优点和特征的方式，将通过参考附图呈现对各个实施例的更具体的描述。理解这些附图只描绘样本实施例并且因此不被视为限制本发明的范围，通过使用附图，实施例将被描述和解释为具有附加特质和细节，其中：

图1抽象地解说了其中可采用本文中所描述的一些实施例的计算系统；

图2A解说了其中传入连接请求可由端点处理、但是处于在环境中建立任何端点服务器之前的状态中的环境；

图2B解说了图2A的、但是处于在环境中已经创建了初始集合中的若干端点服务器的状态的环境以及与发起对初始端点服务器集合的创建相关联的流；

图2C解说了图2A和2B的、但是其中在环境中已经创建了初始端点服务器集合中的所有端点服务器的环境；

图2D解说了图2A至2C的环境，但是示出与服务传入连接请求相关联的处理流；

图2E解说了图2A至2D的环境，但是还示出与将端点服务器添加到可用于处理传入连接请求的端点服务器集合相关联的流；

图2F解说了图2A至2E的环境，但是还示出与从可用于处理传入连接请求的各端点服务器中移除一端点服务器相关联的流；

图3解说了一种用于创建端点服务器集合的方法的流程图；

图4解说了一种用于处理传入连接请求的方法的流程图；

图5解说了一种用于取决于系统负载自动地调整该集合中的端点服务器的数量的设置方法的流程图；

图6解说了与图2A至2F的环境类似的环境，只是该环境容纳多个租户；

图7A解说了一种用于将端点服务器自动地添加到端点集合的方法的流程图；以及

图7B解说了一种用于自动地从端点集合移除端点服务器的方法的流程图。

详细描述

本文中所描述的至少一些实施例涉及调整可用于服务传入连接请求的应用启动端点的数量。应用启动端点是可启动其他应用的实体，诸如运行代码。端点的示例包括终端服务器中的虚拟机或者会话。

监视该系统的负载。例如，负载可能是传入连接请求的速率和登录到该系统中的用户的数量的函数。作为响应，计算添加阈值和可能的移除阈值。如果系统负载上升超过添加阈值，则将一个或多个应用启动端点服务器(也称为“主机”)添加到可处理传入连接请求的端点服务器集合。如果系统负载低于移除阈值，则从可处理传入连接请求的端点服务器集合中移除一个或多个应用启动端点服务器。

在一些实施例中，随着接收到传入连接请求，它们被分配给负载最多的应用启动服务器。因此，当传入连接速率下降时，更有可能将存在可更立即地从应用启动端点服务器集合移除的未使用的应用启动端点服务器。在一些实施例中，为每一租户计算添加和移除阈值，并且基于租户行为调整这些添加和移除阈值。

将参考图1描述对计算设备的一些介绍性讨论。然后，将参考图2A至7B描述对可用应用启动端点的数量的自动调整。

现在，计算系统正越来越多地采取各种各样的形式。计算系统可以例如是手持设备、器具、膝上型计算机、台式计算机、大型机、分布式计算系统、或者甚至常规上尚未被视为计算系统的设备。在该描述中且在权利要求中，术语“计算系统”被宽泛地定义为包括任何设备或系统(或者其组合)，其包括至少一个物理和有形处理器以及能够在其上具有可由处理器执行的计算机可执行指令的物理和有形存储器。存储器可采取任何形式，并且可取决于计算系统的本质和形式。计算系统可在物理环境上分布，并且可包括多个组成计算系统。

如图1中所解说的，在其最基本的配置中，计算系统100通常包括至少一个处理单元102和存储器104。存储器104可以是物理系统存储器，其可以是易失性的、非易失性的、或者两者的某一组合。术语“存储器”还可在本文中用于指非易失性大容量存储，诸如物理存储介质。如果计算系统是分布式的，则处理、存储器和/或存储能力也可以是分布式的。如本文中所使用的，术语“可执行模块”或“可执行组件”可指可在计算系统上执行的软件对象、例程或方法。本文中所描述的不同的组件、模块、引擎和服务可被实现为在计算系统上(例如，作为单独的线程)执行的对象或过程。

在以下的描述中，参考一个或多个计算系统执行的动作来描述各实施例。如果此类动作以软件实现，则执行动作的相关联计算系统的一个或多个处理器则响应于已经执行计算机可执行指令而引导计算系统的操作。例如，此类计算机可执行指令可在形成计算机程序产品的一个或多个计算机可读介质上体现。此类操作的示例涉及对数据的操纵。计算机可执行指令(和操纵数据)可被存储在计算系统100的存储器104中。计算系统100还可包含通信信道108，该通信信道允许计算系统100例如通过网络110与其他消息处理器进行通信。

本文中所描述的实施例可包括或利用专用或通用计算机，包括计算机硬件，诸如举例而言一个或多个处理器和系统存储器，如在下文中更详细讨论的。本文中所描述的实施例还包括用于携带或存储计算机可执行指令和/或数据结构的物理以及其他计算机可读介质。此类计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。携带计算机可执行指令的计算机可读介质是传输介质。由此，通过示例而非限制，本发明的实施例可包括至少两个明显不同种类的计算机可读介质：计算机存储介质和传输介质。

计算机存储介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或者可用于存储以计算机可执行指令或数据结构的形式的期望程序代码手段且可由通用或专用计算机访问的任何其他有形介质。

“网络”被定义为使电子数据能够在计算机系统和/或模块和/或其他电子设备之间传输的一个或多个数据链路。当在网络或者另一通信连接(硬连线、无线、或者硬连线或无线的组合)上将信息传送或提供给计算机时，计算机准确地查看连接作为传输介质。传输介质可包括可用于携带以计算机可执行指令或数据结构的形式的期望程序代码手段且可由通用或专用计算机访问的网络和/或数据链路。上述的组合也应当被包括在计算机可读介质的范围内。

此外，在到达各种计算机系统组件之后，以计算机可执行指令或数据结构的形式的程序代码手段可从传输介质自动地传送到计算机存储介质(或者反之亦然)。例如，在网络或数据链路上接收的计算机可执行指令或数据结构可被缓冲在网络接口模块(例如，“NIC”)内的RAM中，并且随后最终被传送到计算机系统RAM和/或在计算机系统处的较少易失性的计算机存储介质。由此，应当理解，计算机存储介质可被包括在也(或者甚至主要)利用传输介质的计算机系统组件中。

计算机可执行指令包括例如在处理器执行时使通用计算机、专用计算机或专用处理设备执行特定功能或一组功能的指令和数据。计算机可执行指令可以是例如二进制值、中间格式指令，诸如汇编语言或者甚至源代码。虽然本主题已经以结构特征和/或方法动作专用的语言进行了描述，但是应当理解所附权利要求中所定义的主题不必限于所述的特征或者以上所述的动作。相反，所述的特征和动作作为实现权利要求的示例形式公开。

本领域技术人员应当领会可在具有许多类型的计算机系统配置的网络计算环境中实践本发明，这些计算机系统配置包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程的消费性电子设备、网络PC、小型计算机、大型计算机、移动电话、PDA、传真机、路由器、交换机等。本发明还可在分布式系统环境中实践，其中通过网络(通过硬连线数据链路、无线数据链路、或者通过硬连线和无线数据链路的组合)链接的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可位于本地和远程存储器存储设备中。

图2A解说了其中可操作本文中所描述的原理的环境200。在初始状态200A中，尚未存在正在处理环境200所接收的传入连接请求的任何应用启动端点服务器(此后也被简称为“端点服务器”)。环境200中存在所示的四个主要组件，包括代理210、端点创建器220、缩放器230、以及负载平衡器240。将针对图3至5以及7A和7B进一步详细地描述环境200的功能，其中参考图2B至2F解说环境200的后续状态。尽管此类功能可在具有环境200的四个不同的组件210、220、230和240的上下文中执行，但是不需要如此。

图3解说了一种用于创建端点服务器集合的方法300的流程图。方法300可在环境200的上下文中实现并且开始于状态200A。当在本文中描述功能时，此类功能可以但不必使用软件实现。例如，软件可以由计算系统(例如，计算系统100)的一个或多个处理器(例如，处理器120)执行以使计算系统执行所述的功能的一个或多个计算机可执行指令的形式出现。此类计算机可执行指令可在形成计算机程序产品的全部或部分的一个或多个计算机可读介质上体现。

参考图3，接收创建端点的集合的请求(动作301)。例如，图2B解说了处于后续状态200B的图2A的环境。状态200B示出集合创建请求211由代理210接收。

然后，方法300包括确定要创建的端点服务器的数量(动作302)。例如，在图2B的上下文中，该判定可由代理210作出，这随后使更具体的创建请求212发送到端点创建器。替换地，代理210可在该点处添加较少的逻辑并将创建请求简单地中继到端点创建器220，并且端点创建器220本身可能判定最初要创建多少个端点服务器。

然后，方法300发起对确定数量的端点服务器的创建(动作303)。在图2B的上下文中，端点创建器220发起对端点服务器的集合201的创建，如箭头213所表示的。

一旦在该集合中已经创建了足够数量的端点服务器以能够开始处理传入连接请求(如动作304所确定的)，就为服务打开端点服务器的集合(动作305)。在图2B的上下文中，端点创建器220只在集合210中创建了两个端点服务器A和B并且随后通知(如箭头214所表示的)负载平衡器240该集合201现在准备好接收实际的传入连接请求。端点创建器220还通知(如箭头215所表示的)代理210该集合201现在准备好接收实际的传入连接请求。因此，在状态200B之后的任何点处，代理210可接收和处理传入连接请求216。

参考图3，注意可能并非所有的最初确定数量的端点服务器都需要在该集合被保持打开来接收传入连接请求之前已被创建。例如，假设在端点集合201中最初创建了六个端点服务器A至F。然而，在图2B中，在分派通知214和215且端点集合210变成准备好时，只有两个端点服务器A和B准备好进行服务。因此，在图3中，方法300继续创建初始端点服务器(动作306)，该动作被解说为与保持端点打开以进行服务(动作305)的动作并行。

在某一点处，端点创建器220成功创建了初始数量的端点服务器(如动作307所确定的)，由此完成方法300。例如，在图2C的状态200C中，端点集合201包括六个端点服务器A至F。由此，端点创建器220确定(如箭头221所表示的)已经创建了初始数量的端点服务器。因此，端点创建器220向代理210通知(如箭头222所表示的)此完成。

在一个实施例中，通过以连接/秒(connectionspersecond)为单位的最大传入连接请求(R)速率乘以以秒为单位的预期创建端点服务器(C)的时间的乘积来近似要创建的端点服务器的数量。然后，将该乘积除以每一端点服务器(H)的最大端点数量。例如，如果最大的所支持速率为每秒1个、创建端点服务器所需的时间为600秒、并且每一端点服务器的端点数量为16个，则用于添加端点主机的阈值则为1x600/16或者约38个主机。

图4解说了一种用于处理传入连接请求的方法400的流程图。例如，开始于状态200B，即使在已经创建了集合201中的所有初始端点服务器之前，代理210也能够接收和处理传入连接请求。例如，代理210接收和处理连接请求216。状态200D解说与在端点集合210(包括状态200C的最初创建的端点服务器A到F)的上下文中处理传入连接请求231相关联的流。然而，该流即使在初始端点服务器被全部创建之前以及即使在将一个或多个端点服务器添加到端点集合210或从端点集合210移除一个或多个端点服务器之后也可能是类似的。因此，在接收到传入连接请求时，状态200D中的椭圆G表示端点集合210可能具有任意数量的端点服务器。

在接收对端点的传入连接请求之际发起方法400(动作401)。例如，在图2D的状态200D中，代理210接收传入连接请求231，该传入连接请求被传递(如箭头232所表示的)给负载平衡器240。

然后，方法400将传入连接请求分配给端点集合210中仍然具有处理新传入连接请求的能力的被最多利用的端点服务器。在图2D的状态200D中，负载平衡器240作出该确定并将分配传递给适当的端点服务器，如箭头233所表示的。一旦分配完成，负载平衡器240就可能通知代理210，如箭头234所表示的。

负载平衡方法400具有两个重要的暗示。首先，将新传入连接请求分配给最忙碌但可用的端点服务器意味着随着传入连接请求数量的下降，该降低最有可能在一个或两个端点服务器中反映，由此最有可能留下一个或多个端点服务器未使用。由此，这些未使用的端点服务器可能更容易从端点集合移除，而无需在多个端点服务器之间分割会话。此外，在新的端点服务器被添加时，由于大多数传入连接请求将被转移(divert)到负载更重的端点服务器，因此不会快速地将大量负载定向到该新的端点服务器。因此，不需要立即提供所添加的应用启动端点服务器以被最大限度地负载。相反，所添加的端点服务器可被部分地供应，该部分供应可更快速地发生，并且允许端点服务器更快速地变得可用。

图5解说了一种用于自动地调整该集合中的端点服务器的数量的设置方法500的流程图。方法500包括监视由端点集合处理的系统负载(动作501)。例如，在环境200中，通过缩放器230实现该逻辑。作为示例，可基于传入连接请求的速率和该系统所处理的用户的数量来确定系统负载。

然后，方法500计算系统负载的添加阈值(动作502)，当超过该添加阈值时，(诸)附加端点服务器将被添加到端点集合，并且计算移除阈值(动作503)，当小于该移除阈值时，(诸)启动端点服务器将被从端点集合移除。缩放器230可执行该计算。缩放器可能还响应于对系统负载的行为(诸如传入连接速率的历史行为)的观察而动态地调整对端点服务器的添加和移除。由此，缩放器220可合并基于所观察模式的学习算法。

作为示例，在我们只考虑传入连接速率和系统负载的示例中，添加阈值可能等于以秒为单位的引导端点服务器的时间乘以以传入连接/秒为单位的速率(R)的近似乘积。然后，该乘积除以单个端点服务器可主存的端点(H)的数量。例如，如果端点服务器的引导时间为60秒、传入连接速率为每秒1个、并且单个端点服务器所主存的端点的数量为16，则添加阈值则可能约为4个端点主机。可类似地计算移除阈值，但是其中添加某一附加因子(X)以防止激进的缩小。例如，如果X为1，移除阈值则可能为5个端点主机。然而，这些算法只是示例。例如，如在本文中变得清楚的，系统负载可以是传入连接速率和该系统的当前用户数量的函数。

图6解说了除环境容纳多个租户以外与图2A至2F的环境200类似的环境600。代理210从可能各自包括一个或多个用户的多个租户接收传入连接请求。例如，代理210以特定的速率从第一租户接收传入连接请求601并且以另一特定速率从第二租户接收传入连接请求602。可能存在每一租户专用的端点集合。例如，端点集合201包含可用于处理来自第一租户的传入连接请求601的端点服务器A至F，而端点集合202包含可用于处理来自第二租户的传入连接请求602的端点服务器a到c。

在该多租户环境中，缩放器230可能基于租户特定数据作出缩放判定。例如，缩放器230可能基于所观察的第一租户的行为计算适用于第一端点集合201的第一添加和移除阈值，并且基于所观察的第二租户的行为计算适用于第二端点集合202的第二添加和移除阈值。例如，添加和移除阈值可以是输入参数(诸如最大的所支持传入连接速率、每一应用启动端点支持的最大会话数、以及预期的添加应用启动端点服务器的时间)的函数。学习对每一租户的观察可能基于租户的传入连接请求的历史观察而改变最大的所支持的传入连接速率。例如，缩放器230可能观察到特定租户在特性上具有以日、周、月或年的特定时间的峰值传入连接速率，并且由此随着峰值时间接近而相应地改变该租户的添加和/或移除阈值。该导致运行端点服务的实体的降低的销售成本。此外，使用该服务的消费者不需要计划从第一天起的最大峰值能力。

图7A解说了一种用于将端点服务器自动地添加到端点集合的方法700A的流程图。例如，在图2E的状态200E中，将新端点服务器H添加到端点集合201。在观察到当前系统负载上升到添加阈值以上之后，发起方法700A(动作701A)。作为响应，将一个或多个应用启动端点服务器添加到适当的端点集合(动作702A)。例如，在图2E的状态200E中，缩放器230观察到系统负载超过添加阈值。因此，缩放器230指令(如箭头241所表示的)端点创建器220创建端点服务器。然后，端点创建器220创建端点服务器H(如箭头242所表示的)并且回去向缩放器230报告(如箭头243所表示的)。

在多租户环境中，缩放器230可能观察到特定租户的系统负载，并且将其与为该特定租户计算的添加阈值进行比较。然后，缩放器230可能指令端点创建器220在端点集合中创建属于该租户的端点服务器。还可能通知负载平衡器240使得来自该租户的请求可由所添加的端点服务器处理(如箭头244所表示的)。

图7B解说了一种用于从端点集合自动地移除端点服务器的方法700B的流程图。例如，在图2F的状态200F中，从端点集合201移除端点服务器F。在观察到当前系统负载下降到移除阈值以下之际，发起方法700B(动作701B)。作为响应，从适当的端点集合移除一个或多个应用启动端点服务器(动作702B)。例如，在图2F的状态200F中，缩放器230观察到系统负载下降到移除阈值以下。因此，缩放器230指令(如箭头251所表示的)端点创建器220移除端点服务器。然后，端点创建器220移除端点服务器F(如箭头252所表示的)并且回头向缩放器230报告(如箭头253所表示的)。

在多租户环境中，缩放器230将观察到特定租户的系统负载，并且将其与为该特定租户计算的移除阈值进行比较。然后，缩放器230将指令端点创建器220移除端点集合中属于租户的端点服务器。还可能通知负载平衡器240使得来自该租户的请求可由所添加的端点处理(如箭头254所表示的)。

因此，已经描述了一种用于自动地添加和移除应用启动端点的有效机制。本发明可以不背离其精神或必要特性的其他特定形式体现。所描述的实施例被认为在所有方面只是解说性而非限制性的。因此，本发明的范围由所附权利要求而非在前描述指示。在权利要求的等同的含义和范围内的所有变化都被包含在其范围内。

Claims (10)

1.一种用于自动地调整应用启动端点服务器的数量的方法，所述方法包括：

监视由多个应用启动端点服务器服务的系统负载的动作；

计算添加阈值的动作，在超过该添加阈值时，附加的一个或多个应用启动端点服务器将被添加到可服务所述传入连接的所述多个应用启动端点服务器；以及

响应于观察到所述系统负载已经上升到所述添加阈值以上，将一个或多个应用启动端点服务器添加到所述多个应用启动端点服务器的动作。

2.根据权利要求1所述的方法，其特征在于，添加一个或多个应用启动端点服务器的动作包括部分地供应要被添加的应用启动端点服务器的动作。

3.根据权利要求1所述的方法，其特征在于，进一步包括：

将新传入连接请求分配给所述多个应用启动端点服务器中仍然具有处理新传入连接请求的能力的被最多利用的应用启动端点服务器的动作。

4.根据权利要求1所述的方法，其特征在于，所述添加阈值是根据最大的所支持传入连接速率计算的。

5.根据权利要求1所述的方法，其特征在于，所述添加阈值是根据每一应用启动端点服务器支持的最大端点数计算的。

6.根据权利要求1所述的方法，其特征在于，所述添加阈值是根据添加应用启动端点服务器的时间计算的。

7.根据权利要求1所述的方法，其特征在于，所述系统负载是使用端点服务器集合的传入连接速率来计算的。

8.根据权利要求7所述的方法，其特征在于，所述系统负载还使用端点集合的用户数量来计算。

9.根据权利要求1所述的方法，其特征在于，所述系统负载对应于用于服务来自第一租户的传入连接的第一多个端点服务器，所述方法进一步包括：

计算由服务来自第二租户的传入连接的第二多个端点服务器服务的第二系统负载的第二添加阈值的动作；以及

响应于观察到所述第二系统负载已经上升到所述第二添加阈值以上，将一个或多个应用启动端点服务器添加到所述第二多个应用启动端点服务器的动作。

10.一种包括在其上具有计算机可执行指令的一个或多个计算机可读存储介质的计算机程序产品，所述计算机可执行指令被结构化成使得在由计算系统的一个或多个处理器执行时，使所述计算系统执行一种用于自动地调整应用启动端点服务器的数量的方法，所述方法包括：

监视由多个应用启动端点服务器服务的系统负载的动作；

计算添加阈值的动作，在超过所述添加阈值时，附加的一个或多个应用启动端点服务器将被添加到可服务所述传入连接的所述多个应用启动端点服务器；以及

响应于观察到所述系统负载已经上升到所述添加阈值以上，将一个或多个应用启动端点服务器添加到所述多个应用启动端点服务器的动作。