CN107003862A - 动态代码部署和版本化 - Google Patents

Abstract

提供一种用于提供动态代码部署和版本化的系统。所述系统可被配置来接收在虚拟计算系统上执行更新的程序代码的第一请求；基于所述第一请求确定所述更新的程序代码是加载到所述虚拟计算系统上的虚拟机实例上的现有容器之上的更老的程序代码的更新版本；启动将所述更新的程序代码下载到所述相同的虚拟机实例上的第二容器之上；以及致使所述第一请求由所述现有容器中的所述更老的程序代码进行处理。

Description

动态代码部署和版本化

本申请的申请人在2014年9月30日同时提交以下美国专利申请：

以上提及申请的的公开内容均以引用的方式整体并入本文。

背景

一般来说，计算装置利用通信网络或一系列通信网络进行数据交换。公司和组织操作互连许多计算装置来支持操作或者向第三方提供服务的计算机网络。计算系统可位于单一地理位置或者位于多个不同地理位置中(例如，经由私有或公共通信网络互连)。确切地，数据中心或数据处理中心(在本文中总体称之为“数据中心”)可包括多个互连的计算系统以向数据中心的用户提供计算资源。数据中心可以是代表某一组织操作的私有数据中心或代表公众或者为了公众的利益操作的公共数据中心。

为了促进数据中心资源的加大利用，虚拟化技术可允许单个物理计算装置托管虚拟机的一个或多个实例，所述虚拟机作为独立计算装置向数据中心的用户展现并操作。利用虚拟化，单个物理计算装置可按照动态方式创建、维护、删除或以其他方式管理虚拟机。进而，用户可从数据中心请求计算机资源，包括单一计算装置或联网计算装置配置，并且可提供用户不同数目的虚拟机资源。

在一些场景中，虚拟机实例可根据多个虚拟机实例类型进行配置以提供特定功能性。例如，各种计算装置可与操作系统或操作系统配置、虚拟化硬件资源和软件应用的不同组合相关联，以使得计算装置能够提供不同的所希望的功能性，或者更有效地提供类似功能性。这些虚拟机实例类型配置经常包含在装置图像内，所述装置图像包括静态数据，所述静态数据包含虚拟机在被启动时将运行的软件(例如，OS和应用以及它们的配置和数据文件等)。装置图像典型地存储在用来创建或初始化实例的硬盘上。因此，计算装置可处理装置图像以便实现所希望的软件配置。

附图简述

当结合附图参阅以下详细描述时，本公开的上述方面和许多伴随的优点将变得更容易明白，同时变得更好理解，附图中：

图1是描绘根据示例性方面的用于提供低延时计算能力的说明性环境的框图；

图2-图5是例示根据示例性方面的示例性版本化方案的框图；

图6描绘根据示例性方面的提供用于管理虚拟计算系统上的代码部署的版本化和部署管理器的计算装置的总体架构；

图7是流程图，其例示根据示例性方面的由部署管理器实现的示例性代码部署例程；

详述

公司和组织不再需要获取并管理它们自己的数据中心以便实行计算操作(例如，执行代码，包括线程、程序、软件、例程、子例程、进程等)。随着云计算的到来，现在可在互联网上以分钟获得并配置传统上由硬件计算装置所提供的存储空间和计算能力。因此，开发者可快速购买所希望数目的计算资源而无需担心获取物理机器。此类计算资源典型地以虚拟计算资源或虚拟机实例的形式购买。这些虚拟机实例(其托管在具有它们自己的操作系统和其他软件部件的物理计算装置上)可以与物理计算机相同的方式被利用。

然而，即使在购买虚拟计算资源时，开发者仍不得不决定要购买的虚拟机实例的数量和类型以及持有时间。例如，根据它们租用的类型和小时数，使用虚拟机实例的成本可能不同。另外，虚拟机可被租用的最小时间典型地以小时计。进一步地，开发者不得不指定安装在虚拟机上的硬件和软件资源(例如，操作系统类型和语言运行时间等)。它们可能具有的其他问题包括利用过度(例如，获取极少计算资源而面临性能问题)、利用不足(例如，获取比运行代码所需更多的计算资源，并且因此付费过度)、流量变化预测(例如，以使得它们了解何时放大规模或减小规模)以及实例和语言运行时间启动延迟(这可花费3-10分钟或者更长，即使用户可能希望计算能力以秒或者甚至毫秒计)。因此，需要一种允许用户利用由服务提供商提供的虚拟机实例的改进方法。

根据本公开的方面，通过响应于接收代码执行请求而动态部署代码，可显著减小与执行代码(例如，实例和语言运行时间启动时间)相关联的延迟(有时称为延时)。

一般描述地，本公开的方面涉及获取用户代码以及将所述用户代码部署到虚拟计算系统(例如，内部存储装置、虚拟机实例和/或其中的容器)上。确切地，公开了有助于管理虚拟机算系统内的用户代码的系统和方法。虚拟计算系统维持其上加载有一个或多个软件部件(例如，操作系统、语言运行时间、库等)的虚拟机实例池。所述池中的虚拟机实例可被指派以服务用户请求以执行程度代码。程序代码可在创建在虚拟机实例上的隔离容器中执行。因为所述池中的虚拟机实例已经由特定操作系统和语言运行时间启动并加载接收请求的时间，显著减小与找出可处理请求(例如，通过在创建在虚拟机实例上的一个或多个容器中执行用户代码)的计算能力相关联的延迟。

在另一个方面中，虚拟计算系统可确定与输入请求相关联的用户代码是已经被加载到虚拟计算系统之上的更新版本的代码。基于输入请求的性质以及虚拟计算系统的状态，虚拟计算系统可确定代码应被放置的地点以及应该用来服务所述请求的代码版本。

本公开的具体实施方案和示例性应用现在将参考附图进行描述。这些实施方案和示例性应用意欲例示而不是限制本公开。

参考图1，将描述例示虚拟环境100的实施方案的框图。图1所示的实例包括虚拟环境100，其中用户计算装置102的用户(例如，开发者等)可使用由虚拟计算系统110提供的虚拟计算资源运行各种程序代码。

通过例示，示出与虚拟计算系统110通信的各种示例性用户计算装置102，包括台式计算机、膝上型电脑和移动电话。一般地，用户计算装置102可以是任何计算装置，诸如台式电脑、膝上型电脑、移动电话(或智能电话)、平板电脑、信息亭、无线装置和其他电子装置。另外，用户计算装置102可包括在相同或不同数据中心上运行的web服务，其中例如不同的web服务可以编程方式彼此通信以便实行本文所描述的一个或多个技术。进一步地，用户计算装置102可包括物联网(IoT)装置，诸如互联网设施和连接装置。虚拟计算系统110可向用户计算装置102提供一个或多个用户界面、命令行界面(CLI)、应用编程界面(API)和/或其他程序设计界面以便于生成和上传用户代码、调用用户代码(例如，提交在虚拟计算系统110上执行用户代码的请求)、调度基于事件的作业或基于时间的作业、追踪用户代码、和/或查看与它们的请求和/或用户代码有关的其他日志或监测信息。尽管一个或多个实施方案在本文中可被描述为使用用户界面，但应了解此类实施方案可另外地或可替代地使用任何CLI、API或其他程序设计界面。

用户计算装置102在网络104上访问虚拟计算系统110。网络104可以是任何有线网络、无线网络或其组合。另外，网络104可以是个人区域网、局域网、广域网、空中广播网(例如，无线电或电视)、电缆网络、卫星网络、蜂窝电话网络或其组合。例如，网络104可以是可能由各个不同方操作的链接网络的公共可访问网络，诸如互联网。在一些实施方案中，网络104可以是专用或半专用网络，诸如企业或大学内联网。网络104可包括一个或多个无线网络，诸如全球移动通信系统(GSM)网络、码分多址(CDMA)网络、长期演进(LTE)网络或者任何其他类型的无线网络。网络104可使用协议和部件以用于经由互联网或其他前述类型的网络中的任一种进行通信。例如，网络104所使用的协议可包括超文本传输协议(HTTP)、HTTP安全(HTTPS)、消息队列遥测传输(MQTT)、受约束应用协议(CoAP)等等。用于经由互联网或任何其他前述类型的通信网络进行通信的协议和部件对于本领域中的技术人员来说是众所周知的，并且因此不会在本文中更详细地进行描述。

虚拟计算系统110在图1中被描绘为在分布式计算环境中操作，所述分布式计算环境包括使用一个或多个计算机网络互连的若干计算机系统。虚拟计算系统110还可在具有比图1所例示更少或更多数目的装置的计算环境内操作。因此，图1中的虚拟计算系统110的描绘应被视为说明性的而不是对本公开的限制。例如，虚拟计算系统110或其各种组成可实现各种web服务部件、已托管或“云”计算环境、和/或对等网络配置以便实现本文所描述的进程的至少一部分。

进一步地，虚拟计算系统110可实现在硬件和/或软件中并且可例如包括实现在物理计算机硬件上的一个或多个物理或虚拟服务器，所述一个或多个物理或虚拟服务器被配置来执行计算机可执行指令以用于实行本文将描述的各个特征。一个或多个服务器在可以是地理上分散的或者地理上协同定位在例如一个或多个数据中心中。

在图1例示的环境中，虚拟环境100包括虚拟计算系统110，所述虚拟计算系统110包括前端120、预热池管理器130、工作器管理器140、版本化和部署管理器150和内部数据存储区160。在所描绘的实例中，虚拟机实例(“实例”)152、154示出在由预热池管理器130管理的预热池130A中，并且实例156、158示出在由工作器管理器140管理的活性池140A中。虚拟计算系统110内的各个部件的图示在本质上是逻辑的并且所述部件中的一个或多个可由单个计算装置或多个计算装置实现。例如，实例152、154、156、158可实现在各个不同的地理区域中的一个或多个物理计算装置上。类似地，前端120、预热池管理器130、工作器管理器140、版本化和部署管理器150和内部数据存储区160中的每一个可跨多个物理计算装置实现。或者，前端120、预热池管理器130、工作器管理器140、版本化和部署管理器150和内部数据存储区160中的一个或多个可实现在单个物理计算装置上。在一些实施方案中，虚拟计算系统110可包括多个前端、多个预热池管理器、多个工作器管理器、多个部署管理器和/或多个内部数据存储区。尽管图1的实例中示出四个虚拟机实例，但本文所描述的实施方案并未被如此限制，并且本领域的技术人员将了解虚拟计算系统110可包括使用任何数目的物理计算装置实现的任何数目的虚拟机实例。类似地，尽管图1的实例中示出单个预热池和单个活性池，但本文所描述的实施方案并未被如此限制，并且本领域的技术人员将了解虚拟计算系统110可包括任何数目的预热池和活性池。

在图1的实例中，虚拟计算系统110被例示为连接到网络104。在一些实施方案中，虚拟计算系统110内的部件中的任一个可经由网络104与虚拟环境100的其他部件(例如，用户计算装置102和辅助服务106，所述辅助服务106可包括监测/日志/记账服务107、存储服务108、实例供应服务109、和/或可与虚拟计算系统110通信的其他服务)通信。在其他实施方案中，并不是虚拟计算系统110的所有部件都能够与虚拟环境100的其他部件通信。在一个实例中，只有前端120可连接到网络104，而虚拟计算系统110的其他部件可经由前端120与虚拟环境100的其他部件通信。

用户可使用虚拟计算系统110来执行其上的用户代码。例如，用户可希望结合用户已经开发出的web或移动应用运行一段代码。一种运行代码的方法将是从服务提供商获取虚拟机实例，所述服务提供商提供基础设施作为服务、配置虚拟机实例以便符合用户的需求、并且使用经配置虚拟机实例来运行代码。或者，用户可将代码执行请求发送到虚拟计算系统110。虚拟计算系统110可基于代码执行请求处理计算能力(例如，容器、实例等，其在以下有更详细描述)的获取和配置，并且使用计算能力执行代码。虚拟计算系统110可基于体积自动放大规模和减小规模，由此使用户释放不得不担心利用过度(例如，获取极少计算资源并且面临性能问题)或利用不足(例如，获取比运行代码所需更多的计算资源，并且因此付费过度)的负担。

前端120处理在虚拟计算系统110上执行用户代码的所有请求。在一些实施方案中，前端120充当去往由虚拟计算系统110提供的所有其他服务的前门。前端120处理请求并且确保所述请求被适当授权。例如，前端120可确定与请求相关联的用户是否被授权访问请求中所指定的用户代码。

如本文所使用的用户代码可以是指以具体程序语言书写的任何程序代码(例如，程序、例程、子例程、线程等)。在本公开中，术语“代码”、“用户代码”和“程序代码”可互换使用。这种用户代码可被执行来例如结合由用户开发的特定web应用或移动应用实现特定任务。例如，用户代码可以JavaScript(node.js)、Java、Python和/或Ruby书写。请求可包括用户代码(或其位置)以及用于执行所述用户代码的一个或多个自变量。例如，用户可提供用户代码连同执行所述用户代码的请求。在另一个实例中，请求可通过其名称或其唯一ID识别先前上传的程序代码(例如，使用API以上传代码)。在又一个实例中，代码可被包括在请求中以及在请求由虚拟计算系统110接收之前被上传到单独位置(例如，存储服务108或虚拟计算系统110内部的存储系统)中。虚拟计算系统110可基于处理请求时可获得代码的位置改变其代码执行策略。

前端120可响应于来自用户的超文本传输协议安全(HTTPS)请求接收执行此类用户代码的请求。并且，包括在HTTPS请求中的任何信息(例如，标头和参数)也可在执行用户代码时被处理并利用。如以上所论述的，任何其他协议，包括例如HTTP、MQTT和CoAP，可用来将包含代码执行请求的消息传送至前端120。前端120还可在事件被监测到时接收执行此类用户代码的请求，所述事件诸如用户已登记来触发自动请求生成的事件。例如，用户可能已经使用辅助服务106登记用户代码并且规定无论何时发生特定事件(例如，上传新文件)，都要将执行用户代码的请求发送到前端120。或者，用户可能已经登记定时作业(例如，每24小时执行用户代码)。在这种实例中，当定时作业的预定时间达到时，执行用户代码的请求可被发送到前端120。在又一个实例中，前端120可具有输入代码执行请求的队列，并且当用户的批量作业从虚拟计算系统的工作队列被移除时，前端120可处理用户请求。在又一个实例中，请求可来源于虚拟计算系统110内的另一个部件或者图1未例示的其他服务器或服务。

用户请求可指定与用户代码一起使用的一个或多个第三方库(包括本地库)。在一个实施方案中，用户请求是包含用户代码和任何库(和/或其存储位置的标识)的ZIP文件。在一些实施方案中，用户请求包括元数据，所述元数据指示待执行的程序代码、书写程序代码的语言、与请求相关联的用户和/或保留用于执行程序代码的计算资源(例如，存储器等)。例如，程序代码可随请求提供，由用户先前上传，由虚拟计算系统110(例如，标准例程)提供，和/或由第三方提供。在一些实施方案中，此类资源水平约束(例如，多少存储器分配用于执行特定用户代码)被指定用于特定用户代码，并且在每次执行用户代码时可能不会改变。在此类情况下，虚拟计算系统110可在每个单独请求被接收到之前能够访问此类资源水平约束，并且所述单独请求可能不会指定此类资源水平约束。在一些实施方案中，用户请求可指定其他约束，诸如指示请求具有的用以执行用户代码的许可种类的许可数据。此类许可数据可由虚拟计算系统110使用来访问专用资源(例如，专用网络上)。

在一些实施方案中，用户请求可指定应该采用来处理用户请求的行为。在此类实施方案中，用户请求可包括用于实现一个或多个执行模式的指示符，其中待执行与用户请求相关联的用户代码。例如，请求可包括用于指示是否应在调试模式中执行用户代码的标志或标头，其中可结合用户代码的执行生成的调试和/或日志输出被往回提供给用户(例如，经由控制台用户界面)。在这种实例中，虚拟计算系统110可检查请求并且查找标志或标头，并且如果存在，那么虚拟计算系统110可修改用户代码在其中执行的容器的行为(例如，日志设备)并且致使输出数据往回提供给用户。在一些实施方案中，行为/模式指示符通过由虚拟计算系统110提供给用户的用户界面添加到请求。其他特征诸如源代码剖析、远程调试等也可基于请求中提供的指示实现或禁用。

在一些实施方案中，虚拟计算系统110可包括多个前端120。在此类实施方案中，负载平衡器可被提供来例如以循环方式将输入请求分配给多个前端120。在一些实施方案中，负载平衡器将输入请求分配给多个前端120的方式可基于预热池130A和/或活性池140A的状态。例如，如果认为预热池130A的容量足够，那么请求可基于前端120的单独容量(例如，基于一个或多个负载平衡限制)被分配给多个前端120。另一方面，如果预热池130A的容量小于阈值量，那么此类负载平衡限制中的一个或多个可被移除，使得请求可以降低或最小化从预热池130A取得的虚拟机实例的数目的方式被分配给多个前端120。例如，即便，根据负载平衡限制，请求将被发送到前端A，如果前端A需要从预热池130A中取出实例以用来服务请求但前端B可使用其活性池中的实例中的一个来服务相同请求，那么所述请求可被发送到前端B。

当虚拟计算系统110接收在虚拟计算系统110上执行用户代码的请求时，预热池管理器130确保虚拟机实例准备好由工作器管理器140使用。在图1例示的实例中，预热池管理器130管理预热池130A，所述预热池130A是可用来服务输入用户代码执行请求的预初始化和预配置虚拟机实例群(有时称为池)。在一些实施方案中，预热池管理器130致使虚拟机实例在虚拟机算系统110内的一个或多个物理计算机器上启动并且被添加到预热池130A。在其他实施方案中，预热池管理器130与辅助服务(例如，图1的实例供应服务109)通信以便创建新的实例并将其添加到预热池130A。在一些实施方案中，预热池管理器130可利用虚拟计算系统110内的物理计算装置以及一个或多个虚拟机实例服务两者来获取并维持可用来服务由前端120接收的代码执行请求的计算能力。在一些实施方案中，虚拟计算系统110可包括用于控制(例如，增大或减小)预热池130A中的可用容量的一个或多个逻辑旋钮或开关。例如，系统管理员可使用这种旋钮或开关来在高峰时间过程中增大预热池130A中的可用容量(例如，预启动实例的数目)。在一些实施方案中，预热池130A中的虚拟机实例可基于预定的配置集合独立于执行用户的代码的特定用户请求来配置。所述预定的配置集合可对应于执行用户代码的各种类型的虚拟机实例。预热池管理器130可基于与当前或先前用户代码执行相关的一个或多个度量来优化预热池130A中虚拟机实例的类型和数目。

如图1所示，实例可具有操作系统(OS)和/或其上加载的语言运行时间。例如，由预热池管理器130管理的预热池130A包括实例152、154。实例152包括OS 152A和运行时间152B。实例154包括OS 154A。在一些实施方案中，预热池130A中的实例还可包括容器(所述容器还可包含操作系统、运行时间、用户代码等的副本)，这在以下有更详细的描述。尽管图1所示的实例152包括单个运行时间，但在其他实施方案中，图1所描绘的实例可包括两个或更多个运行时间，其中每个运行时间可用于运行不同的用户代码。在一些实施方案中，预热池管理器130可维持预热池130A中的实例列表。实例列表可进一步指定实例的配置(例如，OS、运行时间、容器等)。

在一些实施方案中，预热池130A中的虚拟机实例可用来服务任何用户的请求。在一个实施方案中，预热池130A中的所有虚拟机实例以相同或基本类似的方式配置。在另一个实施方案中，预热池130A中的虚拟机实例可以不同方式被配置来符合不同用户的需求。例如，虚拟机实例可具有不同的操作系统、不同的语言运行时间和/或其上加载的不同的库。在又一个实施方案中，预热池130A中的虚拟机实例可以(例如，与相同的OS、语言运行时间和/或库)相同或基本类似的方式配置，但是那些实例中的一些可具有不同的容器配置。例如，两个实例可具有用于Python和Ruby两者的运行时间，但一个实例可具有配置来运行Python代码的容器，并且另一个实例可具有配置来运行Ruby代码的容器。在一些实施方案中，提供多个预热池130A，其每个具有相同配置的虚拟机实例。

预热池管理器130可预配置预热池130A中的虚拟机实例，使得每个虚拟机实例被配置来满足通过在虚拟计算系统110上执行程序代码的用户请求可请求或指定的操作条件中的至少一个。在一个实施方案中，操作条件可包括潜在用户代码可以其书写的程序语言。例如，此类语言可包括Java、JavaScript、Python、Ruby等。在一些实施方案中，用户代码可以其书写的语言集合可局限于预定集合(例如，4种语言的集合，尽管在一些实施方案中提供多于或少于四种语言的集合)以便促进可满足执行用户代码的请求的虚拟机实例的预初始化。例如，当用户正经由虚拟计算系统110所提供的用户界面来配置请求时，所述用户界面可提示用户指定预定操作条件中的一个以执行用户代码。在另一个实例中，用于利用虚拟计算系统110所提供的服务的服务水平协定(SLA)可指定用户请求应满足的条件集合(例如，编程语言、计算资源等)，并且虚拟计算系统110在处理请求时可假设所述请求满足所述条件集合。在另一个实例中，请求中所指定的操作条件可包括：用于处理请求的计算能力的量；请求的类型(例如，HTTP对比触发事件)；请求的超时(例如，请求在其后可终止的阈值时间)；安全策略(例如，可控制预热池130A中的哪些实例可由哪个用户使用)；等。

工作器管理器140管理用于服务输入代码执行请求的实例。在图1例示的实例中，工作器管理器140管理活性池140A，所述活性池140A是当前分配给一个或多个用户的虚拟机实例群(有时称为池)。尽管虚拟机实例在本文中被描述为分配给特定用户，但在一些实施方案中，实例可被分配给用户群，使得实例与所述用户群绑定并且所述群中的任何成员可利用实例上的资源。例如，相同群中的用户可属于相同的安全群(例如，基于它们的安全凭证)，使得在特定实例上的一个容器中执行一个成员的代码之后在相同实例上的另一个容器中执行另一个成员的代码不会造成安全风险。类似地，工作器管理器140可根据指定哪些请求可在哪些容器中执行以及哪些实例可被分配给哪些用户的一个或多个策略来分配实例和容器。示例性策略可指定实例被分配给共享相同账户(例如，用于访问由虚拟计算系统110提供的服务的账户)的用户集合。在一些实施方案中，与相同用户群相关联的请求可共享相同的容器(例如，如果与其相关联的用户代码相同)。在一些实施方案中，请求不会在不同的用户群之间进行区分而仅仅指示与请求相关联的用户所属的群。

在图1例示的实例中，用户代码在被称为容器的隔离的计算系统中执行。容器是使用所述实例上可获得的资源在虚拟机实例内创建的逻辑单元。例如，工作器管理器140可基于执行用户代码的请求中指定的信息创建新的容器或者将现有容器定位在活性池140A中的实例中的一个中并且将所述容器分配给请求以便处理与所述请求相关联的用户代码的执行。在一个实施方案中，此类容器被实现为Linux容器。活性池140A中的虚拟机实例可具有其上创建的一个或多个容器并且具有其上加载的(例如，容器中的一个中或者实例的本地缓存中)与用户相关联的一个或多个程序代码。每个容器可具有其中可获得的凭证信息，以使得在容器上执行的用户代码能够访问允许它们访问的任何对应的凭证信息。

如图1所示，实例可具有操作系统(OS)、语言运行时间和容器。容器可具有OS和语言运行时间以及其上加载的用户代码的单独副本。在图1的实例中，由工作器管理器140管理的活性池140A包括实例156、158。实例156具有容器156A、156B。容器156A具有OS 156A-1、运行时间156A-2和其中加载的代码156A-3。在所描绘的实例中，容器156A具有其自己的OS、运行时间和其中加载的代码。在一个实施方案中，OS 156A-1(例如，其内核)、运行时间156A-2和/或代码156A-3在容器156A、156B(以及图1未例示的任何其他容器)之间共享。在另一个实施方案中，OS 156A-1(例如，在内核外部运行的任何代码)、运行时间156A-2和/或代码156A-3是创建用于容器156A的独立副本并且不与实例156上的其他容器共享。在又一个实施方案中，OS 156A-1、运行时间156A-2和/或代码156A-3中的一些部分在实例156上的容器之间共享，并且它们的其他部分是容器156A专用的独立副本。实例158包括容器158A、158B以及用于存储在实例158上的容器中的任一个中执行的代码的代码缓存159C。

在图1的实例中，图1所描绘的容器的大小可与容器的实际大小成比例。例如，容器156A可比实例156上的容器156B占用更大的空间。类似地，容器158A、158B可具有相等的大小。实例158中所示的带有标号“C”的虚线框指示实例上可用来创建新的容器的剩余空间。在一些实施方案中，容器的大小可以是64MB或其任何倍数。在其他实施方案中，容器的大小可以是小于或等于容器创建在其中的实例的大小的任何任意大小。在一些实施方案中，容器的大小可以是小于、等于或大于容器创建在其中的实例的大小的任何任意大小。根据可超过的容器大小多少，可基于可利用所述那些容器超过实例所提供的容量的可能性来确定实例的大小。

尽管容器156B、158A内的部件在图1的实例中未例示，但这些容器中的每一个可具有不同的操作系统、语言运行时间、库和/或用户代码。在一些实施方案中，实例可具有其上加载的用户代码(例如，在实例水平的缓存诸如代码缓存159C中)，并且那些实例内的容器还可具有其中(例如，容器156A)加载的用户代码。在一些实施方案中，工作器管理器140可维持活性池140A中的实例列表。实例列表可进一步指定实例的配置(例如，OS、运行时间、容器等)。在一些实施方案中，工作器管理器140可能够访问预热池130A中的实例列表(例如，包括实例的数目和类型)。在其他实施方案中，工作器管理器140从预热池管理器130请求计算能力而无需了解预热池130A中的虚拟机实例。

在前端120已经成功地处理请求之后，工作器管理器140能够服务在虚拟计算系统110上执行用户代码的请求。例如，如果活性池140A中存在具有含加载在其中的相同用户代码(例如，容器156A所示的代码156A-3)的容器的特定虚拟机实例，那么工作器管理器140可将容器分配给请求并且致使所述用户代码在容器中执行。或者，如果用户代码在虚拟机实例中的一个的本地缓存中(例如，存储在实例158的代码缓存159C中但不属于任何单独容器)可获得，那么工作器管理器140可在这种实例上创建新的容器、将所述容器分配给请求、并且致使所述用户代码加载并且在容器中执行。

如果工作器管理器140确定活性池140A中的实例中的任一个上(例如，容器或者实例的本地缓存中)未发现与请求相关联的用户代码，那么工作器管理器140可确定活性池140A中的实例中的任一个当前是否被分配给与所述请求相关联的用户并且是否具有处理当前请求的计算能力。如果存在这种实例，那么工作器管理器140可在实例上创建新的容器并且将所述容器分配给请求。或者，工作器管理器140可进一步配置分配给用户的实例上的现有容器，并且将所述容器分配给请求。例如，如果其上加载有当前用户请求所要求的特定库，那么工作器管理器140可确定现有容器可用来执行用户代码。在这种情况下，工作器管理器140可将特定库和用户代码加载到容器之上并且使用所述容器来执行所述用户代码。

如果活性池140A不包含当前分配给用户的任何实例，那么工作器管理器140从预热池130A中拉出新的虚拟机实例、将所述实例分配给与请求相关联的用户、在实例上创建新的容器、将所述容器分配给请求、以及致使所述用户代码被下载并且在所述容器上执行。

在一些实施方案中，虚拟计算系统110被适配成在用户代码被接收(例如，被前端120接收)之后马上开始执行用户代码。可根据启动(例如，与用户相关联的虚拟机实例上的容器中的)用户代码的执行与接收执行所述用户代码的请求(例如，由前端接收)之间的时间差来确定时间段。虚拟计算系统110被适配来在小于预定持续时间的时间段内开始执行用户代码。在一个实施方案中，预定持续时间是500ms。在另一个实施方案中，预定持续时间是300ms。在另一个实施方案中，预定持续时间是100ms。在另一个实施方案中，预定持续时间是50ms。在另一个实施方案中，预定持续时间是10ms。在另一个实施方案中，预定持续时间可以是选自10ms至500ms的范围内的任何值。在一些实施方案中，虚拟计算系统110被适配来如果满足一个或多个条件那么在小于预定持续时间的时间段内开始执行用户代码。例如，一个或多个条件可包括以下中的任一个：(1)在接收到请求时用户代码被加载在活性池140A中的容器上；(2)在接收到请求时用户代码被存储在活性池140A中的实例的代码缓存中；(3)在接收到请求时活性池140A包含分配给与所述请求相关联的用户的实例；或者(4)在接收到请求时预热池130A具有处理请求的能力。

用户代码可从辅助服务106诸如图1的存储服务108下载。图1例示的数据108A可包括由一个或多个用户上传的用户代码、与此类用户代码相关联的元数据、或者由虚拟计算系统110利用来执行本文所描述的一个或多个技术的任何其他数据。尽管图1的实例中仅例示存储服务108，但虚拟环境100可包括用户代码可从其下载的其他水平的存储系统。例如，每个实例可具有与容器在其上创建的实例物理地(例如，驻留在实例在其上运行的物理计算系统上的本地存储装置)或逻辑地(例如，与实例处于网络通信并且设置在虚拟计算系统110内部或外部的网络连接的存储系统)相关联的一个或多个存储系统。或者，代码可从由存储服务108提供的基于web的数据存储区下载。

当工作器管理器140将虚拟机实例中的一个定位在可用来服务用户代码执行请求的预热池130A中时，预热池管理器130或工作器管理器140从预热池130A中取出实例并且将其分配给与请求相关联的用户。所分配的虚拟机实例被从预热池130A取出并且放置在活性池140A中。在一些实施方案中，当虚拟机实例已经被分配给特定用户时，相同的虚拟机实例不能用来服务任何其他用户的请求。这通过防止可能的用户资源的共混而为用户提供了安全效益。或者，在一些实施方案中，属于不同用户(或者分配给与不同用户相关联的请求)的多个容器可共同存在于单个虚拟机实例上。这种方式可提高可用计算能力的利用率。在一些实施方案中，虚拟计算系统110可维持独立的缓存，用户代码被存储在所述独立的缓存中以便充当虚拟机实例的本地缓存与基于web的网络存储装置(例如，可经由网络104访问)之间的中间水平的缓存系统。

在用户代码已经被执行之后，工作器管理器140可拆卸用来执行用户代码的容器以便释放其占用的资源以供用于实例中的其他容器。或者，工作器管理器140可保持容器运行以便使用其来服务来自相同用户的附加请求。例如，如果另一个请求与已经被加载在容器中的相同用户代码相关联，那么所述请求可被分配给相同的容器，由此消除与创建新的容器并且在所述容器中加载用户代码相关联的延迟。在一些实施方案中，工作器管理器140可拆卸用来执行用户代码的容器创建在其中的实例。或者，工作器管理器140可保持实例运行以便使用其来服务来自相同用户的附加请求。确定在用户代码完成执行之后是否保持容器和/或实例运行可基于阈值时间、用户类型、用户的平均请求量和/或其他操作条件。例如，在阈值时间已经经过(例如，5分钟、30分钟、1小时、24小时、30天等)而没有任何活动(例如，代码的运行)之后，容器和/或虚拟机实例被关闭(例如，删除、终止等)并且分配给其的资源被释放。在一些实施方案中，在容器被拆卸之前经过的阈值时间小于在实例被拆卸之前经过的阈值时间。

在一些实施方案中，虚拟计算系统110可在辅助服务106中的一个或多个服务输入代码执行请求时向其提供数据。例如，虚拟计算系统110可与监测/日志/记账服务107通信。监测/日志/记账服务107可包括：用于管理从虚拟计算系统110接收的监测信息(诸如虚拟计算系统110上的容器和实例的状态)的监测服务；用于管理从虚拟计算系统110接收的日志信息(诸如由虚拟计算系统110上的容器和实例执行的活动)的日志服务；以及用于(例如，基于由监测服务和日志服务管理的监测信息和/或日志信息)生成与在虚拟计算系统110上执行用户代码相关联的记账信息的记账服务。除了可由如上所述的监测/日志/记账服务107(例如，代表虚拟计算系统110)执行的系统水平活动之外，监测/日志/记账服务107可代表在虚拟计算系统110上执行的用户代码提供应用水平服务。例如，监测/日志/记账服务107可监测和/或记录各种输入、输出或者代表在虚拟计算系统110上执行的用户代码的其他数据和参数。尽管示出为单个框，但监测、日志和记账服务107可被提供为单独的服务。

在一些实施方案中，工作器管理器140可在由工作器管理器140管理的实例和容器(例如，活性池140A中的那些)上执行健康检查。例如，由工作器管理器140执行的健康检查可包括确定由工作器管理器140管理的实例和容器是否具有以下中的任何问题：(1)配置错误的联网和/或启动配置；(2)耗尽的存储器；(3)毁坏的文件系统；(4)不可兼容的内核；和/或可削弱实例和容器的性能的任何其他问题。在一个实施方案中，工作器管理器140周期性地(例如，每5分钟、每30分钟、每小时、每24小时等)执行健康检查。在一些实施方案中，健康检查的频率可基于健康检查的结果自动调整。在其他实施方案中，健康检查的频率可基于用户请求来调整。在一些实施方案中，工作器管理器140可对预热池130A中的实例和/或容器执行类似的健康检查。预热池130A中的实例和/或容器可与活性池140A中的那些实例和容器一起被管理或者被单独管理。在一些实施方案中，在预热池130A中的实例和/或容器的健康与活性池140A单独管理的情况下，预热池管理器130而不是工作器管理器140可对预热池130A中的实例和/或容器执行上述健康检查。

版本化和部署管理器150管理用户代码在虚拟计算系统110上的部署。例如，版本化和部署管理器150可与前端120、预热池管理器130、工作器管理器140和/或内部数据存储区160通信以便管理用户代码在任何内部数据存储区、实例水平代码缓存和/或虚拟计算系统110上的容器上的部署。尽管版本化和部署管理器150被例示为虚拟计算系统110内的不同部件，但版本化和部署管理器150的部分或所有功能可由前端120、预热池管理器130、工作器管理器140和/或内部数据存储区160执行。例如，版本化和部署管理器150可整个被实现在虚拟计算系统110的其他部件中的一个内或者以分布式方式跨虚拟计算系统110的其他部件实现。在图1的实例中，版本化和部署管理器150包括代码部署数据150A。代码部署数据150A可包括有关输入请求的历史的数据、在虚拟计算系统110上执行的用户代码的版本、以及可由版本化和部署管理器150使用来调整和/或优化与输入代码执行请求相关联的用户代码的部署的任何其他度量。代码部署数据150A还可包括由用户指定或者由版本化和部署管理器150确定用于将它们的代码(例如，版本化偏好等)部署在虚拟计算系统110上的任何管理策略。

贯穿用户代码的寿命周期，可对代码作出各种更新。在一些实施方案中，版本化和部署管理器150维持在虚拟计算系统110上执行的所有用户代码的列表，并且当版本化和部署管理器150确定用户代码中的一个或多个已经被更新时，版本化和部署管理器150致使已更新用户代码(而不是其更老的版本)结合由虚拟计算系统110接收的后续代码执行请求使用。例如，当用户使用一个API更新特定用户代码并且使用另一个API作出与所述用户代码相关联的请求时，虚拟计算系统110可以编程方式确定应何时用新版本处理与用户代码相关联的请求(例如，基于新版本的大小、活性池130A中更老版本的可获得性等)。在一些实施方案中，请求可包括与请求相关联的用户代码已经被更新的指示。例如，用户可指定代码已经被更新。在另一个实例中，用户可指定他或她希望使用的代码的版本，并且版本化和部署管理器150可针对每个请求确定由用户指定的版本是否不同于可能将在虚拟计算系统110上运行的代码的一个或多个版本。在又一个实例中，请求可包括代码所唯一的标识符(例如，创建日期、修改日期、散列值等)。在其他实施方案中，版本化和部署管理器150可基于连同请求一起接收的用户代码自动确定是否已经对用户代码进行任何更新。例如，版本化和部署管理器150可计算代码的散列值或校验和并且确定代码是否不同于可能将在虚拟计算系统110上运行的代码的一个或多个版本。

在一些实施方案中，版本化和部署管理器150可使用代码的更老版本致使在用户代码已经被更新之后接收的请求中的一个或多个被服务。例如，当检测到新版本的用户代码时，版本化和部署管理器150可允许在执行更老版本的用户代码中途的任何容器在将新版本加载到那些容器之上之前结束。在一些实施方案中，版本化和部署管理器150允许在将新版本下载到内部数据存储区、特定实例的代码缓存和/或容器上的同时使用更老版本的代码。通过在下载新版本的同时使用更老版本的代码，由于变化所导致的任何延时增加可通过执行请求来覆盖新版本(例如，最新纠正的/请求版本)的获得而得以避免。在一些实施方案中，版本化和部署管理器150可以立即开始将新版本下载到其上加载有更老版本的那些容器上(或在创建了在其上加载有更老版本的那些容器创建所在的实例上的新容器上)，在其他实施方案中，版本化和部署管理器150可在那些容器变得闲置之后(例如，当前不执行任何用户代码)将新版本下载其上加载有更老版本的那些容器之上(或者下载到创建在其上加载有更老版本的那些容器创建所在的实例上的新容器之上)。在一些实施方案中，版本化和部署管理器150可确定其下载与特定请求相关联的新版本所花费的时间，并且在下载时间超过阈值时决定使用更老版本服务所述特定请求。在一些实施方案中，版本化和部署管理器150可确定正接收的与代码相关联的请求的数目，并且在一个或多个容器已经加载更老版本、以及在没有足够容器加载更新的版本来服务所有请求时决定使用所述更老版本服务所述请求中的一个或多个。

在一些实施方案中，版本化和部署管理器150基于用户请求确定应多快地将更老版本的代码从虚拟计算系统110移除。例如，与代码执行请求相关联的用户可指示更新是次要的并且用户将偏好尽可能低的延时。在这种实例中，版本化和部署管理器150可保持运行更老版本的代码并且逐渐分阶段进入更新的版本中(例如，当运行更老版本的实例已经全部被丢弃或者以其他方式不可用或者不具有处理与代码相关联的所有输入请求的足够能力时)。在另一个实例中，用户可指示更老的版本具有安全漏洞，所述安全漏洞泄露客户的信用卡信息并且所有先前版本的代码应被立即终止。在这种实例中，版本化和部署管理器150可停止和/或终止运行更老版本的代码的任何容器并且立即开始使用更新的版本。

在一些实施方案中，版本化和部署管理器150基于由虚拟计算系统110接收的请求量的历史可将在虚拟计算系统110上足够频繁地运行的程序代码先行加载到活性池140A中的一个或多个容器之上。在一些实施方案中，如果代码预期以循环方式被执行，那么版本化和部署管理器150致使某些代码维持在容器和/或实例中。例如，如果版本化和部署管理器150确定虚拟计算系统110在7PM与8PM小时之间接收请求的90％特定代码，那么版本化和部署管理器150可致使所述特定代码甚至在数小时不活动之后仍维持在容器中。在一些实施方案中，当版本化和部署管理器150检测到新版本时，版本化和部署管理器150可将新版本先行加载到活性池140A或预热池130A中的一个或多个容器之上，即使在接收到与新版本相关联的任何请求之前。

在图1的实例中，版本化和部署管理器150维持用来由一个或多个实例访问的数据存储区的内部数据存储区160。例如，版本化和部署管理器150可将用户代码存储到内部数据存储区160之上，以使得用户代码可在多个实例之间共享。在一些实施方案中，存储在内部数据存储区160上的与此类多个实例(例如，在创建在此类实例上的容器中执行的用户代码)相关的数据保持在内部数据存储区160上以供即使在特定实例被关闭之后由其他实例使用。在一个实例中，将代码从内部数据存储区160下载到容器之上比将相同代码从虚拟计算系统110外部的数据存储区(例如，存储服务108)下载到容器之上快超过10倍。在一些实施方案中，内部数据存储区160被分成隔离容器(其可在此类容器之间提供额外的安全性)，并且对每个容器的访问权被限制成与其相关联的一个或多个实例。

版本化和部署管理器150可包括代码部署单元，用于分析由虚拟计算系统110接收的输入代码执行请求以及确定应获取并部署用户代码的地点和方式。版本化和部署管理器150的示例性配置在以下参考图6更详细地描述。

参考图2-图5，将描述在用户代码已经被更新之后用于处理代码执行请求的示例性版本化方案。在图2的实例中，存储服务106具有其上加载的代码(1)108B(“代码(1)”)，并且实例158具有代码缓存158C，其上加载代码(1)，以及正忙于执行代码(1)108B的四个容器。实例158中所示的带有标号“C”的虚线框指示实例上可用来创建新的容器的剩余空间。

在图3中，先前存储在存储服务108上的代码(1)已经被更新为代码(2)108C(“代码(2)”)。图3还示出容器中的一个已变得闲置，并且另外三个容器仍忙于执行代码(1)(例如，和与代码(1)相关联的现有请求或者与代码(2)相关联的新请求有关)。例如，三个容器即使在代码已经被更新为代码(2)之后仍会执行现已过时的代码(1)，例如以便减小与服务请求相关联的延时。版本化和部署管理器150在此时可已经启动代码(2)的下载。

在图4中，代码(2)已经完成下载到代码缓存159C之上。代码(2)还可被加载到先前闲置的容器和两个新容器之上。前三个容器仍执行代码(1)(例如，使用其上加载的代码(1)服务与代码(2)相关联的新请求)。

图5例示所有容器已经被切换到代码(2)并且运行与输入代码执行请求有关的代码(2)之后的配置。在图5中，在已经确定(例如，基于自代码(1)被更新流逝的时间、或者基于最终停止代码(1)的用户指示)代码(1)不再需要之后，代码(1)还例如由版本化和部署管理器150从代码缓存159C移除。在一些实施方案中，在代码(2)已经被完全引入之后，假设输入代码执行请求的水平不会改变，相同数目的容器(例如，图2-图5的实例中为四个)可能够处理与特定代码相关联的输入代码执行请求，而不管所使用特定代码的版本。

因此，通过即使在代码已经被更新之后使用更老版本的代码继续服务输入代码执行请求，其上加载有所述更老版本的代码的现有容器可被利用来减小与处理代码执行请求相关联的延时。

图6描绘管理用户代码在虚拟计算系统110中的部署的计算系统(称为版本化和部署管理器150)的总体架构。图6所描绘的版本化和部署管理器150的总体架构包括可用来实现本公开的方面的计算机硬件和软件模块的布置。版本化和部署管理器150可包括比图6所示的那些更多(或更少)的元件。然而，为了提供令人能够实现的公开，没有必要示出所有这些总体常规的元件。如图所示，版本化和部署管理器150包括处理单元190、网络接口192、计算机可读介质驱动器194、输入/输出装置接口196，它们都可借助通信总线彼此通信。网络接口192可提供到一个或多个网络或计算系统的连接性。处理单元190因此可通过网络104从其他计算系统或服务接收信息和指令。处理单元190还可与存储器180进行往返通信并且进一步通过输入/输出装置接口196向任选的显示器(未示出)提供输出信息。输入/输出装置接口196还可从任选的输入装置(未示出)接受输入。

存储器180可包含处理单元190可执行以便实现本公开的一个或多个方面的计算机程序指令(在一些实施方案中被分组为模块)。存储器180通常包括RAM、ROM和/或其他持久、辅助或非暂时计算机可读介质。存储器180可存储操作系统184，所述操作系统184提供计算机程序指令以供由处理单元190使用来对版本化和部署管理器150进行一般管理和操作。存储器180还可包括用于实现本公开的方面的计算机程序指令和其他信息。例如，在一个实施方案中，存储器180包括用户界面单元182，所述用户界面单元182生成用户界面(和/或其指令)以便于例如通过导航和/或浏览界面(诸如安装在计算装置上的浏览器或应用)在计算装置上显示。另外，存储器180可包括一个或多个数据仓(未示出)和/或与其通信例如以便访问用户程序代码和/或库。

除了和/或组合用户界面单元182，存储器180可包括可由处理单元190执行的代码部署单元186。在一个实施方案中，用户界面单元182和代码部署单元186单独地或共同地实现本公开的各个方面，例如，分析由虚拟计算系统110接收的输入代码执行请求、确定应获取并部署用户代码的地点和方式等，如以下进一步描述。

代码部署单元186分析由虚拟计算系统110接收的输入代码执行请求。例如，代码部署单元186可确定与输入请求相关联的用户代码是否是加载在虚拟计算系统110的容器中的一个或多个上的更新版本的代码。基于输入请求的性质以及虚拟计算系统110的状态，代码部署单元186确定代码应被放置的地点以及哪个代码应该用来服务哪个请求。

虽然代码部署单元186在图6中被示出为版本化和部署管理器150的一部分，但是在其他实施方案中，代码部署单元186的所有或一部分可由虚拟计算系统110的其他部件和/或另一个计算装置实现。例如，在本公开的某些实施方案中，与虚拟计算系统110通信的另一个计算装置可包括与例示为版本化和部署管理器150的一部分的模块和部件类似地操作的若干模块或部件。

现在转向图7，将描述由虚拟计算系统110的一个或多个部件(例如，版本化和部署管理器150)实现的例程700。尽管例程700相对于由版本化和部署管理器150进行的实现进行描述，但相关领域的技术人员将了解替代的部件可实现例程700或者框中的一个或多个可由不同部件或以分布式方式来实现。

在说明性的例程700的框702处，版本化和部署管理器150接收与用户代码相关联的代码执行请求。例如，版本化和部署管理器150可在前端已经对请求执行任何初始处理之后从前端120接收请求。如以上所论述的，请求可指定在虚拟计算系统110上执行的代码，以及任何操作条件诸如用于处理请求的计算能力的量、请求的类型(例如，HTTP对比触发事件)、请求的超时(例如，请求在其后可终止的阈值时间)、安全策略(例如，可控制预热池130A中的哪些实例可由哪个用户使用)等。

在框704处，版本化和部署管理器150检测与请求相关联的代码是已经被加载到虚拟计算系统110之上的已更新版本的代码。例如，一个或多个容器可具有与其上加载的请求相关联的更老版本的代码。

在框706处，版本化和部署管理器150启动将已更新版本的代码下载到虚拟计算系统110之上。例如，版本化和部署管理器150致使已更新版本的代码下载到虚拟计算系统110的内部数据存储区(例如，图1的内部数据存储区160)、实例中的一个上的代码缓存(例如，图1的代码缓存158C)、或者创建在虚拟计算系统110上的一个或多个容器之上。

在框708处，版本化和部署管理器150致使与已更新版本的代码相关联的代码执行请求由在代码执行请求在框702处被接收之前先前加载在容器中的一个上的更老版本的代码进行处理。

虽然以上已经参考框702-708描述图7的例程700，本文所描述的实施方案并不被如此限制，并且可在不脱离本公开的精神的情况下添加、省略、修改或切换一个或多个框。例如，例程700还可包括框710，在所述框710中版本化和部署管理器150致使与已更新版本的代码相关联的后续代码执行请求由在框706启动的下载已经完成之后加载到容器中的一个上的已更新版本的代码进行处理。

本领域中的技术人员和其他人将了解，本公开中描述的所有功能可在由所公开部件和移动通信装置的一个或多个物理处理器执行的软件中实施。所述软件可永久地存储在任何类型的非易失性存储装置中。

除非另外特别说明，或者在所用上下文中理解，否则诸如“能够”、“可以”、“可能”或者“也许”等等的条件语言通常意图表示，尽管其他实施方案不包括，但某些实施方案包括某些特征、元素和/或步骤。因此，这种条件性语言通常并不意图暗示特征、元素和/或步骤是一个或多个实施方案以任何方式所要求的，或一个或多个实施方案必定包括用于在有或没有用户输入或提示的情况下决定这些特征、元素和/或步骤被包括在任何特定实施方案中或将要在任何特定实施方案中进行的逻辑。

在此所描述和/或附图中描绘的流程图中的任何过程说明、元素或框应当被理解成潜在地代表代码模块、代码片段、或代码的部分，其包括用于在过程中实现特定逻辑功能或步骤的一个或多个可执行指令。替代的实施包括在本文所述实施方案的范围内，其中与本领域中的技术人员所理解的那样相同，元素或功能可以删除、不按照所示出或描述的顺序执行，包括基本上同时执行或者逆序执行，具体取决于所涉及的功能。将进一步了解，上述数据和/或部件可存储在计算机可读介质上并使用与存储计算机可执行部件的计算机可读存储介质(诸如CD-ROM、DVD-ROM或网络接口)相关联的驱动机构加载到计算装置的存储器中。进一步地，部件和/或数据可包含在单个装置中或者以任何方式分布。因此，通用计算装置可被配置来使用上述各种数据和/或部件的处理和/或执行来实现本公开的过程、算法和方法。

应当强调的是，许多变化和修改可能对上述的实施方案作出，其中的元素应当被理解成在其他可接受的实例之中。在本文中，所有这类修改和变化意图被包括在本公开的范围内，并且受所附权利要求书保护。

本公开的实施方案可鉴于以下条款来描述：

1.一种用于从虚拟计算群提供低延时计算能力的系统，所述系统包括：

电子数据存储区，其被配置来存储至少用户的程序代码；以及

虚拟计算系统，其包括执行特定计算机可执行指令的一个或多个硬件计算装置，所述虚拟计算系统与所述数据存储区通信，并且被配置来至少：

维持一个或多个物理计算装置上的多个虚拟机实例，其中所述多个虚拟机实例包括：

预热池，其包括虚拟机实例，所述虚拟机实例上加载有一个或多个软件部件并且等待被分配给用户；以及

活性池，其包括当前分配给一个或多个用户的虚拟机实例；

接收在所述虚拟计算系统上执行第一程序代码的第一代码执行请求；

基于所述第一代码执行请求确定所述第一程序代码是加载到创建在所述活性池中的所述虚拟机实例的特定实例上的容器之上的更新版本的第二程序代码；

启动将所述第一程序代码下载到所述内部数据存储区、所述特定实例的代码缓存和所述容器中的至少一个之上；以及

使用所述第二程序代码处理所述代码执行请求。

2.如条款1所述的系统，其中所述虚拟计算系统进一步被配置来：

接收在所述虚拟计算系统上执行所述第一程序代码的第二代码执行请求；以及

致使所述第二请求在所述容器执行所述第二程序代码的同时由所述第一程序代码进行处理。

3.如条款1所述的系统，其中所述虚拟计算系统进一步被配置来：

将所述虚拟计算系统的所述内部数据存储区与所述活性池中的多个虚拟机实例相关联，所述多个虚拟机实例中的每一个能够访问存储在所述内部数据存储区上的数据；以及

致使加载到所述多个虚拟机实例中的任一个之上的一个或多个程序代码自动加载到所述内部数据存储区之上。

4.一种系统，其包括：

虚拟计算系统，其包括执行特定计算机可执行指令的一个或多个硬件计算装置，并且被配置来至少：

接收与更新的程序代码相关联的第一请求，

基于所述第一请求确定所述更新的程序代码是先前加载到创建在所述虚拟计算系统上的虚拟机实例上的现有容器之上的更老的程序代码的更新版本；

启动将所述更新的程序代码下载到创建在所述虚拟机实例上的新容器、所述虚拟计算系统的内部数据存储区以及所述虚拟机实例的代码缓存中的至少一个之上；以及

致使所述第一请求由所述现有容器中的所述更老的程序代码进行处理。

5.如条款4所述的系统，其中所述虚拟计算系统进一步被配置来：

确定所述更老的程序代码已经被更新；以及

致使所述更新的程序代码在接收到与所述更新的程序代码相关联的任何请求之前被下载到所述虚拟计算系统之上。

6.如条款4所述的系统，其中所述虚拟计算系统进一步被配置来：

接收与所述更新的程序代码相关联的第二请求；以及

致使所述第二请求在所述现有容器执行所述更老的程序代码的同时由所述新容器中的所述更新的程序代码进行处理。

7.如条款4所述的系统，其中所述第一请求包括所述更新的程序代码中的同步并不急迫的指示，并且其中所述虚拟计算系统进一步被配置来在所述更新的程序代码正被下载的同时使用所述更老的程序代码继续处理与所述更新的程序代码相关联的附加请求。

8.如条款4所述的系统，其中所述第一请求包括所述更新的程序代码中的同步急迫的指示，并且其中所述虚拟计算系统进一步被配置来防止与所述更新的程序代码相关联的任何附加请求由所述更老的程序代码进行处理。

9.如条款4所述的系统，其中所述虚拟计算系统包括虚拟机实例的活性池，所述虚拟机实例被配置来在上面创建的一个或多个容器中执行用户代码，并且其中所述虚拟计算系统进一步被配置来：

将所述虚拟计算系统的所述内部数据存储区与所述活性池中的多个虚拟机实例相关联，所述多个虚拟机实例中的每一个能够访问存储在所述内部数据存储区上的数据；以及

致使加载到所述多个虚拟机实例中的任一个之上的一个或多个程序代码自动加载到所述内部数据存储区之上。

10.如条款9所述的系统，其中所述内部数据存储区被配置来在所述特定虚拟机实例被终止之后终止所述特定虚拟机实例与所述内部数据存储区上的先前与所述特定虚拟机实例相关联的任何数据之间的关联，同时保留所述内部数据存储区上的所述任何数据。

11.一种计算机实现的方法，其包括：

当由被配置有特定可执行指令的一个或多个计算装置实现时，

接收在虚拟计算系统上执行更新的程序代码的第一请求；

基于所述第一请求确定所述更新的程序代码是加载到创建在所述虚拟计算系统上的虚拟机实例上的现有容器之上的更老的程序代码的更新版本；

启动将所述更新的程序代码下载到创建在所述虚拟机实例上的新容器、所述虚拟计算系统的内部数据存储区以及所述虚拟机实例的代码缓存中的至少一个之上；以及

致使所述第一请求由所述现有容器中的所述更老的程序代码进行处理。

12.如条款11所述的计算机实现的方法，其中所述方法还包括：

确定所述更老的程序代码已经被更新；以及

致使所述更新的程序代码在接收到与所述更新的程序代码相关联的任何请求之前被下载到所述虚拟计算系统之上。

13.如条款11所述的计算机实现的方法，其中所述方法还包括：

接收在所述虚拟计算系统上执行所述更新的程序代码的第二请求；以及

致使所述第二请求在所述现有容器执行所述更老的程序代码的同时由所述更新的程序代码进行处理。

14.如条款11所述的计算机实现的方法，其中所述第一请求包括所述更新的程序代码中的同步急迫的指示，并且其中所述方法还包括防止与所述更新的程序代码相关联的任何附加请求由所述更老的程序代码进行处理。

15.如条款11所述的计算机实现的方法，其中所述虚拟计算系统包括虚拟机实例的活性池，所述虚拟机实例被配置来在上面创建的一个或多个容器中执行用户代码，并且其中所述方法还包括：

将所述虚拟计算系统的所述内部数据存储区与所述活性池中的多个虚拟机实例相关联，所述多个虚拟机实例中的每一个能够访问存储在所述内部数据存储区上的数据；以及

致使加载到所述多个虚拟机实例中的任一个之上的一个或多个程序代码自动加载到所述内部数据存储区之上。

16.一种存储计算机可执行指令的计算机可读非暂时存储介质，所述程序指令在由一个或多个计算装置执行时配置所述一个或多个计算装置来执行操作，所述操作包括：

接收在虚拟计算系统上执行更新的程序代码的第一请求；

基于所述第一请求确定所述更新的程序代码是加载到创建在所述虚拟计算系统上的虚拟机实例上的现有容器之上的更老的程序代码的更新版本；

启动将所述更新的程序代码下载到创建在所述虚拟机实例上的新容器、所述虚拟计算系统的内部数据存储区以及所述虚拟机实例的代码缓存中的至少一个之上；以及

致使所述第一请求由所述现有容器中的所述更老的程序代码进行处理。

17.如条款16所述的计算机可读非暂时存储介质，其中所述操作还包括：

确定所述更老的程序代码已经被更新；以及

致使所述更新的程序代码在接收到与所述更新的程序代码相关联的任何请求之前被下载到所述虚拟计算系统之上。

18.如条款16所述的计算机可读非暂时存储介质，其中所述操作还包括：

接收在所述虚拟计算系统上执行所述更新的程序代码的第二请求；以及

致使所述第二请求在所述现有容器执行所述更老的程序代码的同时由所述更新的程序代码进行处理。

19.如条款16所述的计算机可读非暂时存储介质，其中所述第一请求包括所述更新的程序代码中的同步急迫的指示，并且其中所述操作还包括防止与所述更新的程序代码相关联的任何附加请求由所述更老的程序代码进行处理。

20.如条款16所述的计算机可读非暂时存储介质，其中所述虚拟计算系统包括虚拟机实例的活性池，所述虚拟机实例被配置来在上面创建的一个或多个容器中执行用户代码，并且其中所述操作还包括：

将所述虚拟计算系统的所述内部数据存储区与所述活性池中的多个虚拟机实例相关联，所述多个虚拟机实例中的每一个能够访问存储在所述内部数据存储区上的数据；以及

致使加载到所述多个虚拟机实例中的任一个之上的一个或多个程序代码自动加载到所述内部数据存储区之上。

Claims (15)

1.一种用于从虚拟计算群提供低延时计算能力的系统，所述系统包括：

电子数据存储区，其被配置来存储至少用户的程序代码；以及

虚拟计算系统，其包括执行特定计算机可执行指令的一个或多个硬件计算装置，所述虚拟计算系统与所述数据存储区通信，并且被配置来至少：

维持一个或多个物理计算装置上的多个虚拟机实例，其中所述多个虚拟机实例包括：

预热池，其包括虚拟机实例，所述虚拟机实例上加载有一个或多个软件部件并且等待被分配给用户；以及

活性池，其包括当前分配给一个或多个用户的虚拟机实例；

接收在所述虚拟计算系统上执行第一程序代码的第一代码执行请求；

基于所述第一代码执行请求确定所述第一程序代码是加载到创建在所述活性池中的所述虚拟机实例的特定实例上的容器之上的更新版本的第二程序代码；

启动将所述第一程序代码下载到所述内部数据存储区、所述特定实例的代码缓存和所述容器中的至少一个之上；以及

使用所述第二程序代码处理所述代码执行请求。

2.如权利要求1所述的系统，其中所述虚拟计算系统进一步被配置来：

接收在所述虚拟计算系统上执行所述第一程序代码的第二代码执行请求；以及

致使所述第二请求在所述容器执行所述第二程序代码的同时由所述第一程序代码进行处理。

3.如权利要求1所述的系统，其中所述虚拟计算系统进一步被配置来：

将所述虚拟计算系统的所述内部数据存储区与所述活性池中的多个虚拟机实例相关联，所述多个虚拟机实例中的每一个能够访问存储在所述内部数据存储区上的数据；以及

致使加载到所述多个虚拟机实例中的任一个之上的一个或多个程序代码自动加载到所述内部数据存储区之上。

4.一种系统，其包括：

虚拟计算系统，其包括执行特定计算机可执行指令的一个或多个硬件计算装置，并且被配置来至少：

接收与更新的程序代码相关联的第一请求，

基于所述第一请求确定所述更新的程序代码是先前加载到创建在所述虚拟计算系统上的虚拟机实例上的现有容器之上的更老的程序代码的更新版本；

启动将所述更新的程序代码下载到创建在所述虚拟机实例上的新容器、所述虚拟计算系统的内部数据存储区以及所述虚拟机实例的代码缓存中的至少一个之上；以及

致使所述第一请求由所述现有容器中的所述更老的程序代码进行处理。

5.如权利要求4所述的系统，其中所述虚拟计算系统进一步被配置来：

确定所述更老的程序代码已经被更新；以及

致使所述更新的程序代码在接收到与所述更新的程序代码相关联的任何请求之前被下载到所述虚拟计算系统之上。

6.如权利要求4所述的系统，其中所述虚拟计算系统进一步被配置来：

接收与所述更新的程序代码相关联的第二请求；以及

致使所述第二请求在所述现有容器执行所述更老的程序代码的同时由所述新容器中的所述更新的程序代码进行处理。

7.如权利要求4所述的系统，其中所述第一请求包括所述更新的程序代码中的同步并不急迫的指示，并且其中所述虚拟计算系统进一步被配置来在所述更新的程序代码正被下载的同时使用所述更老的程序代码继续处理与所述更新的程序代码相关联的附加请求。

8.如权利要求4所述的系统，其中所述第一请求包括所述更新的程序代码中的同步急迫的指示，并且其中所述虚拟计算系统进一步被配置来防止与所述更新的程序代码相关联的任何附加请求由所述更老的程序代码进行处理。

9.如权利要求4所述的系统，其中所述虚拟计算系统包括虚拟机实例的活性池，所述虚拟机实例被配置来在其上创建的一个或多个容器中执行用户代码，并且其中所述虚拟计算系统进一步被配置来：

将所述虚拟计算系统的所述内部数据存储区与所述活性池中的多个虚拟机实例相关联，所述多个虚拟机实例中的每一个能够访问存储在所述内部数据存储区上的数据；以及

致使加载到所述多个虚拟机实例中的任一个之上的一个或多个程序代码自动加载到所述内部数据存储区之上。

10.如权利要求9所述的系统，其中所述内部数据存储区被配置来在所述特定虚拟机实例被终止之后终止所述特定虚拟机实例与所述内部数据存储区上的先前与所述特定虚拟机实例相关联的任何数据之间的关联，同时保留所述内部数据存储区上的所述任何数据。

11.一种计算机实现的方法，其包括：

当由被配置有特定可执行指令的一个或多个计算装置实现时，

接收在虚拟计算系统上执行更新的程序代码的第一请求；

基于所述第一请求确定所述更新的程序代码是加载到创建在所述虚拟计算系统上的虚拟机实例上的现有容器之上的更老的程序代码的更新版本；

启动将所述更新的程序代码下载到创建在所述虚拟机实例上的新容器、所述虚拟计算系统的内部数据存储区以及所述虚拟机实例的代码缓存中的至少一个之上；以及

致使所述第一请求由所述现有容器中的所述更老的程序代码进行处理。

12.如权利要求11所述的计算机实现的方法，其中所述方法还包括：

确定所述更老的程序代码已经被更新；以及

致使所述更新的程序代码在接收到与所述更新的程序代码相关联的任何请求之前被下载到所述虚拟计算系统之上。

13.如权利要求11所述的计算机实现的方法，其中所述方法还包括：

接收在所述虚拟计算系统上执行所述更新的程序代码的第二请求；以及

致使所述第二请求在所述现有容器执行所述更老的程序代码的同时由所述更新的程序代码进行处理。

14.如权利要求11所述的计算机实现的方法，其中所述第一请求包括所述更新的程序代码中的同步急迫的指示，并且其中所述方法还包括防止与所述更新的程序代码相关联的任何附加请求由所述更老的程序代码进行处理。

15.如权利要求11所述的计算机实现的方法，其中所述虚拟计算系统包括虚拟机实例的活性池，所述虚拟机实例被配置来在其上创建的一个或多个容器中执行用户代码，并且其中所述方法还包括：

将所述虚拟计算系统的所述内部数据存储区与所述活性池中的多个虚拟机实例相关联，所述多个虚拟机实例中的每一个能够访问存储在所述内部数据存储区上的数据；以及

致使加载到所述多个虚拟机实例中的任一个之上的一个或多个程序代码自动加载到所述内部数据存储区之上。