CN106462468A - 用于测试产品多租户服务的租户供应 - Google Patents

Abstract

一种租户供应系统。该系统允许用户请求将具体的基础架构资源作为目标的多租户服务的测试租户创建，以及测试租户的自动批量创建。将由系统所创建的测试租户清楚地标识为测试租户来防止提供关于多租户服务的信息的商业智能系统将测试租户误报。测试租户的定期的自动供应提供了一种用于监视多租户服务的操作的机制。此外，用于在具体的基础架构资源中对测试租户进行供应的能力允许对大多数或全部基础架构资源的综合的操作测试，以及对个体的基础架构资源的定向地测试。系统可以向测试租户提供有效期以允许自动移除过期的测试租户。系统降低测试租户的手动创建固有的成本和错误。

Description

用于测试产品多租户服务的租户供应

背景技术

大型多租户云服务采用多个数据中心来向客户提供服务。数据中心在地理上是分布式的。可以将租户分配给地理上接近该租户的位置的数据中心。这些云服务的基础架构是由服务器群和目录服务森林的多个网络来建立的。例如，不同的地区可以有不同的语言，并且可以在不同的时间升级区域性的版本。

为了理解产生中系统的用户体验，可以使用与用于使用具体的命名惯例来向客户对租户进行供应的相同的用户接口来手动地对测试租户进行供应。然而，手动创建测试租户是消耗时间并且容易出错的。当涉及到诸如收入报告和其它类型的商业功能之类的商业智能时，必须注意以确保没有将测试租户错误地识别为真实租户。此外，不存在对其中供应了测试租户的网络、群、或者森林的直接控制。尽管可以通过地区和语言选择来影响在哪里对租户进行供应，但是不保证将测试任何特定的网络、群、或者森林。

已经关于这些和其他考虑而进行了本发明。尽管已经讨论了相对具体的问题，但应当理解的是，在本文中所公开的实施例不应该限于解决在背景技术中所标识的具体的问题。

发明内容

提供了该发明内容以用简化的形式介绍在以下的具体实施方式中所进一步描述的概念的选择。该发明内容不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在用来帮助确定所要求保护的主题的范围。

租户供应系统的实施例直接地与商业平台和与多租户服务相关联的目录服务系统进行通信，以在所选择的服务实例中创建并对租户进行供应。在各种实施例中，租户供应系统是如下的服务，其可以对与多租户服务的供应者相关联的用户可用。租户供应系统对多租户服务的终端用户(即与客户相关联的用户)不可用。

租户供应系统的实施例可以与独立的工作流系统一起使用。工作流系统的实施例可以包括允许工作流被定义的脚本组件。工作流系统可以自动地应用工作流来测试从租户供应系统中所获得的租户并且监视这样的工作流的结果。工作流系统可以用日志记录工作流的状态、动作、和/或结果，产生能够由其他系统使用的报告或反馈，和/或当工作流失败或者识别出多租户系统、工作负荷、服务实例、资源、或者租户有问题时发送通知或生成警报。在各种实施例中，租户供应系统可以合并工作流系统的能力和功能中的一些或全部。

附图说明

通过参考附图，本公开的进一步的特征、方面、和优点将通过参照附图而变得更好理解，其中，元素不是按比例的以便清楚地示出细节，并且其中，相同的附图标记在视图的通篇中指示相同的元件。

图1示出了在大规模、多租户服务环境中的租户供应系统的一个实施例的系统架构；

图2是由租户供应系统所采用的测试租户供应方法的一个实施例的高级流程图；

图3示出了用于在所选择的服务实例中生成测试租户的租户供应系统的一个实施例的操作流程；

图4是示出了利用其可以实施本发明的实施例的计算设备的物理组件的一个实施例的框图；并且

图5A和图5B是利用其可以实施本发明的实施例的移动计算设备的简化框图。

具体实施方式

参考形成了本文的一部分并且示出了具体的示例性实施例的附图以在下文中更加充分地描述了各种实施例。然而，实施例可以以许多不同的形式来实现，并且不应该被理解为限于在本文中所阐述的实施例；相反，提供了这些实施例以使得该公开将是彻底的和完整的，并且将向本领域技术人员完整地传达实施例的范围。可以将实施例实施为方法、系统、或设备。从而，实施例可以采取硬件实现、完全软件实现、或者组合了软件和硬件方面的实现的形式。因此，以下的详细描述不被理解为限制意义。

在本文中描述并且在附图中示出了租户供应系统的实施例。系统允许用户请求用于将具体的基础架构资源作为目标的多租户服务的测试租户的创建，以及测试租户的自动批量创建。将由系统所创建的测试租户进行清楚地标识以防止测试租户被提供关于多租户服务的信息的商业智能系统进行误报。测试租户的定期的自动供应提供了一种用于监视多租户服务的操作的机制。此外，用于在具体的基础架构资源中对测试租户进行供应的能力允许对大多数或全部基础架构资源的综合的操作测试，以及对个体的基础架构资源的目标测试。系统可以提供具有有效期的测试租户，以允许自动移除过期的测试租户。系统降低了测试租户的手动创建中固有的成本和错误。

图1示出了在大型、多租户服务环境中的租户供应系统100的一个实施例的系统架构。多租户服务102是由托管针对客户的一个或多个工作负荷的多个数据中心组成的。在所示出的实施例中，多租户服务是分布式服务，例如，基于云的服务，其具有多个地理上分布的数据中心106。当客户订阅多租户服务时，通常在地理上接近该客户的地理位置的数据中心中提供租户108。租户通常是指多租户服务内的客户(例如，公司)的层级表示中的最高等级的对象。

如在本文中所使用的，当基于租户的成因进行区分是有意义的时，术语“真实租户”是指由客户所创建的租户，而“测试租户”是指由租户供应系统所创建的租户。通常而言，一旦被创建，则从功能的角度上真实租户与测试租户之间不存在有意义的差异，这是令人满意的，因为测试租户旨在用于模仿真实租户以测试产品多租户服务的操作。租户供应系统与用于供应真实租户的相同的系统中的多个系统进行交互。主要的区别是使测试租户创建自动化的能力以及在供应期间由租户供应系统所提供的控制的等级，该等级允许从一开始对测试租户的各种方面进行配置，例如，在哪里对测试租户进行供应或者向测试租户供应什么资源、在不实际支付的情况下进行订阅、增加测试租户供应、以及由其他系统准备好识别租户的身份。

目录服务系统110保存关于多租户服务的组织、资源、和用户的信息。由目录服务系统所存储的信息可以包括但不限于以下中的一些或全部：域列表、用户列表、安全组列表、订阅信息、角色分配、许可分配、以及服务实例属性。

商业平台112管理对多租户服务的订阅。商业平台保存对客户可用的可用的服务计划的列表114、接受订阅可用的服务计划的命令、生成发票、接受支付、并且向租户供应计划。商业平台可以保存针对租户供应系统使用而创建的特殊订阅建议的列表116以专门用于对测试租户进行供应。

将由多租户服务向客户提供的个体的服务称为工作负荷118。针对基于办公/产生力应用的大型服务的工作负荷的示例可以包括但不限于文字处理、邮件、消息传送、会议、任务管理、日历、协同、联系人信息管理、笔记记录、文档管理、内容管理、演示、电子表格、数据库、媒体、以及绘画应用服务。

当在租户上供应服务计划时，分配针对任何工作负荷向其对租户进行供应的服务实例120。对于真实租户而言，服务实例是基于由客户在注册期间所提供的信息和进行的选择来选择的。服务实例是工作负荷向与多租户服务相关联的目录服务暴露的资源单元。每个工作负荷定义服务实例的范围。服务实例用于标识工作负荷在何时工作负荷向目录服务查询改变。每个服务实例具有与其相关联的各种资源。资源是多租户服务基础架构的组件，但不限于网络、目录服务树(例如，账户或者邮箱)、一个或多个目录服务树的森林、以及服务器群。

租户供应系统直接地与商业平台和目录服务进行通信以在用于商业功能的所选择的服务实例中创建并对租户进行供应，所述商业功能例如但不限于对多租户服务器进行监视、测试、维护、和升级。在各种实施例中，租户供应系统是对与多租户服务的提供商相关联的用户可用的服务。租户供应系统对多租户服务的终端用户(即，与客户相关联的用户)不可用。一些实施例可以允许对租户供应系统的不同等级的访问。例如，标准用户可以被允许执行基本功能，例如但不限于请求租户以及创建生成并监视一系列租户的工作流。管理用户可以被允许执行较高等级的功能，例如但不限于对先前供应的租户添加新的订阅。

在一些实施例中，租户供应系统可以包括允许创建工作流的脚本服务。工作流可以用于根据调度或者定期地自动生成租户，并且利用或针对租户执行操作。租户供应系统的各种实施例可以包括监视并记录租户供应服务(例如，租户的供应和/或去供应)、租户(例如，成功地创建或者被迁移)、和工作流(例如，所应用的更新工作流)的状态和/或活动的日志或报告服务。日志/报告服务的实施例还可以在识别出多租户系统、工作负荷、服务实例、资源、或者租户的问题时生成警报。

另外，租户供应系统的实施例可以与可选的独立工作流系统122一起使用。工作流系统的实施例可以包括允许对工作流进行定义的脚本组件。工作流系统可以自动地应用工作流来测试从租户供应系统所获得的测试租户并且监视这样的工作流的结果。可以针对以下的功能来使用监视，所述功能例如但不限于持续地或者根据需要地评估多租户服务或其任何组件的健康和操作，包括工作负荷、服务实例、工作流、群、森林、树、网络、应用框架和其上建立的应用、以及其他基础架构资源。工作流系统可以用日志记录工作流的状态、动作、和/或结果，生成能够由其他系统使用的报告或反馈，和/或当工作流失败或者识别出多租户系统、工作负荷、服务实例、资源、或者租户有问题时发送通知或生成警报。

在各种实施例中，租户供应系统可以包含工作流系统的能力和功能中的一些或全部，其包括应用和监视工作流、日志、报告、以及生成警报。在租户供应系统内，可以出于以下的目的来使用工作流，例如根据调度或者定期地自动生成测试租户和/或关于测试租户的导入信息以及批量生成测试租户。租户供应系统可以包括可以充当测试租户的仓库的数据库以及所报告的关于测试租户的信息。

租户供应系统的实施例采用对商业平台和/或目录服务的安全访问以避免错误使用租户供应系统的功能，例如，免费订阅建议和将具体的基础架构资源定为目标的能力。例如，通过对商业服务器的未授权的访问，可以生成不符合针对测试租户所期望的限制的未授权的免费订阅建议，这可能导致在真实租户和测试租户之间进行区分的能力的损失，或者免费订阅建议可能由真实用户错误地使用，这可能导致收入损失。在另一个示例中，利用拒绝服务攻击可以开发用于生成具体的服务实例的测试租户的未授权的访问，来将多租户服务基础架构的部分定为目标。可以通过对安全和验证机制124的使用来提供安全访问，所述安全和验证机制124例如但不限于许可、安全证书、验证令牌、以及适用于对所选择的计算设备之间的通信或者来自经授权的用户的通信进行验证的其他安全机制。

租户供应系统、商业平台、目录服务、工作流系统、以及多租户服务是使用一个或多个计算设备来实现的，所述一个或多个计算设备执行提供在本文中所描述的功能的对应的计算机可执行指令。所述计算机可执行指令可以以程序、应用、服务、脚本、或其他软件为形式。可以将计算设备实现为个体的服务器或者服务器群。租户供应系统的分布式组件与多租户服务经由一个或多个网络进行通信，所述一个或多个网络例如但不限于互联网、广域网、以及局域网。

图2是由租户供应系统所采用的租户供应方法的一个实施例的高级流程图。租户供应方法200可选地开始于建议定义操作202，在该操作中，在商业平台中定义了一组特别订阅建议。特别订阅建议用于在对测试租户进行供应中的有限内部使用，并且模仿对应的已支付的服务计划中除了账单之外的一些或全部行为。在一些实施例中，特别订阅建议可以具有更新或期限限制，例如，设置测试租户的寿命的链接至账单循环的特别终止规则。

在一些实施例中，可以生成对应于每个已支付的订阅计划的特别订阅建议。多租户服务可以具有对客户可用的大量已支付的服务计划。在一些情况下，创建对应于每个已支付的订阅计划的特别订阅建议是不实际或者不必要的。从而，在一些实施例中，可以仅仅针对所选择的已支付的服务计划而生成特别订阅建议。例如，特别订阅建议可以对应于最高供应的已支付的服务计划。

特别订阅建议包含象征性收费(例如，$0.01或者其他大体上较少的金额)或者免费(即，零花费)订阅建议。在生成大量的测试租户的情况下使用免费订阅建议可以特别有利，这是因为与在商业平台中对测试租户进行供应相关联的花费可能变得沉重。即使支付被返回至资金源(即，赔偿)，也可能存在以交易费(例如，信用卡交易费)的形式和/或要求维持足够资金/信用限额以覆盖针对所生成的每个测试租户的订阅花费的形式的未收回的花费。

供应请求接收操作204接收由请求者所发送的对测试租户进行供应的请求。请求者可以是定期地或者基于用户来生成请求的自动请求系统，所述用户是根据需要生成请求以测试多租户服务的一个或多个资源的功能的，例如，服务开发者或者支持工程师。供应请求可以分配针对测试租户的供应细节(例如，元数据)，包括但不限于：待利用的设置、资源、以及订阅建议。供应细节可以分配特性，例如但不限于：其中待对测试租户进行供应的服务实例、用于由测试租户使用的工作负荷版本、用于由测试租户使用的数据库、用于当对测试租户进行供应时使用的订阅建议、具体的标识符(即，公司名称)、测试租户的语言、测试租户的地区、以及测试租户的寿命或有效期。实施例还可以分配用于生成一系列测试租户的调度。

租户创建操作206生成租户信息，所述租户信息用于基于供应请求的内容而在商业平台中创建租户。租户创建操作涉及创建和保存租户简档以及指导多租户服务中的其他系统(例如，商业系统、目录服务系统、或者工作负荷)来根据期望的测试场景的需要而以某些方式进行表现。可以通过传递分配指令和/或值(即，参数)的元数据来完成指导其他系统。可以被传递至其他系统的元数据的示例包括但不限于：使用特别订阅建议的指令、跳过针对测试租户的账单的指令、供应具有特定的工作负荷版本的测试租户的指令、使用测试租户的分配的数据库的指令、使用测试组合的分配的服务实例的指令、将租户标识为多租户服务内的测试租户的指令、以及先前所描述供应细节中的任何一个。

在各种实施例中，租户创建操作可以被配置为按照日期第或者定期地(例如，每N分钟、小时、或天)运行以生成用于心跳测试的测试租户的进行中的序列，这允许连续地监视服务实例的操作。在一些实施例中，可以根据需要调用租户创建操作以响应于特定的事件而生成用于测试所选择的工作负荷实例的测试租户。

测试租户标识操作208以允许其他系统、服务、和用户将租户标识为测试租户的方式来标记租户。在各种实施例中，租户简档中的信息符合用于将租户标识为测试租户的惯例。可以需要使用不同的测试租户标识惯例来向多种不同的系统标识测试租户。租户供应系统、商业平台、以及商业智能系统可以全都需要对测试租户和真实租户进行区分。例如，租户信息可以生成符合测试租户标识惯例的针对租户信息字段(例如，公司名称或初始域)的前缀或后缀，或者确保所选择的用于标识测试租户的字符串或其他值被并入到合适的租户信息字段(例如，公司名称)中。在另一个示例中，租户创建操作还可以添加一个或多个标签或者填充一个或多个专用于将租户标识为测试租户的字段。诸如商业平台之类的一些系统可以将使用特别订阅建议而被供应的租户标识为测试租户。

持续地对测试租户与真实租户进行区分的一个好处是防止测试租户曲解服务和财务度量。例如，无法找出(account for)测试租户可能会影响关于向多租户服务添加资源的决策，这是因为在新的租户的数字中或者在租户的总数中可能会将测试租户误报成真实租户。类似地，无法找出测试租户可能会导致在基于测试租户订阅的有缺陷的收入预测基础上的不准确的财务报表。可以想到可能由于不能够准确地标识测试租户而产生的其他不期望的场景。

一旦被创建，租户供应操作210在多租户服务的目录服务中对测试租户进行供应。此时，已经创建并且以管理方式在多租户服务中供应了测试租户，但是测试租户还没有购买订阅。换句话说，已经创建了针对测试租户的账户，但是测试租户还没有被授权以使用由多租户服务所提供的工作负荷中的任何一个工作负荷。

服务实例分配操作212在向测试租户供应订阅建议之前将服务实例添加至测试租户。服务实例分配操作指定被供应有测试租户的所选择的服务实例。还可以使用服务实例分配操作来设置用于针对调试工作负荷的具体的实例所创建的测试租户的服务实例。租户迁移测试是期望设置具体的服务实例进行设置的场景的一个示例。在具有混合的基础架构(其具有准备好升级的一些服务实例而没有准备好升级的一些服务实例)的多租户服务中，基础架构可以提供处于准备好升级的状态的至少一个服务实例。在各种实施例中，所选择的准备好升级的服务实例可以被保留以用于租户迁移测试，并且可以被排除在其中被供应有真实租户的服务实例之外。因为可以存在非必须明确地设置服务实例属性的情况，所以在一些实施例中服务实例分配操作可以是可选的，例如，当测试对针对其中所有服务实例总是准备好升级的工作负荷的升级工作流的操作时。

在已经设置了针对测试租户的任何具体的服务实例之后，订单供应操作214将包含订阅信息的订单发送至商业平台。所述订阅信息指定用于由测试租户使用的订阅建议。在接收了订单之后，在购买操作216中，商业平台对所述订单进行处理。免费的订阅建议允许测试租户订阅服务计划而不用实际上对与该测试租户相关联的资金源进行收费(即，不用进行支付)。象征性的收费订阅建议使得订阅花费最小化，但是仍然涉及在生成测试租户之前完成财务交易。在租户被期望在供应工作负荷之前购买服务的产品多租户服务中对测试租户进行供应而不用支付或者具有象征性的支付的能力是有利的，尤其是当定期地创建大量的测试租户时。尽管特别订阅建议对于在生成测试租户时最小化或者避免对处理涉及实际资金源的财务交易的需求而言是有用的，但是要生成测试租户，定义和/或使用特别订阅建议不是必须的。

在各种实施例中，商业平台考虑使用全额支付的免费订阅建议的测试租户的账户。例如，免费订阅建议可以使得商业平台开具(issue)在测试租户的寿命期间补偿订阅的花费的信额(credit)。换句话说，商业平台将把测试租户视为没有欠费。因为免费的订阅建议允许商业平台放弃从测试租户收集支付，所以可以完成测试租户的创建而不用提供支付源(例如，信用卡或银行路由信息)。取决于商业平台，可以完全省略支付源信息或者可以使用虚构的支付源信息(例如，信用卡号或银行路由号完全由零组成)。

如先前所提及的，特别订阅建议的使用不是必须的并且也可以使用固定支付的订阅来对测试租户进行供应。在这样的场景中，系统可以使用用于取消与测试租户相关联的花费的各种机制。例如，系统可以提供针对被合适地标识为测试租户的任何租户的服务计划的报销。然而，必须小心地追踪支付和报销解决方案来确保当报告针对多租户服务的实际财务以及需要储备足够的资金来处理交易时测试租户的财务交易是透明的，。类似地，可以修改商业平台以使得输入某些信息绕过财务交易的实际处理。这样的实现需要小心的监视以避免允许真实租户订阅而没有支付以及其他误用，并且就报销而言，其需要小心的追踪以确保财务透明性。

一旦购买完成，工作负荷供应操作218就在目录服务中供应用于与订阅建议相关联的工作负荷的测试租户。在各种实施例中，工作负荷通过其服务实例周期性地询问(askfor)工作。换句话说，服务实例可以用于针对升级而对目录服务进行查询，所述升级例如最新创建或经升级的测试租户。如果经升级的或最新创建的测试租户存在，则将它们被供应至合适的服务实例，所述合适的服务实例可以是由服务实例分配操作所设置的具体的服务实例，或者如果服务实例属性没有明确地设置，则是与所选择的标准相匹配的任何可用的服务实例。取决于多租户服务，可以使用用于对测试租户进行供应的其他机制。例如，可以将测试租户置于管理(例如，目录服务)侧或工作负荷侧的基于标准的队列中，或者可以将测试租户推送至合适的工作负荷或服务实例。

通常而言，测试租户被供应至具有与测试租户的经选择的属性相匹配的属性的服务实例。例如，具有语言属性设置为法语而地区设置为加拿大的订阅至多租户服务的邮件服务工作负荷的租户将被供应至在北美的被配置用于法语语言的数据中心中的邮件服务工作负荷的服务实例。如果还没有设置租户的服务实例属性(在通过公共可访问的注册端口针对客户所创建的租户的情况下)，则租户可以在东海岸或者西海岸上的数据中心中将被供应至使用法语语言的工作负荷的任何服务实例。作为示例，这可以是以下操作的结果：服务实例属性将在订单被提供至租户时自动由商业平台设置为与所选择的标准相匹配的任何可用的服务，或者当与所选择的标准相匹配的服务示例询问新的租户是否可用时由目录服务将服务实例属性设置为与所选择的标准相匹配的任何可用的服务。

相反地，当服务实例属性在由租户供应系统下订单之前已经被设置了时，租户将仅仅被供应至所选择的服务实例。换句话说，当下订单时，服务实例属性没有被重写，或者服务实例属性没有被通常用于分配服务实例以询问工作的属性相匹配的第一服务实例重写。

在测试租户的寿命结束处，清理操作220从多租户服务中禁用并且去供应该测试租户。测试租户寿命的结束可以由特别订阅建议的到期来触发。与特别订阅建议相关联的账单循环可以用于定义测试租户的寿命期限。在各种实施例中，特别订阅建议可以被配置为不自动更新。可替代地，供应有虚构的支付源信息的测试租户将得出不成功的收集尝试。无论在何种情况下，都可以将针对测试租户的订阅标记为过期的。在过期之后的指定量的时间处，可以禁用订阅(即，测试租户对工作负荷的访问)。随后，当禁用了订阅之后经过了一段时间时，将测试租户去供应。例如，特别订阅建议可以具有60天的账单循环。在初始的非更新或非支付之后，将订阅标记为过期的。账单循环规则可以指定：在过期之后10天禁用过期的订阅，并且在订阅被禁用10天之后将具有禁用的订阅的租户去供应。可以将测试租户从服务实例中去供应或者从服务实例和目录服务两者中去供应(即，净化)。

图3示出了用于在所选择的服务实例中生成测试租户的租户供应系统的一个实施例的操作流程。租户供应系统开始于创建租户的提示(A)，其可以从诸如用户(例如，标准和管理用户)、外部系统(例如，工作流系统)、或者经调度的工作流之类的源接收。租户供应系统建立和与多租户服务相关联的商业平台的通信，并且发起对租户的创建(B)。取决于所提供的接口，可以以各种方式来完成租户供应系统与外部系统的通信。例如，租户供应系统可以部署直接地操纵外部系统的工作者(例如，线程)，如在所示出的实施例中所示。可替代地，租户供应系统可以向由外部系统所提供的网络服务发送请求、对由外部系统所暴露的应用程序接口进行调用、或者利用其他可用的通信机制。

租户供应系统以将租户标识为测试租户的方式来标记租户(C)。商业平台将租户添加至多租户服务的目录服务(D)。接着，租户供应系统将所选择的用于租户中的一个或多个工作负荷的服务实例(E)设置在目录服务中。一旦设置了针对租户的服务实例，租户供应系统就使用所选择的订阅建议(其可以是特别/免费订阅建议中的一个)向商业平台下订单(F)，所选择的订阅建议可以包括诸如关闭针对租户订阅的自动更新(G)以使得租户过期之类的动作。在完成了订单之后，商业平台向租户供应包括在订阅中的工作负荷(H)。服务实例周期性地针对更新来对目录服务进行查询(I)。如果更新包括指定了进行查询服务示例的新的租户，则针对该服务实例而对租户进行供应(J)。

一般地，当针对客户而对租户进行供应时，在基于使用关于或来自客户的信息(例如，地点、语音等)的映射算法在租户上供应订阅计划的时刻，建立客户所订阅的任何工作负荷的服务实例。在所示出的实施例中，多租户服务基础架构包含没有准备好升级的服务实例和一些准备好升级的服务实例的混合。如果目的是使用测试租户来验证升级工作流是适当地工作的，则在没有准备好升级的服务实例中对测试租户进行供应是没有帮助的。依赖于映射算法，不保证将在准备好升级的服务实例中对测试租户进行供应。然而，因为租户供应系统在下订单之前预先设置了服务实例，所以绕过了映射算法并且使用所选择的服务实例来对租户进行供应。通过将租户的服务实例设置为准备好升级的服务实例的标识符，确保了在准备好升级的服务实例中对租户进行供应，因此可以验证升级工作流的功能。

如先前所提及的，租户供应系统的实施例可以充当关于测试租户的信息的仓库。当自动地对测试租户进行供应或者批量供应测试租户时，实施例可以使用用于导入测试租户信息的自动机制。在各种实施例中，自动或批量测试租户信息是由来自商业平台的商业智能反馈(K)所提供的。商业智能反馈报告诸如供应新的租户以及修改现有的租户之类的活动。可以将在商业智能反馈中所报告的测试租户信息导入到租户供应系统中。

在一些实施例中，商业智能反馈是特定于租户供应系统的，并且通过应用了使用测试租户标识符来筛选租户的过滤器商业平台仅仅包括测试租户信息。在其他实施例中，商业智能反馈不限于测试租户，并且由租户供应系统应用过滤器来仅仅提取并导入测试租户信息。

商业智能反馈可以在活动发生的时间和活动被报告的时间之间具有延迟。从而，租户供应系统实施例将延迟的因素考虑到工作流中以确保没有丢失相关的信息。在用于验证所选择的服务实例中的工作流的操作的升级项目的期间将测试租户从一个版本的工作负荷迁移至另一个版本的情况下，测试租户可以被定期供应并且通过升级工作流来运行。指示升级的结果的测试租户信息可能在供应了测试租户之后的一些时间内不可用，例如，24小时至48小时。从而，对升级工作流进行监视可以寻找两天之前所创建的测试租户。

可以以多种方式来使用所生成的测试租户，所述多种方式包括心跳监视、分享客户体验、兼容性测试、故障排除、以及展示多租户服务中的工作负荷、服务实例、工作流、和应用。通常而言，监视操作涉及将工作流应用至测试租户(L)以及用日志记录或者以其他方式报告工作流结果(M)。如果发生错误，则可以生成警报(N)来通知合适的人员(例如，工程师)。

心跳监视通常涉及生成持续的一系列测试租户以确保服务实例适当地工作。心跳测试将工作流应用至测试租户以验证工作流是成功地完成的。如果对于测试租户而言工作流是不成功的，则可以提高警报。使用测试租户持续地监视心跳提供了在客户受影响之前检测并解决问题的机会。

针对给定的工作流的客户体验可以由于各种因素而在不同的服务实例之间不同，所述因素例如运行不同的版本或不同结构的工作负荷、或者具有不同的配置。客户体验监视允许工作流开发者体验客户在所选择的服务实例上的体验。基于用户体验监视的结果，工作流开发者可以针对服务实例中的一个或全部而修改工作流。

在一个示例中，当将租户从一个版本的工作负荷迁移至另一个版本时，测试租户可以用于验证升级工作流在所选择的服务实例中是否适当地工作。通过在所选择的服务实例中生成测试租户并且应用升级工作流以在将升级工作流应用至所选择的服务实例中的真实租户之前验证所选择的服务实例中的升级工作流的适当的操作，可以根据需要来使用升级工作流监视。通过在所选择的服务实例中定期地(例如，每四个小时)创建测试租户，并且应用升级工作流以验证升级工作流对所选择的服务实例起作用，升级工作流监视还可以被实现为心跳监视。

在另一个示例中，工作负荷可以使用测试租户的常规流来验证其供应工作流。在工作负荷的各种服务实例中创建测试租户，并且应用工作负荷等级的供应工作流来验证租户供应在工作流等级是适当地工作的。

在另一个示例中，多租户服务中的邮件客户端与邮件服务器之间的连通性对多租户服务的用户而言是重要的，并且为多租户服务的提供者呈现较大的支持问题中的一个问题。可以生成测试租户以测试来自多个版本的邮件服务器的邮件服务森林与邮件客户端之间的通信以及来自不同的服务实例的邮件服务森林之间的通信。

运行在由工作负荷所提供的框架上的应用的操作的验证提供了使用测试租户的监视的另一个示例。测试租户是在工作负荷的各种服务实例中创建的并且用应用进行了测试以验证该应用在那些服务实例中是适当地工作的。应用验证可以用于测试在开发以及去部署期间与各种服务实例的兼容性以及所述部署，以及用于对应用的运行状态进行持续的(即，心跳)监视。

测试租户还可以由工程师来使用以调试多租户服务、工作负荷、和/或服务实例。例如，响应于所报告的服务实例的问题，可以在所选择的服务实例中创建测试租户以允许工程师尝试重新创建并诊断所报告的问题。在进行了改变之后，测试租户可以用于验证问题已经解决。使用测试租户的调试允许工程更积极地响应、更快速地解决问题、并且更大地确保改变已经解决了问题，而全都不需要访问真实租户数据。

类似地，当对来自客户的请求进行响应时，还可以由技术支持来使用测试租户。例如，当用户针对多租户服务而对帮助台进行呼叫时，技术支持人员可以利用与真实租户在同一服务实例中所创建的测试租户。因此，当对用户进行帮助时，技术支持人员将与用户具有相同的体验，包括特定的服务实例的任何特性。另外，对在与真实租户相同的服务实例中的测试租户的使用允许技术支持人员确定用户所体验的问题是否是影响服务实例的所有用户的系统性问题还是客户特有的问题。如果技术支持人员使用测试租户遭遇与用户正在体验的相同的结果，则问题可以被认为是系统性的。相反地，如果测试租户没有遭遇用户正在体验的问题，则问题可以被认为是特定于真实租户的。

进一步的示例是使用测试租户来展示各种市场中的多租户服务。销售和市场人员可以使用在所选择的服务实例中所创建的测试租户以向潜在的客户确切地示出他们能够期望的内容。

测试租户还可以用于验证所选择的服务实例的配置。当服务实例被配置或升级时，测试租户可以用于对体验进行监视。例如，工作负荷的新的结构可以包括多个改变。可以将改变引入暴露了不同组的改变的不同的飞行(flight)中。可以在各种服务实例中创建测试租户。一旦已经部署了飞行，则可以使用校验工作流来验证各种服务实例接收了合适的版本和结构，并且特征被适当地暴露或禁用。如果在所选择的服务实例中的测试租户能够访问应该禁用的特征或者不能够访问应该启用的特征，则可以生成警报。

最后，商业系统可以在特别订阅建议过期处停用/去供应订阅(O)。可以在清理期间自动地对不具有活动的订阅的租户进行去供应和净化(P)。还可以通过用户动作来手动地对租户进行去供应和/或净化。

该申请的主题可以以多种实施例而被实施为系统、设备和其它制品或者被实施为方法。实施例可以被实现为硬件、软件、计算机可读介质、或其组合。在本文中所描述的实施例和功能可以经由多个计算系统来实现，这些计算系统包括但不限于：台式计算机系统、有线和无线计算系统、移动计算系统(例如，移动电话、上网本、平板或板型计算机、笔记本计算机、以及膝上型计算机)、手持设备、多处理器系统、基于微处理器的或可编程消费型电子产品、小型计算机、以及大型计算机。

可以经由板载计算设备的显示器或者经由与一个或多个计算设备相关联的远程显示单元来显示各种类型的用户接口和信息。例如，各种类型的用户接口和信息可以在各种类型的用户接口和信息所投射到的墙面上显示或者与这样的墙面进行交互。与可以利用其实施本发明的实施例的多个计算系统的交互包括：击键输入、触摸屏输入、语音或其它音频输入、手势输入，其中相关联的计算设备装备有检测(例如，相机)功能以用于捕获和解释用于控制计算设备的功能等的用户手势。

图4和图5以及相关联的描述提供了在其中可以实施本发明的方面的各种操作环境的讨论。然而，图示并讨论的设备和系统是出于示例和说明的目的，而不限制可用于实施在本文中所描述的本发明的实施例的大量的计算设备配置。

图4是利用其可以实施本发明的实施例的计算设备400的物理组件(即，硬件)的框图。在下文中所描述的计算设备组件可以适用于实施计算设备，包括但不限于：个人计算机、平板计算机、平面计算机、以及智能电话、或者在本文中所讨论的任何其它计算设备。在基本配置中，计算设备400可以包括至少一个处理单元402和系统存储器404。取决于计算设备的配置和类型，系统存储器404可以包括但不限于：易失性存储设备(例如，随机存取存储器)、非易失性存储设备(例如，只读存储器)、闪速存储器、或者这样的存储器的任何组合。系统存储器404可以包括操作系统405以及一个或多个程序模块406，其适用于运行软件应用420，例如，租户供应系统100的组件、多租户服务102(例如，工作负荷、服务实例)、目录服务110、商业平台112、工作流服务、以及商业智能服务。例如，操作系统405可以适用于控制计算设备400的操作。此外，本发明的实施例可以结合图形库、其它操作系统、或任意其它应用程序来进行实施，并且所述实施例不限于任何特定的应用或系统。该基本配置是由虚线408内的那些组件所示出的。计算设备400可以具有额外的特征或功能。例如，计算设备400还可以包括额外的数据存储设备(可移动的和/或不可移动的)，例如，磁盘、光盘、或磁带。这样的额外的存储设备是由可移动存储设备409和不可移动存储设备410所示出的。

如上所述，可以将多个程序模块和数据文件存储在系统存储器404中。当在处理单元402上执行时，软件应用420可以执行过程，包括但不限于租户供应方法200的步骤中的一个或多个步骤。可以根据本发明的实施例来使用的其它程序模块可以包括电子邮件和联系人应用、文字处理应用、电子表格应用、数据库应用、幻灯片演示应用、或绘图应用程序等。

此外，可以在包括分立电子元件、包含逻辑门的封装的或集成的电子芯片、利用微处理器的电路的电子电路中、或在包含电子元件或微处理器的单个芯片上实施本发明的实施例。例如，可以经由片上系统(SOC)来实施本发明的实施例，其中，所示出的组件中的每个或多个可以集成到单个集成电路上。这样的SOC设备可以包括一个或多个处理单元、图形单元、通信单元、系统虚拟化单元、以及各种应用功能，这些全都作为单个集成电路集成(或“烧制”)到芯片衬底上。当经由SOC操作时，在本文中关于软件应用420所描述的功能可以经由与单个集成电路(芯片)上的计算设备400的其它组件一起集成的专用逻辑来操作。还可以使用能够执行逻辑运算(例如，与、或、非)的其它技术来实施本发明的实施例，所述技术包括但不限于：机械、光学、流体、和量子技术。另外，可以在通用计算机中或者在任何其它电路或系统中实施本发明的实施例。

计算设备400还可以具有一个或多个输入设备412，例如，键盘、鼠标、笔、声音输入设备、触摸输入设备等。还可以包括诸如显示器、扬声器、打印机等之类的输出设备414。前述设备是示例并且可以使用其它设备。计算设备400可以包括允许与其它计算设备418进行通信的一个或多个通信连接416。适当的通信连接416的示例包括但不限于：RF发射机、接收机、和/或收发机电路；通用串行总线(USB)、并行、和/或串行端口。

如在本文中所使用的术语计算机可读介质可以包括计算机存储介质。计算机存储介质可以包括以用于存储诸如计算机可读指令、数据结构、程序模块之类的信息的任何方法或技术来实现的易失性和非易失性、可移动和不可移动的介质。系统存储器404、可移动存储设备409、和不可移动存储设备410全都是计算机存储介质的示例(即，存储器存储)。计算机存储介质可以包括：随机存取存储器(RAM)、只读存储器(ROM)、电可擦除只读存储器(EEPROM)、闪速存储器或其他存储器技术、压缩盘只读存储器(CD-ROM)、数字通用盘(DVD)或其他光存储、盒式磁带、磁带、磁盘存储器或其他磁存储设备、或者可以用于存储信息并且可以由计算设备400所访问的任何其他制造物。任何这样的计算机存储介质都可以是计算设备400的一部分。

图5A和图5B示出了可以利用其实施本发明的方面的移动计算设备500。适当的移动计算设备的示例包括但不限于：移动电话、智能电话、平板计算机、以及膝上型计算机。在基本配置中，移动计算设备500是既具有输入元件又具有输出元件的手持式计算机。移动计算设备500通常包括显示器505以及允许用户将信息输入到移动计算设备500中的一个或多个输入按钮510。移动计算设备500的显示器505也可以充当输入设备(例如，触摸屏显示器)。如果被包括，则可选的侧输入元件515允许进一步的用户输入。侧输入元件515可以是旋转开关、按钮或任何其他类型的手动输入元件。在可替代的实施例中，移动计算设备500可以包含更多或更少的输入元件。例如，在一些实施例中，显示器505不需要是触摸屏。在另一可替换的实施例中，移动计算设备500是便携式电话系统，例如，蜂窝电话。移动计算设备500还可以包括可选的小键盘535。可选的小键盘535可以是物理小键盘或者在触摸屏显示器上生成的“软”小键盘。在各种实施例中，输出元件包括用于示出图形用户接口(GUI)的显示器505、视觉指示器520(例如，发光二极管)、和/或音频换能器525(例如，扬声器)。在一些实施例中，移动计算设备500并入用于向用户提供触觉反馈的振动换能器。在另一实施例中，移动计算设备500并入用于向外部设备发送信号或从外部设备中接收信号的输入和/或输出端口，例如音频输入(例如，麦克风插孔)、音频输出(例如，耳机插孔)、和视频输出(例如，HDMI端口)。

图5B是示出了移动计算设备的一个实施例的架构的框图。即，移动计算设备500可以并入系统(即，架构)502来实现一些实施例。在一个实施例中，系统502被实现为能够运行一个或多个应用(例如，浏览器、电子邮件客户端、记事本、联系人管理器、消息传送客户端、游戏、和媒体客户端/播放器)的智能电话。在一些实施例中，系统502被集成为计算设备，例如，集成的个人数字助理(PDA)以及无线电话。

一个或多个应用程序565可以被加载到存储器562中，并且在操作系统564上运行或者与操作系统564相关联地运行。应用程序的示例包括：电话拨号程序、电子邮件程序、个人信息管理(PIM)程序、文字处理程序、电子表格程序、互联网浏览器程序、消息传送程序等。系统502还包括存储器562内的非易失性存储区域568。非易失性存储区域568可以用于存储在系统502断电时不应丢失的永久信息。应用程序565可以使用信息并将信息存储在非易失性存储区域568中，例如电子邮件应用程序所使用的电子邮件或其他消息等。同步应用(未示出)也驻留在系统502上，并且被编程为与驻留在主机计算机上的对应的同步应用进行交互，以将存储在非易失性存储区域568中的信息与存储在主机计算机上的对应的信息保持同步。应当理解的是，包括在本文中所描述的软件应用420的其他应用可以被加载到存储器562中并且在移动计算设备500上运行。

系统502具有电源570，其可以被实现为一个或多个电池。电源570还可以包括外部电源，例如，AC适配器或者对电池供电或充电的加电对接托架。

系统502还可以包括执行发送和接收射频通信的功能的无线电设备572。无线电设备572促成经由通信运载服务提供商或私有网络的系统502和外部世界之间的无线连通性。往来于无线电设备572的传输是在操作系统564的控制下进行的。换句话说，由无线电设备572所接收到的通信可以经由操作系统564散播至应用程序565，反之亦然。

视觉指示器520可以用于提供视觉通知，并且/或音频接口574可以用于经由音频换能器525来产生可听见的通知。如图所示，视觉指示器520可以是发光二极管(LED)，而音频换能器525可以是扬声器。这些设备可以直接耦合至电源570，使得当被激活时，即使为了保存电池电量可以关闭处理器560和其他组件，它们也在由通知机制所规定的期间内保持通电。LED可以被编程为保持无限期地通电以指示设备的通电状态，直到用户采取动作为止。音频接口574用于向用户提供可听见的信号并从用户处接收可听见的信号。例如，除了耦合至音频换能器525之外，音频接口574还可以耦合至麦克风以接收可听见的输入，从而例如促成电话对话。麦克风也可以充当音频传感器以促进对通知的控制，如将在下文中所描述的。系统502还可以包括使能够操作板载相机530来记录静止的图像、视频流等的视频接口576。

实现系统502的移动计算设备500可以具有额外的特征或功能。例如，移动计算设备500还可以包括额外的数据存储设备(可移动的和/或不可移动的)，例如，磁盘、光盘、或磁带。由非易失性存储区域568示出了这样额外的存储。

由移动计算设备500所生成或捕获的、并且经由系统502所存储的数据/信息可以本地地存储在移动计算设备500上，如上所述，或者所述数据可以存储在可以由设备通过无线电设备572或者经由移动计算设备500和与移动计算设备500相关联的分离的计算设备之间的有线连接来访问的任何数量的存储介质中，例如，分布式计算网络(例如，互联网)中的服务器计算机。应当理解的是，这样的数据/信息可以通过移动计算设备500经由无线电设备572或者经由分布式计算网络来访问。类似地，这样的数据/信息可以根据公知的数据/信息传输和存储单元(包括电子邮件和协作数据/信息共享系统)而容易地在计算设备之间进行存储和使用。

在该申请中所提供的对一个或多个实施例的描述和说明旨在向本领域技术人员提供对主题的完整范围的完全彻底和完整的公开，而不旨在以任何方式限制或约束本发明的范围。在该申请中所提供的实施例、示例、和细节被认为足以表达所有权，并且使得本领域技术人员能够实施所要求保护的发明的最佳模式。被认为是本领域技术人员所公知的对结构、资源、操作、和动作的描述可以是简短的或者被省略，以避免使得该申请的主题的较少人知道的方面或独特的方面难以理解。除非在本文中明确地指出，否则，所要求保护的发明都不应该被解释为限于在该申请中所提供的任何实施例、示例、或细节。无论是组合还是单独地被示出和描述，各种特征(包括结构和方法)都旨在被选择性地包括或省略，以产生具有一组特定特征的实施例。此外，任何或所有示出或描述的功能和动作可以以任意顺序或同时执行。在已经提供了本申请的描述和说明之后，本领域技术人员可设想变型、修改和替代实施例，其落入到在该申请中所实施的总体构思的更宽泛的方面的精神内，而不脱离所要求保护的发明的更宽泛的范围。

Claims (15)

1.一种用于在产品多租户服务中对测试租户进行自动供应的方法，所述多租户服务通过多个服务实例来提供一个或多个工作负荷，所述方法包括以下操作：

创建要在所述多租户服务的工作负荷的所选择的服务实例中被供应的测试租户；

将所述测试租户分配给所选择的服务实例；以及

在所选择的服务实例中向所述测试租户供应所选择的订阅建议。

2.根据权利要求1所述的方法，其中，对所述测试租户进行供应的操作还包括将包括一个或多个所选择的特性的元数据传递至与所述多租户服务相关联的系统以指导所述相关联的系统如何对所述测试租户进行供应的操作。

3.根据权利要求2所述的方法，其中，对所述测试租户进行供应的所述操作还包括指导所述相关联的系统使用所选择的工作负荷版本或者所选择的数据库的操作。

4.根据权利要求1所述的方法，还包括根据调度或者定期地自动地生成针对所选择的服务实例的测试租户的操作。

5.根据权利要求1所述的方法，还包括通过升级所选择的服务实例中的测试租户来测试所选择的服务实例中的升级工作流的操作。

6.根据权利要求1所述的方法，还包括使用所选择的服务实例中的所述测试租户来测试建立在所选择的服务实例中的应用框架的顶部的应用的操作。

7.根据权利要求1所述的方法，还包括通过将通信发送至所选择的服务实例中的所述测试租户来测试由所选择的服务实例提供的邮件客户端与邮件服务器之间的通信的流的操作。

8.根据权利要求1所述的方法，还包括通过将通信发送至所选择的服务实例中的所述测试租户来测试由所选择的服务实例提供的邮件客户端与邮件服务器之间的通信的流的操作。

9.一种用于在产品多租户服务中对测试租户进行供应的系统，所述多租户服务通过多个服务实例来提供一个或多个工作负荷，所述系统包括处理器以及用于存储计算机可读指令的存储器，当由所述处理器执行时，所述计算机可读指令能够操作用于：

在所述多租户服务中发起租户的创建，其中，所述租户不与客户相关联；并且

在对所述租户进行供应之前将所选择的服务实例分配给所述租户；并且

在所选择的服务实例中对所述租户进行供应。

10.根据权利要求9所述的系统，还包括与所述多租户服务相关联的商业平台系统，所述商业平台系统存储允许访问所选择的工作负荷而不需要支付的免费订阅建议，其中，所述系统通过所述商业平台系统来发起对所述租户的创建并且所述系统还能够操作用于使用所述免费订阅建议中的一个订阅建议来向所述商业平台系统下订单以获得对所选择的工作负荷的访问，并且其中，所述商业平台系统向所述租户供应所选择的工作负荷。

11.根据权利要求10所述的系统，还包括与所述多租户服务相关联的能够操作用于存储所述测试租户的目录服务系统，其中，所述系统与所述目录服务系统进行通信以在向所述商业平台系统下所述订单之前将所选择的服务实例分配给所述租户。

12.根据权利要求10所述的系统，其中，所述商业平台系统生成报告关于所述测试租户的信息的商业智能反馈。

13.根据权利要求9所述的系统，还包括存储与工作负荷相关联的工作流的工作流系统，所述工作流系统能够操作用于将所述工作流应用到所选择的服务实例中的所述租户、验证所述工作流的成功的操作、并且在所述工作流的失败之后生成警报。

14.根据权利要求9所述的系统，其中，所述系统还能够操作用于定期地或者根据调度自动地对所选择的服务实例中的租户进行供应。

15.一种包含计算机可执行指令的计算机可读介质，其中当由计算机执行时，所述计算机可执行指令实施在产品多租户服务中对测试租户进行供应的方法，所述多租户服务通过多个服务实例来提供一个或多个工作负荷，所述方法包括以下操作：

将特别订阅建议添加至与对租户进行供应相关联的商业平台，所述特别订阅建议与对所选择的工作负荷的访问相关联；

通过与所述多租户服务相关联的商业平台来在所述多租户服务中创建测试租户；

将测试租户配置为在所选择的工作负荷的所选择的服务实例中被供应；

在配置了所述测试租户之后，使用所述特别订阅建议来下订单以使得所述测试租户能够访问所选择的工作负荷；以及

在所选择的服务实例中向所述测试租户供应所述特别订阅建议。