CN114691288A

CN114691288A - 用于迁移受保护虚拟机的方法、装置、系统、和指令

Info

Publication number: CN114691288A
Application number: CN202111412616.6A
Authority: CN
Inventors: 拉维·佐日达; 德鲁尔·卡斯皮; 文森特·斯卡拉塔; 沙罗·亚尼夫; 巴鲁克·柴金; 韦德维亚斯·山博格; 君·中岛; 阿鲁姆甘·提雅加拉杰; 肖恩·克里斯托弗森; 夏海东; 维奈·瓦斯提; 伊作·山畑; 汪伟; 托马斯·阿德迈尔
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2020-12-26
Filing date: 2021-11-25
Publication date: 2022-07-01
Also published as: EP4020275A1; US20220206842A1

Abstract

描述了用于源受保护虚拟机从源平台到目的地平台的迁移的技术。一个方面的一种方法包括：施行下述操作：在第一受保护虚拟机(VM)从第一平台到第二平台的迁移的有序阶段期间，通过流在第二平台处接收到的第一受保护VM的状态捆绑包被导入到第二平台的第二受保护VM，导入的顺序与从第一受保护VM导出它们的顺序相同。通过流接收标记有序阶段结束的标记。确定在标记导出之前从第一受保护VM导出的所有状态捆绑包已被导入到第二受保护VM。基于确定导出的所述所有状态捆绑包已被导入而开始迁移的无序阶段。

Description

用于迁移受保护虚拟机的方法、装置、系统、和指令

技术领域

本文描述的实施例概括而言涉及虚拟化。具体地，本文描述的实施例概括而言涉及受保护虚拟机的迁移。

背景技术

现代处理设备采用盘加密来保护静态数据。然而，存储器中的数据是明文的并且容易受到攻击。攻击者可使用多种技术，包括基于软件和基于硬件的总线扫描、存储器扫描、硬件探测等等，来从存储器取回数据。来自存储器的这种数据可包括敏感数据，例如隐私敏感数据、知识产权敏感数据、用于文件加密或通信的加密密钥，等等。此外，计算中的一个当前趋势是通过利用由云服务提供商(cloud service provider，CSP)提供的基于虚拟化的托管服务来将数据和企业工作负载移动到云中。这进一步加剧了数据的暴露。CSP的客户或所谓的租户正在要求对于其工作负载的更好的安全性和隔离解决方案。具体而言，客户正在寻求解决方案来在租户的软件的可信计算基础(Trusted Computing Base，TCB)的外部使能CSP提供的软件的操作。系统的TCB指的是有能力影响对系统的整体操作的信任的一组硬件、固件、和/或软件组件。

附图说明

通过参考以下描述和附图可以最好地理解本发明，这些附图用于图示实施例。在附图中：

图1是图示出受保护虚拟机从源平台到目的地平台的迁移的框图。

图2是图示出根据一个实现方式的利用信任域在虚拟化系统中提供隔离的示例计算系统的框图。

图3是图示出根据一个实现方式的利用信任域在虚拟化系统中提供隔离的另一示例计算系统的框图。

图4是根据一个实现方式的信任域体系结构的示例的框图。

图5是图示出源信任域从源平台到目的地平台的迁移的实施例的框图。

图6A-6C是图示出源信任域从源平台到目的地平台的迁移中所涉及的逻辑的详细示例的框图。

图7是示出根据一些实施例的使用多个流的源受保护虚拟机从源平台到目的地平台的迁移的框图。

图8是示出根据一些实施例的使用令牌来控制受保护虚拟机从源平台到目的地平台的迁移的框图。

图9A是示出有序管线的实施例和寄存器重命名无序发布/执行管线的实施例的框图。

图9B是处理器核心的实施例的框图，该处理器核心包括与执行引擎单元耦合的前端单元并且它们两者都耦合到存储器单元。

图10A是单个处理器核心及其与片上互连网络的连接以及其二级(L2)缓存的本地子集的实施例的框图。

图10B是图10A的处理器核心的一部分的扩展视图的实施例的框图。

图11是处理器的实施例的框图，该处理器可具有多于一个核心，可具有集成存储器控制器，并且可具有集成图形。

图12是计算机体系结构的第一实施例的框图。

图13是计算机体系结构的第二实施例的框图。

图14是计算机体系结构的第三实施例的框图。

图15是计算机体系结构的第四实施例的框图。

图16是根据本发明实施例的使用软件指令转换器来将源指令集中的二进制指令转换成目标指令集中的二进制指令的框图。

具体实施方式

本公开涉及用于将受保护虚拟机(virtual machine，VM)从源平台迁移到目的地平台的方法、装置、系统、和非暂态计算机可读存储介质。在下面的描述中，阐述了许多具体细节(例如，具体的应用二进制接口(application binary interface，ABI)基元、具体的操作和操作序列、具体的

信任域扩展(

Trust Domain Extensions，

TDX)实现细节，等等)。然而，在没有这些具体细节的情况下也可以实现实施例。在其他情况下，没有详细示出公知的电路、结构、和技术，以避免模糊对说明书的理解。

I.受保护虚拟机的迁移

图1是图示出源受保护虚拟机(VM)105S从源平台100S到目的地平台100D的迁移107的框图。源平台和目的地平台可以代表服务器(例如，像图2的虚拟化服务器200那样的虚拟化服务器)，或者与本文公开的那些类似的其他计算机系统。一般而言，这些平台可以代表已知其上运行虚拟机的各种不同平台中的任何一种。源平台具有平台硬件101S，并且目的地平台具有平台硬件101D。这种硬件的示例包括核心、缓存、寄存器、转化后备缓冲器(translation lookaside buffer，TLB)、存储器管理单元(memory management unit，MMU)、加密引擎(cryptographic engine，crypto)、其他处理器硬件、输入/输出设备、主存储器、辅存储器、其他系统级硬件、以及在处理器和计算机系统中发现的其他硬件(例如，如本文公开的其他处理器和计算机系统中所示)。

源平台具有源虚拟机管理器(virtual machine manager，VMM)102S，并且目的地平台具有目的地VMM 102D。VMM有时被称为管理程序(hypervisor)。源VMM可以按本领域已知的方式创建和管理一个或多个VM，包括源受保护VM。类似地，一旦一个或多个VM——包括目的地受保护VM——已被迁移，目的地VMM就可以创建和管理、支持或以其他方式与该一个或多个VM交互。

源平台具有源安全性组件103S，并且目的地平台具有目的地安全性组件103D。在各种实施例中，源和目的地安全性组件可以是安全性服务模块(例如，TDX模块)、安全性处理器(例如，平台安全性处理器)、处理器微代码、安全性固件组件、或者其他安全性组件。可以用硬件、固件、软件、或者其任何组合来实现安全性组件。源和目的地安全性组件可操作来分别向源和目的地受保护VM提供保护或安全性。在一些实施例中，这可包括保护受保护VM免受不在受保护VM的可信计算基础(TCB)内的软件——包括源和目的地VMM——的影响。这种方法可以依靠加密、硬件隔离、或其他方法。就本文使用的而言，受保护VM可以代表加密的、隔离的、或以其他方式受保护的VM，其状态是VMM不可访问的。

源和目的地安全性组件103S、103D可分别使用本领域已知的各种不同类型的方法来保护源和目的地受保护VM 105S、105D。这种方法的一个示例是使用英特尔多密钥全存储器加密(Multi-Key Total Memory Encryption，MKTME)的虚拟机，它使用加密来保护VM的数据和代码。MKTME支持全存储器加密(total memory encryption，TME)，因为它允许软件使用一个或多个单独的密钥对易失性或持久性存储器进行加密。另一个示例是

信任域扩展(

TDX)中的信任域(TD)，它同时使用加密、完好性保护、和硬件隔离来保护VM的数据和代码免受来自TCB以外的元素的软件和硬件攻击。当MKTME被与TDX一起使用时，它经由单独的密钥为不同TD的存储器内容提供保密性，这样TD密钥就不能被不信任的VMM所操作。MKTME可被与TDX一起使用，也可不与TDX一起使用。TD是加密并且硬件隔离的VM的示例。另一个示例是AMD安全加密虚拟化(Secure Encrypted Virtualization，SEV)中的加密VM，它使用加密来保护VM的数据和代码。还有一个示例是AMD SEV安全嵌套分页(Secure Nested Paging，SEV-SNP)中的加密VM，它使用加密和硬件隔离来保护VM的数据和代码。还有一个示例是

软件防护扩展(

SGX)中的安全飞地，它使用加密、硬件隔离、重放保护、和其他保护措施来保护安全飞地的代码和数据。MKTME、TDX、SEV、SEV-SNP、和SGX中的每一者都能够为加密的工作负载(VM或应用程序)提供页，这些页被用密钥来进行加密，该密钥在硬件中对VMM、管理程序、或主机操作系统保密。这些只是几个示例。受益于本公开的本领域技术人员将会明白，本文公开的实施例也可被应用于本领域已知的或未来开发的其他技术。

源安全性组件具有源迁移组件104S，并且目的地安全性组件具有目的地迁移组件104D。源和目的地迁移组件可操作来协助迁移。可以用硬件、固件、软件、或者其任何组合来实现源和目的地迁移组件。迁移可以将源受保护VM从源平台移动到成为目的地平台上的目的地受保护VM。可以出于各种不同的原因而执行这种迁移，例如，帮助进行容量规划/负载平衡，允许对平台进行服务、维护、或升级，允许在平台上安装微代码、固件、或软件补丁，帮助满足客户服务水平协议(service-level agreement，SLA)目标，等等。在一些实施例中，源安全性组件103S和/或源迁移组件104S也可以可选地操作来将源受保护VM 105S“停放”为停放的源VM 106。停放源受保护VM广义上是指停止其执行并且将其保留在源平台上(例如，暂时停用它或者停止它并且让其在源平台上休息)。作为另一种选项，在一些实施例中，源受保护VM可以可选地被迁移多于一次，以允许经由实时迁移进行克隆(例如，在一些情况下，如果源受保护VM的迁移策略允许的话则进行克隆，否则就不进行克隆)。

迁移107可以是所谓的冷迁移或所谓的实时迁移。在冷迁移中，源受保护VM 105S可以在迁移的大部分(或者全部)持续时间中被暂停或停止，并且目的地受保护VM可以在迁移完成之后被恢复。在实时迁移中，源受保护VM可以在迁移的大部分时间期间保持执行，然后在迁移的最后一部分被完成的同时被暂停或停止(这可能比面向会话的协议(例如TCP/IP)的网络超时更短)。通常，目的地受保护VM可以在源受保护VM被停止之后、但在迁移完成之前的某个时间点被恢复。实时迁移有时会因为以下方面而受到青睐：通过在很多(或者大部分)迁移在进行的同时允许受保护VM之一继续操作来减少停机时间。

II.作为受保护虚拟机的示例的信任域

如上所述，在一些实施例中，受保护VM可以是

信任域扩展(TDX)中的信任域(TD)。TDX是一种英特尔技术，它以一种新的被称为信任域(TD)的虚拟机访客扩展了虚拟机扩展(Virtual Machines Extensions，VMX)和多密钥全存储器加密(MKTME)。TD在一种CPU模式中运行，该模式相对于包括托管VMM在内的任何其他软件保护其存储器内容及其CPU状态的保密性(除非被TD自身明确共享)。TDX是构建在安全仲裁模式(SecureArbitration Mode，SEAM)之上的，SEAM是一种CPU模式和VMX ISA的扩展。在SEAM模式中运行的英特尔TDX模块充当主机VMM和访客TD之间的中介。预期主机VMM将是知晓英特尔TDX的。主机VMM可以启动和管理访客TD和传统的访客VM。主机VMM可以从传统VM的角度维持传统功能。它可能主要在其管理的TD方面受到限制。

TDX可能有助于为在不信任的CSP基础设施中执行的客户(租户)软件提供保密性(和完好性)。TD体系结构可以是片上系统(System-on-Chip，SoC)能力，它在TD工作负载和CSP软件(例如CSP的VMM)之间提供了隔离。TD体系结构的组件可包括：1)经由MKTME引擎进行的存储器加密；2)资源管理能力，例如VMM；以及3)经由TDX模块管理的物理地址元数据表(Physical Address Meta-data Table，PAMT)和经由TDX模块施行的保密TD控制结构提供的处理器中的执行状态和存储器隔离能力。TD体系结构提供了处理器部署TD的能力，这些TD利用MKTME引擎、PAMT、安全的(完好性受保护的)EPT(扩展页表)和被访问控制的保密TD控制结构来实现TD工作负载的安全操作。

在一个实现方式中，租户的软件是在被称为TD的体系结构概念中被执行的。TD(也被称为租户TD)指的是租户工作负载(例如，它可包括单独的操作系统(operating system，OS)以及运行在OS之上的其他第3环应用，或者运行在VMM之上的VM以及其他第3环应用)。每个TD可独立于系统中的其他TD来进行操作，并且可以使用平台上的VMM所指派的(一个或多个)逻辑处理器、存储器、和I/O。每个TD可在存储器中被加密隔离，使用MKTME引擎的至少一个专属加密密钥来对与TD相关联的存储器(保存代码和/或数据)进行加密。

在本公开的实现方式中，TD体系结构中的VMM对于TD可充当主机并且对于核心和其他平台硬件可具有完全控制权。VMM可向TD中的软件指派(一个或多个)逻辑处理器。然而，可以限制VMM在指派的(一个或多个)逻辑处理器上访问TD的执行状态。类似地，VMM向TD指派物理存储器和I/O资源，但无权访问TD的存储器状态(这是由于CPU对每个TD强制使用单独的加密密钥)以及存储器上的其他完好性/重放控制。在TD中执行的软件以降低的权限进行操作，从而使得VMM可保持对平台资源的控制。然而，在所限定的情况下，VMM不能影响存储器或CPU结构中的TD状态的保密性或完好性。

用于在虚拟化系统中提供隔离的传统系统并没有将CSP软件完全从租户的TCB中提取出来。此外，传统系统可能会使用单独的芯片组子系统来大幅增加TCB，而本公开的实现方式可避免这一点。在一些情况下，TD体系结构可通过从TCB中去除CSP软件来明确地减少TCB，从而在客户(租户)工作负载和CSP软件之间提供隔离。实现方式通过为CSP客户工作负载(租户TD)提供安全隔离而提供了相对于传统系统的技术改进，并且允许从客户的TCB中去除CSP软件，同时满足CSP的安全性和功能要求。此外，TD体系结构可扩展到多个TD，这可以支持多个租户工作负载。此外，本文描述的TD体系结构是通用的，并且可被应用于任何动态随机访问存储器(dynamic random-access memory，DRAM)，或者基于存储类存储器(storage class memory，SCM)的存储器，例如非易失性双列直插式存储器模块(Non-Volatile Dual In-line Memory Module，NV-DIMM)。因此，本公开的实现方式允许软件利用性能益处，例如SCM的NVDIMM直接访问存储(direct access storage，DAS)模式，而不影响平台安全性要求。

图2是根据本公开的实现方式的使用TD在虚拟化系统中提供隔离的计算系统208的示意性框图。虚拟化系统包括支持若干个客户端设备218A-218C的虚拟化服务器200。虚拟化服务器包括至少一个处理器209(也被称为处理设备)，其执行VMM 202。VMM可包括以下VMM(也可称为管理程序)，其可以实例化一个或多个TD 205A-205C，这些TD可由客户端设备218A-218C经由网络接口217来访问。客户端设备可包括但不限于桌面型计算机、平板计算机、膝上型计算机、上网本、笔记本计算机、个人数字助理(personal digital assistant，PDA)、服务器、工作站、蜂窝电话、移动计算设备、智能电话、互联网电器、或者任何其他类型的计算设备。

TD可以指租户(例如，客户)工作负载。租户工作负载例如可包括单独的OS以及运行在OS之上的其他第3环应用，或者可包括运行在VMM之上的VM以及其他第3环应用。在本公开的实现方式中，使用单独的专属密钥来对与TD相关联的存储器(保存代码和数据)进行加密，并且针对由主机软件或由主机控制的设备的任何篡改对该密钥进行完好性保护，从而可在存储器中对每个TD进行加密隔离。

处理器209可包括一个或多个核心120、范围寄存器211、存储器管理单元(memorymanagement unit，MMU)212、以及(一个或多个)输出端口219。图2是执行VMM 202的处理器核心210与PAMT 216和安全EPT 343以及一个或多个信任域控制结构(trust domaincontrol structure，TDCS)214和信任域虚拟处理器控制结构(trust domain virtual-processor control structure，TDVPS)215通信的详细视图的示意框图，如图2中所示。TDVPS和TDVPX在本文中可被互换使用。处理器209可被用于系统中，该系统包括但不限于桌面型计算机、平板计算机、膝上型计算机、上网本、笔记本计算机、PDA、服务器、工作站、蜂窝电话、移动计算设备、智能电话、互联网电器、或者任何其他类型的计算设备。在另一个实现方式中，处理器209可被用于SoC系统中。

计算系统208可以是服务器或其他计算机系统，其具有可从英特尔公司获得的一个或多个处理器，虽然本发明的范围不限于此。在一个实现方式中，样本系统208执行可从华盛顿州雷德蒙市微软公司获得的WINDOWS^TM操作系统的一个版本，虽然也可以使用其他操作系统(例如，UNIX和Linux)、嵌入式软件、和/或图形用户接口。因此，本公开的实现方式不限于硬件电路和软件的任何特定组合。

一个或多个处理核心210执行系统的指令。处理核心210包括但不限于用以取得指令的预取电路，用以对指令解码的解码电路，用以执行指令的执行电路，等等。在一实现方式中，计算系统208包括一组件，例如处理器209，以采用包括电路的执行单元来执行用于处理数据的算法。

虚拟化服务器200包括主存储器220和辅存储装置221，以存储程序二进制文件和OS驱动器事件。辅存储装置221中的数据可被存储在被称为页的块中，并且每个页可以对应于一组物理存储器地址。虚拟化服务器200可采用虚拟存储器管理，其中由(一个或多个)核心210运行的应用，例如TD 205A–205C，使用被映射到访客物理存储器地址的虚拟存储器地址，并且访客物理存储器地址被MMU 212映射到主机/系统物理地址。

核心210可使用MMU 212来将页从辅存储装置221加载到主存储器220中(其包括易失性存储器和/或非易失性存储器)，以便由在处理器209上(例如，在核心上)运行的软件更快地访问。当TD 205A-205C之一尝试访问与被加载到主存储器中的页的物理存储器地址相对应的虚拟存储器地址时，MMU返回所请求的数据。核心210可以执行VMM 202的VMM部分，以将访客物理地址转化为主存储器的主机物理地址，并且为允许核心读取、游走、和解释这些映射的协议提供参数。

在一个实现方式中，处理器209实现了TD体系结构和TD体系结构的ISA扩展(SEAM)。SEAM体系结构和在SEAM模式中运行的TDX模块提供TD工作负载205A-205C之间的隔离以及与在处理器209上执行的CSP软件(例如，VMM 202和/或CSP VMM(例如，根VMM 202))的隔离。TD体系结构的组件可包括：1)经由MKTME引擎213进行的存储器加密、完好性、和重放保护，2)本文称为VMM 202的资源管理能力，以及3)经由PAMT 216和安全EPT 343和TDX模块204以及经由受访问控制的保密TD控制结构(即，TDCS 214和TDVPS 215)在处理器209中提供的执行状态和存储器隔离能力。TD体系结构提供了处理器209部署TD 205A-205C的能力，这些TD利用MKTME引擎213、PAMT 216、和安全EPT 343以及受访问控制的TD控制结构(即，TDCS 214和TDVPS 215)来实现TD工作负载205A-205C的安全操作。

在本公开的实现方式中，VMM 202充当主机并且对于核心210和其他平台硬件具有控制权。VMM向TD 205A-205C中的软件指派(一个或多个)逻辑处理器。然而，VMM不能访问TD在指派的(一个或多个)逻辑处理器上的执行状态。类似地，VMM向TD指派物理存储器和I/O资源，但无权访问TD的存储器状态(这是由于单独的加密密钥)以及存储器上的其他完好性/重放控制。

关于单独的加密密钥，处理器可以利用MKTME引擎213来加密(和解密)在执行期间使用的存储器。通过全存储器加密(TME)，在核心210上执行的软件进行的任何存储器访问都可以被用加密密钥在存储器中进行加密。MKTME是对TME的一个增强，其允许使用多个加密密钥。处理器209可以利用MKTME引擎来使得不同的页被使用不同的MKTME密钥来加密。MKTME引擎213可以在本文描述的TD体系结构中被利用来支持每个TD 205A-205C的一个或多个加密密钥，以帮助实现不同的CSP客户工作负载之间的加密隔离。例如，当MKTME引擎被用于TD体系结构中时，CPU默认施行TD(所有页)将被使用TD特定的密钥进行加密。此外，TD可以进一步选择特定的TD页为明文或者被使用对CSP软件不透明的不同临时密钥来进行加密。

每个TD 205A-205C是一个软件环境，它支持由VMM(例如，使用虚拟机扩展(VMX))、OS、和/或应用软件(由OS托管)构成的软件栈。每个TD可以很大程度上独立于其他TD进行操作，并且使用平台上的VMM 202所指派的(一个或多个)逻辑处理器、存储器、和I/O。在TD中执行的软件以降低的权限进行操作，从而使得VMM可保持对平台资源的控制；然而，在所限定的情况下，VMM不能影响TD的保密性或完好性。下面参考图3更详细地描述TD体系结构和TDX的进一步细节。

系统208包括主存储器220。主存储器包括DRAM设备、静态随机访问存储器(taticrandom access memory，SRAM)设备、闪存设备、或者其他存储器设备。主存储器存储由数据信号表示的指令和/或数据，这些指令和数据将被处理器209执行。处理器可经由处理设备总线与主存储器耦合。系统逻辑芯片，例如存储器控制器中枢(memory controller hub，MCH)，可以耦合到处理设备总线和主存储器。MCH可以向主存储器提供高带宽存储器路径，用于指令和数据存储以及用于图形命令、数据、和纹理的存储。MCH例如可被用于在处理器、主存储器、和系统中的其他组件之间引导数据信号，并且在处理设备总线、存储器、和系统I/O之间桥接数据信号。MCH可通过存储器接口与存储器耦合。在一些实现方式中，系统逻辑芯片可提供图形端口，用于通过加速图形端口(Accelerated Graphics Port，AGP)互连来耦合到图形控制器。

计算系统208还可包括I/O控制器中枢(I/O controller hub，ICH)。ICH可经由本地I/O总线提供与一些I/O设备的直接连接。本地I/O总线是一种高速I/O总线，用于将外围设备连接到存储器220、芯片组、和处理器209。一些示例是音频控制器、固件中枢(闪速BIOS)、无线收发器、数据存储装置、包含用户输入和键盘接口的传统I/O控制器、串行扩展端口(例如通用串行总线(Universal Serial Bus，USB))、以及网络控制器。数据存储设备可包括硬盘驱动器、软盘驱动器、CD-ROM设备、闪存设备、或者其他大容量存储设备。

参考图3，根据本公开的一个实现方式，该图描绘了适合于图2的处理器209的处理器309的框图。在一个实现方式中，处理器可以经由单个核心210或者跨越几个核心210执行系统栈326。如上所述，处理器可提供TD体系结构和TDX，以便为在不信任的云服务提供商(CSP)基础设施中的客户/租户(即，TD 205A)中运行的客户软件提供保密性(和完好性)。TD体系结构提供：经由PAMT 316和安全EPT 343进行的存储器隔离；经由TDCS 314和/或TDVPS315进行的包含CPU密钥管理的CPU状态隔离；以及用于TD 205A软件的CPU测量基础设施。

在一个实现方式中，TD体系结构提供ISA扩展(被称为TDX)，其支持OS和OS管理的应用(虚拟化的和非虚拟化的)的保密操作。启用了TDX的平台，例如包括处理器209的平台，可以充当多个加密情境，这些加密情境被称为TD。为了便于说明，描绘了单个TD 305。每个TD可以运行VMM、VM、OS、和/或应用。例如，TD 305被描绘为托管着一个VMM和两个VM。TDX模块204支持TD 305。

在一个实现方式中，VMM 202可包括作为VMM功能的一部分(例如，根VMM)。VMM可以指用以创建、运行、和管理虚拟机(VM)的软件、固件、或硬件。应当注意，VMM可以创建、运行、和管理一个或多个VM。VMM可以创建和运行VM，并且为VM分配一个或多个虚拟处理器(例如，vCPU)。VM在本文中也可被称为访客。VMM可以允许VM访问底层计算系统(例如图2的计算系统208)的硬件。VM可以执行访客操作系统(OS)。VMM可以管理访客OS的执行。访客OS的功能可以是控制VM的虚拟处理器对计算系统的底层硬件和软件资源的访问。应当注意，当有许多VM在处理设备上操作时，VMM可以管理在许多访客上执行的每个访客OS。

TDX还为被称为VMM 202的TD体系结构的TD管理层提供编程接口。VMM可被实现为CSP/根VMM的一部分。VMM管理TD 205A/B/C的操作。虽然VMM 202可以向TD指派和管理资源，例如CPU、存储器、和输入/输出(I/O)，但VMM被设计为在TD的TCB之外操作。系统的TCB指的是有能力影响对系统的整体操作的信任的一组硬件、固件、和/或软件组件。

在一个实现方式中，TD体系结构从而是一种保护在TD 205A中运行的软件的能力。如上所述，TD体系结构的组件可包括：1)经由具有对TME的多密钥扩展的TME引擎(例如，图2的MKTME引擎213)进行的存储器加密；2)软件资源管理层(VMM 202)；以及3)TD体系结构中的执行状态和存储器隔离能力。

PAMT 216和安全EPT 343是由TDX模块管理的结构，例如表格，用以施行物理存储器页向执行中的TD(例如TD 205A)的指派。处理器209也使用PAMT和安全EPT来施行由作为租户TD或VMM操作的软件引用的物理地址不能访问没有明确指派给它的存储器。PAMT和安全EPT施行以下属性。首先，TD以外的软件不应当能够以明文访问(读取/写入/执行)属于不同TD的任何存储器(这包括VMM)。其次，经由PAMT和安全EPT指派给特定TD(例如TD)的存储器页，应当是从系统中的任何处理器可访问的(该处理器正在执行存储器被指派给的TD)。

PAMT和安全EPT结构被用来保存每个4KB存储器页的元数据属性。可以为额外的页大小(2MB，1GB)定义额外的结构。每个4KB存储器页的元数据是由物理页地址直接索引的。在其他实现方式中，其他的页大小可以由层次结构(比如页表)来支持。在PAMT和安全EPT中引用的4KB页可以属于TD的一个运行实例。在PAMT和安全EPT中引用的4KB页可以是有效的存储器，或者可以被标记为无效(因此例如可以是IO)。在一个实现方式中，每个TD实例包括一个保存该TD的TDCS的页。

在一个实现方式中，PAMT和安全EPT在存储器的4KB边界上对齐，并且占据了一个在平台初始化之后被保护而不能被软件访问的物理上连续的存储器区域。在一实现方式中，PAMT是一种微体系结构的结构，并且不能被软件直接访问。PAMT和安全EPT可以为主机物理存储器的每个4KB页存储各种安全性属性。

PAMT和安全EPT可以在TDX在处理器中被启用时被启用(例如，经由基于CPUID的枚举)。一旦PAMT和安全EPT被启用，PAMT和安全EPT就可以被处理器用来对由软件(包括VMM)发起的所有物理存储器访问施行存储器访问控制。在一个实现方式中，访问控制是在由软件进行的存储器访问的页游走期间被施行的。处理器对未被指派给租户TD或VMM的存储器执行的物理存储器访问以中止页语义而失败。

图4是描绘实现TD体系结构400的示例计算系统的框图。第一环境210是这样的环境：其中租户信任CSP来施行保密性，并且不实现本公开的实现方式的TD体系结构。这种环境使用CSP VMM管理的TCB 202。这种环境可包括CSP VMM 455管理CSP VM 214和/或一个或多个传统租户VM 216A、216B。在这种情况下，租户VM是由在VM的TCB中的CSP VMM管理的。在本公开的实现方式中，租户VM在这种模型中仍然可以利用经由TME或MKTME的存储器加密。

另一种类型的环境是TD，其中租户不信任CSP来施行保密性，从而依赖于TDX模块404和具有本公开的实现方式的TD体系结构的CPU。这种类型的TD在两个变体中被示出为TD2 405A和TD3 405B。TD2 405A被示出为具有虚拟化模式(例如VMX)，该虚拟化模式被在TD2中运行的租户VMM(非根)454利用来管理租户VM 451、452。TD3不包括使用虚拟化模式的软件，而是直接在TD3 405B中运行受启发的OS 235。TD2和TD3是具有如本公开的实现方式中描述的硬件施行的TCB 204的租户TD。在一个实现方式中，TD2或TD3可以与关于图2描述的TD 205A相同。

VMM 402管理环境210的生命周期以及TD2 405A和TD3 405B，包括资源的分配。然而，VMM 402不在TD2和TD3的TCB中。TD体系结构400不对系统上活跃的TD的数目或混合施加任何体系结构限制。然而，特定实现方式中的软件和某些硬件限制可由于其他约束而限制同时在系统上运行的TD的数目。

III.信任域的迁移

现在将结合受TDX保护的TD的迁移来描述具体的示例实施例。TD是受保护的、硬件隔离的VM的示例实施例。然而，受益于本公开的本领域技术人员将会明白，本文公开的实施例也可被应用于其他类型的受保护VM的迁移，例如，那些由MKTME、SEV、SEV-SNP、SGX、或其他技术保护的VM。

图5是图示出源信任域(TD)505S从源平台500S到目的地平台500D的迁移507的实施例的框图。该平台可以是先前对于图1的平台描述的类型(例如，服务器、计算机系统，等等)。源平台具有平台硬件501S，并且目的地平台具有平台硬件501D。这种硬件可以是先前对于图1的硬件描述的类型(例如，核心、缓存，等等)。

源平台具有源TDX知晓主机VMM 502S，并且目的地平台具有目的地TDX知晓主机VMM 502D。VMM有时被称为管理程序。源和目的地VMM是知晓TDX的，因为它们分别能够与源TDX模块503S(它是源安全性组件103S的示例实施例)和目的地TDX模块503D(它是目的地安全性组件103D的示例实施例)交互。它们可以知晓TDX并且与TDX模块交互的一种方式是通过可操作来使用各自的TDX模块主机侧API 556S、556D与TDX模块503S、503D交互。这些TDX模块主机侧API代表VMM可以用来与TDX模块交互的基元或命令基元的示例实施例。下面将进一步提供根据具体示例实施例的API的具体示例。在其他实施例中，其他基元或命令基元(例如，指令集的指令、应用编程接口(application programming interface，API)命令、对存储器映射输入和/或输出(memory-mapped input and/or output，MMIO)寄存器的写入，等等)可被VMM用来与其他安全性组件进行交互。

源TDX知晓主机VMM 502S和源TDX模块503S可以管理、支持、或以其他方式与源TD505S交互。同样地，目的地TDX知晓主机VMM 502D和目的地TDX模块503D可以管理、支持、或以其他方式与目的地TD 505D交互。源TD可以代表以CPU模式(例如，SEAM)操作的软件，该模式将TDX知晓主机VMM 502S和源平台的不信任设备从其操作TCB中排除以获得保密性。源TD可具有TDX启发的操作系统(OS)528S和可选的一个或多个应用560S和驱动器559S。同样地，目的地TD可具有TDX启发的OS 558D和可选的一个或多个应用560D和驱动器559D。该OS是受启发的或半虚拟化的，因为它知晓它作为TD运行。在其他实施例中，VMM可以可选地被嵌套在TD内。源TD的操作TCB可包括源TD在其上运行的一个或多个CPU、源TDX模块503S、TDX启发OS、以及应用。源TD的资源可以由源TDX知晓主机VMM管理，但其状态保护可以由源TDX模块503S管理，并且可能无法被源TDX知晓主机VMM访问。

可选地，源和目的地VMM还可以分别管理、支持、或以其他方式与一个或多个源VM549S和一个或多个目的地VM 549D交互。这些VM不是像TD是受保护VM那样的受保护VM，例如因为不具有相同级别的保密性(例如，没有被加密)、没有被硬件隔离到相同的程度(例如，与VMM隔离)，等等。

源平台具有源TDX模块(例如，代表源安全性组件的示例实施例)，并且目的地平台具有目的地TDX模块(例如，代表目的地安全性组件的示例实施例)。可以用硬件、固件、软件、或者其任何组合实现TDX模块。源和目的地TDX模块可操作来分别向源和目的地TD提供保护或安全性。在一些实施例中，这可包括保护TD免受不在TD的可信计算基础(TCB)内的软件——包括源和目的地TDX知晓VMM——的影响。可以可选地使用本文其他地方描述的各种类型的保护，或者其子集或超集。在一些实施例中，这可包括将不同的主机密钥标识符(host key identifier，HKID)指派给不同的组件。当MKTME被激活时，HKID可以代表由平台上的一个或多个存储器控制器使用的加密密钥的密钥标识符。当TDX活跃时，HKID空间可以被划分为CPU施行的空间和VMM施行的空间。在一些实施例中，源迁移服务TD可以被指派以HKID 1，源TD可以被指派以HKID 2，目的地迁移服务TD可以被指派以HKID 3，并且目的地TD可以被指派以HKID 4，其中HKID 1、HKID 2、HKID 3、HKID 4是第一至第四HKID，它们都是不同的。用于其他受保护VMS的技术，例如SEV和SEV-SNP，也向不同的受保护VM指派不同的密钥标识符和不同的密钥。

源和目的地TDX知晓主机VMM经由源和目的地TDX模块可以执行操作来分别导出或导入源TD的内容。迁移源TD 505S(以及一般其他类型的受保护VM)的一个挑战是维持安全性。例如，源TD可以在中央处理单元(CPU)模式中运行，该模式保护其存储器内容和其CPU状态的保密性，不受任何其他平台软件(包括源TDX知晓主机VMM)的影响。类似地，在允许源TDX知晓主机VMM将源TD迁移到目的地平台的同时，也应当保护源TD的存储器内容及其CPU状态的保密性。

源TDX模块具有源迁移组件504S，并且目的地TDX模块具有目的地迁移组件504D。源和目的地TDX模块和/或它们各自的源和目的地迁移组件可以操作来执行下面进一步描述的各种操作，以协助迁移。可以用硬件、固件、软件、或其任何组合来实现迁移组件。迁移可以将源TD 505S从源平台移动到成为目的地平台上的目的地TD 505D。源和目的地TDX知晓主机VMM和现有的(例如，不受信任的)软件栈可很大程度上负责迁移源TD的加密内容(一旦其已被加密和以其他方式受保护)。该迁移可以是冷迁移或者如前所述的实时迁移。在一些实施例中，源TDX模块503S和/或源迁移组件504S也可以可选地操作来“停放”源TD 505S，如前所述。

在一些实施例中，还可包括可选的源迁移服务TD 561S和可选的目的地迁移服务TD 561D以协助迁移507。迁移服务TD是迁移代理或引擎的示例实施例。迁移服务TD在此也可被称为迁移TD(MigTD)。在一些实施例中，迁移服务TD可以是具有迁移逻辑以执行与迁移相关联的功能的每个TDX的服务TD的示例实施例。如图所示，在一些实施例中，源迁移服务TD可具有迁移服务和策略评估逻辑562S和TD虚拟固件(TD virtual firmware，TDVF)垫片逻辑563S。同样地，目的地迁移服务TD可具有迁移服务和策略评估逻辑562D和TDVF垫片逻辑563D。逻辑562S、562D可操作来评估和施行源TD的TD迁移策略。TD迁移策略可以代表TD租户所指示的规则集合，这些规则控制TD被允许迁移到哪些平台安全性级别，在一些情况下控制其是否可被复制，以及如果可以，那被复制多少次，或者其他迁移策略。例如，迁移服务和策略评估逻辑可操作来合作以基于对源TD的TD迁移策略的遵守来评估潜在的迁移源平台和目的地平台。如果TD迁移策略允许迁移，那么迁移服务TD可以合作以安全地将迁移能力密钥从源平台传送到目的地平台，该密钥将被用于在迁移期间加密或保护源TD的内容。在一些实施例中，它们可以代表体系结构上定义的TD或体系结构上的TD。在一些实施例中，它们可以在TD的TCB内。在一些实施例中，它们可能比各自的VMM更受TD的信任。

TDX模块503S、503D和/或它们的迁移组件504S、503D可以实现在SEAM VMX扩展之上实现的体系结构上定义的TDX迁移特征，以在源TD的迁移期间保护源TD的内容，例如在不受信任的托管云环境中进行保护。通常，在源TD被迁移到的目的地平台上，源TD可以被指派一不同的密钥ID，并且在TDX的情况下，可以被指派一不同的临时密钥。可扩展的TD迁移策略可与源TD相关联，用于维护源TD的安全性态势。TD迁移策略可以由源迁移服务TD或迁移TD(MigTD)561S以可缩放和可扩展的方式施行，其用于为迁移TD提供服务。在一些实施例中，源TD的页、状态、或其他内容可以在被SEAM传送的同时通过使用用于源TD的唯一迁移会话的迁移能力密钥或迁移密钥而得到保护。

迁移能力密钥可用于对被迁移的信息进行加密，以帮助为信息提供保密性和完好性。源平台和目的地平台上的迁移服务TD可以基于源TD的迁移策略信息来商定迁移密钥。迁移密钥可以由源迁移服务TD在源TD的策略协商成功之后生成。作为示例，每一方的迁移服务TD可以使用通用绑定写入协议在源/目的地TD中设置迁移密钥。例如，迁移密钥可以由迁移服务TD经由主机VMM使用服务TD元数据写入协议来编程到源和目的地TD的TDCS中。为了提供安全性，迁移密钥可以可选地仅由迁移服务TD和TDX模块可访问。在一些实现方式中，密钥强度可以是256比特或某个其他数目的比特(例如，临时的AES-256-GCM密钥)。在一些实施例中，可以使用下面进一步论述的迁移流AES-GCM协议，该协议可以规定状态在源平台和目的地平台之间被有序迁移。该协议可以帮助确保或施行每个迁移流内的顺序。当持有迁移密钥的TD被拆除时，或者当新的密钥被编程时，迁移密钥可以被销毁。

TDX模块503S、503D可以分别通过各自的TDX访客-主机接口557S、557D与TD 505S、505D和迁移服务TD 561S、561D交互。在一些实施例中，TD迁移和源迁移服务TD可以不依赖于与在被迁移的源TD的内部操作的TDX启发OS 558S或任何其他TD访客软件的任何交互。

如上所述，TDX模块(例如，源和目的地TDX模块503S、503D)可以实现TDX模块主机侧API 556S、556D和TDX访客-主机接口557S、557D。在一些实施例中，可以通过指令集的指令来访问TDX模块主机侧API和TDX访客-主机接口。指令集的指令代表可用于访问由TDX模块提供的操作的命令基元的一个适当的示例实施例。替换实施例可以使用其他类型的命令基元(例如，命令、写入到MMIO寄存器的代码、在接口上提供的消息，等等)。

在一些实施例中，TDX模块可操作来运行或执行两种类型的指令，即SEAMCALL指令和TDCALL指令。SEAMCALL指令可被主机VMM用于调用TDX模块主机侧API的多个操作之一。TDCALL指令可被TDX非根模式中的访客TD软件(例如，TD启发OS)用于调用TDX访客-主机接口的多个操作之一。SEAMCALL和TDCALL指令都可以支持多种操作。这些指令的每个特定实例可以指示出要执行的这些操作中的特定一个。在TDX SEAMCALL和TDCALL指令的情况下，特定的操作可由通用x86寄存器RAX中的叶操作值来指示，该值是由指令来隐含指示的。叶值宽泛代表了选择操作中的特定一个的值。每个操作可以按任何期望的方式被指派以独特的值，并且叶操作可以被给予该值以选择操作。替换实施例可以用不同的方式指示特定的操作，例如，由指令集的指令指定或指示的另一寄存器中的值，指令集的指令的立即数的值，写入到MMIO寄存器的操作码或其他值，等等。

因此，TDX知晓主机VMM可以调用或以其他方式使用SEAMCALL指令，以在调用SEAMCALL的硬件线程上开始TDX模块的执行，或者TD可以调用或以其他方式使用TDCALL指令，使得TDX模块在TD虚拟逻辑处理器在其中执行的物理逻辑处理器和/或硬件线程上执行。TDX模块可以接收指令。TDX模块可操作来确定由叶操作或其他值指示的要执行的特定操作。指令的一些变体可具有一个或多个其他输入参数或操作对象来用于操作的执行，但其他变体可能没有。这些输入参数或操作对象可以在存储器、寄存器、或由指令指定(例如，明确指定)或以其他方式指示(例如，隐含指示)的其他存储位置中。TDX模块可包括用以理解和执行指令的逻辑。在一些实施例中，这可包括用以解码指令的解码单元或其他逻辑以及用以运行或执行指令和/或其指示的操作的执行单元或其他逻辑。在一个示例实施例中，SEAMCALL指令和叶子可以像CPU的指令集的其他指令一样被CPU解码和执行，并且其执行可将控制权转移到TDX模块。在这样的示例实施例中，TDX模块可包括被加载到受范围寄存器保护的存储器区域中并从该区域操作的软件，这样它的真实性可以经由CPU签名的测量或引述来进行验证，并且可以在运行时受到保护以防止被其他软件和硬件篡改(例如，因为该存储器区域可以使用与TD密钥不同的私有临时密钥来进行加密和完好性保护)。TDX模块可包括调遣器子模块，它可以调用由叶函数指示的适当操作(例如，API)。然后，指示的操作也可以由CPU(例如，一个或多个核心)执行。这只是可以进行的一种可能方式。在其他实施例中，可以用硬件、软件、固件、或者其任何组合来执行SEAMCALL或其他基元(例如，至少一些硬件和/或固件，可能与软件相结合)。

TDX模块可以执行指令和/或操作。在一些实施例中，TDX模块可以执行一个或多个检查。在一些情况下，检查可能会失败，或者在指令和/或操作完成之前可能发生差错。在其他情况下，检查可能成功，并且指令和/或操作可以没有差错地完成。在一些实施例中，可以存储可选的返回或状态代码(例如，值)以指示出指令和/或操作的执行结果(例如，指令和/或操作是否成功完成或者是否有差错，例如TDX模块经历了致命的状况并且已被关停)。在TDX SEAMCALL和TDCALL指令的情况下，可以在隐含的通用x86寄存器RAX中提供返回或状态代码。替换实施例可以用其他方式指示出返回或状态代码(例如，在一个或多个标志、寄存器、存储器位置、或其他体系结构上可见的存储位置中)。一些指令和/或操作可具有额外的输出参数或操作对象，这些参数或操作对象可以被存储在体系结构上可见的存储位置中，而其他的则不可以。

表格1列出了根据一个示例实施例的TDX模块主机侧API的一组示例操作。该组操作可由TDX模块(例如，源TDX模块503S和目的地TDX模块503D)支持。要明白，这只是一组示例操作，而本发明的范围不限于这特定的一组示例操作。设想到了许多其他的实施例，其中操作中的两个或更多个可以被组合到一起成为单个操作，和/或操作之一可以被划分成两个或更多个操作和/或各种操作可被不同地执行。在一些实施例中，这些操作中的每一个可以作为SEAMCALL指令下的不同叶操作可用，其中SEAMCALL指令作为操作码，并且叶操作作为由SEAMCALL指令指示的值。该表格是按行和列排列的。每一行代表SEAMCALL指令下的不同操作。助记符列列出了每个操作的唯一助记符。助记符是用文字来向人类读者唯一地识别不同的指令变体，虽然应当理解，对于这些不同的操作的每一者也可能有数值(例如，二进制)。没有提供特定的数值，因为它们可以被任意指派或至少以各种不同的方式指派。操作列列出了要执行的特定操作。对于每个助记符可以从表格读取特定的操作。要明白，这些操作在不同的实施例中可按不同的方式被执行。根据实施例的方法可包括执行这些操作中的任何一个或多个，作为执行指令(例如，SEAMCALL指令)或其他命令基元的一部分。

表格1：TDX模块主机侧API操作

支持这些操作中的每一者的TDX模块可具有相应的一组逻辑来执行这些操作中的每一者。这种逻辑可包括硬件(例如，电路、晶体管，等等)、固件(例如，存储在非易失性存储器中的微代码或其他低级别或电路级指令)、软件、或者这些的任何组合(例如，至少一些硬件和/或固件可能与一些软件相结合)。为方便起见，在下面的论述中，用以每个操作的TDX模块的这种逻辑也被用该相应操作的助记符来提及。虽然为了方便和简化描述而被描述为单独的逻辑，但也要明白，一些操作的逻辑可以被其他操作共享和重复使用。也就是说，逻辑不需要是单独的，而是可以可选地重叠，以减少需要被包括在TDX模块中的逻辑的总量。

图6A-6C是图示出TD从源平台600S到目的地平台600D的迁移中所涉及的逻辑的详细示例的框图。每个块可以代表在迁移的某个阶段执行相应操作的逻辑。大多数块的命名与表格1的助记符相同或类似，并且每个这样的块可以代表可操作来执行该助记符的相应操作的TDX模块的逻辑(例如，如果该逻辑在源平台500S中则代表TDX模块503S，或者如果该逻辑在目的地平台500D中则代表TDX模块503D)。在其名称中带有MigTD的几个逻辑是MigTD的逻辑(例如，如果逻辑在源平台中，则为MigTD 561S，或者如果逻辑在目的地平台中，则为MigTD 561D)。可以用硬件、固件、软件、或者任何组合(例如，至少一些硬件和/或固件可能与软件相结合)来实现每个这样的逻辑。

逻辑可被使用并且其操作一般可在示出该逻辑块的迁移阶段来执行。迁移在时间上一般是从左到右进行的。如图的底部所示，这些阶段随着时间的增长最初包括预迁移阶段、预留阶段、迭代性的预拷贝阶段、停止和拷贝控制状态阶段、提交阶段、以及最后的后拷贝阶段。

最初，如图中左上方所示，可以构建源访客TD。作为传统TD，源VMM可以调用传统的TDH.MNG.CREATE逻辑664来执行其关联的TDH.MNG.CREATE TDX操作以创建源TD。可以类似地构建目的地访客TD。目的地VMM可以调用传统的TDH.MNG.CREATE逻辑678来执行其关联的TDH.MNG.CREATE操作以创建目的地TD。目的地TD可以被设置为“模板”，以接收源TD的状态。

源VMM可以调用TDH.SERVTD.BIND逻辑665来执行其关联的TDH.SERVTD.BIND操作，以将MigTD绑定到被迁移的源TD以及可选的其它源TD。类似地，迁移TD也被绑定到目的地TD。然后，源VMM可以通过使用另一个TDX模块操作添加TDCS页来建立TDCS。目的地VMM可以调用TDH.MNG.CONFIGKEY逻辑679来执行其关联的TDH.MNG.CONFIGKEY操作，以便将指派给TD的HKID和硬件生成的加密密钥编程到每个封装的MKTME加密引擎中。

源VMM可调用TDH.MNG.INIT逻辑667来执行其关联的TDH.MNG.INIT操作，以设置不可变的控制状态。这种不可变的控制状态可以代表TD状态变量，这些变量可在TD构建期间被修改，但在TD的测量最终完成之后通常不会被修改。这些状态变量中的一些控制TD及其存储器的迁移方式。因此，如图所示，不可变的TD控制状态或配置可以在任何TD存储器状态被迁移之前被迁移。由于源TD要被迁移，所以它可以被初始化以迁移能力属性。源VMM也可以调用TDX模块以了解TDX模块支持TD迁移。TDX模块可以响应性地返回关于其迁移能力的信息(例如，是否支持实时迁移)。

目的地VMM可以调用TDH.SERVTD.BIND逻辑681来执行其关联的TDH.SERVTD.BIND操作，即目的地MigTD的鉴证和绑定。源MigTD逻辑669和目的地MigTD逻辑682可以执行它们的TDHSERVTD.MSG操作，以执行在源平台和目的地平台两者上执行的迁移TD的基于引述的相互认证(例如，使用Diffie-Hellman交换)，验证或处理TD迁移策略(例如，按照源TD的迁移策略建立TD迁移兼容性)，在TDX模块和MigTD之间建立安全的或受保护的传输会话或通道，执行迁移会话密钥协商，生成临时迁移会话密钥，并且用迁移密钥来填充TDCS。也可以为TD模板预留控制结构资源以便开始迁移。

源MigTD逻辑668和目的地MigTD逻辑682可以执行它们的TDH.SERVTD.MSG和TDH.MIG.STREAM.CREATE操作，以将迁移密钥从源平台传送到目的地平台，并且将迁移会话密钥写入到目标TD的TDCS。服务TD绑定允许迁移TD通过交换用临时绑定密钥加密和MAC的消息来访问特定的目标TD元数据。

TD全局不可变控制状态也可以被迁移。TDX模块可以保护访客TD全局状态(例如，TD范围控制结构)的保密性和完好性，该全局状态可以存储访客TD元数据，并且除了TDX模块以外，任何软件或设备都不能直接访问该全局状态。这些结构可以用私钥来进行加密和完好性保护，并且由TDX模块API功能来管理。这些不可变控制状态变量中的一些控制TD及其存储器的迁移方式。因此，不可变TD控制状态可以在任何TD存储器状态被迁移之前被迁移。源VMM可以调用TDH.EXPORT.STATE.IMMUTABLE逻辑670来执行其关联的TDH.EXPORT.STATE.IMMUTABLE操作，以导出不可变的状态(例如，TD不可变配置信息)。目的地VMM可以调用TDH.IMPORT.STATE.IMMUTABLE逻辑684来执行其关联的TDH.IMPORT.STATE.IMMUTABLE操作，以导入不可变的状态。

TD私有存储器迁移可以在有序迁移阶段和无序迁移阶段中发生。在有序阶段期间，源VMM可以调用TDH.EXPORT.PAGE逻辑671来执行其关联的TDH.EXPORT.PAGE操作，以导出存储器内容(例如，一个或多个页)。在实时迁移中，这可以在源TD正在运行的同时在实时迁移预拷贝阶段期间完成。目的地VMM可以调用TDH.IMPORT.PAGE逻辑685来执行其关联的TDH.IMPORT.PAGE操作，以导入存储器内容(例如，一个或多个页)。不要求实时迁移。可以改为使用冷迁移，其中源TD在导出存储器内容之前被暂停。另外，可以使用由VMM使用的传统机制来迁移指派给TD的共享存储器(因为共享存储器是VMM可以自由访问的)。

TD迁移可能不会迁移HKID。相反，可以向在目的地平台上创建的TD指派自由HKID，以接收来自源平台的TD的可迁移资产。在从源平台向目的地平台的传输期间，可以使用中间加密来保护所有TD私有存储器，该中间加密是使用AES-GCM 256使用经由迁移TD和SEAM协商的TD迁移密钥来执行的。在目的地平台上，当存储器被导入到指派给目的地TD的目的地平台存储器中时，可以经由目的地临时密钥来对存储器进行加密。

在实时迁移中，目的地TD可以在迁移过程期间开始执行。在预期源TD将被迁移(没有克隆)的典型实时迁移场景中，目的地TD可以在迭代预拷贝阶段导入存储器页的工作集合之后开始执行。源VMM可以调用TDH.EXPORT.PAUSE逻辑672来执行其关联的TDH.EXPORT.PAUSE操作，以暂停源TD。这可包括检查先决条件并且防止源TD继续执行。在源TD被暂停之后，可进入硬件封锁时段，在该时段中剩余存储器、源TD的最终(可变)控制状态、和全局控制状态可被从源平台导出并且被目的地平台导入。

源VMM可以调用TDH.EXPORT.PAGE逻辑673来执行其关联的TDH.EXPORT.PAGE操作，以导出存储器状态。目的地VMM可以调用TDH.IMPORT.PAGE逻辑686来执行其关联的TDH.IMPORT.PAGE操作，以导入存储器状态。TD可变非存储器状态是自从其被最终确定之后可能已变化了的一组源TD状态变量。不可变非存储器状态对于TD范围(作为TDR和TDCS控制结构的一部分)和VCPU范围(作为TDVPS控制结构的一部分)存在。源VMM可以调用TDH.EXPORT.STATE.VP逻辑674来执行其关联的TDH.EXPORT.STATE.VP操作，以导出可变TDVP状态(按每个VCPU)。目的地VMM可以调用TDH.IMPORT.STATE.VP逻辑687来执行其关联的TDH.IMPORT.STATE.VP操作，以导入可变TD VP状态。源VMM可以调用TDH.EXPORT.STATE.TD逻辑674来执行其关联的TDH.EXPORT.STATE.TD操作，以导出TD状态(按每个TD)。目的地VMM可以调用TDH.IMPORT.STATE.TD逻辑687来执行其关联的TDH.IMPORT.STATE.TD操作，以导入TD状态。

在一些实施例中，可以通过允许TD在目的地平台上运行来使用存储器状态的后拷贝。在一些实时迁移场景中，主机VMM可以在目的地TD已开始执行之后筹划一些存储器状态转移懒散地发生。在这种情况下，主机VMM将被要求在目的地TD发生访问时取得所需的页——这种访问顺序是不确定的，并且很可能与主机VMM排队转移存储器状态的顺序不同。在后拷贝阶段中经由TDH.EXPORT.PAGE逻辑676和TDH.IMPORT.PAGE逻辑690转移剩余的存储器状态。

为了支持这种按需模型，后拷贝期间的存储器迁移的顺序不由TDX施行。在一些实施例中，主机VMM可以实现多个迁移队列，这些队列具有存储器状态转移的多个优先级。例如，源平台上的主机VMM可以保留每个加密迁移页的拷贝，直到它接收到来自目的地的指出该页已被成功导入的确认为止。如果需要，该拷贝可以在高优先级队列上被重发送。另一个选项是，不保留导出页的拷贝，而是根据需要再次调用TDH.EXPORT.PAGE。另外，为了简化这个模型的主机VMM软件，在这个后拷贝阶段中用于存储器导入的TDX模块接口API将返回额外的信息差错代码，以表明主机VMM尝试了陈旧的导入，以考虑到访客物理地址(guestphysical address，GPA)的低时延导入操作取代了从更高时延导入队列的导入的情况。或者，在其他实施例中，VMM可以在允许目的地TD运行之前首先完成所有存储器迁移，然而从在无序阶段期间支持的更简单并且可能更高性能的操作中受益。

在一些实施例中，TDX模块可以使用提交协议来施行源TD的所有导出状态必须在目的地TD可以运行之前被导入。该提交协议可以帮助确保主机VMM不能违反TD实时迁移的安全性目标。例如，在一些实施例中，可以施行，在源TD到目的地TD的实时迁移之后，即使差错导致TD迁移被中止，目的地和源TD也不可继续执行。

在源平台上，TDH.EXPORT.PAUSE逻辑672开始TD实时迁移的封锁阶段，并且TDH.EXPORT.STATE.DONE逻辑691结束实时迁移的封锁阶段(并且标记TD存储器预拷贝、可变TD VP、和可变TD全局控制状态的转移的结束)。TDH.EXPORT.STATE.DONE逻辑691生成经加密认证的开始令牌，以允许目的地TD成为可运行的。在目的地平台上，TDH.IMPORT.STATE.DONE逻辑688消耗加密开始令牌，以允许目的地TD被解除暂停。

在差错场景中，迁移过程可在开始令牌被生成之前由源平台上的主机经由TDH.EXPORT.ABORT逻辑675主动中止。如果已经生成了开始令牌(例如，预拷贝完成)，则目的地平台可以使用生成中止令牌的TDH.IMPORT.STATE.ABORT逻辑689生来成中止令牌，该中止令牌可以被源TD平台TDX模块的TDH.EXPORT.ABORT逻辑675消耗，以中止迁移过程并且允许源TD再次变得可运行。在成功提交后，源TD可被拆除，并且迁移密钥可被TD拆除逻辑677销毁。

在一些实施例中，TDX模块可以可选地施行若干个安全性目标。一个安全性目标是，CSP不能够将TD迁移到具有不符合TD迁移策略中表达的最低要求的TCB的目的地平台，该策略可以是可配置和可鉴证的。作为一个推论，TD鉴证可以施行安全性的基准线。TD可以在更强的TCB平台上开始，然后被迁移到更弱的TCB(如果它们在TD的安全性策略内的话)。另一个安全性目标是，CSP不能够在租户不知情的情况下创建可迁移的TD(鉴证报告可包括TD可迁移属性)。另一个安全性目标是，CSP不能够在迁移期间克隆TD(在迁移过程完成之后，只有源TD或目的地TD在执行)。另一个安全性目标是，CSP不能够在来自源TD的任何陈旧状态上操作目的地TD。另一个安全性目标是，TD迁移数据的安全性(保密性、完好性、和重放保护)应当与源和目的地之间的传输机制无关。另一个安全性目标是，TD迁移应当施行不可迁移的资产(任何可以在目标上序列化和重创建的东西)在源处被重置，以允许迁移之后在目的地上安全重用和恢复。

在一些实施例中，TDX模块可以可选地施行若干个功能目标。一个功能目标是，CSP能够在没有租户TD运行时参与的情况下迁移租户TD。另一个功能目标是，TD能够在创建时选择加入迁移。租户软件不应当是这个决定的一部分。另一个功能目标是，CSP能够在迁移TD期间尽量减少仅由于TD迁移而产生的额外性能影响。例如，TD迁移使页碎片化成为必需。另一个功能目标是，TD OS不需要新的启发来迁移具有TDX IO直接指派设备的TD。作为一个推论，TDX IO可允许热插拔设备附接/脱离通知。另一个功能目标是，TD可以是通过VMX嵌套来迁移的。

IV.多个流和命令导入的计数器

图7是示出根据一些实施例的使用多个流796-1、796-N的源受保护VM 705从源平台700S到目的地平台700D的迁移的框图。源平台和目的地平台可以分别是服务器或其他计算机系统，并且可以与本文描述的其他平台(例如，图1、图2、图5等等的平台)相似或相同。源平台包括源安全性组件(例如，TDX模块、平台安全性处理器，等等)，其可选地可以与本文描述的其他组件(例如，图1的源安全性组件、图5的TDX模块，等等)相似或相同。源安全性组件可操作来支持和保护源受保护VM 705。源受保护VM(例如，TDX信任域、SEV加密VM、SEV-SNP加密虚拟机)，可选地可以与本文描述的其他VM(例如，图1的源受保护VM 105S、图5的源信任域505S，等等)相似或相同。源平台还具有VMM，该VMM可选地可以与本文描述的其他VMM(例如，图1的源VMM 1025，图5的TDX知晓主机VMM 556S，等等)相似或相同。

源受保护VM 705在多个流796-1、796-N中被从源平台700S迁移到目的地平台700D。在图示的实施例中，示出了两个流，即第一流796-1和第N流796-N，虽然可选地可以有更多的流(例如，达到配置的最大数目)。在各种实施例中，可以有两个、三个、四个、五个、至少十个，或者可选地更多个。VMM 702可以创建或设立流。例如，VMM可具有安全迁移模块792，该模块具有命令基元756以协助迁移。在TDX示例中，命令基元可包括本文其他地方提到的SEAMCALL指令和叶操作。命令基元可包括流创建基元756-1以配置流来使用，并且源安全性组件可具有流创建逻辑794以执行该命令基元来协助创建相应的流。作为示例，在TDX中，可能有SEAMCALL TDH.MIG.STREAM.CREATE叶，来使得VMM能够初始化可用于使用多个主机CPU资源导出TD状态的迁移流情境，并且TDX模块可具有逻辑来以施行安全性目标的方式执行指令叶。可选地，相同或类似的基元可被目的地平台上的VMM用于配置流来用于状态的导入。

迁移流796-1、796-N可被用于并发地传送页。在图示的实施例中，页以捆绑包(bundle)(例如，B0、B1、B2、B3)的形式被传送，每个捆绑包包括一个或多个页和元数据(例如，如下文进一步论述的捆绑包计数器值、用于完好性保护的可选消息认证码、以及其他元数据)。在一些实施例中，每个捆绑包可包括单个页。在其他实施例中，每个捆绑包可包括多个页。如果希望，这些页可以可选地是4千字节的页或者具有其他大小(例如，更大的大小)。不同的捆绑包可以被分配(例如，由VMM分配)到不同的流。例如，命令基元756可包括捆绑包导出基元756-2，以使得捆绑包被导出，并且源安全性组件可具有捆绑包导出逻辑771，以执行捆绑包导出基元，来协助安全地导出捆绑包。作为示例，在TDX中，可能有SEAMCALLTDH.EXPORT.PAGE叶，VMM可以使用其来使得TDH.EXPORT.PAGE逻辑导出捆绑包，并且TDX模块可具有逻辑来执行指令叶，以使得捆绑包以施行安全性目标的方式被导出。

使用多个迁移流的一个可能的优点是，它可能有助于提高迁移的带宽或速度。另外，它可能允许使用多个逻辑处理器来并发地处理迁移流。如图所示，源平台可包括多个逻辑处理器，包括第一逻辑处理器710-1以及第N逻辑处理器710-N。这些逻辑处理器可以代表核心、多线程核心的硬件线程，等等。许多计算机系统，尤其是服务器，可具有许多逻辑处理器(例如，多于十个，多于二十个，多于一百个，或者甚至更多)。在图示中，第一流796-1已被配置为由第一逻辑处理器710-1处理，而第N流已被配置为由第N逻辑处理器710-N处理。在一些实施例中，至少大部分流可以可选地被配置为由逻辑处理器中的不同的一个来处理，以帮助改善处理流的并发性或并行性，从而提高迁移带宽或速度。在一些实施例中，例如在TDX中，用于处理流的逻辑处理器可以是通用的逻辑处理器和/或CPU核心和/或CPU硬件线程，而不是专用的特殊用途安全性处理器。如前所述，许多现代计算机系统，尤其是服务器，具有许多CPU逻辑处理器，而通常它们具有较少的或者只具有一个专用的特殊用途安全性处理器。通过让CPU逻辑处理器执行处理，使得多得多的逻辑处理器可用于处理，这可能有助于提高处理流的并发性或并行性，从而提高迁移带宽或速度。

一个或多个迁移队列可被用于迁移。在一些实施例中，可以可选地使用两个或更多个迁移队列。如图所示，系统存储器720可以可选地包括第一队列795-1和第二队列795-2。在这个图示中，第一队列被用于第一流，并且第二队列被用于第N流，虽然这不是必需的。也可以让多个流使用同一个队列，以及让一个流使用多个队列。

根据实施例，具有多个队列的一个可能的原因是，让某些捆绑包的传送速度优先于其他捆绑包(例如，让捆绑包B5和B7优先于B4和B6)。作为示例，第二队列795-2可以被指派(例如，由VMM指派)比第一队列795-1更高的时间递送优先级(例如，第一队列可以是较低的时间优先级队列，并且第二队列可以是较高的时间优先级队列，其中这些术语“较低”和“较高”是仅指向彼此的相对术语，而不是指向任何特定水平的绝对术语)。这种优先级区分的一个可能原因是支持服务质量(quality of service，QoS)目标，虽然还有其他原因。某些类型的数据可被认为是时间上优先级较高的数据(例如，需要相对更快地被迁移)，而其他类型的数据可被认为是时间上优先级较低的数据(例如，可以相对较慢地被迁移)。作为一个具体示例，按需的页后拷贝(例如，例如可能由目的地平台上的扩展分页表格违反触发)可能比其他可以更懒散地迁移的页的后拷贝具有相对更高的优先级。为了避免较高优先级的页被迫与较低优先级的页在同一队列中等待的队头阻塞，可以可选地使用第二较高优先级队列，并且较高优先级的页可以被主机VMM选择性地分配到第二较高优先级队列。VMM可以根据各种标准决定是把要迁移的页放在相对较高优先级的队列中，还是放在相对较低优先级的队列中(例如，作为一个示例，可以把按需后拷贝页放在相对较高优先级的队列中，并且把其他后拷贝页放在相对较低优先级的队列中)。这也可以可选地允许不同的流在时间上优先于其他流。例如，较高优先级的流可以被分配到较高优先级的队列，而较低优先级的流可以被分配到较低优先级的队列。同样地，这些术语“较低”和“较高”只是相对于彼此使用的相对术语，而不是指向任何绝对水平的绝对术语。在任何情况下，这可能允许一些捆绑包的递送在时间上优先于其他捆绑包。

在一些实施例中，被传送的每个捆绑包可以可选地被从捆绑包计数器793指派计数器值(例如，捆绑包计数器值)。捆绑包计数器被显示在安全性组件中，但也可以在其他地方。如图所示，B0可被指派计数器值0，B3可被指派计数器值1，B1可被指派计数器值0，并且B2被指派计数器值1。作为示例，源平台(例如，源安全性组件)可具有迁移捆绑包计数器或计数器。该计数器可以代表每个流的单调增大(或减小)的迁移捆绑包计数器。它可以从初始值(例如，0、1、或某个期望的值)开始，并且可以对于被放入流中的每个捆绑包单调地增大(例如，递增)或者单调地减小(例如，递减)。作为示例，它可以被表示为32比特、64比特、或其他值。每个被迁移的捆绑包可以与反映其被迁移的顺序的其计数器值相关联(例如，计数器值可以被存储在捆绑包的元数据中)。例如，在一些实施例中，作为使得捆绑包被导出的一部分，捆绑包导出基元756-2可以将当前的捆绑包计数器值引入到捆绑包中(例如，引入到捆绑包的元数据的字段中)。例如，在TDX中，SEAMCALL TDH.EXPORT.PAGE可以这样做。

在这样的实施例中，计数器值可以帮助允许施行捆绑包的某种排序迁移(例如，在目的地导入)。迁移可具有初始的有序阶段或部分，其中捆绑包应当被按序(例如，按次序)递送。在实时迁移期间，这个有序阶段可能发生在源受保护VM继续在源平台上运行(例如，并且改变其存储器状态)之时、在被迁移的受保护VM开始在目的地平台上运行(例如，并且开始改变其存储器状态)之前。同一个存储器页的较新(例如，较新鲜)的导出应当在同一个页的较旧(例如，陈旧)的导出之后被导入，这样较新的存储器页就会替换较旧的存储器页，而不是相反。此外，对于在有序阶段期间被迁移的任何存储器页，在有序阶段结束之前应当迁移该页的最新版本。在有序阶段期间，可以使用特定流来迁移任何特定的私有存储器页(以及在嵌套VMM情况下的其任何别名)。在每个迁移流内，存储器状态(例如，捆绑包)可以被有序迁移(例如，在目的地导入)。计数器值可被用于此目的。使用特定迁移流的导出或导入操作一般应当被序列化，主要在流之间支持并发。目的地平台可以施行该顺序。例如，目的地平台可以维护类似的计数器(例如，下一个捆绑包计数器)，它被用于验证和施行所有导出的状态已经在目的地平台处被导入(有序)。例如，目的地平台可以检查接收到的捆绑包中的捆绑包计数器值是否等于或以其他方式与本地维护的预期计数器值(例如，下一个捆绑包计数器值)兼容，并且如果捆绑包验证成功，则导入捆绑包并且递增或以其他方式更新本地预期计数器值(例如，下一个捆绑包计数器值)以计入导入的捆绑包。例如，在一些实施例中，目的地的VMM可以发出或使用目的地安全性组件(例如，TDX模块)可以实现的捆绑包导入基元(在TDX中为SEAMCALL TDH.IMPORT.PAGE)来执行这种验证。这可能有助于当同一页的多个拷贝可能被迁移时，在实时更新期间保证存储器导出和导入的恰当年龄排序。这种恰当的排序出于安全性原因(例如，帮助防止重放型攻击)和性能原因都是可取的。

在一些实施例中，迁移可以使用伽罗瓦/计数器模式(Galois/Counter Mode，GCM)中的高级加密标准(Advanced Encryption Standard，AES)来在源平台和目的地平台之间传送捆绑包或其他存储器状态。AES-GCM协议可以帮助确保存储器状态在源平台和目的地平台之间有序迁移。作为示例，捆绑包计数器可以被纳入来构造用于AES-GCM的非重复初始化值(initialization value，IV)(可选地与其他元数据一起，例如流情境、捆绑包的其他元数据，等等)。另外，在一些实施例中，可以可选地在AES-GCM IV中包括另一个单调增大的计数器(例如，IV_COUNTER)。它可以从一个值(例如，1)开始，并且在每次使用AES-GCM来加密捆绑包时被递增(即使数据被丢弃并且没有被用于迁移)。

在一些实施例中，迁移可以可选地具有后来的无序阶段或部分(例如，停止和拷贝阶段、后拷贝阶段，等等)，其中不要求捆绑包被有序递送，而是可以被无序递送。这样的无序阶段或部分不是必需的，但可以帮助提高性能。在无序阶段期间，源受保护VM不运行，因此其存储器和非存储器状态可能不会变化。因此，在无序阶段中页被迁移的顺序不像在有序阶段中那么重要。此外，主机VMM可以将导出的页(甚至是同一导出页的多个拷贝)指派到不同的优先级队列，如前所述。例如，这可用于优先迁移某些类型的页而不是其他页(例如，在目的地受保护VM开始运行之后优先按需后拷贝页)。还要注意，相同的流队列可被用于有序和无序两者。队列的语义使用是由主机VMM决定的。非存储器状态只能被迁移一次；较旧的迁移非存储器状态不会被较新的推翻。

在有序导入阶段中，目的地VMM可以为空闲的访客物理地址(GPA)导入页，并且它也可以将页的较新版本重加载到先前导入的存在的GPA地址。在无序导入阶段中，可能只允许导入到不存在的GPA地址。在这个阶段，源平台上的所有存储器状态都被保证是不可变的，而且到目前为止导出的所有页的最新版本都被保证已被导入。从而，无序导入的顺序是不相关的。这可允许可选地使用单独的迁移流和/或队列来进行更高优先级、更低时延的更新(例如，基于EPT违反，通过允许TD以高优先级按需运行和迁移存储器页来实现后拷贝)。

V.控制迁移的令牌

图8是示出根据一些实施例的使用令牌897-1,897-N 898,899来控制受保护VM从源平台800S到目的地平台800D的迁移的框图。源平台和目的地平台可以分别是服务器或其他计算机系统，并且可以与本文描述的其他平台(例如，图1、图2、图5等等的平台)相似或相同。源平台包括源安全性组件(例如，TDX模块、平台安全性处理器，等等)，其可选地可以与本文描述的其他组件(例如，图1的源安全性组件、图5的TDX模块，等等)相似或相同。源安全性组件可操作来支持和保护源受保护VM，源受保护VM可选地可以与本文描述的其他VM(例如，图1的源受保护VM 105S、图5的源信任域505S，等等)相似或相同。源平台还具有VMM，该VMM可选地可以与本文描述的其他VMM(例如，图1的源VMM 1025，图5的TDX知晓主机VMM556S，等等)相似或相同。

令牌可以广泛地代表可用于传达其期望含义的任何消息或信号(例如，它们是开始令牌，它们是中止令牌，等等)。在一些实施例中，令牌可以可选地被格式化为迁移捆绑包，没有存储器页内容，但具有元数据来表明它是令牌(例如，在一些情况下是开始令牌，在其他情况下是中止令牌)。或者，令牌可以是其他类型的消息、信号、或传输。

在一些实施例中，一个或多个开始令牌897-1、897-2可用于验证或确保受保护VM存储器内容(例如，捆绑包)的恰当有序导出。一个或多个开始令牌可被用作指示符或标记，以指示或标记迁移的有序阶段的结束和/或无序阶段的开始和/或目的地受保护VM可开始运行的点。它们可用于实现汇聚点，以验证或施行在开始令牌之前导出的所有流上的所有有序迁移捆绑包或状态(例如，图7中的捆绑包B0、B1、B2等等)在导入开始令牌以及无序阶段开始以及目的地受保护VM可以开始执行之前已被导入。开始令牌可用于验证或确保源平台上不存在在开始令牌之前导出的任何存储器页的较新版本。

在一些实施例中，源VMM 802S可以使得一个或多个开始令牌897-1、897-2被生成并传输到目的地平台802D，以传达关于迁移的无序阶段的结束的信息，如上文对于图7所描述。例如，源VMM可以发出或使用开始令牌命令基元856-1，以使得源安全性组件803S的开始令牌生成逻辑891生成开始令牌897-1并且使其被传输到目的地平台。例如，在TDX实现方式中，源VMM可以发出或使用TDH.EXPORT.STATE.DONE指令叶(作为开始令牌基元891的示例实施例)来调用源TDX模块(作为源安全性组件803S的示例实施例)的TDH.EXPORT.STATE.DONE逻辑(作为开始令牌生成逻辑891的示例实施例)，以执行其关联的TDH.EXPORT.STATE.DONE操作来创建和发送开始令牌。在一些实施例中，VMM可以使得使用此命令基元的实例来使得对于在迁移的有序导出阶段期间使用的每个流生成和传输开始令牌。或者，当迁移的有序阶段中使用的最后一个活跃流完成传输其捆绑包时，可以使得仅从该流传输单个开始令牌。当对于特定实现方式需要传输的所有一个或多个开始令牌被传输时，源平台可以开始进入无序阶段。存储器内容的导出可以继续支持迁移的无序阶段。

目的地平台802D可以接收开始令牌897-1、897-2，并且可以使用它们来验证或确保受保护VM存储器内容(例如，捆绑包)的恰当有序导出。在一些实施例中，目的地VMM可以使用开始令牌作为指示符或标记来指示或标记迁移的有序阶段的结束和/或无序阶段的开始和/或目的地受保护VM可开始运行的点。目的地VMM可以使用开始令牌来实现汇聚点，以验证或施行在开始令牌之前导出的所有有序迁移捆绑包或状态(在所有流上)在导入开始令牌和/或无序阶段开始和/或目的地受保护VM可开始执行之前已被目的地平台导入。目的地VMM可以使用开始令牌来验证或确保源平台上不存在在开始令牌之前导出的任何存储器页的较新版本。

目的地VMM可以发出命令基元，以处理打算用于特定设计的完整的一组一个或多个开始令牌中的每一者。例如，目的地VMM可以发出或使用开始令牌验证命令基元802-1，以使得目的地安全性组件803D的开始令牌验证逻辑888验证相应的开始令牌。例如，在TDX实现方式中，目的地VMM可以发出或使用TDH.IMPORT.STATE.DONE指令叶(作为开始令牌验证命令基元802-1的示例实施例)来调用目的地TDX模块(作为目的地安全性组件803D的示例实施例)的TDH.IMPORT.STATE.DONE逻辑(作为开始令牌验证逻辑888的示例实施例)来执行其关联的TDH.IMPORT.STATE.DONE操作以处理和验证相应的开始令牌。如果验证失败，则它可能导致生成和发送中止令牌，如下文进一步论述。开始令牌验证基元(例如，TDH.IMPORT.STATE.DONE指令叶)可以对于在有序阶段中使用的每个流和相应的开始令牌被执行一次。最后调用的开始令牌验证基元可以导致转变到一个状态，该状态结束了有序阶段，并且分别开始了无序的导出和导入阶段。然后，存储器导入可以继续无序进行(例如，在后拷贝阶段中)。在一些情况下，只有当页的访客物理地址是空闲的时候，这些页才会被导入。

有各种迁移中止机制可用于中止迁移。在一些情况下，在生成开始令牌(例如，开始令牌897-1、897-2之一)之前，可以由源平台(例如，源VMM)主动地中止迁移。例如，源VMM802S可以发出或使用中止命令基元856-2，以使得源安全性组件803S的中止逻辑875生成中止令牌898，并且使得其被传输到目的地平台。例如，在TDX实现方式中，源VMM可以发出或使用TDH.EXPORT.ABORT指令叶(作为中止基元856-2的示例实施例)来调用源TDX模块(作为源安全性组件803S的示例实施例)的TDH.EXPORT.ABORT逻辑(作为中止逻辑875的示例实施例)来执行其关联的TDH.EXPORT.ABORT操作以生成中止令牌并且使得其被传输到目的地平台。中止令牌的传输可以中止迁移，并且允许源TD再次变得可运行。中止令牌可以用来保证目的地受保护VM不会在目的地平台上执行，因此源平台上的源受保护VM可以执行。

如果已经生成了开始令牌(例如，开始令牌897-1、897-2之一)，则目的地平台802D可以生成中止令牌899并且将其传输到源平台。例如，目的地VMM可以发出或使用中止命令基元来使得目的地安全性组件803D的中止逻辑889生成中止令牌899并且使得其被传输到源平台。例如，在TDX实现方式中，目的地VMM可以发出或使用TDH.IMPORT.ABORT指令叶(作为中止基元802-2的示例实施例)来调用目的地TDX模块(作为目的地安全性组件803D的示例实施例)的TDH.IMPORT.ABORT逻辑(作为中止逻辑的示例实施例)来执行其关联的TDH.IMPORT.ABORT操作以生成中止令牌并且使得其被传输到源平台。源平台可以接收和处理中止令牌899，使用它来中止迁移，并且允许源TD再次变得可运行。例如，源VMM可以发出或使用中止命令基元856-2来处理从目的地平台接收的中止令牌899，并且如果它是有效的，则恢复源受保护VM的执行。例如，在TDX实现方式中，源VMM可以发出或使用TDH.EXPORT.ABORT指令叶，以调用源TDX模块的TDH.EXPORT.ABORT逻辑来执行其关联的TDH.EXPORT.ABORT操作，以检查中止令牌899的有效性。如果中止令牌的有效性被确认，那么迁移可以被中止，并且源TD可以执行。其他导入失败也可能导致中止，例如页导入的顺序不当或错误，对开始令牌的验证检查失败，等等。当导入失败或迁移中止时，目的地受保护VM可能无法运行，并且可能被拆除。对于图2、图3、图4、图6、图7、和图8中的任何一个描述的组件、特征、和细节也可以可选地适用于图1和图5中的任何一个。为任何装置描述的组件、特征、和细节可以可选地适用于本文公开的任何方法，在实施例中，这些方法可以可选地由这样的装置执行和/或利用这样的装置来执行。

VI.示例TDX指令

TDH.EXPORT.PAGE指令

被主机VMM用来导出4KB或2MB TD私有存储器页作为共享存储器中的迁移捆绑包，其中包括MBMD和单个4KB或2MB页或者一组512个4KB页，被用迁移会话密钥来加密。还捕捉了安全EPT GPA到HPA的映射和属性。迁移捆绑包由存储在MBMD中的MAC来保护。它是可中断的。预期主机VMM将在一个循环中调用它，直到它以成功指示或者以不可恢复的差错指示返回为止。

作为输入操作对象，RAX具有SEAMCALL指令叶号。RCX具有EPT映射信息：(1)比特[2:0]映射要导出的私有页的安全EPT条目的级别：0(4KB)或1(2MB)；(2)比特[51:12]要导出的私有页的访客物理地址的比特51:12。RDX具有源TD的TDR页的HPA。R8具有要用于MBMD的存储器缓冲区的HPA(包括HKID比特)和存储器大小(例如，以字节为单位)。R9具有目的地页或迁移页列表的HPA、类型、和大小。R10具有关于迁移流和恢复标志的信息：(1)比特[31:0]迁移流索引；(2)比特63为0表明新的调用，或者为1则表明恢复先前中断的操作。

该操作检查以下条件1至8。1.PAMT中的TDR页元数据必须正确(PT必须是PT_TDR)。2.TD没有处于FATAL状态中(TDR.FATAL为FALSE)。3.在硬件上配置了TD密钥(TDR.LIFECYCLE_STATE是TD_KEYS_CONFIGURED)。4.分配了TDCS(TDR.NUM_TDCX为要求的数字)。5.TDCS.OP_STATE是LIVE_EXPORT、PAUSED_EXPORT、或者POST_EXPORT。6.迁移流索引是正确的：6.1.如果导出处于有序阶段中(TDCS.OP_STATE是LIVE_EXPORT或者PAUSED_EXPORT)：6.1.1.迁移流索引与源页GPA和LEVEL以及TDCS.NUM_IN_ORDER_MIGS的散列函数的输出相匹配，定义见16.3.1。6.2.否则(出口处于无序阶段中)：6.2.1.迁移流索引低于TDCS.NUM_MIGS。7.迁移流的ENABLED标志为TRUE。8.为MBMD提供的缓冲区足够大并且能装入4KB页内。如果检查成功，则该操作进行以下操作9：9.如果RESUME输入标志为1，表明这是恢复先前中断的TDH.EXPORT.PAGE：9.1.检查流情境的INTERRUPTED_FUNC是否包含TDH.EXPORT.PAGE的叶号。9.2.检查当前输入(GPA和级别，R9的内容)是否与函数被中断时保存在流情境中的相同。如果通过，则该操作进行以下10-13：10.基于GPA和级别操作对象在SEPT中游走，并且找到该页的叶条目。11.如果TD没有被暂停(TDCS.OP_STATE是LIVE_EXPORT)：11.1.检查该页被阻止写入；其SEPT状态必须是*BLOCKEDW状态之一。11.2.基于页的PAMT.BEPOCH检查TLB跟踪。12.否则：12.1.检查该页未被阻止(SEPT状态不是BLOCKED)。13.VM嵌套：检查所有别名已被阻止写入(PAMT.ALIAS_COUNT＝＝PAMT.BLOCKW_COUNT)。

如果通过，则该操作进行以下操作14：14.如果RESUME输入标志为0，则表明这是一个新的(非恢复的)TDH.EXPORT.PAGE调用。14.1.如果迁移流的INITIALIZED标志为FALSE：14.1.1.初始化迁移流并且将其INITIALIZED标志设置TRUE。14.2.通过串接作为方向比特的0、流索引、和流情境的NEXT_IV_COUNTER，为这个迁移捆绑包构建96b IV，如表格4.2中所描述。14.3.基于MBMD的经MAC的字段累积流情境中的MAC。详见8.3.1。14.4.将MBMD字段(不包括MAC)写入到由主机VMM提供的存储器缓冲区。14.5.递增流情境的NEXT_IV_COUNTER。如果通过，则该操作进行以下操作15和16：15.如果SEPT状态为非挂起的*BLOCKEDW状态之一，则写入迁移数据：15.1.如果页大小为2MB，则重复导出4KB的块，直到所有的页都被导出为止，或者直到检测到挂起的中断为止：15.1.1.如果已提供了页列表，则从其中获得4KB页HPA。否则，使用提供的页HPA。15.1.2.使用迁移流情境将4KB的页块加密到目的地数据页中，并且更新MAC计算。15.1.3.如果有挂起的中断15.1.3.1。在流情境中保存中间状态(GPA和级别，到目前为止保存的4KB块的数目，R9的内容)。15.1.3.2.将流情境的INTERRPTED_FUNC字段设置为TDH.EXPORT.PAGE叶号。15.1.3.3.以TDX_INTERRUPTED_RESUMABLE状态终止TDH.EXPORT.PAGE。15.1.4.否则，前进到页列表中的下一个条目(如果适用)，或者否则就前进到下一个4KB块。15.2.否则(页大小为4KB)，使用迁移流情境将页加密到目的地数据页中，并且更新MAC计算。16.否则(SEPT状态是PENDING_*状态之一)，不存在页数据，并且只导出MBMD。

如果通过，则该操作进行以下操作17-20：17.将累积的MAC写入到存储器中的MBMD。18.更新SETP条目状态和迁移计数器，如下：18.1.如果SEPT条目状态是BLOCKEDW或PENDING_BLOCKEDW(即，这是在这个导出会话中第一次导出该页)：18.1.1.将SEPT条目状态分别设置为EXPORTERD_BLOCKEDW或PENDING_EXPORTED_BLOCKEDW。18.1.2.递增TDCS.MIG_COUNT。18.2.否则(SEPT状态为EXPORTED_DIRTY_BLOCKEDW或PENDING_EXPORTED_DIRTY_BLOCKEDW(即，该页在这个导出会话中已被导出，并且是脏的)：18.2.1.将SEPT条目状态t分别设置为EXPORTERD_BLOCKEDW或PENDING_EXPORTED_BLOCKEDW。18.2.2.递减TDCS.DIRTY_COUNT。19.递增流情境的NEXT_MB_COUNTER字段。20.将流情境的INTERRPTED_FUNC字段设置为-1，表明没有中断的功能。

TDH.EXPORT.STATE.DONE指令

被主机VMM用来结束有序导出阶段，并且从源SEAM生成和导出开始令牌，以使得能够在目的地平台上运行迁移的TD。开始令牌是在指定的迁移流上被导出的。在对所有迁移流调用了这个指令之后，结束被迁移的暂停源TD的封锁阶段。带有令牌的提交协议允许使用基于计数器的方案来施行所有经修改的状态必须被导出，并且所有导出的状态必须在使用后续计数器加密的令牌被正确认证和解密之前在目的地上被导入，以允许目的地TD可运行。

输入操作对象在RAX中包括SEAMCALL指令叶号，在RCX中包括源TD的TDR页的HPA，在R8中包括用于MBMD的存储器缓冲区的HPA和存储器大小，其中比特[11:0]指示出分配给MBMD的存储器缓冲区的大小(以字节为单位)，并且比特[51:12]指示出主机物理地址(包括HKID比特)。R10指示出迁移流索引。

该操作检查以下条件1至10：1.PAMT中的TDR页元数据必须正确(PT必须是PT_TDR)。2.TD没有处于FATAL状态中(TDR.FATAL为FALSE)。3.在硬件上配置了TD密钥(TDR.LIFECYCLE_STATE是TD_KEYS_CONFIGURED)。4.分配了TDCS(TDR.NUM_TDCX为要求的数字)。5.导出会话在进行中并且TD已被暂停：TDCS.OP_STATE是PAUSED_EXPORT。6.迁移流索引低于TDCS.NUM_IN_ORDER_MIGS。7.迁移流的ENABLED标志为TRUE。8.为MBMD提供的缓冲区足够大并且能装入4KB页内。9.TDCS.DIRTY_COUNT为0，表明没有到目前为止导出的任何存储器页的未导出的较新版本仍然存在。尚未导出的存储器页可能仍然存在，并且可能在以后被导出(无序)。10.TD可变状态已被导出(由TDH.EXPORT.STATE.TD)。

如果成功，则该操作进行以下11至18：11.递增TDCS.NUM_IN_ORDER_DONE。12.如果已经对在这个迁移会话期间在其上进行了任何导出的所有其他迁移流执行了TDH.EXPORT.STATE.DONE(TDCS.NUM_IN_ORDER_DONE＝＝TDCS.NUM_IN_ORDER_MIGS)：12.1.开始后导出阶段：将TD操作子状态设置为POST_EXPORT。12.2.将所有迁移流的ENABLED标志设为TRUE。13.否则：13.1.将当前迁移流的ENABLED标志设为FALSE。14.如果迁移流的INITIALIZED标志是FALSE：14.1.初始化迁移流，将其INITIALIZED标志设为TRUE。15.通过串接作为方向比特的0、流索引、和流情境的NEXT_IV_COUNTER，为这个迁移捆绑包构建96bIV，如表格4.2中所描述。16.创建开始令牌MBMD。17.基于MBMD的经MAC的字段累积MAC，并且写入到MBMD的MAC字段值。详见8.3.1。18.将MBMD写入到所提供的存储器缓冲区。

TDH.IMPORT.STATE.DONE指令

被目的地平台上的主机VMM用来消耗来自从源平台接收的源SEAM的开始令牌，以授权目的地SEAM允许迁移的TD成为可运行的。如果成功，并且如果其在所有其他迁移流上都成功，则将目标TD标记为RUNNABLE(不能恢复源)。失败则将目标TD标记为IMPORT_FAILED，并且返回中止令牌，然后保证目的地TD不会运行。带有令牌的提交协议允许使用基于计数器的方案来施行所有经修改的状态必须被导出，并且所有导出状态必须在使用后续计数器加密的令牌被正确认证和解密之前在目的地上被导入以允许目的地TD可运行。

输入操作对象在RAX中包括SEAMCALL指令叶号，在RCX中包括源TD的TDR页的HPA，在R8中包括HPA和存储器中的MBMD结构的存储器大小，其中比特[11:0]指示出包含MBMD的存储器缓冲区的大小(以字节为单位)，并且比特[51:12]指示出主机物理地址(包括HKID比特)。在R10中提供的是迁移流索引

该操作检查以下条件1至8：1.PAMT中的TDR页元数据必须正确(PT必须是PT_TDR)。2.TD没有处于FATAL状态中(TDR.FATAL为FALSE)。3.在硬件上配置了TD密钥(TDR.LIFECYCLE_STATE是TD_KEYS_CONFIGURED)。4.分配了TDCS(TDR.NUM_TDCX为要求的数字)。5.导入会话在进行中并且TD范围的状态已被导入：TDCS.OP_STATE是STATE_IMPORT。6.迁移流索引低于TDCS.NUM_IN_ORDER_MIGS。7.迁移流的ENABLED标志为TRUE。8.为MBMD提供的缓冲区足够大并且能装入4KB页内。

如果成功，则该操作进行以下操作9至10：9.将MBMD拷贝到临时缓冲区中。10.检查MBMD字段：10.1.检查SIZE足够大。10.2.检查MB_TYPE指示令牌，并且MB_SUBTYPE指示开始令牌。10.3.检查MIGS_INDEX与输入参数相同。10.4.检查MB_COUNTER值等于迁移流的NEXT_MB_COUNTER。10.5.检查保留字段为0。如果通过，则该操作进行以下操作11至13：11.如果迁移流的INITIALIZED标志为FALSE：11.1.初始化迁移流并且将其INITIALIZED标志设置TRUE。12.通过串接作为方向比特的0、流索引、和MBMD的IV_COUNTER，为这个迁移捆绑包构建96b IV，如表格4.2中所描述。13.基于MBMD的经MAC的字段累积MAC，并且检查该值是否与MBMD的MAC字段的值相同。详见8.3.1。如果通过，则该操作进行以下操作14至17：14.递增流情境的NEXT_MB_COUNTER。15.递增TDCS.NUM_IN_ORDER_DONE。16.如果已经为在有序阶段期间使用的所有其他迁移流执行了TDH.IMPORT.STATE.DONE(TDCS.NUM_IN_ORDER_DONE等于TDCS.NUM_IN_ORDER_MIGS)：16.1.开始无序导入阶段：将TDCS.OP_STATE设置为POST_IMPORT。16.2.将所有迁移流的ENABLED标志设置为TRUE。17.否则：17.1.将当前迁移流的ENABLED标志设为FALSE。

示范性核心体系结构、处理器和计算机体系结构

可以按不同的方式、为了不同的目的、在不同的处理器中实现处理器核心。例如，这种核心的实现方式可包括：1)打算用于通用计算的通用有序核心；2)打算用于通用计算的高性能通用无序核心；3)主要打算用于图形和/或科学(吞吐量)计算的专用核心。不同处理器的实现方式可包括：1)包括打算用于通用计算的一个或多个通用有序核心和/或打算用于通用计算的一个或多个通用无序核心的CPU；以及2)包括主要打算用于图形和/或科学(吞吐量)的一个或多个专用核心的协处理器。这样的不同处理器导致不同的计算机系统体系结构，这些体系结构可包括：1)协处理器在与CPU分开的芯片上；2)协处理器在与CPU相同的封装中、分开的管芯上；3)协处理器与CPU在同一管芯上(在此情况下，这种协处理器有时被称为专用逻辑，例如集成图形和/或科学(吞吐量)逻辑，或者被称为专用核心)；以及4)片上系统，其可在同一管芯上包括所描述的CPU(有时称为(一个或多个)应用核心或者(一个或多个)应用处理器)、上述的协处理器以及额外的功能。接下来描述示范性核心体系结构，然后是对示范性处理器和计算机体系结构的描述。

示范性核心体系结构

有序和无序核心框图

图9A是图示出根据本发明实施例的示例性有序管线和示例性寄存器重命名、无序发布/执行管线两者的框图。图9B是图示出根据本发明实施例的包括在处理器中的有序体系结构核心的示例性实施例和示例性寄存器重命名、无序发布/执行体系结构核心两者的框图。图9A-9B中的实线框图示了有序管线和有序核心，而虚线框的可选添加图示了寄存器重命名、无序发布/执行管线和核心。考虑到有序方面是无序方面的子集，将描述无序方面。

在图9A中，处理器管线900包括取得阶段902、长度解码阶段904、解码阶段906、分配阶段908、重命名阶段910、调度(也称为调遣或发布)阶段912、寄存器读取/存储器读取阶段914、执行阶段916、写回/存储器写入阶段918、异常处理阶段922、以及提交阶段924。

图9B示出了包括耦合到执行引擎单元950的前端单元930的处理器核心990，并且执行引擎单元950和前端单元930两者都耦合到存储器单元970。核心990可以是精简指令集计算(reduced instruction set computing，RISC)核心、复杂指令集计算(complexinstruction set computing，CISC)核心、超长指令字(very long instruction word，VLIW)核心、或者混合或替换核心类型。作为另外一个选项，核心990可以是专用核心，例如，网络或通信核心、压缩引擎、协处理器核心、通用计算图形处理单元(general purposecomputing graphics processing unit，GPGPU)核心、图形核心，等等。

前端单元930包括分支预测单元932，其耦合到指令缓存单元934，指令缓存单元934耦合到指令转化后备缓冲器(translation lookaside buffer，TLB)单元936，指令TLB单元936耦合到指令取得单元938，指令取得单元938耦合到解码单元940。解码单元940(或解码器)可对指令解码，并且生成一个或多个微操作、微代码入口点、微指令、其他指令或其他控制信号作为输出，这些微操作、微代码入口点、微指令、其他指令或其他控制信号是从原始指令解码来的，或者以其他方式反映原始指令，或者是从原始指令得出的。可利用各种不同的机制来实现解码单元940。适当机制的示例包括但不限于查找表、硬件实现、可编程逻辑阵列(programmable logic array，PLA)、微代码只读存储器(read only memory，ROM)，等等。在一个实施例中，核心990包括微代码ROM或其他介质，其为某些宏指令存储微代码(例如，在解码单元940中或者以其他方式在前端单元930内)。解码单元940耦合到执行引擎单元950中的重命名/分配器单元952。

执行引擎单元950包括重命名/分配器单元952，其耦合到引退单元954和一组一个或多个调度器单元956。(一个或多个)调度器单元956表示任何数目的不同调度器，包括预留站、中央指令窗口，等等。(一个或多个)调度器单元956耦合到(一个或多个)物理寄存器文件单元958。物理寄存器文件单元958中的每一者表示一个或多个物理寄存器文件，这些物理寄存器文件中的不同物理寄存器文件存储一个或多个不同的数据类型，例如标量整数、标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点、状态(例如，作为要执行的下一指令的地址的指令指针)，等等。在一个实施例中，物理寄存器文件单元958包括向量寄存器单元、写入掩码寄存器单元、以及标量寄存器单元。这些寄存器单元可提供体系结构式向量寄存器、向量掩码寄存器、以及通用寄存器。(一个或多个)物理寄存器文件单元958与引退单元954重叠，以说明可用来实现寄存器重命名和无序执行的各种方式(例如，利用(一个或多个)重排序缓冲器和(一个或多个)引退寄存器文件；利用(一个或多个)未来文件、(一个或多个)历史缓冲器、以及(一个或多个)引退寄存器文件；利用寄存器映射和寄存器池；等等)。引退单元954和(一个或多个)物理寄存器文件单元958耦合到(一个或多个)执行集群960。(一个或多个)执行集群960包括一组一个或多个执行单元962和一组一个或多个存储器访问单元964。执行单元962可在各种类型的数据(例如，标量浮点、紧缩整数、紧缩浮点、向量整数、向量浮点)上执行各种操作(例如，移位、加法、减法、乘法)。虽然一些实施例可包括专用于特定功能或功能集合的若干个执行单元，但其他实施例可只包括一个执行单元或者全部执行所有功能的多个执行单元。(一个或多个)调度器单元956、(一个或多个)物理寄存器文件单元958、和(一个或多个)执行集群960被示出为可能是多个，因为某些实施例为某些类型的数据/操作创建单独的管线(例如，标量整数管线、标量浮点/紧缩整数/紧缩浮点/向量整数/向量浮点管线、和/或存储器访问管线，它们各自具有其自己的调度器单元、物理寄存器文件单元、和/或执行集群——并且在单独的存储器访问管线的情况下，实现了某些实施例，其中只有此管线的执行集群具有(一个或多个)存储器访问单元964)。还应当理解，在使用分开管线的情况下，这些管线中的一个或多个可以是无序发布/执行管线，并且其余的是有序管线。

一组存储器访问单元964耦合到存储器单元970，存储器单元970包括数据TLB单元972，数据TLB单元972耦合到数据缓存单元974，数据缓存单元974耦合到2级(L2)缓存单元976。在一个示例性实施例中，存储器访问单元964可包括加载单元、存储地址单元、以及存储数据单元，它们中的每一者耦合到存储器单元970中的数据TLB单元972。指令缓存单元934进一步耦合到存储器单元970中的2级(L2)缓存单元976。L2缓存单元976耦合到一个或多个其他级别的缓存并且最终耦合到主存储器。

作为示例，示例性寄存器重命名、无序发布/执行核心体系结构可如下实现管线900：1)指令取得单元938执行取得和长度解码阶段902和904；2)解码单元940执行解码阶段906；3)重命名/分配器单元952执行分配阶段908和重命名阶段910；4)(一个或多个)调度器单元956执行调度阶段912；5)(一个或多个)物理寄存器文件单元958和存储器单元970执行寄存器读取/存储器读取阶段914；执行集群960执行执行阶段916；6)存储器单元970和(一个或多个)物理寄存器文件单元958执行写回/存储器写入阶段918；7)异常处理阶段922可涉及各种单元；并且8)引退单元954和(一个或多个)物理寄存器文件单元958执行提交阶段924。

核心990可支持一个或多个指令集(例如，x86指令集(带有已随着较新版本添加的一些扩展)；加州森尼维尔市的MIPS技术公司的MIPS指令集；加州森尼维尔市的ARM控股公司的ARM指令集(带有可选的额外扩展，例如NEON))，包括本文描述的(一个或多个)指令。在一个实施例中，核心990包括用以支持紧缩数据指令集扩展(例如，AVX1、AVX2)的逻辑，从而允许许多多媒体应用使用的操作被利用紧缩数据来执行。

应当理解，核心可支持多线程处理(执行操作或线程的两个或更多个并行集合)，并且可按各种方式来支持多线程处理，包括时间切片式多线程处理、同时多线程处理(其中单个物理核心为该物理核心在同时进行多线程处理的每个线程提供逻辑核心)，或者这些的组合(例如，时间切片式取得和解码，然后是同时多线程处理，例如像

Hyperthreading技术中那样)。

虽然是在无序执行的情境中描述寄存器重命名的，但应当理解，寄存器重命名可被用在有序体系结构中。虽然处理器的图示实施例还包括分开的指令和数据缓存单元934/974和共享的L2缓存单元976，但替换实施例可具有用于指令和数据两者的单个内部缓存，例如，1级(L1)内部缓存或者多级别的内部缓存。在一些实施例中，系统可包括内部缓存与在核心和/或处理器外部的外部缓存的组合。或者，所有缓存可在核心和/或处理器外部。

具体示例性有序核心体系结构

图10A-10B图示出更具体的示例性有序核心体系结构的框图，该核心将是芯片中的若干个逻辑块(包括相同类型和/或不同类型的其他核心)之一。逻辑块通过高带宽互连网络(例如，环状网络)与某些固定功能逻辑、存储器I/O接口、和其他必要I/O逻辑进行通信，这取决于应用。

图10A是根据本发明实施例的单个处理器核心及其与片上互连网络1002的连接以及2级(L2)缓存的其本地子集1004的框图。在一个实施例中，指令解码器1000支持具有紧缩数据指令集扩展的x86指令集。L1缓存1006允许低时延访问以将存储器缓存到标量和向量单元中。虽然在一个实施例中(为了简化设计)，标量单元1008和向量单元1010使用不同的寄存器集合(分别是标量寄存器1012和向量寄存器1014)并且在它们之间传送的数据被写入到存储器，然后被从1级(L1)缓存1006读回，但本发明的替换实施例可以使用不同的方案(例如，使用单个寄存器集合或者包括允许数据在两个寄存器文件之间传送而不被写入和读回的通信路径)。

L2缓存的本地子集1004是全局L2缓存的一部分，全局L2缓存被划分成不同的本地子集，每处理器核心一个本地子集。每个处理器核心具有到L2缓存的其自己的本地子集1004的直接访问路径。处理器核心所读取的数据被存储在其L2缓存子集1004中并且可被迅速访问，所述访问与其他处理器核心访问其自己的本地L2缓存子集并行进行。处理器核心所写入的数据被存储在其自己的L2缓存子集1004中并且在必要时被从其他子集冲刷出。环状网络确保了共享数据的一致性。环状网络是双向的，以允许诸如处理器核心、L2缓存、和其他逻辑块之类的代理在芯片内与彼此通信。每个环状数据路径在每方向上是1012比特宽的。

图10B是根据本发明实施例的图10A中的处理器核心的一部分的扩展视图。图10B包括L1缓存1004的L1数据缓存1006A部分，以及关于向量单元1010和向量寄存器1014的更多细节。具体而言，向量单元1010是16宽的向量处理单元(vector processing unit，VPU)(参见16宽ALU 1028)，其执行整数指令、单精度浮点指令、和双精度浮点指令中的一种或多种指令。VPU支持利用调配单元1020调配寄存器输入，利用数值转换单元1022A-B进行数值转换，以及利用复制单元1024对存储器输入进行复制。写入掩码寄存器1026允许断言结果向量写入。

具有集成存储器控制器和图形的处理器

图11是根据本发明实施例的可具有多于一个核心、可具有集成的存储器控制器、并且可具有集成的图形的处理器1100的框图。图11中的实线框图示了具有单个核心1102A、系统代理1110、一组一个或多个总线控制器单元1116的处理器1100，而虚线框的可选添加图示了具有多个核心1102A-N、系统代理单元1110中的一组一个或多个集成存储器控制单元1114、和专用逻辑1108的替换处理器1100。

因此，处理器1100的不同实现方式可包括：1)其中专用逻辑1108是集成图形和/或科学(吞吐量)逻辑(其可包括一个或多个核心)并且核心1102A-N是一个或多个通用核心(例如，通用有序核心、通用无序核心、或者两者的组合)的CPU；2)其中核心1102A-N是大量的主要打算用于图形和/或科学(吞吐量)的专用核心的协处理器；以及3)其中核心1102A-N是大量的通用有序核心的协处理器。从而，处理器1100可以是通用处理器、协处理器、或专用处理器，例如，网络或通信处理器、压缩引擎、图形处理器、GPGPU(通用图形处理单元)、高吞吐量集成众核(many integrated core，MIC)协处理器(包括30个或更多个核心)、嵌入式处理器，等等。处理器可被实现在一个或多个芯片上。处理器1100可以是一个或多个衬底的一部分和/或可利用若干个工艺技术中的任何一者被实现在一个或多个衬底上，这些技术例如是BiCMOS、CMOS或NMOS。

存储器层次体系包括核心内的一级或多级缓存、一组或一个或多个共享缓存单元1106、以及与该组集成存储器控制器单元1114相耦合的外部存储器(未示出)。该组共享缓存单元1106可包括一个或多个中间级别缓存(例如2级(L2)、3级(L3)、4级(4)或者其他级别的缓存)，末级缓存(last level cache，LLC)，和/或这些的组合。虽然在一个实施例中基于环的互连单元1112互连集成图形逻辑1108、该组共享缓存单元1106、以及系统代理单元1110/(一个或多个)集成存储器控制器单元1114，但替换实施例也可使用任何数目的公知技术来互连这种单元。在一个实施例中，在一个或多个缓存单元1106和核心1102A-N之间维持一致性。

在一些实施例中，核心1102A-N中的一个或多个能够进行多线程处理。系统代理1110包括协调和操作核心1102A-N的那些组件。系统代理单元1110可包括例如功率控制单元(power control unit，PCU)和显示单元。PCU可以是或者可以包括对核心1102A-N和集成图形逻辑1108的功率状态进行调节所需要的逻辑和组件。显示单元用于驱动一个或多个在外部连接的显示器。

核心1102A-N就体系结构指令集而言可以是同构的或者异构的；也就是说，核心1102A-N中的两个或更多个能够执行同一指令集，而其他的核心能够只执行该指令集的子集或者不同的指令集。

示例性计算机体系结构

图12-图21是示例性计算机体系结构的框图。本领域中已知的用于膝上型电脑、桌面型电脑、手持PC、个人数字助理、工程工作站、服务器、网络设备、网络集线器、交换机、嵌入式处理器、数字信号处理器(digital signal processor，DSP)、图形设备、视频游戏设备、机顶盒、微控制器、蜂窝电话、便携式媒体播放器、手持设备、以及各种其他电子设备的其他系统设计和配置，也是适当的。总之，能够包含本文公开的处理器和/或其他执行逻辑的各种各样的系统或电子设备一般是适当的。

现在参考图12，其中示出了根据本发明的一个实施例的系统1200的框图。系统1200可包括一个或多个处理器1210、1215，它们耦合到控制器中枢1220。在一个实施例中，控制器中枢1220包括图形存储器控制器中枢(graphics memory controller hub，GMCH)1290和输入/输出中枢(Input/Output Hub，IOH)1250(它们可在不同的芯片上)；GMCH 1290包括与存储器1240和协处理器1245耦合的存储器和图形控制器；IOH 1250将输入/输出(I/O)设备1260耦合到GMCH 1290。或者，存储器和图形控制器中的一者或两者被集成在处理器内(如本文所述)，存储器1240和协处理器1245直接耦合到处理器1210，并且控制器中枢1220与IOH 1250在单个芯片中。

额外的处理器1215的可选性在图12中用虚线表示。每个处理器1210、1215可包括本文描述的处理核心中的一个或多个并且可以是处理器1100的某个版本。

存储器1240可例如是动态随机访问存储器(dynamic random access memory，DRAM)、相变存储器(phase change memory，PCM)、或者两者的组合。对于至少一个实施例，控制器中枢1220经由多点分支总线(例如前端总线(frontside bus，FSB))、点到点接口(例如QuickPath Interconnect(QPI))或者类似的连接1295与(一个或多个)处理器1210、1215进行通信。

在一个实施例中，协处理器1245是专用处理器，例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。在一个实施例中，控制器中枢1220可包括集成的图形加速器。

在物理资源1210、1215之间，就包括体系结构特性、微体系结构特性、热特性、功率消耗特性等等在内的价值度量的范围而言，可以有各种差异。

在一个实施例中，处理器1210执行控制一般类型的数据处理操作的指令。嵌入在这些指令内的可以是协处理器指令。处理器1210将这些协处理器指令识别为应当由附接的协处理器1245执行的类型。因此，处理器1210在协处理器总线或其他互连上向协处理器1245发出这些协处理器指令(或者表示协处理器指令的控制信号)。(一个或多个)协处理器1245接受并且执行接收到的协处理器指令。

现在参考图13，其中示出了根据本发明实施例的第一更具体示例性系统1300的框图。如图13所示，多处理器系统1300是点到点互连系统，并且包括经由点到点互连1350耦合的第一处理器1370和第二处理器1380。处理器1370和1380中的每一者可以是处理器1100的某个版本。在本发明的一个实施例中，处理器1370和1380分别是处理器1210和1215，而协处理器1338是协处理器1245。在另一实施例中，处理器1370和1380分别是处理器1210和协处理器1245。

处理器1370和1380被示出为分别包括集成存储器控制器(integrated memorycontroller，IMC)单元1372和1382。处理器1370还包括点到点(P-P)接口1376和1378作为其总线控制器单元的一部分；类似地，第二处理器1380包括P-P接口1386和1388。处理器1370、1380可利用P-P接口电路1378、1388经由点到点(P-P)接口1350交换信息。如图13中所示，IMC 1372和1382将处理器耦合到各自的存储器，即存储器1332和存储器1334，存储器1332和存储器1334可以是在本地附接到各个处理器的主存储器的一部分。

处理器1370、1380可分别利用点到点接口电路1376、1394、1386、1398经由个体P-P接口1352、1354与芯片组1390交换信息。芯片组1390可以可选地经由高性能接口1339与协处理器1338交换信息。在一个实施例中，协处理器1338是专用处理器，例如，高吞吐量MIC处理器、网络或通信处理器、压缩引擎、图形处理器、GPGPU、嵌入式处理器，等等。

共享缓存(未示出)可被包括在任一处理器中，或者在两个处理器之外，但经由P-P互连与处理器连接，从而使得任一个或两个处理器的本地缓存信息在处理器被置于低功率模式中的情况下可被存储在该共享缓存中。

芯片组1390可经由接口1396耦合到第一总线1316。在一个实施例中，第一总线1316可以是外围组件互连(Peripheral Component Interconnect，PCI)总线，或者诸如快速PCI总线或另一种第三代I/O互连总线之类的总线，虽然本发明的范围不限于此。

如图13中所示，各种I/O设备1314可耦合到第一总线1316，以及将第一总线1316耦合到第二总线1320的总线桥1318。在一个实施例中，一个或多个额外的处理器1315，例如协处理器、高吞吐量MIC处理器、GPGPU、加速器(例如，图形加速器或数字信号处理(DSP)单元)、现场可编程门阵列、或者任何其他处理器，耦合到第一总线1316。在一个实施例中，第二总线1320可以是低引脚数(low pin count，LPC)总线。各种设备可耦合到第二总线1320，包括例如键盘/鼠标1322、通信设备1327和存储单元1328，例如盘驱动器或者其他大容量存储设备，其中该存储单元1328在一个实施例中可包括指令/代码和数据1330。另外，音频I/O1324可耦合到第二总线1320。注意，其他体系结构是可能的。例如，取代图13的点到点体系结构，系统可实现多点分支总线或者其他这种体系结构。

现在参考图14，其中示出了根据本发明实施例的第二更具体示例性系统1400的框图。图13和图14中的相似元素带有相似的标号，并且图13的某些方面被从图14中省略以避免模糊图14的其他方面。

图14图示出处理器1370、1880可分别包括集成存储器和I/O控制逻辑(“CL”)1372和1382。从而，CL 1372、1382包括集成存储器控制器单元并且包括I/O控制逻辑。图14图示出不仅存储器1332、1334耦合到CL 1372、1382，而且I/O设备1414也耦合到控制逻辑1372、1382。传统I/O设备1415耦合到芯片组1390。

现在参考图15，其中示出了根据本发明实施例的SoC 1500的框图。图11中的相似元素带有相似的标号。另外，虚线框是更先进SoC上的可选特征。在图15中，(一个或多个)互连单元1502耦合到：应用处理器1510，其包括一组一个或多个核心142A-N和(一个或多个)共享缓存单元1106；系统代理单元1110；(一个或多个)总线控制器单元1116；(一个或多个)集成存储器控制器单元1114；一组一个或多个协处理器1520，其可包括集成图形逻辑、图像处理器、音频处理器、以及视频处理器；静态随机访问存储器(static random accessmemory，SRAM)单元1530；直接存储器访问(direct memory access，DMA)单元1532；以及显示单元1540，用于耦合到一个或多个外部显示器。在一个实施例中，(一个或多个)协处理器1520包括专用处理器，例如网络或通信处理器、压缩引擎、GPGPU、高吞吐量MIC处理器、嵌入式处理器，等等。

可以用硬件、软件、固件、或者这种实现方案的组合来实现本文公开的机制的实施例。本发明的实施例可被实现为在包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备、以及至少一个输出设备的可编程系统上执行的计算机程序或程序代码。

程序代码，例如图13中所示的代码1330，可被应用到输入指令，以执行本文描述的功能并且生成输出信息。输出信息可按已知的方式被应用到一个或多个输出设备。对于本申请而言，处理系统包括任何具有处理器的系统，该处理器是例如数字信号处理器(digital signal processor，DSP)、微控制器、专用集成电路(application specificintegrated circuit，ASIC)、或者微处理器。

可以用高级别过程式或面向对象的编程语言来实现程序代码以与处理系统进行通信。如果希望，也可以用汇编或机器语言来实现程序代码。实际上，本文描述的机制在范围上不限于任何特定的编程语言。在任何情况下，该语言可以是经编译或者经解译的语言。

至少一个实施例的一个或多个方面可由被存储在机器可读介质上的表示处理器内的各种逻辑的代表性指令来实现，这些代表性指令在被机器读取时使得该机器制作逻辑来执行本文描述的技术。这种被称为“IP核心”的表现形式可被存储在有形机器可读介质上并且被提供到各种客户或制造设施以加载到实际制作该逻辑或处理器的制作机器中。

这种机器可读存储介质可包括但不限于由机器或设备制造或形成的物品的非暂态有形布置，包括诸如以下项之类的存储介质：硬盘，任何其他类型的盘(包括软盘、光盘、致密盘只读存储器(compact disk read-only memory，CD-ROM)、可改写致密盘(compactdisk rewritable，CD-RW)、以及磁光盘)，半导体设备(诸如，只读存储器(read-onlymemory，ROM)，诸如动态随机访问存储器(dynamic random access memory，DRAM)、静态随机访问存储器(static random access memory，SRAM)之类的随机访问存储器(randomaccess memory，RAM)，可擦除可编程只读存储器(erasable programmable read-onlymemory，EPROM)，闪速存储器，电可擦除可编程只读存储器(electrically erasableprogrammable read-only memory，EEPROM)，相变存储器(phase change memory，PCM))，磁卡或光卡，或者适合用于存储电子指令的任何其他类型的介质。

因此，本发明的实施例还包括非暂态有形机器可读介质，其包含指令或者包含定义本文描述的结构、电路、装置、处理器、和/或系统特征的设计数据，例如硬件描述语言(Hardware Description Language，HDL)。这种实施例也可被称为程序产品。

仿真(包括二进制转化、代码变形等等)

在一些情况下，指令转换器可被用于将指令从源指令集转换到目标指令集。例如，指令转换器可将指令转化(例如，利用静态二进制转化、包括动态编译的动态二进制转化)、变形、仿真、或者以其他方式转换到要被核心处理的一个或多个其他指令。可以用软件、硬件、固件、或者其组合来实现指令转换器。指令转换器可以在处理器上、在处理器外、或者一部分在处理器上一部分在处理器外。

图16是根据本发明实施例的与使用软件指令转换器来将源指令集中的二进制指令转换成目标指令集中的二进制指令对比的框图。在图示的实施例中，指令转换器是软件指令转换器，虽然可替换地，可以用软件、固件、硬件、或者其各种组合来实现指令转换器。图16示出了可以利用x86编译器1604来编译高级别语言1602的程序以生成x86二进制代码1606，x86二进制代码1606可由具有至少一个x86指令集核心1616的处理器原生执行。具有至少一个x86指令集核心的处理器1616表示任何这样的处理器：这种处理器可通过兼容地执行或以其他方式处理(1)英特尔x86指令集核心的指令集的实质部分或者(2)目标为在具有至少一个x86指令集核心的英特尔处理器上运行的应用或其他软件的目标代码版本，来执行与具有至少一个x86指令集核心的英特尔处理器基本上相同的功能，以便实现与具有至少一个x86指令集核心的英特尔处理器基本上相同的结果。x86编译器1604表示可操作来生成x86二进制代码1606(例如，目标代码)的编译器，x86二进制代码1606在带有或不带有额外的链接处理的情况下可在具有至少一个x86指令集核心的处理器1616上被执行。类似地，图16示出了高级别语言1602的程序可被利用替换指令集编译器1608来编译以生成替换指令集二进制代码1610，替换指令集二进制代码1610可由没有至少一个x86指令集核心的处理器1614(例如，具有执行加州森尼维耳市的MIPS技术公司的MIPS指令集和/或执行加州森尼维耳市的ARM控股公司的ARM指令集的核心的处理器)原生执行。指令转换器1612用于将x86二进制代码1606转换成可由没有x86指令集核心的处理器1614原生执行的代码。这个转换后的代码不太可能与替换指令集二进制代码1610相同，因为能够做到这一点的指令转换器是难以制作的；然而，转换后的代码将实现一般操作并且由来自替换指令集的指令构成。从而，指令转换器1612表示通过仿真、模拟、或任何其他过程允许不具有x86指令集处理器或核心的处理器或其他电子设备执行x86二进制代码1606的软件、固件、硬件、或者其组合。

在说明书和/或权利要求中，可能使用了术语“耦合”和/或“连接”及其衍生词。这些术语并不打算是彼此的同义词。更确切地说，在实施例中，“连接”可用于指示出两个或更多个元素与彼此发生直接的物理和/或电气接触。“耦合”的意思可以是两个或更多个元素与彼此发生直接的物理和/或电气接触。然而，“耦合”也可以指两个或更多个元素没有与彼此发生直接接触，但仍与彼此合作或交互。例如，执行单元可以通过一个或多个居间组件与寄存器和/或解码单元耦合。在附图中，箭头被用来显示连接和耦合。

本文公开的逻辑和模块可以用硬件(例如，集成电路、晶体管、逻辑门，等等)、固件(例如，存储微代码、微指令或其他低级别或电路级指令的非易失性存储器)、软件(例如，存储在非暂态计算机可读存储介质上的高级别指令)或其组合(例如，硬件和/或固件可能与一些软件相结合)来实现。在一些情况下，如果已示出和描述了多个逻辑或模块，则在适当的情况下，它们反而可以可选地被集成在一起成为单个逻辑或模块。在其他情况下，如果已示出和描述了单个逻辑或模块，则在适当的情况下，它可以可选地被分离成两个或更多个逻辑或模块。

此外，在上文描述的各种实施例中，除非另有特别注明，否则诸如短语“A、B或C中的至少一者”之类的析取语言打算被理解为意指A、B或C，或者其任何组合(例如，A、B和/或C)。因此，析取语言并不打算也不应当被理解为暗示给定的实施例要求至少一个A、至少一个B或者至少一个C各自都存在。

在以上描述中，阐述了许多具体细节以便提供对实施例的透彻理解。然而，没有这些具体细节中的一些也可以实现其他实施例。本发明的范围不是由上面提供的具体示例决定的，而只是由所附权利要求书决定。在其他情况下，以框图形式和/或没有细节地示出了公知的电路、结构、设备和操作，以避免模糊对描述的理解。在认为适当时，标号或标号的末端部分在图中重复出现，以指示对应或类似的元素，这些元素可以可选地具有类似或相同的特性，除非另有规定或者明显可见。

某些操作可由硬件组件执行，或者可体现在机器可执行或电路可执行的指令中，这些指令可被用于引起和/或导致用这些指令编程的机器、电路或硬件组件(例如，处理器、处理器的一部分、电路等等)执行这些操作。这些操作也可以可选地由硬件和软件的组合来执行。处理器、机器、电路或硬件可包括具体或特定的电路或其他逻辑(例如，可能与固件和/或软件相结合的硬件)，可操作来执行和/或处理指令并且存储响应于指令的结果。

一些实施例包括包含机器可读介质的制造品(例如，计算机程序产品)。该介质可包括一种机制，该机制以机器可读的形式提供信息，例如存储信息。机器可读介质可提供或在其上存储指令或指令序列，该指令或指令序列如果被机器执行和/或在被机器执行时，可操作来使得机器执行和/或导致机器执行本文公开的一个或多个操作、方法或技术。

在一些实施例中，机器可读介质可包括有形和/或非暂态机器可读存储介质。例如，非暂态机器可读存储介质可包括软盘、光存储介质、光盘、光数据存储设备、CD-ROM、磁盘、磁光盘、只读存储器(read only memory，ROM)、可编程ROM(programmable ROM，PROM)、可擦除可编程ROM(erasable-and-programmable ROM，EPROM)、电可擦除可编程ROM(electrically-erasable-and-programmable ROM，EEPROM)、随机访问存储器(randomaccess memory，RAM)、静态RAM(static-RAM，SRAM)、动态RAM(dynamic-RAM，DRAM)、闪存、相变存储器、相变数据存储材料、非易失性存储器、非易失性数据存储设备、非暂态存储器、非暂态数据存储设备，等等。非暂态机器可读存储介质不包括暂态的传播信号。在一些实施例中，存储介质可包括包含固态物质或材料的有形介质，例如半导体材料、相变材料、磁性固态材料、固态数据存储材料，等等。或者，可以可选地使用非有形暂态计算机可读传输介质，例如，电、光、声或其他形式的传播信号——例如载波、红外信号和数字信号。

适当机器的示例包括但不限于通用处理器、专用处理器、数字逻辑电路、集成电路，等等。适当机器的其他示例包括计算机系统或其他电子设备，其中包括处理器、数字逻辑电路或集成电路。这种计算机系统或电子设备的示例包括但不限于桌面型计算机、膝上型计算机、笔记本计算机、平板计算机、上网本、智能电话、蜂窝电话、服务器、网络设备(例如，路由器和交换机)、移动互联网设备(Mobile Internet device，MID)、媒体播放器、智能电视、上网电脑、机顶盒、以及视频游戏控制器。

提及“一个实施例”、“一实施例”、“一示例实施例”等等表明描述的实施例可包括特定的特征、结构或特性，但可能不一定每个实施例都包括该特定特征、结构或特性。此外，这种短语不一定指的是同一实施例。另外，当联系一实施例来描述特定的特征、结构或特性时，认为联系其他实施例(无论是否明确描述)来实现这种特征、结构或特性，是在本领域技术人员的知识范围内的。

说明书和附图因此应被认为是说明性的，而不是限制性的。然而，很明显，在不脱离如权利要求中记载的本公开的更宽精神和范围的情况下，可对其进行各种修改和改变。

示例实施例

以下示例涉及进一步实施例。示例中的具体细节可被用在一个或多个实施例中的任何地方。

示例1是一种方法，该方法包括：施行下述操作：在第一受保护虚拟机(VM)从第一平台到第二平台的迁移的有序阶段期间，通过流在所述第二平台处接收到的所述第一受保护VM的多个状态捆绑包被导入到所述第二平台的第二受保护VM，导入的顺序与从所述第一受保护VM导出所述多个状态捆绑包的顺序相同。所述方法还包括：通过所述流接收标记，所述标记用于标记所述迁移的有序阶段的结束。所述方法还包括：确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所有状态捆绑包已被导入到所述第二受保护VM。所述方法还包括：基于确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM，而开始所述迁移的无序阶段。

示例2包括如示例1所述的方法，还包括，在所述迁移的无序阶段中，允许第二多个状态捆绑包被以与从所述第一受保护VM导出所述第二多个状态捆绑包的顺序不同的顺序导入到所述第二受保护VM。

示例3包括如示例1至2中的任何一者所述的方法，还包括：基于确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM，而开始执行所述第二受保护VM。

示例4包括如示例1至3中的任何一者所述的方法，可选地其中所述施行包括施行所述多个状态捆绑包中的指示出从所述第一受保护VM导出所述多个状态捆绑包的顺序的值分别与指示被导入到所述第二受保护VM中的所述多个状态捆绑包的数目的值相一致。

示例5包括如示例1至4中的任何一者所述的方法，还包括可选地通过第二流接收所述第一受保护VM的多个状态捆绑包，可选地利用第一虚拟中央处理单元(vCPU)处理通过所述流接收的多个状态捆绑包，并且可选地利用第二vCPU处理通过所述第二流接收的多个状态捆绑包。

示例6包括如示例1至5中的任何一者所述的方法，还包括可选地施行下述操作：在所述迁移的有序阶段期间通过第二流在所述第二平台处接收的所述第一受保护VM的第二多个状态捆绑包被导入到所述第二受保护VM，导入的顺序与从所述第一受保护VM导出所述第二多个状态捆绑包的顺序相同。所述方法还可选地包括通过所述第二流接收第二标记。所述方法还可选地包括在确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM之前，确定在通过所述第二流接收的所述第二标记导出之前从所述第一受保护VM导出的所有状态捆绑包已被导入到所述第二受保护VM。

示例7包括如示例1至6中的任何一者所述的方法，还包括通过用于将所述第一受保护VM的状态捆绑包传送到所述第二平台的多个流中的每一者接收标记，并且可选地其中通过所述流接收所述标记包括在通过所述多个流接收所述标记之后通过所述流接收所述标记。

示例8包括如示例1至7中的任何一者所述的方法，可选地还包括从虚拟机监视器接收命令基元，并且可选地其中所述确定和所述开始是响应于所述命令基元而执行的。

示例9包括如示例1至8中的任何一者所述的方法，可选地其中所述第二受保护VM是信任域，并且所述方法可选地还包括使所述信任域的状态对于所述第二平台的虚拟机监视器维持保密。

示例10包括如示例1至9中的任何一者所述的方法，可选地其中所述流是经计数器模式加密和认证的流。

示例11包括如示例1至10中的任何一者所述的方法，可选地其中所述标记被用对于VMM保持保密的迁移能力密钥来加密。

示例12是一种非暂态机器可读存储介质，存储多个指令，所述多个指令在被机器执行的情况下使得所述机器执行操作，所述操作包括：施行下述操作：在第一受保护虚拟机(VM)从第一平台到第二平台的迁移的有序阶段期间，通过流在所述第二平台处接收到的所述第一受保护VM的多个状态捆绑包被导入到所述第二平台的第二受保护VM，导入的顺序与从所述第一受保护VM导出所述多个状态捆绑包的顺序相同。所述操作还包括：确定在导出所述迁移的有序阶段结束的标记之前从所述第一受保护VM导出的所有状态捆绑包是否已被导入到所述第二受保护VM，所述标记是通过所述流接收的。所述操作还包括：基于确定结果是否是在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM，而确定是否开始所述迁移的无序阶段。

示例13包括如示例12所述的非暂态机器可读存储介质，可选地其中确定是否开始所述迁移的无序阶段的指令还包括在被所述机器执行的情况下使得所述机器执行包括如下操作的指令：基于确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM，而确定开始所述迁移的无序阶段。

示例14包括如示例12至13中的任何一者所述的非暂态机器可读存储介质，可选地其中确定是否开始所述迁移的无序阶段的指令还包括在被所述机器执行的情况下使得所述机器执行包括如下操作的指令：在确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包还没有被导入到所述第二受保护VM时，确定中止所述迁移。

示例15包括如示例12至14中的任何一者所述的非暂态机器可读存储介质，可选地其中所述指令还包括在被所述机器执行的情况下使得所述机器执行包括如下操作的指令：在所述迁移的无序阶段中，允许第二多个状态捆绑包被以与在所述迁移的无序阶段期间从所述第一受保护VM导出所述第二多个状态捆绑包的顺序不同的顺序导入到所述第二受保护VM。

示例16包括如示例12至15中的任何一者所述的非暂态机器可读存储介质，可选地其中所述指令还包括在被所述机器执行的情况下使得所述机器执行包括如下操作的指令：基于确定结果是否是在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM，而确定是否开始所述第二受保护VM的执行。

示例17包括如示例12至16中的任何一者所述的非暂态机器可读存储介质，可选地其中所述施行的指令还包括在被所述机器执行的情况下使得所述机器执行包括如下操作的指令：施行下述操作，即所述多个状态捆绑包中的指示出从所述第一受保护VM导出所述多个状态捆绑包的顺序的值分别与指示被导入到所述第二受保护VM中的所述多个状态捆绑包的数目的值相一致。

示例18是一种装置，包括多个核心，以及非暂态机器可读存储介质。所述非暂态机器可读存储介质存储多个指令，所述多个指令在被机器执行的情况下使得所述机器执行操作。所述操作包括：施行下述操作：在第一受保护虚拟机(VM)从第一平台到第二平台的迁移的有序阶段期间，通过流在所述第二平台处接收到的所述第一受保护VM的多个状态捆绑包被导入到所述第二平台的第二受保护VM，导入的顺序与从所述第一受保护VM导出所述多个状态捆绑包的顺序相同。所述操作还包括：确定在导出所述迁移的有序阶段结束的标记之前从所述第一受保护VM导出的所有状态捆绑包是否已被导入到所述第二受保护VM，所述标记是通过所述流接收的。所述操作还包括：基于确定结果是否是在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM，而确定是否开始所述迁移的无序阶段。

示例19包括如示例18所述的装置，可选地其中确定是否开始所述迁移的无序阶段的指令还包括在被所述机器执行的情况下使得所述机器执行包括如下操作的指令：在确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM时，确定开始所述迁移的无序阶段，并且可选地在确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包还没有被导入到所述第二受保护VM时，确定中止所述迁移。

示例20包括如示例18至19中的任何一者所述的装置，可选地其中所述多个状态捆绑包被根据计数器模式加密利用迁移能力密钥来进行加密，还包括受保护迁移服务VM向所述第一平台认证所述第二平台，并且可选地其中所述迁移能力密钥不对所述受保护迁移服务VM保持保密，但对虚拟机监视器(VMM)保持保密。

示例21包括如示例18至20中的任何一者所述的装置，可选地其中所述标记被根据计数器模式加密利用迁移能力密钥来进行加密和完好性保护，所述迁移能力密钥对虚拟机监视器(VMM)保持保密。

示例22是一种装置，包括中央处理单元(CPU)，以及与所述CPU耦合的处理器，来施行下述操作：在第一受保护虚拟机(VM)从第一平台到第二平台的迁移的有序阶段期间，通过流在所述第二平台处接收到的所述第一受保护VM的多个状态捆绑包被导入到所述第二平台的第二受保护VM，导入的顺序与从所述第一受保护VM导出所述多个状态捆绑包的顺序相同。与所述CPU耦合的所述处理器还确定在导出所述迁移的有序阶段结束的标记之前从所述第一受保护VM导出的所有状态捆绑包是否已被导入到所述第二受保护VM，所述标记是通过所述流接收的。与所述CPU耦合的所述处理器还基于确定结果是否是在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM，而确定是否开始所述迁移的无序阶段。

示例23包括如示例22所述的装置，可选地其中与所述CPU耦合的所述处理器可选地还在确定在通过所述流接收所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM时，确定开始所述迁移的无序阶段。与所述CPU耦合的所述处理器可选地还在确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包还没有被导入到所述第二受保护VM时，确定中止所述迁移。

示例24包括如示例22至23中的任何一者所述的装置，可选地其中所述多个状态捆绑包可选地被根据计数器模式加密利用迁移能力密钥来进行加密，并且可选地还包括受保护迁移服务VM向所述第一平台认证所述第二平台，并且可选地其中所述迁移能力密钥不对所述受保护迁移服务VM保持保密，但对VMM保持保密。

示例25包括如示例22至24中的任何一者所述的装置，可选地其中所述标记可选地被根据计数器模式加密利用迁移能力密钥来进行加密和完好性保护，所述迁移能力密钥可选地对VMM保持保密。

示例26包括如示例22至25中的任何一者所述的装置，可选地其中所述流可选地是经计数器模式加密和可选地认证的流。

示例27是一种可操作来执行如示例1至11中的任何一者所述的方法的装置。

示例28是一种装置，包括用于执行如示例1至11中的任何一者所述的方法的部件。

示例29是一种装置，包括可操作来执行如示例1至11中的任何一者所述的方法的模块和/或单元和/或逻辑和/或电路和/或部件的任何组合。

示例30是一种可选地非暂态和/或有形的机器可读介质，其可选地存储或者以其他方式提供指令，所述指令在被计算机系统或其他机器执行的情况下和/或在被计算机系统或其他机器执行时，可操作来使得所述机器执行如示例1至11中的任何一者所述的方法。

Claims

1.一种用于迁移虚拟机的装置，包括：

多个核心；以及

非暂态机器可读存储介质，所述非暂态机器可读存储介质存储多个指令，所述多个指令在被机器执行的情况下，使得所述机器执行操作，所述操作包括：

施行下述操作：在第一受保护虚拟机(VM)从第一平台到第二平台的迁移的有序阶段期间，通过流在所述第二平台处接收到的所述第一受保护VM的多个状态捆绑包被导入到所述第二平台的第二受保护VM，导入的顺序与从所述第一受保护VM导出所述多个状态捆绑包的顺序相同；

确定在导出所述迁移的有序阶段结束的标记之前从所述第一受保护VM导出的所有状态捆绑包是否已被导入到所述第二受保护VM，所述标记是通过所述流接收的；并且

基于确定结果是否是在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM，而确定是否开始所述迁移的无序阶段。

2.如权利要求1所述的装置，其中确定是否开始所述迁移的无序阶段的指令还包括在被所述机器执行的情况下使得所述机器执行包括如下操作的指令：

在确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM时，确定开始所述迁移的无序阶段；

在确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包还没有被导入到所述第二受保护VM时，确定中止所述迁移；并且

响应于确定中止所述迁移，向所述第一平台发送中止令牌，所述中止令牌指示出所述第一平台上的所述第一受保护VM在其执行已停止之后被允许重启。

3.如权利要求1至2中任一项所述的装置，其中所述多个状态捆绑包被根据计数器模式加密利用迁移能力密钥来进行加密，所述操作还包括受保护迁移服务VM向所述第一平台认证所述第二平台，并且其中所述迁移能力密钥不对所述受保护迁移服务VM保持保密，但对虚拟机监视器(VMM)保持保密。

4.如权利要求1至2中任一项所述的装置，其中所述标记被根据计数器模式加密利用迁移能力密钥来进行加密和完好性保护，所述迁移能力密钥对虚拟机监视器(VMM)保持保密。

5.一种用于迁移虚拟机的装置，包括：

中央处理单元(CPU)；以及

与所述CPU耦合的处理器：

确定在导出所述迁移的有序阶段结束的标记之前从所述第一受保护VM导出的所有状态捆绑包是否已被导入到所述第二受保护VM，所述标记是通过所述流接收的；以及

6.如权利要求5所述的装置，其中与所述CPU耦合的所述处理器：

7.如权利要求5至6中任一项所述的装置，其中所述多个状态捆绑包被根据计数器模式加密利用迁移能力密钥来进行加密，所述处理器还使得受保护迁移服务VM向所述第一平台认证所述第二平台，并且其中所述迁移能力密钥不对所述受保护迁移服务VM保持保密，但对虚拟机监视器(VMM)保持保密。

8.如权利要求5至6中任一项所述的装置，其中所述标记被根据计数器模式加密利用迁移能力密钥来进行加密和完好性保护，所述迁移能力密钥对虚拟机监视器(VMM)保持保密。

9.如权利要求5至6中任一项所述的装置，其中所述流是经计数器模式加密和认证的流。

10.一种方法，包括：

通过所述流接收标记，所述标记用于标记所述迁移的有序阶段的结束；

确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所有状态捆绑包已被导入到所述第二受保护VM；并且

基于确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM，而开始所述迁移的无序阶段。

11.如权利要求10所述的方法，还包括：在所述迁移的无序阶段中，允许第二多个状态捆绑包被以与从所述第一受保护VM导出所述第二多个状态捆绑包的顺序不同的顺序导入到所述第二受保护VM。

12.如权利要求10所述的方法，还包括：基于确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM，而开始执行所述第二受保护VM。

13.如权利要求10所述的方法，其中所述施行包括施行所述多个状态捆绑包中的指示从所述第一受保护VM导出所述多个状态捆绑包的顺序的值分别与指示被导入到所述第二受保护VM中的所述多个状态捆绑包的数目的值相一致。

14.如权利要求10所述的方法，还包括：

通过第二流接收所述第一受保护VM的多个状态捆绑包；并且

利用第一虚拟中央处理单元(vCPU)处理通过所述流接收的多个状态捆绑包；并且

利用第二vCPU处理通过所述第二流接收的多个状态捆绑包。

15.如权利要求10所述的方法，还包括：

施行下述操作：在所述迁移的有序阶段期间通过第二流在所述第二平台处接收的所述第一受保护VM的第二多个状态捆绑包被导入到所述第二受保护VM，导入的顺序与从所述第一受保护VM导出所述第二多个状态捆绑包的顺序相同；

通过所述第二流接收第二标记；并且

在确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM之前，确定在通过所述第二流接收的所述第二标记导出之前从所述第一受保护VM导出的所有状态捆绑包已被导入到所述第二受保护VM。

16.如权利要求10所述的方法，还包括：通过用于将所述第一受保护VM的状态捆绑包传送到所述第二平台的多个流中的每一者接收标记，并且其中通过所述流接收所述标记包括在通过所述多个流接收所述标记之后通过所述流接收所述标记。

17.如权利要求10所述的方法，还包括：从虚拟机监视器接收命令基元，并且其中所述确定和所述开始是响应于所述命令基元而执行的。

18.如权利要求10所述的方法，其中所述流是经计数器模式加密和认证的流，其中所述第二受保护VM是信任域，并且所述方法还包括使所述信任域的状态对于所述第二平台的虚拟机监视器维持保密。

19.如权利要求10所述的方法，其中所述标记被利用迁移能力密钥来进行加密，所述迁移能力密钥对虚拟机监视器(VMM)保持保密。

20.如权利要求10所述的方法，还包括：当所述第一受保护VM的迁移策略允许创建所述第一受保护VM的多个实例时，将通过第二流在所述第二平台处接收的所述第一受保护VM的多个状态捆绑包导入到所述第二平台的第三受保护VM。

21.一种用于迁移虚拟机的装置，包括：

施行下述操作的模块：在第一受保护虚拟机(VM)从第一平台到第二平台的迁移的有序阶段期间，通过流在所述第二平台处接收到的所述第一受保护VM的多个状态捆绑包被导入到所述第二平台的第二受保护VM，导入的顺序与从所述第一受保护VM导出所述多个状态捆绑包的顺序相同；

通过所述流接收标记的模块，所述标记用于标记所述迁移的有序阶段的结束；

确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所有状态捆绑包已被导入到所述第二受保护VM的模块；以及

基于确定在通过所述流接收的所述标记导出之前从所述第一受保护VM导出的所述所有状态捆绑包已被导入到所述第二受保护VM，而开始所述迁移的无序阶段的模块。

22.一种包括代码的机器可读介质，所述代码在被执行时使得机器执行权利要求10至20中任一项所述的方法。