CN102622245A

CN102622245A - 一种sun4v架构下的虚拟机自动启动控制方法

Info

Publication number: CN102622245A
Application number: CN2012100431520A
Authority: CN
Inventors: 董攀; 易晓东; 吴庆波; 戴华东; 颜跃进; 孔金珠; 刘晓建; 秦莹
Original assignee: National University of Defense Technology
Current assignee: National University of Defense Technology
Priority date: 2012-02-24
Filing date: 2012-02-24
Publication date: 2012-08-01
Anticipated expiration: 2032-02-24
Also published as: CN102622245B

Abstract

本发明公开了一种sun4v架构下的虚拟机自动启动控制方法，其实施步骤如下：1）控制域在加载物理磁盘驱动服务后加载逻辑域虚拟串口所对应逻辑域信道的驱动；2）控制域通过所述逻辑域信道向各客户域的虚拟串口写入回车控制符，然后读取各客户域的虚拟串口从逻辑域信道的返回数据，重复执行步骤2）直至客户域返回数据为操作系统加载器启动完毕的消息；3）控制域获取各客户域的操作系统启动命令，控制域以虚拟串口写方式通过逻辑域信道向操作系统加载器已经启动完毕的客户域的虚拟串口写入操作系统启动命令并发送回车控制符。本发明具有启动速度快、启动效率高、无需人工干预、适用范围广的优点。

Description

一种sun4v架构下的虚拟机自动启动控制方法

技术领域

本发明涉及虚拟机管理机制，具体涉及一种sun4v架构下实现无物理磁盘IO设备的虚拟机中操作系统从虚拟磁盘设备启动的方法。

背景技术

虚拟化技术已经在计算机领域获得了广泛应用，目前的虚拟化技术可以分为两大类，一类是对单物理机器上的冗余资源通过分区或复用等方式建立多个虚拟机环境，另一类是将多个物理机资源进行整合以建立能力更为强大的统一计算机环境，下文的技术内容及涉及的“虚拟化技术”等名词一般是面向单一物理计算机系统上的虚拟化。

如图1所示，虚拟化技术给计算机系统引入了一个新的软件层次（也称为特权级或运行态），传统的计算机系统软件一般由操作系统和用户软件组成，虚拟化的计算机中在操作系统下加入了虚拟机监控器（Virtual Machine Monitor, VMM）层，完成对资源隔离管理等工作。从计算机资源组成的角度出发，虚拟化技术构成可以分为三个方面：CPU资源虚拟化、内存资源虚拟化、IO（Input-Output）资源虚拟化。三种技术就是将对应的资源在VMM的管理下以某种隔离方式分配到不同的虚拟机（Virtual Machine, VM）环境中，使虚拟机中的系统软件认为它们拥有自己的相应私有资源。CPU和内存资源的虚拟化相对简单。对于CPU，VMM可以进行时间片分割或在CPU数量足够时将CPU直接分配到各虚拟机；对于内存，VMM可以使用分页、分段等内存映射技术隔离分配给虚拟机使用。IO资源的虚拟化有其相对特殊性。首先，IO设备对系统来说是不确定的，因为允许总线上热拔插事件和故障隐退。其次，标准PCI总线上设备的管理具有较强关联性，必须一次扫描完成其上所有设备的初始化，VMM难以将不同的设备直接分配到各虚拟机，更难以对设备进行分时分配。第三，IO设备种类繁多，驱动程序的可靠性差，一般交由虚拟机操作系统直接驱动。基于上述原因，VMM一般只能以PCI总线域（或者HOST主桥）的粒度将IO设备分配到虚拟机，由虚拟机对主桥下总线上挂接的各种设备进行驱动管理。计算机上PCI总线域数量有限，一般只有一个，因此传统的虚拟化技术一般是把所有IO设备交给一个特殊的虚拟机管理，这个虚拟机称为控制域或者Domain0，其它虚拟机通过虚拟信道使用控制域提供的服务完成自己的IO，这些虚拟机称为客户域或者DomainU。

如图2所示，控制域以及客户域对磁盘设备访问的过程如下：控制域可以对文件系统（FS）进行直接读写并访问本地磁盘驱动程序；客户域中没有真实的IO设备，但是拥有虚拟磁盘，这是虚拟磁盘客户端驱动程序vdc（virtual disk client）提供的。客户域的文件系统操作命令被vdc转换为通信协议通过域间信道LDC发送到控制域的服务程序vds（virtual disk server），vds访问本地文件系统或磁盘驱动完成访问请求后，再将返回结果转换为协议通过域间信道发送给客户域的vdc驱动，客户域的读写请求最终完成。对于不拥有真实IO总线的客户域，必须在控制域启动完毕并加载vds后端驱动之后，才能使用vdc并具备虚拟磁盘的访问能力，这就产生了客户域操作系统的启动时机问题。诸如sun4v架构的平台上，VMM被设计成精简的软件薄层hypervisor，系统中的多个虚拟机以分区方式拥有CPU和内存资源，各个虚拟机可以在互不干扰的情况下被hypervisor同时加电启动，但普通客户域只能在启动到OS加载器后等待控制域启动并提供服务，之后OS加载器才能启动虚拟磁盘上的操作系统。在以虚拟化技术为基石的集群服务器或是云计算支持系统中，出于系统启动速度和管理维护上的考虑，虚拟机操作系统的自动启动是应该被支持的重要特性。

sun4v架构是SUN公司在sparc系列处理器上开发的硬件级虚拟化技术架构，在处理器上实现了对CPU分区、内存分区、以及IO虚拟化的指令和寄存器支持。SUN公司将基于sun4v架构的opensparc T1和opensparc T2处理器开源。飞腾1000系列通用处理器（下简称飞腾CPU）是由国防科技大学自主研发的高性能通用微处理器，基于opensparc T2架构设计，兼容sparcv9指令集。飞腾CPU芯片使用成熟的SOC技术，片上集成了8个处理核，核内包含8个硬件线程，具有强大的计算和事务处理能力。此外芯片上还集成存控单元和PCI Express接口，有效解决了IO瓶颈问题。为了更加高效地使用处理器芯片上提供的“海量”资源，飞腾处理器的设计中还引入了完备的硬件虚拟化支持，使SOC系统又可以被划分成相互隔离的资源分区，支持多达64个虚拟机的同时运行，不但可使系统资源利用率得到大幅度提升，还能在高可用、高安全方面有更佳表现。飞腾CPU平台上的虚拟化技术也是以SUN公司开发的sun4v技术为基础构建。软件被分为hyper-privilege、privilege和non-privilege三种运行态，分别对应于VMM、操作系统内核和用户态软件。三个运行态的软件分别可以访问物理地址、实地址和虚地址，操作系统只能访问到实地址和虚地址，VMM才能访问物理地址。目前的sun4v虚拟化技术构件中主要采用虚拟共享访问IO方式。对于sun4v架构下的虚拟化平台而言，传统的客户域启动一般是利用系统提供的逻辑域管理管理工具（LDM）提供的配置管理命令人工完成。在sun4v系统平台上，虚拟机监控器hypervisor、OS加载器OBP（Open Boot Prom）都被集成在主机固件中，此外还可以将各分区的机器描述文件MD（Machine Discription）也集成到固件中。Hypervisor启动时，如果发现了多个分区的合法MD描述，则会同时对这些虚拟分区的vcpu进行加电启动。此后，每个分区的主启动vcpu会将自己的OBP复制到分区内存，并且执行。OBP在启动完毕后，可以根据配置自动启动OS，或是等待用户输入boot命令再启动指定的OS。

如图3所示，在hyper-privilege执行过程中，控制域和客户域各执行一个主线程，控制域的线程为0号线程。0号线程以及各个客户域的主线程首先执行逻辑域初始化，然后加载OBP（OS加载器）。在加载OBP完毕后，0号线程首先扫描物理总线并加载设备驱动，然后自动或者手工加载物理磁盘中的控制域OS，控制域OS启动完成以后则在控制域中加载vds驱动。在控制域操作系统启动完成、vds服务已经就绪，用户通过控制域提供的控制台服务登录到客户域的串口上，通过启动命令启动客户域的操作系统。因此，在OBP和OS加载过程中，首先由控制域自动或者手工加载物理磁盘中的OS，然后控制域的OS启动并完成加载vds驱动；各个客户域则扫描虚拟总线并加载设备驱动vdc后，在虚拟磁盘访问请求无回应时不断等待，直到请求收到控制域的返回消息后才自动或者手工加载虚拟磁盘操作系统，这样存在很大的弊端：1、依赖于逻辑域管理管理工具（LDM）工具套件；2、虚拟机启动过程中需要人工干预，通过逻辑域管理管理工具（LDM）工具套件同时只能管理一个客户域的启动，人工启动效率低下，导致虚拟机启动非常慢，无法实现虚拟机的自动启动。因此影响了sun4v架构下的虚拟化平台的应用。

发明内容

本发明要解决的技术问题是提供一种启动速度快、启动效率高、无需人工干预、适用范围广的sun4v架构下的虚拟机自动启动控制方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种sun4v架构下的虚拟机自动启动控制方法，其实施步骤如下：

1）控制域在加载物理磁盘驱动服务后加载逻辑域虚拟串口所对应逻辑域信道的驱动；

2）控制域通过所述逻辑域信道向各客户域的虚拟串口写入回车控制符，然后读取各客户域的虚拟串口从逻辑域信道的返回数据，重复执行步骤2）直至客户域返回数据为操作系统加载器启动完毕的消息；

3）控制域获取各客户域的操作系统启动命令，控制域以虚拟串口写方式通过逻辑域信道向操作系统加载器已经启动完毕的客户域的虚拟串口写入操作系统启动命令并发送回车控制符。

作为本发明上述技术方案的进一步改进：

所述步骤3）控制域在发送回车控制符后还包括检测客户域操作系统启动状态的步骤，所述检测客户域操作系统启动状态的步骤具体包括：控制域在发送回车控制符后读取客户域虚拟串口从逻辑域信道的返回数据，如果客户域返回数据为操作系统启动成功消息，则关闭到客户域之间的逻辑域信道连接并退出；否则跳转执行所述步骤2）直至所有客户域的操作系统启动完毕。

所述步骤2）的详细步骤包括：控制域首先设定逻辑域信道用于连接各个客户域的TCP端口，由虚拟telnet管理服务将虚拟串口的数据转换到这些TCP端口上，然后分别通过各个TCP端口向各客户域虚拟串口写入回车控制符，并通过各个TCP端口读取各客户域虚拟串口的返回数据。

所述步骤3）中控制域获取各客户域的操作系统启动命令的详细步骤如下：控制域首先获取各个客户域对应的TCP端口，然后根据所述TCP端口查找对应客户端的操作系统启动命令。

所述步骤3）中写入操作系统启动命令具体是指控制域将操作系统启动命令写入到字符数组中，然后以串口写方式将所述字符数组中的字符逐一通过逻辑域信道写入客户域的虚拟串口。

所述操作系统启动命令包括虚拟磁盘操作系统启动命令和网络操作系统启动命令。

所述步骤3）中控制域以虚拟串口写方式向客户域的虚拟串口写入操作系统启动命令并发送回车控制符的详细步骤如下：控制域预先设置用于作为指定客户域操作系统启动前提条件的触发消息，且预先在另一关联的客户域中设置向控制域发送所述触发消息的守护程序，控制域在向所述指定客户域写入操作系统启动命令之前预先判断是否收到对应的触发消息，如果尚未收到触发消息则暂停向指定客户域的虚拟串口写入操作系统启动命令，并在收到所述触发消息后以串口写方式向客户域的虚拟串口写入操作系统启动命令并发送回车控制符。

本发明具有下述优点：

1、本发明的控制域在物理磁盘的驱动以及逻辑域信道的驱动已被控制域内核加载、客户域OBP启动完毕即可自动与各客户域分别建立虚拟串口连接，并通过虚拟串口连接与客户域进行自动交互实现客户域的快速自动启动，适用于无LDM（逻辑域管理）工具套件辅助的情况，而且本发明启动过程中不需要人工干预，可以同时管理多个客户域的启动，并在控制域加电启动完毕后以最快速度启动客户域，尤其对于包括云服务器在内的拥有大量虚拟机的场合而言，本发明能够极大提升全系统的启动效率，具有启动速度快、启动效率高、无需人工干预、适用范围广的优点。

2、本发明控制域进一步设定逻辑域信道用于连接各个客户域的TCP端口，通过TCP端口来支持和区分不同客户域，而且后续进一步根据TCP端口查找对应客户端的操作系统启动命令，实现简单方便。

3、本发明的操作系统启动命令进一步包括虚拟磁盘操作系统启动命令和网络操作系统启动命令，除能够支持虚拟磁盘启动客户域操作系统以外，还能够支持网络启动客户域操作系统以适应无盘服务器的场景，适用范围广泛。

4、本发明的通过设置用于启动指定客户域操作系统的触发消息、预先在另一客户域中设置用于在操作系统启动后向控制域发送所述触发消息的守护程序、控制域在向所述指定客户域写入操作系统启动命令之前预先判断是否收到对应的触发消息，能够控制不同客户域的操作系统启动顺序，实现客户域的条件启动和顺序启动，易于建立灵活的自动启动时机点，能够适应复杂的需求、满足不同客户域的启动关联性的需求。

附图说明

图1为现有技术虚拟化的计算机的框架结构示意图。

图2为现有技术控制域以及客户域对磁盘设备访问的过程示意图。

图3为现有技术虚拟机启动的流程示意图。

图4为本发明实施例的实施流程示意图。

具体实施方式

本实施例的虚拟机环境为基于sun4v架构的飞腾处理器平台，控制域拥有PCIE总线（MD中指定），客户域没有物理PCIE总线设备，客户域操作系统文件位于由虚拟磁盘服务提供的虚拟磁盘中。为表达方便，下文中的串口均指虚拟串口。

如图4所示，本发明实施例的sun4v架构下的虚拟机自动启动控制方法的实施步骤如下：

1）控制域在加载物理磁盘驱动服务（vds）后加载逻辑域信道（UART_LDC）的驱动；

2）控制域通过逻辑域信道向各客户域的串口写入回车控制符，然后读取各客户域的串口从逻辑域信道的返回数据，重复执行步骤2）直至客户域返回数据为操作系统加载器（OBP）启动完毕的消息；

3）控制域获取各客户域的操作系统启动命令，控制域以串口写方式通过逻辑域信道向操作系统加载器（OBP）已经启动完毕的客户域的串口写入操作系统启动命令并发送回车控制符。

本实施例中步骤1）～步骤3）中的功能均是通过添加在控制域的虚拟网络终端服务器守护程序（vntsd服务）的启动代码中，选取vntsd服务的启动作为客户域启动时机点，vntsd服务是控制域操作系统中提供的虚拟控制台服务。vntsd服务会建立到每个客户域串口的UART_LDC的连接，vntsd服务针对每个运行态的客户虚拟机串口提供一个TCP端口给控制域用户，vntsd服务通过TCP端口将用户输入提交给客户域OBP，并通过TCP端口将客户域的串口输出信息中转给telnet用户。控制域用户通过telnet应用连接到对应每个虚拟机的tcp端口，就如同登录到该虚拟机的串口上一样。选择vntsd服务的启动点作为客户域启动时机的依据为：1. 此时控制域OS基本启动完毕，客户域有充足的时间已经启动到OBP就绪状态；2. 此时控制域OS已经完成加载所有内核模块和设备驱动程序，vds服务已经就绪；3. vntsd要占用UART_LDC信道，先于vntsd完成本发明的代码，可以防止信道（设备）冲突。UART_LDC是对用于建立控制域到客户域串口连接的逻辑域信道的通称，控制域到每个客户域都会配置至少一条串口连接，这是在创建客户域时的标准配置，并会在控制域中分配对应的通信端口（port）。对于应用级的服务，UART_LDC由内核封装后暴露一个设备节点，例如在solaris操作系统中的节点路径为：

uartpath=/devices/virtual-devices100/channel-devices200/virtual-console-concentrator0:ldom-dom1

本发明的代码中通过调用uartfd= open(uartpath, O_RDWR);指令得到串口的文件描述符，再利用标准UNIX文件操作write和read进行串口读写。客户域的操作系统内核接管CPU后，就会调用操作系统加载器（OBP）的串口，输出内核成功启动的消息。控制域通过判断读取的串口信息，就可以确认客户域操作系统是否被成功加载启动并向用户报告结果。由于每个分区的资源是严格隔离的，对于不拥有物理IO总线的客户域而言，同外界通信的唯一方式是逻辑域信道（LDC，Logical Domain Channel）。sun4v架构的虚拟化环境中，每个客户域都至少建立一条和控制域的LDC用于建立虚拟串口控制台，我们将该LDC命名为UART_LDC。控制域OS首先启动并加载LDC虚拟串口驱动程序，之后启动控制台服务并监听虚拟串口；客户域中的OBP首先启动，会将自己的虚拟串口设备进行初始化，并将启动信息和控制提示符通过虚拟串口提供给控制域；控制域OS的vntsd服务将通往每个客户域的UART_LDC关联到不同的TCP端口上，控制域用户通过telnet程序登录到本机的TCP端口，最终得到客户域的控制串口终端。因此，当固件中具备客户域的MD描述时，一般是客户域在OBP启动完毕状态即等待，直到控制域通过telnet终端得到OBP控制界面，并输入boot命令启动OS，此时控制域一般已经准备好进行虚拟磁盘IO服务。

步骤2）的详细步骤包括：控制域首先设定逻辑域信道用于连接各个客户域的TCP端口，然后分别通过各个TCP端口向各客户域的串口写入回车控制符，并通过各个TCP端口读取各客户域串口的返回数据。步骤3）中控制域获取各客户域的操作系统启动命令的详细步骤如下：控制域首先获取各个客户域对应的TCP端口，然后根据TCP端口查找对应客户端的操作系统启动命令。控制域和客户域之间的交互实际上通过telnet服务实现，控制域通过telnet用户登录客户域实现与客户域OBP的交互。对于操作系统加载器（OBP）而言，在启动完毕后会打印出“ok：”提示符，等待用户输入，如果用户输入回车控制符，则打印新的“ok：”提示符。由于本实施例中从控制域打开到客户域的串口时，客户域的OBP可能已经处于就绪状态，已经无法接收到“ok：”提示符，故发送一个回车控制符，利用返回结果判断客户域OBP是否就绪。由于OBP启动完毕的消息为命令行提示符“ok：”，因此如果客户域返回数据为“ok：”则判定客户域的OBP已经启动完毕，从而控制域针对该客户域跳转执行步骤3）。

步骤3）控制域在发送回车控制符后还包括检测客户域操作系统启动状态的步骤，检测客户域操作系统启动状态的步骤具体包括：控制域在发送回车控制符后以串口读方式读取客户域从逻辑域信道的返回数据，如果客户域返回数据为操作系统启动成功消息，则关闭到客户域之间的逻辑域信道连接并退出；否则跳转执行步骤2）直至所有客户域的操作系统启动完毕。通过对客户域操作系统启动状态的检测，能够更加精确地确定客户域操作系统的启动状态，从而在启动失败时继续与客户域的OBP交互，因此一旦客户域发生故障导致操作系统启动失败，仍然可以通过多次启动客户域的操作系统来减少客户域无法启动故障的可能性。

步骤3）中写入操作系统启动命令具体是指控制域将操作系统启动命令写入到字符数组中，然后将字符数组中的字符逐一通过逻辑域信道写入客户域的串口。步骤3）中控制域向客户域的串口写入操作系统启动命令并发送回车控制符的详细步骤如下：控制域预先设置用于作为指定客户域操作系统启动前提条件的触发消息，且预先在另一关联的客户域中设置向控制域发送触发消息的守护程序，控制域在向指定客户域写入操作系统启动命令之前预先判断是否收到对应的触发消息，如果尚未收到触发消息则暂停向指定客户域写入操作系统启动命令，并在收到触发消息后以串口写方式向客户域写入操作系统启动命令并发送回车控制符。例如，客户域B在客户域A启动到某个阶段时再启动，则控制域预先设置用于启动客户域B操作系统的触发消息，且预先在客户域A中设置用于在操作系统启动后向控制域发送触发消息的守护程序，守护程序在客户域A的操作系统启动后的相关阶段将触发消息打印到串口输出，如果控制域尚未收到触发消息则暂停向客户域B的串口写入操作系统启动命令，并在收到触发消息则通过虚拟串口连接向客户域B写入操作系统启动命令并发送回车控制符，从而控制不同客户域的启动顺序，实现客户域的条件启动和顺序启动，能够满足不同客户域的启动关联性的需求，例如适应某些虚拟机有启动的先后次序的要求，可以避免人工错误，易于建立灵活的自动启动时机点以适应复杂的需求，具有适用范围广的优点。

本实施例的操作系统启动命令包括虚拟磁盘操作系统启动命令和网络操作系统启动命令，虚拟磁盘操作系统启动命令可以使客户域从本域的虚拟磁盘进行OS启动，网络操作系统启动命令可以使客户域从本域的虚拟网络启动。本实施例中，虚拟磁盘操作系统启动命令为“boot 磁盘标识参数”形式，本实施例中将命令格式中的磁盘标识和参数都事先在客户域OBP的环境变量中进行配置，只需要输入命令boot和“回车”符就可以进行客户域操作系统的启动。虚拟磁盘操作系统启动命令和网络操作系统启动命令是通过参数net来区分的，只需要将boot命令的参数带上net，即形成“boot net 参数”形式的网络操作系统启动命令，就可以使客户域自动进行网络操作系统启动。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims

1.一种sun4v架构下的虚拟机自动启动控制方法，其特征在于其实施步骤如下：

2.根据权利要求1所述的sun4v架构下的虚拟机自动启动控制方法，其特征在于，所述步骤3）控制域在发送回车控制符后还包括检测客户域操作系统启动状态的步骤，所述检测客户域操作系统启动状态的步骤具体包括：控制域在发送回车控制符后读取客户域虚拟串口从逻辑域信道的返回数据，如果客户域返回数据为操作系统启动成功消息，则关闭到客户域之间的逻辑域信道连接并退出；否则跳转执行所述步骤2）直至所有客户域的操作系统启动完毕。

3.根据权利要求1所述的sun4v架构下的虚拟机自动启动控制方法，其特征在于，所述步骤2）的详细步骤包括：控制域首先设定逻辑域信道用于连接各个客户域的TCP端口，由虚拟telnet管理服务将虚拟串口的数据转换到这些TCP端口上，然后分别通过各个TCP端口向各客户域虚拟串口写入回车控制符，并通过各个TCP端口读取各客户域虚拟串口的返回数据。

4.根据权利要求3所述的sun4v架构下的虚拟机自动启动控制方法，其特征在于，所述步骤3）中控制域获取各客户域的操作系统启动命令的详细步骤如下：控制域首先获取各个客户域对应的TCP端口，然后根据所述TCP端口查找对应客户端的操作系统启动命令。

5.根据权利要求1所述的sun4v架构下的虚拟机自动启动控制方法，其特征在于：所述步骤3）中写入操作系统启动命令具体是指控制域将操作系统启动命令写入到字符数组中，然后以串口写方式将所述字符数组中的字符逐一通过逻辑域信道写入客户域的虚拟串口。

6.根据权利要求1所述的sun4v架构下的虚拟机自动启动控制方法，其特征在于：所述操作系统启动命令包括虚拟磁盘操作系统启动命令和网络操作系统启动命令。

7.根据权利要求1～6中任意一项所述的sun4v架构下的虚拟机自动启动控制方法，其特征在于，所述步骤3）中控制域以虚拟串口写方式向客户域的虚拟串口写入操作系统启动命令并发送回车控制符的详细步骤如下：控制域预先设置用于作为指定客户域操作系统启动前提条件的触发消息，且预先在另一关联的客户域中设置向控制域发送所述触发消息的守护程序，控制域在向所述指定客户域写入操作系统启动命令之前预先判断是否收到对应的触发消息，如果尚未收到触发消息则暂停向指定客户域的虚拟串口写入操作系统启动命令，并在收到所述触发消息后以串口写方式向客户域的虚拟串口写入操作系统启动命令并发送回车控制符。