CN103389909B - 一种渲染农场节点虚拟化部署系统及其应用 - Google Patents

Abstract

本发明涉及一种渲染农场节点虚拟化部署系统及其应用，包括宿主机、DHCP服务器、文件服务器和渲染计算集群，所述的宿主机分别与DHCP服务器、文件服务器、渲染计算集群连接；所述的宿主机从文件服务器中下载启动虚拟盘，对虚拟机进行启动，该虚拟机将宿主机中的空闲计算资源加入到渲染计算集群中进行渲染计算。与现有技术相比，本发明具有可以快速动态地将完全闲置或者部分闲置的用户工作站转换为渲染农场中渲染机的系统等优点。

Description

一种渲染农场节点虚拟化部署系统及其应用

技术领域

本发明涉及一种动画渲染相关技术，尤其是涉及一种渲染农场节点虚拟化部署系统及其应用。

背景技术

在三维动画制作领域中，渲染和模拟是消耗最多计算资源的步骤。为了能够在项目中顺利完成这个过程，可以使用大量的计算机以网格运算(grid computing)的方式进行集群计算。虽然，目前计算设备的价格已经较为低廉，但对应于制作上不断增长的效果需求，计算量也在飞速地成倍上升。所导致的结果的结果就是很多制作公司必须在这些渲染集群上消耗大量的制作成本。同时，对于大多数项目来说，要准确地去控制集群的计算量是非常困难的，从而很容易造成集群的闲置，或者突发性的巨大需求。一来造成浪费，二则有可能由于购入的集群难以应对突发的计算量需求而影响项目的进度。在此，对于大多数制作公司来说都拥有又很少完全利用到的计算资源——制作人员本身所使用的工作站。这些工作站一般都有着强大的计算资源，这些资源在一天之中通常只被用到1/3-1/2的时间，并且对于某些流程的制作者来说，计算资源更加是长时间处于闲置状态的。如果能够将这些计算资源快捷便利的加入计算集群中去，那么不仅可以消减一部分硬件开销，同时也为突发的计算需求提供了一个理想缓冲来源。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种渲染农场节点虚拟化部署系统及其应用。

本发明的目的可以通过以下技术方案来实现：

一种渲染农场节点虚拟化部署系统，其特征在于，包括宿主机、DHCP服务器、文件服务器和渲染计算集群，所述的宿主机分别与DHCP服务器、文件服务器、渲染计算集群连接，所述的宿主机上设有虚拟机；

所述的宿主机从文件服务器中下载启动虚拟盘，对虚拟机进行启动，该虚拟机将宿主机中的空闲计算资源加入到渲染计算集群中进行渲染计算。

所述的文件服务器提供统一的虚拟机启动介质。

一种渲染农场节点虚拟化部署系统的应用，其特征在于，包括以下步骤：

1)检测宿主机的资源，判定其空闲资源是否满足最低要求，若为是，执行步骤2)，若为否，返回失败；

2)判断宿主机是否能与文件服务器中的存取点进行连接，若为是，执行步骤3)，若为否，返回失败；

3)判断文件服务器上是否存在新的启动虚拟盘，若为是，复制新的启动虚拟盘给宿主机，并执行步骤4)，否则，执行步骤4)；

4)宿主机清理上次启动时遗留下的所有临时用虚拟盘，恢复安装完毕后的初始状态；

5)写入宿主机信息；

6)宿主机启动虚拟机；

7)读取宿主机信息，生成虚拟机的机器名信息；

8)DHCP服务器为虚拟机分配指定IP地址段；

9)判断虚拟机是否正常启动，若为是，执行步骤10)，若为否，执行步骤14)；

10)尝试挂载远程资源；

11)判断是否成功挂载，若为是，执行步骤12)，否则，执行步骤14)；

12)虚拟机启动集群渲染客户端，并判断是否与渲染计算集群成功连接，若为是，执行步骤13)，否则，执行步骤14)；

13)完成；

14)关闭虚拟机，清理临时虚拟盘，并返回失败。

所述的宿主机的资源为可以被在线地调配使用的资源，包括空闲CPU、空闲内存和剩余磁盘空间。

所述的虚拟机的特征信息是在虚拟机启动后自动赋予，包括机器名、Ip、登录用户信息。

与现有技术相比，本发明具有以下优点：

1)可以快速动态地将完全闲置或者部分闲置的用户工作站转换为渲染农场中渲染机的系统，通过该系统，管理员可以方便地隔离出用户工作站中闲置的CPU以及内存资源，直接加入渲染集群中去，快速并动态地扩大运算能力；

2)在本系统中使用linux系统作为虚拟机的操作系统，又由于虚拟机的硬件设备完全固定，所以可以对核心大幅裁剪，只留下必须的驱动和网络模块。同时系统也尽可能简化，最终不包括计算用软件的核心系统可以只有数十兆字节的大小。因此，本系统会在用户要求启动时，从公共的文件服务器上直接下载该系统虚拟盘，如此可以保证系统的完整性并更加不易被用户意外修改。由于极度精简系统的关系，所以从系统启动到加入集群通常可以在1分钟内完成。在需要关闭服务时，由于系统每一次都是重新获取镜像，因而可以直接强制关闭虚拟机而不用担心系统受损。由此为用户提供最快速收回系统资源的手段。

3)很多情况下，渲染农场所使用的计算工具会需要进行定期更新，本发明中，只有系统本身以及需要写权限的缓冲用目录会被包含在虚拟硬盘上。所有商业软件以及库文件都将被存放在一个公共的文件服务器上，虚拟机在启动后将这些内容挂载到本地。这种方式将会很好地解决软件/配置更新的问题。

4)由于系统的核心部分每次启动都会获得一个新的副本，而其他软件也会是只读挂载，所有可写的缓冲介质都会在启动时候重新创建，所以本发明可以保证每一次进入计算集群时都是完全一致的，有效地阻止物理宿主机使用者的误操作。

附图说明

图1为本发明的硬件结构示意图；

图2为本发明的应用流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

如图1所示，一种渲染农场节点虚拟化部署系统，包括宿主机1、DHCP服务器2、文件服务器4和渲染计算集群3，所述的宿主机1分别与DHCP服务器2、文件服务器4、渲染计算集群3连接，所述的宿主机1上设有虚拟机5；所述的宿主机1从文件服务器4中下载启动虚拟盘，对虚拟机5进行启动，该虚拟机5将宿主机中的空闲计算资源加入到渲染计算集群中进行渲染计算。

选用virtualbox作为虚拟系统，选用Debian 6.02 x64作为虚拟系统，网络连接使用桥接方式，通过bootstrap安装最简化系统组件，重新编译核心代码，只保留虚拟硬件驱动。安装Samba client，NFS client，virtualbox工具，python2.6，rsync等必要组件。

配置dhcp服务器，为虚拟机分配指定地址段。在文件服务器上建立nfs导出点供虚拟系统放置计算用的必要组件以及软件。

安装集群渲染所需要的组件以及客户端。如有必要编写对于集群渲染客户端的自动配置软件，并在启动脚本中加入调用。将以下目录移动到nfs导出的位置上：bin、lib\lib64、opt、usr。清空所有临时文件，为tmp、root、home、var目录单独创建虚拟盘，并进行快照/备份。额外创建etcMain目录。复制当前etc内容到该目录。相应修改/etc/fstab。注意bin、lib\lib64、opt、usr、etcMain只读挂载。

配置rsync，编写从etcMain到etc的同步脚本。

修改系统启动脚本，加载虚拟系统工具包后获取来自宿主机的信息，按照管理需要生成必要机器名，修改当前机器名；在资源挂载后对etc目录进行更新，检查rsync同步内容，如果有变化，进行标记，将系统重启，通过对标记的判断避免短时间内的连续重启。

使用dd对根目录填充0，删除后使用虚拟盘优化工具压缩尺寸。并快照/备份，该备份存放在文件服务器上，供需要启动虚拟机的宿主机下载。

将本发明分发到各台需要启动虚拟机的用户工作站；

修改nfs共享配置，对于管理员(整个系统唯一)的挂载进行读写挂载，之后的软件维护都通过这台特殊的虚拟机来完成，整个系统部署配置工作完毕。

如图2所示，本发明的工作流程如下：

1)检测宿主机的资源，判定其空闲资源是否满足最低要求，若为是，执行步骤2)，若为否，返回失败；

2)判断宿主机是否能与文件服务器中的存取点进行连接，若为是，执行步骤3)，若为否，返回失败；

3)判断文件服务器上是否存在新的启动虚拟盘，若为是，复制新的启动虚拟盘给宿主机，并执行步骤4)，否则，执行步骤4)；

4)宿主机清理上次启动时遗留下的所有临时用虚拟盘，恢复安装完毕后的初始状态；

5)写入宿主机信息；

6)宿主机启动虚拟机；

7)读取宿主机信息，生成虚拟机的机器名信息；

8)DHCP服务器为虚拟机分配指定IP地址段；

9)判断虚拟机是否正常启动，若为是，执行步骤10)，若为否，否则，执行步骤14)；

10)尝试挂载远程资源；

11)判断是否成功挂载，若为是，执行步骤12)，否则，执行步骤14)；

12)虚拟机启动集群渲染客户端，并判断是否与渲染计算集群成功连接，若为是，执行步骤13)，否则，执行步骤14)；

13)完成；

14)关闭虚拟机，清理临时虚拟盘，并返回失败。

所述的宿主机的资源为可以被在线地调配使用的资源，包括空闲CPU、空闲内存和剩余磁盘空间。所述的虚拟机的特征信息是在虚拟机启动后自动赋予，包括机器名、Ip、登录用户信息。

Claims (4)

1.一种渲染农场节点虚拟化部署系统的应用方法，其特征在于，所述的系统包括宿主机、DHCP服务器、文件服务器和渲染计算集群，所述的宿主机分别与DHCP服务器、文件服务器、渲染计算集群连接，所述的宿主机上设有虚拟机；

所述的宿主机从文件服务器中下载启动虚拟盘，对虚拟机进行启动，该虚拟机将宿主机中的空闲计算资源加入到渲染计算集群中进行渲染计算；

所述的应用方法包括以下步骤：

1)检测宿主机的资源，判定其空闲资源是否满足最低要求，若为是，执行步骤2)，若为否，返回失败；

2)判断宿主机是否能与文件服务器中的存取点进行连接，若为是，执行步骤3)，若为否，返回失败；

3)判断文件服务器上是否存在新的启动虚拟盘，若为是，复制新的启动虚拟盘给宿主机，并执行步骤4)，否则，执行步骤4)；

4)宿主机清理上次启动时遗留下的所有临时用虚拟盘，恢复安装完毕后的初始状态；

5)写入宿主机信息；

6)宿主机启动虚拟机；

7)读取宿主机信息，生成虚拟机的机器名信息；

8)DHCP服务器为虚拟机分配指定IP地址段；

9)判断虚拟机是否正常启动，若为是，执行步骤10)，若为否，执行步骤14)；

10)尝试挂载远程资源；

11)判断是否成功挂载，若为是，执行步骤12)，否则，执行步骤14)；

12)虚拟机启动集群渲染客户端，并判断是否与渲染计算集群成功连接，若为是，执行步骤13)，否则，执行步骤14)；

13)完成；

14)关闭虚拟机，清理临时虚拟盘，并返回失败。

2.根据权利要求1所述的渲染农场节点虚拟化部署系统的应用方法，其特征在于，所述的文件服务器提供统一的虚拟机启动介质。

3.根据权利要求1所述的渲染农场节点虚拟化部署系统的应用方法，其特征在于，所述的宿主机的资源为可以被在线地调配使用的资源，包括空闲CPU、空闲内存和剩余磁盘空间。

4.根据权利要求1所述的渲染农场节点虚拟化部署系统的应用方法，其特征在于，所述的虚拟机的特征信息是在虚拟机启动后自动赋予，包括机器名、Ip、登录用户信息。