CN105740046B - 一种基于动态库的虚拟机进程行为监控方法与系统 - Google Patents

Abstract

本发明公开了一种基于动态库的虚拟机进程行为监控方法，包括：基于动态链接库，在二进制的基础上，在API函数入口处设置钩子，实现对虚拟机进程调用API函数的截获；利用虚拟化隔离特性和内存保护技术，保护钩子不被虚拟机和虚拟机里的进程感知，达到透明监控的目的。本发明在对虚拟机完全透明的情形下，截获虚拟机进程的API函数调用，实现了对虚拟机进程行为细粒度的透明监控。本发明还提供了相应的基于动态库的虚拟机进程行为监控系统。

Description

一种基于动态库的虚拟机进程行为监控方法与系统

技术领域

本发明属于虚拟机安全技术领域，更具体地，涉及一种基于动态库的虚拟机进程行为监控方法与系统。

背景技术

以虚拟化技术为基础的云计算兴起，改变了计算资源的配置与利用。虚拟化技术具有隔离性、高效性和灵活性等特点，云虚拟机得到了大量的部署。随着云计算的普及，云安全问题的日益受到关注，能否对虚拟机系统里进程行为进行实时监控，成为制约云计算安全技术发展的关键因素。

传统的监控方法是在虚拟机内部部署监控系统，对系统行为进行监控，但是由于监控系统与恶意程序处于同一个运行环境，恶意程序能够攻击或者绕过监控系统。

随着虚拟化技术的发展，借助虚拟化技术安全隔离的特点，研究人员提出了利用虚拟机管理器隔离或者保护特定的安全工具，监控虚拟机的行为。从安全监控实现架构的角度来看，基于虚拟化安全监控的相关研究工作可以分为两大类：内部监控和外部监控。

内部监控：在虚拟机客户机内部部署设置钩子函数的事件截获模块来截获操作系统的事件比如系统调用、API函数等，然后将截获后的事件通过事件通道或者共享内存等通讯方式发往安全域中进行安全分析并采取相应的安全策略。采用这种架构，事件截获模块部署在被监控的目标虚拟机中，而安全工具部署在安全域中。内部监控支持在虚拟机的客户操作系统的任何位置部署钩子函数，这些钩子函数可以拦截某些事件，例如进程创建、文件读写等。事件截获模块部署在不可信客户操作系统中，因此容易被恶意篡改或者攻击，所以必须得到特殊的保护。当这些钩子函数加载到客户操作系统中时，向虚拟机管理器通知其占据的内存空间。内存保护模块根据钩子函数所在的内存页面对其进行保护，从而防止恶意攻击者篡改。当事件截获模块截获到虚拟机中发生某些事件时，将虚拟机中发生的事件传递到安全域的安全驱动。安全工具执行某种安全策略，然后将响应发送到安全驱动,从而对虚拟机中的事件采取响应措施。

外部监控：指在虚拟机外部部署事件截获模块，截获被监控虚拟机事件，然后由位于安全域的安全工具按照某种策略对目标虚拟机系统进行安全分析、处理。事件截获模块部署在虚拟机管理器中，它是安全域中的安全工具和目标虚拟机之间通信的桥梁。位于虚拟机管理器的事件截获模块截获目标虚拟机发生的事件，通过事件通道、共享内存的通知安全域的安全工具。事件截获模块位于虚拟机管理器层,它需要根据观测到的低级语义(例如CPU信息、内存页面等)信息来重构出高级语义(例如进程、文件等)。安全工具根据事件截获模块获取的系统信息以及重构出来的高级语义，按照安全策略控制目标虚拟机。由于事件截获模块和安全工具部署在被监控的目标虚拟机外部，将安全工具与目标虚拟机隔离开来，目标虚拟机无法篡改攻击相关的监控程序增强了安全工具自身的安全性。同时在虚拟机管理器的辅助下,安全工具能够对目标虚拟机进行全面的、真实的检测。

综上所述，现有的虚拟机监控系统的方案存在如下不足：

内部监控：通过设置钩子函数来截获操作系统的事件比如系统调用，API函数等，监控力度细。但是由于在虚拟机里暴漏了自身存在，容易被恶意程序检测到。

外部监控：因为监控模块处于虚拟机外面，保证了对虚拟机系统的透明不可见，但是只能截获系统调用，不能截获API函数调用，实现细粒度监控。

发明内容

针对现有相关监控研究工作的以上缺陷或改进需求，本发明提供了一种基于动态库的虚拟机进程行为监控方法，其目的在于，透明地、细粒度地对虚拟机进程行为进行监控，使得安全监控模块部署在虚拟机外部也能细粒度监控进程调用API函数的行为。

为实现上述目的，本发明提供了一种基于动态库的虚拟机进程行为监控方法，包括获取API函数地址偏移步骤、截获进程切换步骤、设置钩子步骤、截获API调用步骤、内存保护步骤，具体地：

(1)依据动态链接库的二进制内容格式和被监控的API函数名字，获取API函数在动态库被加载到进程时，API函数的入口地址相对于动态链接库装载地址的偏移；

(2)安全监控程序启动监控时，截获虚拟机的进程切换；

(3)设置钩子，截获到进程切换时，判断系统监控的API函数相应动态链接库此进程是否已经加载，依据步骤(1)获取的偏移地址和动态库在进程中的加载地址，对此进程相关的动态链接库内存空间设置钩子，并且设置内存保护，隐藏自身，保证对虚拟机内部透明不可知，本步骤包括如下子步骤：

(3-1)截获进程切换行为后，判断监控的API函数相应动态链接库是否已经加载并且未设置钩子。

(3-2)如果相应动态链接库已经加载，依据动态链接库的加载地址和API函数的入口地址相对于动态链接库装载地址的偏移，获取API函数相应的内存地址。

(3-3)对API函数的入口地址设置钩子(特权指令cpuid)，并且设置EPT页表相应页表项为不可读写，对设置钩子的地址进行保护。

(4)截获API调用，当进程调用相应的API函数时，由于相应的函数入口被设置钩子，此时陷入虚拟机管理器，对进程行为进行截获，并且依据安全策略相做应处理，本步骤包括如下子步骤：

(4-1)进程调用API函数，由于cpuid指令的运行，陷入到虚拟机管理器，事件被截获。

(4-2)依据cpuid指令执行的地址，判断是相应API函数的调用地址，并且依据安全策略进行相应处理，处理完毕，模拟钩子处原来指令运行，并且返回虚拟机运行。

(5)内存保护，当虚拟机系统或者虚拟机里的进程(包括进程本身)访问被设置的动态链接库空间时，由于内存保护机制，陷入到虚拟机管理器，对内存访问行为做相应处理，保证钩子对虚拟机内部的透明，本步骤包括如下子步骤：

(5-1)由于对虚拟机地址相应的EPT页表进行了设置，当设虚拟机系统或者进程访问设置钩子的相应内存，会触发页错误陷入虚拟机管理器。

(5-2)此时将准确对内存保护地址进行判断和确认，并且依据对此地址发生的读写操作，返回相应原始的内容，做到对虚拟机完全透明。

按照本发明的另一方面，还提供了一种基于动态库的虚拟机进程行为监控系统，包括地址偏移获取模块、进程切换获取模块、钩子设置模块、API调用截获模块以及内存保护模块，其中：

所述地址偏移获取模块，用于依据动态链接库的二进制内容格式和被监控的API函数名字，获取API函数在动态库被加载到进程时，API函数的入口地址相对于动态链接库装载地址的偏移；

所述进程切换获取模块，用于在安全监控程序启动监控时，截获虚拟机的进程切换；

所述钩子设置模块，用于在截获到进程切换时，判断系统监控的API函数相应动态链接库此进程是否已经加载，依据步骤(1)获取的偏移地址和动态库在进程中的加载地址，对此进程相关的动态链接库内存空间设置钩子，并且设置内存保护，隐藏自身，保证对虚拟机内部透明不可知；

具体包括链接库加载判断子模块、内存地址判断子模块、钩子设置子模块，其中：

所述链接库加载判断模块，用于在截获进程切换行为后，判断监控的API函数相应动态链接库是否已经加载并且未设置钩子；

所述内存地址判断子模块，用于在相应动态链接库已经加载时，依据动态链接库的加载地址和API函数的入口地址相对于动态链接库装载地址的偏移，获取API函数相应的内存地址；

所述钩子设置子模块，用于对API函数的入口地址设置钩子，并且设置EPT页表相应页表项为不可读写，对设置钩子的地址进行保护。

所述API调用截获模块，用于在当进程调用相应的API函数时，由于相应的函数入口被设置钩子，此时陷入虚拟机管理器，对进程行为进行截获，并且依据安全策略相做应处理；

包括事件截获子模块和进程处理子模块，其中：

所述事件截获子模块，用于在进程调用API函数时，由于cpuid指令的运行，陷入到虚拟机管理器，事件被截获。

所述进程处理子模块，用于依据cpuid指令执行的地址，判断是相应API函数的调用地址，并且依据安全策略进行相应处理，处理完毕，模拟钩子处原来指令运行，并且返回虚拟机运行。

所述内存保护模块，用于在当虚拟机系统或者虚拟机里的进程访问被设置的动态链接库空间时，由于内存保护机制，陷入到虚拟机管理器，对内存访问行为做相应处理，保证钩子对虚拟机内部的透明。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

(1)监控API函数调用：利用虚拟机管理器的隔离特性，钩子技术以及特权指令(cpuid)，不仅实现了在虚拟机管理器中可以监控虚拟机进程的系统调用的低级语义操作，并且可以细粒度地监控虚拟机进程的API函数调用。

(2)对虚拟机透明：利用内存保护技术，设置虚拟机EPT页表相应的页表项，处理读写相应地址发生的页错误，实现对钩子的隐藏，实现安全监控与截获对虚拟机透明。

附图说明

图1是本发明基于动态库的虚拟机进程行为监控方法的系统架构图；

图2示出动态链接库API函数钩子设置的流程；

图3示出截获API函数调用处理流程；

图4示出内存保护，实现钩子隐藏的处理流程。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

如附图1所示，本发明提供了一个可实施的安全监控系统，主要包含事件截获驱动，内存保护驱动，安全监控程序。

事件截获驱动，位于虚拟机管理器。在安全监控程序启动安全监控后，事件截获开启。事件截获驱动依据硬件虚拟化技术的特性能够截获cr3切换、快速系统调用、软中断、cpuid等特权指令。当截获事件后，截获驱动将通知安全监控程序进行处理。

内存保护驱动，位于虚拟机管理器。当对API函数设置钩子后，设置钩子所在的内存地址的EPT页表项不可读写。当虚拟机系统或者虚拟机里的进程访问相应内存时，将触发页异常，陷入到内存保护驱动处理。内存保护驱动依据访问内存的指令，对原始内容做相应处理。内存保护驱动通过设置EPT页表项读写权限并且处理相应也错误，保证钩子透明。

安全监控程序，位于特权域或者安全域。安全监控程序依据虚拟机管理器和事件截获驱动提供的接口，根据需求定制安全策略，开启事件截获，设置钩子，依据安全策略对截获事件做相应处理。

安全监控系统实现了一种基于动态库的虚拟机进程行为监控方法，包括获取API函数地址偏移步骤、截获进程切换步骤、设置钩子步骤、截获API调用步骤、内存保护步骤，具体地：

(1)安全监控程序依据动态链接库的二进制内容格式和被监控的API函数名字，获取API函数在动态库被加载到进程时，API函数的入口地址相对于动态链接库装载地址的偏移；

(2)安全监控程序启动监控时，事件截获驱动截获虚拟机的进程切换；

(3)设置钩子步骤如图2所示，截获到进程切换时，安全监控程序判断系统监控的API函数相应动态链接库此进程是否已经加载，依据步骤(1)获取的偏移地址和动态库在进程中的加载地址，对此进程相关的动态链接库内存空间设置钩子，并且设置内存保护，隐藏自身，保证对虚拟机内部透明不可知，本步骤包括如下子步骤：

(3-1)截获进程切换行为后，判断监控的API函数相应动态链接库是否已经加载并且未设置钩子。

(3-2)如果相应动态链接库已经加载，依据动态链接库的加载地址和API函数的入口地址相对于动态链接库装载地址的偏移，获取API函数相应的内存地址。

(3-3)对API函数的入口地址设置钩子(特权指令cpuid)，并且设置EPT页表相应页表项为不可读写，对设置钩子的地址进行保护，钩子设置如下：

(4)截获API调用如图3所示，当进程调用相应的API函数时，由于相应的函数入口被设置钩子，此时陷入虚拟机管理器，事件截获驱动将对进程行为进行截获，并且依据安全策略相做应处理，本步骤包括如下子步骤：

(4-1)进程调用API函数，由于cpuid指令的运行，陷入到虚拟机管理器，事件被截获。

(4-2)依据cpuid指令执行的地址，判断是相应API函数的调用地址，并且依据安全策略进行相应处理，处理完毕，模拟钩子处原来指令运行，并且返回虚拟机运行。

(5)内存保护如图4所示，当虚拟机系统或者虚拟机里的进程(包括进程本身)访问被设置的动态链接库空间时，由于内存保护机制，陷入到虚拟机管理器，内存保护驱动将依据访问行为做相应处理，保证钩子对虚拟机内部的透明，本步骤包括如下子步骤：

(5-1)由于安全监控程序对虚拟机地址相应的EPT页表进行了设置，当设虚拟机系统或者进程访问设置钩子的相应内存，会触发页错误陷入虚拟机管理器。

(5-2)此时将准确对内存保护地址进行判断和确认，并且依据对此地址发生的读写操作，返回相应原始的内容，做到对虚拟机完全透明。

进一步地，本发明还提供了一种基于动态库的虚拟机进程行为监控系统，包括地址偏移获取模块、进程切换获取模块、钩子设置模块、API调用截获模块以及内存保护模块，其中：

所述地址偏移获取模块，用于依据动态链接库的二进制内容格式和被监控的API函数名字，获取API函数在动态库被加载到进程时，API函数的入口地址相对于动态链接库装载地址的偏移；

所述进程切换获取模块，用于在安全监控程序启动监控时，截获虚拟机的进程切换；

所述钩子设置模块，用于在截获到进程切换时，判断系统监控的API函数相应动态链接库此进程是否已经加载，依据步骤(1)获取的偏移地址和动态库在进程中的加载地址，对此进程相关的动态链接库内存空间设置钩子，并且设置内存保护，隐藏自身，保证对虚拟机内部透明不可知；

具体包括链接库加载判断子模块、内存地址判断子模块、钩子设置子模块，其中：

所述链接库加载判断模块，用于在截获进程切换行为后，判断监控的API函数相应动态链接库是否已经加载并且未设置钩子；

所述内存地址判断子模块，用于在相应动态链接库已经加载时，依据动态链接库的加载地址和API函数的入口地址相对于动态链接库装载地址的偏移，获取API函数相应的内存地址；

所述钩子设置子模块，用于对API函数的入口地址设置钩子，并且设置EPT页表相应页表项为不可读写，对设置钩子的地址进行保护。

所述API调用截获模块，用于在当进程调用相应的API函数时，由于相应的函数入口被设置钩子，此时陷入虚拟机管理器，对进程行为进行截获，并且依据安全策略相做应处理；

包括事件截获子模块和进程处理子模块，其中：

所述事件截获子模块，用于在进程调用API函数时，由于cpuid指令的运行，陷入到虚拟机管理器，事件被截获。

所述进程处理子模块，用于依据cpuid指令执行的地址，判断是相应API函数的调用地址，并且依据安全策略进行相应处理，处理完毕，模拟钩子处原来指令运行，并且返回虚拟机运行。

所述内存保护模块，用于在当虚拟机系统或者虚拟机里的进程访问被设置的动态链接库空间时，由于内存保护机制，陷入到虚拟机管理器，对内存访问行为做相应处理，保证钩子对虚拟机内部的透明。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于动态库的虚拟机进程行为监控方法，其特征在于，所述方法包括如下步骤：

(1)依据动态链接库的二进制内容格式和被监控的API函数名字，获取API函数在动态库被加载到进程时，API函数的入口地址相对于动态链接库装载地址的偏移；

(2)安全监控程序启动监控时，截获虚拟机的进程切换；

(3)设置钩子，截获到进程切换时，判断系统监控的API函数相应动态链接库此进程是否已经加载，依据步骤(1)获取的偏移地址和动态库在进程中的加载地址，对此进程相关的动态链接库内存空间设置钩子，并且设置内存保护，隐藏自身，保证对虚拟机内部透明不可知；

(4)截获API调用，当进程调用相应的API函数时，由于相应的函数入口被设置钩子，此时陷入虚拟机管理器，对进程行为进行截获，并且依据安全策略相做应处理；

(5)内存保护，当虚拟机系统或者虚拟机里的进程访问被设置的动态链接库空间时，由于内存保护机制，陷入到虚拟机管理器，对内存访问行为做相应处理，保证钩子对虚拟机内部的透明；

所述步骤(3)具体包括如下子步骤：

(3-1)截获进程切换行为后，判断监控的API函数相应动态链接库是否已经加载并且未设置钩子；

(3-2)如果相应动态链接库已经加载，依据动态链接库的加载地址和API函数的入口地址相对于动态链接库装载地址的偏移，获取API函数相应的内存地址；

(3-3)对API函数的入口地址设置钩子，并且设置EPT页表相应页表项为不可读写，对设置钩子的地址进行保护；

所述步骤(4)具体包括如下子步骤：

(4-1)进程调用API函数，由于cpuid指令的运行，陷入到虚拟机管理器，事件被截获；

(4-2)依据cpuid指令执行的地址，判断是相应API函数的调用地址，并且依据安全策略进行相应处理，处理完毕，模拟钩子处原来指令运行，并且返回虚拟机运行。

2.如权利要求1所述的方法，其特征在于，所述步骤(5)具体包括如下子步骤：

(5-1)由于安全监控程序对虚拟机地址相应的EPT页表进行了设置，当设虚拟机系统或者进程访问设置钩子的相应内存，会触发页错误陷入虚拟机管理器；

(5-2)此时将准确对内存保护地址进行判断和确认，并且依据对此地址发生的读写操作，返回相应原始的内容，做到对虚拟机完全透明。

3.一种基于动态库的虚拟机进程行为监控系统，其特征在于，包括地址偏移获取模块、进程切换获取模块、钩子设置模块、API调用截获模块以及内存保护模块，其中：

所述地址偏移获取模块，用于依据动态链接库的二进制内容格式和被监控的API函数名字，获取API函数在动态库被加载到进程时，API函数的入口地址相对于动态链接库装载地址的偏移；

所述进程切换获取模块，用于在安全监控程序启动监控时，截获虚拟机的进程切换；

所述钩子设置模块，用于在截获到进程切换时，判断系统监控的API函数相应动态链接库此进程是否已经加载，依据步骤(1)获取的偏移地址和动态库在进程中的加载地址，对此进程相关的动态链接库内存空间设置钩子，并且设置内存保护，隐藏自身，保证对虚拟机内部透明不可知；

所述API调用截获模块，用于在当进程调用相应的API函数时，由于相应的函数入口被设置钩子，此时陷入虚拟机管理器，对进程行为进行截获，并且依据安全策略相做应处理；

所述内存保护模块，用于在当虚拟机系统或者虚拟机里的进程访问被设置的动态链接库空间时，由于内存保护机制，陷入到虚拟机管理器，对内存访问行为做相应处理，保证钩子对虚拟机内部的透明；

所述钩子设置模块具体包括链接库加载判断子模块、内存地址判断子模块、钩子设置子模块，其中：

所述链接库加载判断模块，用于在截获进程切换行为后，判断监控的API函数相应动态链接库是否已经加载并且未设置钩子；

所述内存地址判断子模块，用于在相应动态链接库已经加载时，依据动态链接库的加载地址和API函数的入口地址相对于动态链接库装载地址的偏移，获取API函数相应的内存地址；

所述钩子设置子模块，用于对API函数的入口地址设置钩子，并且设置EPT页表相应页表项为不可读写，对设置钩子的地址进行保护；

所述API调用截获模块具体包括事件截获子模块和进程处理子模块，其中：

所述事件截获子模块，用于在进程调用API函数时，由于cpuid指令的运行，陷入到虚拟机管理器，事件被截获；

所述进程处理子模块，用于依据cpuid指令执行的地址，判断是相应API函数的调用地址，并且依据安全策略进行相应处理，处理完毕，模拟钩子处原来指令运行，并且返回虚拟机运行。