CN107689953B - 一种面向多租户云计算的容器安全监控方法及系统 - Google Patents

Abstract

本发明提供一种面向多租户云计算的容器安全监控方法及系统。该方法包括：1)云计算管理平台为租户分配虚拟机，并在虚拟机中部署监控程序；2)在虚拟机上为租户建立容器集群，并运行容器集群中的容器；3)通过监控程序获取容器运行过程中的系统调用信息，并在虚拟机中对系统调用信息进行过滤处理；4)将过滤处理后的系统调用信息传输至监控汇总分析主机；5)监控汇总分析主机对系统调用信息进行汇总分析，分析容器的运行是否出现异常，并将分析结果反馈至系统管理员和租户。本发明可以实现大规模的公有云环境下对于用户容器使用情况的实时监测，并对出现异常情况进行及时处理，能够提高系统的安全性和稳定性。

Description

一种面向多租户云计算的容器安全监控方法及系统

技术领域

本发明涉及云计算安全技术领域，更具体的涉及一种面向多租户云计算的容器安全监控方法和系统。

背景技术

容器(Container)技术是两年来云计算方面的热点技术，是一种轻量级的虚拟化技术。容器技术使用Linux内核本身支持的namespace和Cgroup等机制实现环境和资源的隔离。容器有着比虚拟机更少的抽象层，直接使用宿主机内核，所以在能耗和启动速度上有着比虚拟机明显的优势。由于容器在应用场景中具有灵活、轻便等特点，互联网行业的许多公司(如Google，Amazon和阿里等)已经开始使用容器技术进行服务，整个行业处于高速上升趋势。Docker是Docker.Inc公司开源的一个Container容器引擎，将一个轻量级的容器虚拟化平台和一组标准工作流程、工具进行集成，来帮助用户方便地管理和部署应用。

为了保证容器在运行时的可靠性和云服务集群的稳定性，需要对集群内容器的运行情况和其内部进程的调用状态等进行监控，以便及时发现系统中存在的问题，并采取对应的解决办法。该监控的具体内容可以包括容器内程序的系统调用等信息。

针对容器监控问题，已经出现了很多解决措施和优化方案。许斯亮等人(许斯亮.docker的监控方法及客户端[P].中国:105429813,2016-03-23)提出了一种Docker容器的监控方法，通过使用zabbix获取容器运行时的CPU、内存和网络参数，并进行图形界面的展示。赵鹏等人(赵鹏.对宿主机中容器进行本地实时监控的方法、装置及系统[P].中国:104899126,2015-09-09)提出一种容器扫描方法，通过对宿主机上的容器进行实时扫描以及和数据库的联动更新，来达到容器的自动化监控。沙卫国等人(沙卫国.一种基于Docker虚拟化的信息系统入侵检测方法[P].中国:105072115,2015-11-18)提出了一种基于Docker的入侵检测系统，通过将入侵检测系统封装到Docker容器中进行运行，实现对本宿主机其他Docker容器进行监控。Amr S.Abed等人(Abed A S,Clancy C,Levy DS.Intrusion Detection System for Applications Using Linux Containers[M]//Security and Trust Management.Springer International Publishing,2015:123-135.)提出了一种使用容器对应用进行入侵检测的方法，通过将系统调用序列和入侵检测特征库进行匹配，分析系统是否存在入侵威胁。

现有的容器监控方法多集中于对于在单机上运行的容器的行为进行监控，监控数据的收集、处理和展示都处在同一台物理机上，较为单一，可扩展性不强，无法适用于大规模的集群环境。另外，在大规模的多租户云计算环境中，时刻产生巨额的数据量，并且其中包含大量正常的数据信息，监控分析方法将大量计算资源用于分析正常行为，造成资源浪费，并且容易出现计算能力不足、统计分析算法学习能力不强等情况。

发明内容

本发明提供一种面向多租户云计算的容器安全监控方法及系统，解决了公有云环境下，对于不同租户的容器进行统一监控的技术问题。

本发明采用的技术方案如下：

一种面向多租户云计算的容器安全监控方法，包括以下步骤：

1)云计算管理平台为租户分配虚拟机，并在虚拟机中部署监控程序；

2)在虚拟机上为租户建立容器集群，并运行容器集群中的容器；

3)通过监控程序获取容器运行过程中的系统调用信息，并在虚拟机中对系统调用信息进行过滤处理；

4)将过滤处理后的系统调用信息传输至监控汇总分析主机；

5)监控汇总分析主机对系统调用信息进行汇总分析，分析容器的运行是否出现异常，并将分析结果反馈至系统管理员和租户。

进一步地，所述云计算管理平台为每个租户的容器集群分配独属于自身的虚拟机，利用虚拟机之间隔离性保证各个租户之间的资源和数据互不干扰，以保证其安全性，并保证不同租户的监控数据能够独立收集和实现标准化。

进一步地，步骤1)所述分配虚拟机的过程包括：

1-1)根据租户请求的容器节点的数量为租户分配相应数量的虚拟机；

1-2)在分配给租户的每台虚拟机上安装监控程序，监控程序内包含系统调用白名单，用于在步骤3)中对正常的系统调用序列进行过滤。

进一步地，步骤2)所述建立容器集群的方法是：

2-1)由租户填写容器的参数，包括容器名称、所用镜像文件名称，需要的节点数量、包括容器的CPU、内存资源使用量、开放的端口；

2-2)将租户填写的参数填入到yaml文件中，根据yaml文件建立容器，由若干容器形成容器集群。

进一步地，，步骤3)所述系统调用信息包括：容器ID、PID、系统调用和返回值的时间序列。

进一步地，步骤3)使用系统调用白名单将收集整理得到的系统调用信息进行过滤，以对系统调用信息进行简化，把正常的系统调用信息过滤掉，只留下系统调用白名单内不存在的系统调用信息。

进一步地，步骤5)中监控汇总分析主机对系统调用信息进行汇总分析的方法是：将系统调用序列和入侵检测特征库中的系统调用序列进行匹配；若有系统调用序列和入侵检测特征库中的特征匹配成功，则认为检测到入侵行为，并将检测结果返回给管理员和租户；所述监控汇总分析主机还将系统调用信息和分析结果存入数据库，所述数据库位于存储节点上，并以租户为单位存储系统调用信息和分析结果。

一种虚拟机，其包括：

容器创建模块，负责租户容器的创建，由租户根据需求选择容器的配置并填入容器创建模板，根据容器创建模块创建相应的容器；

监控获取模块，负责实时收集容器运行时产生的系统调用信息，并通过系统调用白名单对系统调用信息进行过滤处理；

信息传递模块，负责将过滤处理后的系统调用信息传输至监控汇总分析主机，以便所述监控汇总分析主机对系统调用信息进行汇总分析。

一种监控汇总分析主机，其包括：

接收模块，负责接收各租户的虚拟机输出的过滤处理后的系统调用信息；

信息分析模块，负责对各租户的虚拟机输出的系统调用信息进行汇总分析，分析容器的运行是否出现异常；

反馈模块，负责将分析结果反馈至系统管理员和租户，并将系统调用信息和分析结果存入存储节点。

一种面向多租户云计算的容器安全监控系统，包括虚拟机管理模块、容器创建模块、监控获取模块、信息传递模块、信息分析模块、信息存储模块和用户展示模块；

所述虚拟机管理模块，负责对物理机集群进行统一管理，并根据需要创建和管理虚拟机；

所述容器创建模块，负责租户容器的创建，由租户根据需求选择容器的配置并填入容器创建模板，根据容器创建模块创建相应的容器；

所述监控获取模块，负责实时收集容器运行时产生的系统调用信息，并通过系统调用白名单对系统调用信息进行过滤处理；

所述信息传递模块，负责在用户虚拟机、信息分析模块和信息存储模块之间进行指令传递和数据传递；

所述信息分析模块，负责对各租户的监控获取模块获得的信息进行汇总分析，分析容器的运行是否出现异常，并将分析结果反馈至系统管理员和租户；

所述信息存储模块，负责将各租户的原始信息和分析结果进行分类和存储，并在需要审计和查看记录时将历史记录返回；

所述用户展示模块，负责向用户展示容器的运行情况。

本发明提供的一种面向多租户云计算的容器安全监控方法及系统，通过给不同租户分配单独的虚拟机来启动容器，保证了租户间的安全隔离和系统性能。通过在虚拟机上安装监控程序，保证了租户的容器的可用性和运行效率不受监控程序的影响。通过监控信息的汇总式分析，简化了容器所在的虚拟机的功能。通过对监控信息和分析结果的集中存储，实现了历史记录的可查询和可溯源性。

附图说明

图1为本发明的系统架构图。

图2为本发明系统实施例的结构示意图。

图3为本发明租户申请使用容器服务时的容器创建及分配流程图。

图4为本发明分布式系统调用情况监控程序方法实施例的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

容器(Container)技术是一种操作系统级的轻量级虚拟化技术，其原理是基于Linux内核技术进行隔离，一个容器内的进程对于其他容器和宿主机的行为无法感知，具有相对独立和安全的运行环境。本实施例以在Linux系统上使用Docker为容器引擎为例叙述面向多租户云计算的容器监控系统。

图1所示是本实施例提供的容器监控系统的一种典型的系统架构图。系统的硬件层是由多台物理机组成的物理机集群，并使用云计算管理平台对其进行统一的管理，用于承载和管理虚拟机。虚拟机用于承载不同租户的容器，每个租户的容器承载在属于自己的单独的虚拟机上，不同的租户不共用虚拟机，可以实现不同租户间的安全隔离。容器监控程序位于每一台用于承载容器的虚拟机上，用于监控、收集容器的资源使用信息和系统调用信息等。监控汇总分析主机用于收集汇总各个租户的容器监控信息，并对其进行分析并进行报警。存储节点用于存储监控信息的原始记录和监控汇总分析主机的分析结果，进行查看和备份。Web服务器用于给租户提供可视化操作界面和检测结果反馈。

本发明中的虚拟机、监控汇总分析主机、存储节点、Web服务器等其本身既可以是“云计算管理平台”内的虚拟机，也可以是独立的物理机，但都必须进行相应的配置，由“云计算管理平台”统一管理。

图2是本系统的实施例的结构示意图，展示了本方案中主要涉及的几个功能模块：

1)虚拟机管理模块：是云计算管理平台的主要功能模块，负责对于物理机集群的统一管理，将物理机集群转变成为一个IaaS(Infrastructure as a Service，基础设施即服务)平台，根据系统的需要创建和管理虚拟机。用户在创建容器之前，需要选择自己的容器集群的相关参数并填入容器集群创建模板。虚拟机管理模块根据容器集群创建模板开启指定数目的虚拟机，然后在其上建立相应的包含容器创建模块的容器集群，并将其唯一的绑定到指定的用户下。

2)容器创建模块：该模块位于租户的各个虚拟机上，是容器管理平台的主要功能模块，负责租户容器的创建。用户得到自己的容器集群后，可以在其上部署自己的容器并进行使用。租户根据自己的需求选择容器的配置并填入容器创建模板，容器创建模块根据容器创建模板创建相应的容器。所述“容器管理平台”是一种第三方的容器管理软件，例如Kubernetes、Rocket等，位于各个租户的虚拟机上，是容器集群的基础。

3)监控获取模块：该模块位于租户的各个虚拟机上，主要负责收集租户的容器的基本运行情况和系统调用相关信息。容器基本运行情况具体包括容器的数量，各个容器ID、名称、使用镜像、起始命令、创建时间等；系统调用相关信息，具体包括容器内运行进程的PID，系统调用队列和相应的返回值等。该模块将在系统中时刻运行，对系统调用信息进行实时收集。在本模块中，还包括一份系统调用白名单，在收集到系统调用监控序列后，与白名单进行对比，过滤掉经验证为正常行为的系统调用，并将过滤后的数据进行整理。这样可以避免信息分析模块浪费资源用于分析正常行为，加快分析效率、强化分析的准确性。监控内容可包含如下具体内容：

表1：租户容器的基本运行情况表

用户ID	容器ID	容器名称	使用镜像	起始命令	创建时间
						00001	125da6d13a8d	Test1	Docker.io/centos	/bin/bash/	2016.03.03
00002	d45476dsa18c	Apache	Docker.io/tomcat	/bin/bash/	2016.03.09
						…	…	…	…	…	…

表2：容器系统调用信息表

4)信息传递模块：该模块位于各个虚拟机上，负责在用户虚拟机、监控汇总分析主机、存储节点和Web服务器之间进行指令传递和数据传递。

5)信息分析模块：该模块位于监控汇总分析主机上，负责对各租户的监控获取模块获得的信息进行汇总分析，做出相应的判断，并将结果返回至租户。

对于监控获取模块传递来的信息的处理办法为：在监控汇总分析主机上配置一个入侵检测特征库，将收到的系统调用序列标准化并和特征库进行匹配检测，并通过机器学习的方法使特征库对数据进行不断学习，以优化特征库，提高检测的准确率。对于检测出的异常系统调用序列，根据特征库对其匹配的结果反馈给租户，通知租户进行进一步检测和处理。

6)信息存储模块：该模块位于存储节点上，负责将各租户的原始信息和分析结果进行分类和存储，在需要审计和查看记录时，将历史记录返回。

7)用户展示模块：该模块位于web服务器上，主要负责向租户展示自己容器的运行情况，并提供远程连接操作，使租户登录自己的容器进行操作。

为保证系统内多租户间的安全隔离，防止数据泄露，在本方案中，利用Openstack平台成熟的系统框架和安全的虚拟机隔离方案，为每个租户建立单独的虚拟机，将不同租户的容器建立在独属于该用户的虚拟机上，保证了租户间对于系统硬软件资源间的安全隔离。为降低信息分析模块的计算压力，提高分析的准确率，对于系统调用信息实行两轮扫描分析。先在容器所在的虚拟机上设置系统调用白名单，过滤掉正常的系统调用序列，然后将过滤过的系统调用序列进行整理和标准化，再传输到信息分析模块进行进一步分析。这样既减少了系统内部数据的传输量，也减少了信息分析模块所需要分析的数据总量并提高了分析数据的质量和速度。

本实施例提供的一种面向多租户云计算的容器安全监控方法，包括以下步骤：

步骤1：容器集群及容器的创建和分配

图3是租户申请使用容器服务时，容器集群及容器的创建及分配流程图，具体包括以下步骤：

步骤1.1：租户根据自己的账号密码登录容器管理平台(第三方的容器管理软件)；

步骤1.2：租户在用户界面选择创建容器。在首次创建容器前，必须先建立唯一属于该租户的虚拟机，并将容器集群布置在虚拟机上。用户在界面内填写想要创建的容器集群的参数，包括组成容器集群的各个虚拟机的CPU核数、内存大小、硬盘大小，使用的操作系统版本等信息。容器管理平台将用户填写的信息按照标准格式填入容器集群创建模板。每个租户都可根据自己的需要建立一定数量的容器，租户也可根据自身需要申请更多数量的容器集群，各个集群间相互独立。

步骤1.3：容器管理平台根据上一步骤中的容器集群创建模板向云计算管理平台申请虚拟机，云计算管理平台创建符合要求的虚拟机并绑定到指定租户下，并在虚拟机上建立容器管理平台；

步骤1.4：容器管理平台在虚拟机上安装监控获取模块，用于后续的监控系统实现；

步骤1.5：租户在容器集群内创建容器：租户在界面内填写需要创建的容器信息，填写方式按照yaml格式填写。“容器集群”不仅包含已有的容器，还包括创建容器所需的各类资源，可用于在容器集群内创建新的容器。

步骤1.6：容器管理平台根据上一步骤得到的yaml文件在租户独属的虚拟机上创建相应的容器；

步骤1.7：租户得到相应的容器，并可以在容器内进行操作。

通过以上操作，可以确保租户得到符合要求的容器，保证多租户环境下，每个租户的容器承载于独属于自己的虚拟机，避免了不同租户的容器位于同一个host主机上而可能产生的容器间的相互攻击、监听和资源抢占情况。

容器启动后，系统对各容器产生的数据信息进行监控和获取，对其进行分析，并根据分析结果采取对应的措施。图4为本发明分布式监控程序方法实施例的流程图，其具体实现包括以下步骤：

步骤2：将容器的系统调用信息进行收集、处理和分析(见图4)：

步骤2.1：租户在容器内执行各种命令和操作，即会产生系统调用，利用宿主机上的监控获取模块将系统调用的所属容器信息、PID信息和返回值等按照时间序列进行收集；

步骤2.2：在宿主机上将设置一个窗口容量为4的滑动窗口(默认值为4，可根据实际情况调整)，将容器产生的系统调用依次输入滑动窗口形成系统调用序列。在虚拟机上的监控获取模块拥有一份系统调用的白名单，按照白名单将系统调用序列进行过滤，若无异常，转到步骤2.4；若有异常，将不符合白名单的系统调用传递到监控汇总分析主机上；

步骤2.3：监控汇总分析主机收到用户的虚拟机发来的不符合白名单的系统调用，将其和系统调用入侵检测特征库进行对比，看是否存在异常。如果存在异常则在系统内通知系统管理员和租户，若无异常，转到步骤2.4。

步骤2.4：将监控信息和处理结果存入存储节点的数据库。

上述步骤2.3、2.4中，将分析结果反馈至管理员和租户，并将系统调用信息和分析结果存入数据库，具体包括以下内容：a)将分析结果由后台反馈至管理员；b)将分析结果由前台反馈至租户的可视化界面；c)将系统调用信息和分析结果存入数据库。其中前台是指图1中“web服务器”中的前端网页，负责和租户进行交互，除此之外的web服务器的所有部分均为后台部分，对租户不可见。

本发明的另一实施例还提供一种虚拟机，其包括：

容器创建模块，负责租户容器的创建，由租户根据自己的需求选择容器的配置并填入容器创建模板，并根据容器创建模块创建相应的容器；

监控获取模块，负责实时收集容器运行时产生的系统调用信息，并通过系统调用白名单对系统调用信息进行过滤处理；

信息传递模块，负责将过滤处理后的系统调用信息传输至监控汇总分析主机，以便所述监控汇总分析主机对系统调用信息进行汇总分析。

本发明的另一实施例还提供一种监控汇总分析主机，其包括：

接收模块，负责接收各租户的虚拟机输出的过滤处理后的系统调用信息；

信息分析模块，负责对各租户的虚拟机输出的系统调用信息进行汇总分析，分析容器的运行是否出现异常；

反馈模块，负责将分析结果反馈至系统管理员和租户，并将系统调用信息和分析结果存入存储节点。

可以理解的是，以上所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (8)

1.一种面向多租户云计算的容器安全监控方法，其特征在于，包括以下步骤：

1)云计算管理平台为租户分配独属于自身的虚拟机，并在虚拟机中部署监控程序；利用虚拟机之间隔离性保证各个租户之间的资源和数据互不干扰，以保证资源和数据的安全性，并保证不同租户的监控数据能够独立收集和实现标准化；

2)在虚拟机上为租户建立容器集群，并运行容器集群中的容器；租户在容器内执行各种命令和操作，产生系统调用；

3)通过监控程序获取容器运行过程中的系统调用信息，并在虚拟机中对系统调用信息进行过滤处理；

4)将过滤处理后的系统调用信息传输至监控汇总分析主机；

5)监控汇总分析主机对系统调用信息进行汇总分析，分析容器的运行是否出现异常，并将分析结果反馈至系统管理员和租户；

其中，步骤3)使用系统调用白名单将收集整理得到的系统调用信息进行过滤，以对系统调用信息进行简化，把正常的系统调用信息过滤掉，只留下系统调用白名单内不存在的系统调用信息；

其中，步骤5)中监控汇总分析主机对系统调用信息进行汇总分析的方法是：将系统调用序列和入侵检测特征库中的系统调用序列进行匹配；若有系统调用序列和入侵检测特征库中的特征匹配成功，则认为检测到入侵行为，并将检测结果返回给管理员和租户。

2.如权利要求1所述的方法，其特征在于，步骤1)所述分配虚拟机的过程包括：

1-1)根据租户请求的容器节点的数量为租户分配相应数量的虚拟机；

1-2)在分配给租户的每台虚拟机上安装监控程序，监控程序内包含系统调用白名单，用于在步骤3)中对正常的系统调用序列进行过滤。

3.如权利要求1所述的方法，其特征在于，步骤2)所述建立容器集群的方法是：

2-1)由租户填写容器的参数，包括容器名称、所用镜像文件名称、需要的节点数量、容器的CPU、内存资源使用量、开放的端口；

2-2)将租户填写的参数填入到yaml文件中，根据yaml文件建立容器，由若干容器形成容器集群。

4.如权利要求1所述的方法，其特征在于，步骤3)所述系统调用信息包括：容器ID、PID、系统调用和返回值的时间序列。

5.如权利要求1所述的方法，其特征在于，所述监控汇总分析主机还将系统调用信息和分析结果存入数据库，所述数据库位于存储节点上，并以租户为单位存储系统调用信息和分析结果。

6.一种虚拟机，其特征在于，所述虚拟机用于承载不同租户的容器，每个租户的容器承载在属于自己的单独的虚拟机上，不同的租户不共用虚拟机，实现不同租户间的安全隔离；所述虚拟机包括：

容器创建模块，负责租户容器的创建，由租户根据需求选择容器的配置并填入容器创建模板，根据容器创建模板创建相应的容器，供租户在容器内执行各种命令和操作，产生系统调用；

监控获取模块，负责实时收集容器运行时产生的系统调用信息，并通过系统调用白名单对系统调用信息进行过滤处理；

信息传递模块，负责将过滤处理后的系统调用信息传输至监控汇总分析主机，以便所述监控汇总分析主机对系统调用信息进行汇总分析。

7.一种监控汇总分析主机，其特征在于，包括：

接收模块，负责接收各租户采用权利要求6所述的虚拟机输出的过滤处理后的系统调用信息；

信息分析模块，负责对各租户的虚拟机输出的系统调用信息进行汇总分析，分析容器的运行是否出现异常；进行汇总分析的方法是：将系统调用序列和入侵检测特征库中的系统调用序列进行匹配；若有系统调用序列和入侵检测特征库中的特征匹配成功，则认为检测到入侵行为，并将检测结果返回给管理员和租户；

反馈模块，负责将分析结果反馈至系统管理员和租户，并将系统调用信息和分析结果存入存储节点。

8.一种面向多租户云计算的容器安全监控系统，其特征在于，包括虚拟机管理模块、容器创建模块、监控获取模块、信息传递模块、信息分析模块、信息存储模块和用户展示模块；

所述虚拟机管理模块，负责对物理机集群进行统一管理，并根据需要创建和管理虚拟机；利用虚拟机之间隔离性保证各个租户之间的资源和数据互不干扰，以保证资源和数据的安全性，并保证不同租户的监控数据能够独立收集和实现标准化；

所述容器创建模块，负责租户容器的创建，由租户根据需求选择容器的配置并填入容器创建模板，根据容器创建模板创建相应的容器，供租户在容器内执行各种命令和操作，产生系统调用；

所述监控获取模块，负责实时收集容器运行时产生的系统调用信息，并通过系统调用白名单对系统调用信息进行过滤处理；

所述信息传递模块，负责在用户虚拟机、信息分析模块和信息存储模块之间进行指令传递和数据传递；

所述信息分析模块，负责对各租户的监控获取模块获得的信息进行汇总分析，分析容器的运行是否出现异常，并将分析结果反馈至系统管理员和租户；进行汇总分析的方法是：将系统调用序列和入侵检测特征库中的系统调用序列进行匹配；若有系统调用序列和入侵检测特征库中的特征匹配成功，则认为检测到入侵行为，并将检测结果返回给管理员和租户；

所述信息存储模块，负责将各租户的原始信息和分析结果进行分类和存储，并在需要审计和查看记录时将历史记录返回；

所述用户展示模块，负责向用户展示容器的运行情况。

Images