CN113420288B - 一种容器镜像敏感信息检测系统及方法 - Google Patents

Abstract

本发明公开了一种容器镜像敏感信息检测系统，涉及容器软件安全性检测技术领域。包括交互节点、数据节点和分析节点，三种节点通过交换数据从而协同工作。本发明还公开了一种容器镜像敏感信息检测方法。本发明可以有效检测容器镜像中存在的敏感信息，即使在不同镜像层中已经被删除的敏感信息同样可以被检测到；同时本检测方法无需运行镜像，无需完整下载镜像，空间利用率高，即使计算机的存储以及内存空间较小，也可以使用本检测方法。

Description

一种容器镜像敏感信息检测系统及方法

技术领域

本发明涉及容器软件安全性检测技术领域，尤其涉及一种容器镜像敏感信息检测系统及方法。

背景技术

由于虚拟化容器便于使用和部署的特点，以Docker为主要代表的容器技术的使用越来越广泛，开始逐渐承载了各类云中心常见的企业级虚拟化应用。其中Docker Hub是目前最大的容器镜像存储仓库，包含了社区各类用户共同维护的770万个应用镜像，用户只需要从仓库中下载镜像，就可以运行对应的容器实例。此类容器镜像暴露的安全问题已经成为攻防关注的焦点。除了一些容器镜像因为错误配置、软件漏洞等原因导致的安全问题可能对使用者造成隐患外，容器镜像包含的一些敏感信息也可能对容器镜像的开发者造成一定威胁。例如开发者在容器镜像中写入了私钥等敏感信息，可能会导致用户拥有该私钥对应的访问权限，比如私有代码仓库，个人主机等。更糟糕的是，许多容器镜像开发者并不熟悉容器镜像的存储结构，将敏感信息的写入和删除在两条命令中加以实现，实际上这样的删除方式并不能真正将敏感信息从容器镜像中删除。容器镜像构建时以每个命令为一个镜像层，不同命令无法互相影响对方镜像层数据。换句话说，不同命令中的删除仅仅是在当前镜像层标记文件已经被删除，从而使得容器镜像运行实例时会选择屏蔽该文件，存储敏感信息的文件并没有被真正删除。因此，容器镜像的敏感信息泄露检测就十分重要。

目前现行的敏感信息泄露检测方法并不针对容器镜像，且检测容器镜像时需要下载完整的容器镜像。针对现有技术，发明人认为此类方法的通用难题是需要消耗大量的资源(存储、带宽)去下载海量镜像到本地测试环境，并且需要消耗执行检测的大量计算资源和时间成本。因此，很难应用到大规模的检测中。

因此，本领域的技术人员致力于开发一种种容器镜像敏感信息检测系统及方法。可以有效检测容器镜像中存在的敏感信息，即使在不同镜像层中已经被删除的敏感信息同样可以被检测到。同时该检测方法无需运行镜像，无需完整下载镜像，空间利用率高，即使计算机的存储以及内存空间较小，也可以使用该检测方法。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是可以有效检测容器镜像中存在的敏感信息，无需消耗大量计算资源和时间成本。

为实现上述目的，本发明提供了一种容器镜像敏感信息检测系统，包括交互节点、数据节点和分析节点，通过交换数据协同工作；

所述交互节点：完成与用户的交互，下发数据获取、检测分析任务，接收数据获取、检测分析的结果等工作；

所述数据节点：根据下发的数据获取任务下载对应的镜像配置文件、镜像manifest文件以及镜像层文件，并将数据获取结果返回给交互节点；

所述分析节点：根据镜像的配置文件解析镜像运行的命令，确认需要进行下载的镜像层，分析下载的镜像层是否存在敏感信息，并将检测分析结果返回给交互节点。

进一步地，所述交互节点包括用户交互模块和通信调度模块；

所述用户交互模块：接收系统的用户输入，获取需要检测的镜像列表，提供检测报告；

所述通信调度模块：下发数据获取任务、检测分析任务，同时接收数据获取、检测分析的结果；所述数据获取任务包括镜像信息获取任务和镜像层获取任务，所述检测分析任务包括镜像信息分析任务和镜像层检测任务。

进一步地，所述数据节点包括镜像信息下载模块和镜像层下载模块；

所述镜像信息下载模块：根据下发的镜像信息获取任务，下载镜像配置文件以及镜像manifest文件，并将结果提交给交互节点中的通信调度模块；

所述镜像层下载模块：根据下发的镜像层获取任务，根据镜像的manifest文件信息，下载对应的镜像，并将结果提交给交互节点中的通信调度模块。

进一步地，所述分析节点包括镜像信息分析模块和敏感信息分析模块；

所述镜像信息分析模块：根据下发的镜像分析任务，分析镜像配置文件，解析镜像层所执行的命令并确定镜像层是否需要下载，将分析结果提交给交互节点的通信调度模块；

所述敏感信息分析模块：根据下发的镜像层分析任务，提取镜像层中文件内容，利用敏感信息特征匹配文件内容，将分析结果提交给交互节点的通信调度模块。

进一步地，所述数据获取任务、数据获取结果、检测分析任务和检测分析结果通过分布式任务调度技术传递，其中数据获取任务通过分布式任务调度技术由交互节点向数据节点传递，数据获取结果通过分布式任务调度技术由数据节点向交互节点传递，检测分析任务通过分布式任务调度技术由交互节点向分析节点传递，检测分析结果通过分布式任务调度技术由分析节点向交互节点传递。

本发明还提供了一种容器镜像敏感信息检测方法，应用于权利要求1-5所述的容器镜像敏感信息检测系统，包括如下步骤：

步骤1、完成与用户的交互，下发数据获取、检测分析任务，接收数据获取、检测分析的结果；

步骤2、根据下发的数据获取任务下载对应的镜像配置文件、镜像manifest文件以及镜像层文件，并将数据获取结果返回给交互节点；

步骤3、根据镜像的配置文件解析镜像运行的命令，确认需要进行下载的镜像层，分析下载的镜像层是否存在敏感信息，并将检测分析结果返回给交互节点。

进一步地，所述步骤1包括如下步骤：

步骤1.1、接收系统的用户输入，获取需要检测的镜像列表；

步骤1.2、分发镜像信息获取任务；

步骤1.3、接收镜像信息数据，并下发镜像信息分析任务；

步骤1.4、接收镜像信息分析结果，并下发镜像层获取任务；

步骤1.5、接收镜像层数据，并下发镜像层检测任务；

步骤1.6、接收镜像层检测结果，并汇总结果，产生报告。

进一步地，所述步骤2包括如下步骤；

步骤2.1、接收镜像信息获取任务；

步骤2.2、根据镜像信息获取任务，过滤已经获取的镜像信息，向镜像仓库请求下载对应的镜像配置文件及镜像manifest文件，并将结果提交给交互节点中的通信调度模块；

步骤2.3、接收镜像层获取任务；

步骤2.4、根据镜像层获取任务，过滤已经获取的镜像层，通过镜像manifest文件提供的镜像层信息，向对应的下载地址请求下载镜像层，并将结果提交给交互节点的通信调度模块。

进一步地，所述步骤3包括如下步骤；

步骤3.1、获取镜像信息分析任务，对已经分析的任务，直接返回分析结果；

步骤3.2、通过镜像的配置文件，获取镜像每一层执行的命令；

步骤3.3、解析每一层执行的命令，确认命令中是否包含敏感信息以及可能包含敏感信息的关键目录是否发生数据变化；

步骤3.4、将改动关键目录数据的镜像层提交作为镜像信息分析结果提交给交互节点的通信调度模块；

步骤3.5、获取镜像层检测任务，对已经检测的任务，直接返回检测结果；

步骤3.6、调用不同敏感信息类型对应的正则表达式检测规则，检测镜像层中每一个文件的内容，并将检测结果提交给交互节点的通信调度模块。

进一步地，所述数据获取任务、数据获取结果、检测分析任务和检测分析结果通过分布式任务调度技术传递，其中数据获取任务通过分布式任务调度技术由交互节点向数据节点传递，数据获取结果通过分布式任务调度技术由数据节点向交互节点传递，检测分析任务通过分布式任务调度技术由交互节点向分析节点传递，检测分析结果通过分布式任务调度技术由分析节点向交互节点传递。

本发明与现有技术相比较，具有如下显而易见的实质性特点和显著优点：

1.本发明首先通过逆向分析方法，澄清了Docker镜像等主流容器镜像的内部存储格式，能够将检测粒度细分为镜像层而不是镜像；其次，建立了敏感信息检测规则库，利用静态分析技术对Docker等主流镜像可以进行大规模检测；最后，该方法开发形成了原型系统并进行实际评估，可以在线实时检测Docker Hub等常见镜像仓库的镜像资源。结果显示，本发明在保证检测有效性的同时，无需实际运行镜像，极大节约了计算和存储资源，可以通过有限的资源，在较短的时间内实现对公开仓库中容器镜像的敏感信息检测；

2.本发明可以用于快速静态分析容器镜像。首先，分析节点判断镜像层是否可能存在敏感信息，将可能存在敏感信息的镜像层分发给数据节点下载，而不必下载所有的镜像。这既能提下载的效率，也能减少下载所需的存储空间。数据节点在完成下载后，通过交互节点中转，将镜像层数据提交给分析节点进行敏感信息检测。由于分析节点以镜像层作为检测敏感信息的最小粒度，可以有效检测到镜像中被标记删除但实际上仍然存在镜像层中的敏感信息。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的结构图；

图2是本发明的一个较佳实施例的流程图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

本发明公开了一种容器镜像敏感信息检测系统及方法，如图1的结构图，图2的流程图，包括交互节点、数据节点和分析节点，且三种节点通过消息通道分布式任务调度技术交换数据从而协同工作。分布式任务调度技术采用Gearman分布式任务调度框架。

交互节点：完成与用户的交互，下发数据获取、检测分析任务，接收数据获取、检测分析的结果等工作。

交互节点包括用户交互模块和通信调度模块。用户交互模块：接收该系统的用户输入，获取需要检测的镜像列表，提供检测报告。通信调度模块：根据需要检测镜像列表下发数据获取任务至数据节点，下发检测分析任务至分析节点，同时接收数据获取结果、检测分析结果。数据获取任务包括镜像信息获取任务和镜像层获取任务，检测分析任务包括镜像信息分析任务和镜像层检测任务。

数据节点：根据下发的数据获取任务下载对应的容器镜像，并将下载完成的容器镜像提取出对应的容器镜像层数据。

数据节点包括镜像信息下载模块和镜像层下载模块。镜像信息下载模块：根据下发的镜像信息获取任务，下载镜像配置文件以及镜像manifest文件，并将结果提交给交互节点中的通信调度模块。镜像层下载模块：根据下发的镜像层获取任务，根据镜像的manifest文件信息，下载对应的镜像，并将结果提交给交互节点中的通信调度模块。

数据节点下载的镜像配置文件，包含镜像层的哈希值、镜像层所执行的命令、镜像的更新时间、镜像的开发者等信息。具体地，哈希值为镜像层以tar.gz格式进行压缩后压缩包的哈希值。

数据节点下载的镜像manifest文件，包含镜像中镜像层的哈希值，镜像层下载地址以及下载请求所需要使用的参数。具体地，哈希值为镜像层以tar格式进行压缩后压缩包的哈希值，镜像层下载地址为容器镜像公共仓库中的镜像层地址。

数据节点接收到镜像层获取任务后会优先下载同一个镜像的镜像层数据，在完成下载后提取镜像层数据，将其提交给交互节点的通信模块。优选地，为了保证容器镜像尽可能正确的被下载，下载任务出错后会进行检查错误原因，对于网络故障导致的错误，下载任务会被重新加入同一镜像任务的下载队列；对于容器镜像层不存在，缺少访问权限等错误，则抛弃该下载任务。

完成下载的镜像，则需要通过以下算法提取出镜像层数据：

设需要提取数据的镜像层为第x层，其在manifest文件中获得的哈希值为L(x)；

利用公式C(1)＝L(1)，C(x)＝hash(C(x-1)|L(x))可以计算得到L(x)对应的C(x)值，其中|运算符被定义为将右操作数以字符串的形式拼接至左操作数。

其中L(1)表示第一层镜像层在manifest文件中获得的哈希值，L(x)表示第x层镜像层在manifest文件中获得的哈希值，C(1)表示第一层镜像在本地存储中的目录名，C(x-1)表示第x-1层镜像层在本地存储中的目录名，C(x)表示第x层镜像层在本地存储中的目录名。

分析节点：根据镜像的配置文件解析镜像运行的命令，确认需要进行下载的镜像层，分析下载的镜像层是否存在敏感信息，并将检测分析结果返回给交互节点。

分析节点包括镜像信息分析模块和敏感信息分析模块。镜像信息分析模块：根据下发的镜像分析任务，分析镜像配置文件，解析镜像层所执行的命令并确定镜像层是否需要下载，将分析结果提交给交互节点的通信调度模块。敏感信息分析模块：根据下发的镜像层分析任务，提取镜像层中文件内容，利用敏感信息特征匹配文件内容，将分析结果提交给交互节点的通信调度模块。

镜像信息分析包括如下步骤：

S1：分析节点接收镜像信息数据，即镜像的配置文件以及manifest文件；

S2：检查该镜像是否已经进行过分析，若是则直接返回分析结果；

S3：拆分每个镜像层所执行的命令，分析其是否向关键目录改动数据，或是直接通过环境变量设置敏感信息。最后返回结果，即可能存在敏感信息的镜像层哈希值以及其在镜像之中的层数；

S4：分析节点接收镜像层数据；

S5：检查镜像层是否已经经过检测，若是则直接返回检测结果；

S6：从敏感信息特征库中以此调用特征，检查镜像层中的文件是否符合特征。最后返回结果，即镜像层哈希值、泄露的敏感信息类型以及泄露的敏感信息。

考虑到检测结果的结构可能存在变化，最终的检测结果将以JSON格式以合适的方式存入NoSQL型数据库。

分析节点挑选出可能存在敏感信息的层进行下载并检测，减少了数据下载量，从而提高了检测分析的速度。同时分析节点还记录分析检测的镜像信息和镜像层，对于已经进行过分析检测的镜像信息和镜像层，可以跳过分析检测过程直接获得结果，从而提高检测效率。

敏感信息特征库包含多种敏感信息的类型以及对应的检测正则表达式规则，通常情况下这些规则并不会发生变化。常见的检测规则有针对RSA私钥、PGP私钥、AWS SecretKey等敏感信息的。

一种容器镜像敏感信息检测系统中交互节点、数据节点和分析节点数量并没有限制。优选的，设置为一个交互节点，多个数据节点以及多个分析节点。同时一种容器镜像敏感信息检测系统中每个节点既可以独立运行在一个主机上，也可以和其他节点共用一台主机。

本发明公开了一种容器镜像敏感信息检测方法，包括如下步骤，

步骤1包括如下步骤：

步骤1.1：接收该系统的用户输入，获取需要检测的镜像列表；

步骤1.2：分发镜像信息获取任务；

步骤1.3：接收镜像信息数据，并下发镜像信息分析任务；

步骤1.4：接收镜像信息分析结果，并下发镜像层获取任务；

步骤1.5：接收镜像层数据，并下发镜像层检测任务；

步骤1.6：接收镜像层检测结果，并汇总结果，产生报告。

步骤2包括如下步骤：

步骤2.1：接收镜像信息获取任务；

步骤2.2：根据镜像信息获取任务，过滤已经获取的镜像信息，向镜像仓库请求下载对应的镜像配置文件及镜像manifest文件，并将结果提交给交互节点中的通信调度模块；

步骤2.3：接收镜像层获取任务；

步骤2.4：根据镜像层获取任务，过滤已经获取的镜像层，通过镜像manifest文件提供的镜像层信息，向对应的下载地址请求下载镜像层，并将结果提交给交互节点的通信调度模块。

步骤3包括如下步骤：

步骤3.1包括如下步骤：

步骤3.1.1：获取镜像信息分析任务；

步骤3.1.2：检查该任务所针对的镜像信息是否已经进行过分析，若是则返回分析结果，进入步骤3.5；若否则计入步骤3.2；

步骤3.2：通过镜像的配置文件，获取镜像每一层执行的命令；

步骤3.3包括如下步骤：

步骤3.3.1：解析每一层执行的命令，以&&符号将镜像层执行的命令分割为多条；

步骤3.3.2：检查分割后的命令中是否直接包含敏感信息；

步骤3.3.3：检查分割后的命令中，可能包含敏感信息的关键目录是否数据变化；

步骤3.4：将可能存在敏感信息的镜像层作为镜像信息分析结果提交给交互节点的通信调度模块；

步骤3.5包括如下步骤：

步骤3.5.1：获取镜像层检测任务；

步骤3.5.2：检查该任务所针对的镜像层是否已经进行过检测，若是则直接返回检测结果，结束步骤3，若否则进入步骤3.6；

步骤3.6：调用不同敏感信息类型对应的正则表达式检测规则，检测镜像层中每一个文件的内容，并将检测结果提交给交互节点的通信调度模块。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (8)

1.一种容器镜像敏感信息检测系统，其特征在于，包括交互节点、数据节点和分析节点，通过交换数据协同工作；

所述交互节点：与用户的交互，下发数据获取、检测分析任务，接收数据获取、检测分析的结果；

所述数据节点：根据下发的数据获取任务下载对应的镜像配置文件、镜像manifest文件以及镜像层文件，并将数据获取结果返回给交互节点；

所述分析节点：根据镜像的配置文件解析镜像运行的命令，确认需要进行下载的镜像层，分析下载的镜像层是否存在敏感信息，并将检测分析结果返回给交互节点；

所述分析节点包括镜像信息分析模块和敏感信息分析模块；

所述镜像信息分析模块：根据下发的镜像分析任务，分析镜像配置文件，解析镜像层所执行的命令并确定镜像层是否需要下载，将分析结果提交给交互节点的通信调度模块；

所述敏感信息分析模块：根据下发的镜像层分析任务，提取镜像层中文件内容，利用敏感信息特征匹配文件内容，将分析结果提交给交互节点的通信调度模块。

2.如权利要求1所述的容器镜像敏感信息检测系统，其特征在于，所述交互节点包括用户交互模块和通信调度模块；

所述用户交互模块：接收系统的用户输入，获取需要检测的镜像列表，提供检测报告；

所述通信调度模块：下发数据获取任务、检测分析任务，同时接收数据获取、检测分析的结果；所述数据获取任务包括镜像信息获取任务和镜像层获取任务，所述检测分析任务包括镜像信息分析任务和镜像层检测任务。

3.如权利要求1所述的容器镜像敏感信息检测系统，其特征在于，所述数据节点包括镜像信息下载模块和镜像层下载模块；

所述镜像信息下载模块：根据下发的镜像信息获取任务，下载镜像配置文件以及镜像manifest文件，并将结果提交给交互节点中的通信调度模块；

所述镜像层下载模块：根据镜像层获取任务，过滤已经获取的镜像层，通过镜像manifest文件提供的镜像层信息，向对应的下载地址请求下载镜像层，并将结果提交给交互节点中的通信调度模块。

4.如权利要求1所述的容器镜像敏感信息检测系统，其特征在于，所述数据获取任务、数据获取结果、检测分析任务和检测分析结果通过分布式任务调度技术传递，其中数据获取任务通过分布式任务调度技术由交互节点向数据节点传递，数据获取结果通过分布式任务调度技术由数据节点向交互节点传递，检测分析任务通过分布式任务调度技术由交互节点向分析节点传递，检测分析结果通过分布式任务调度技术由分析节点向交互节点传递。

5.一种容器镜像敏感信息检测方法，其特征在于，应用于权利要求1-4所述的容器镜像敏感信息检测系统，包括如下步骤：

步骤1、完成与用户的交互，下发数据获取、检测分析任务，接收数据获取、检测分析的结果；

步骤2、根据下发的数据获取任务下载对应的镜像配置文件、镜像manifest文件以及镜像层文件，并将数据获取结果返回给交互节点；

步骤3、根据镜像的配置文件解析镜像运行的命令，确认需要进行下载的镜像层，分析下载的镜像层是否存在敏感信息，并将检测分析结果返回给交互节点；

所述步骤3包括如下步骤；

步骤3.1、获取镜像信息分析任务，对已经分析的任务，直接返回分析结果；

步骤3.2、通过镜像的配置文件，获取镜像每一层执行的命令；

步骤3.3、解析每一层执行的命令，确认命令中是否包含敏感信息以及可能包含敏感信息的关键目录是否发生数据变化；

步骤3.4、将改动关键目录数据的镜像层提交作为镜像信息分析结果提交给交互节点的通信调度模块；

步骤3.5、获取镜像层检测任务，对已经检测的任务，直接返回检测结果；

步骤3.6、调用不同敏感信息类型对应的正则表达式检测规则，检测镜像层中每一个文件的内容，并将检测结果提交给交互节点的通信调度模块。

6.如权利要求5所述的容器镜像敏感信息检测方法，其特征在于，所述步骤1包括如下步骤：

步骤1.1、接收系统的用户输入，获取需要检测的镜像列表；

步骤1.2、分发镜像信息获取任务；

步骤1.3、接收镜像信息数据，并下发镜像信息分析任务；

步骤1.4、接收镜像信息分析结果，并下发镜像层获取任务；

步骤1.5、接收镜像层数据，并下发镜像层检测任务；

步骤1.6、接收镜像层检测结果，并汇总结果，产生报告。

7.如权利要求5所述的容器镜像敏感信息检测方法，其特征在于，所述步骤2包括如下步骤；

步骤2.1、接收镜像信息获取任务；

步骤2.2、根据镜像信息获取任务，过滤已经获取的镜像信息，向镜像仓库请求下载对应的镜像配置文件及镜像manifest文件，并将结果提交给交互节点中的通信调度模块；

步骤2.3、接收镜像层获取任务；

步骤2.4、根据镜像层获取任务，过滤已经获取的镜像层，通过镜像manifest文件提供的镜像层信息，向对应的下载地址请求下载镜像层，并将结果提交给交互节点的通信调度模块。

8.如权利要求5所述的容器镜像敏感信息检测方法，其特征在于，所述数据获取任务、数据获取结果、检测分析任务和检测分析结果通过分布式任务调度技术传递，其中数据获取任务通过分布式任务调度技术由交互节点向数据节点传递，数据获取结果通过分布式任务调度技术由数据节点向交互节点传递，检测分析任务通过分布式任务调度技术由交互节点向分析节点传递，检测分析结果通过分布式任务调度技术由分析节点向交互节点传递。

Images