CN111813499A - 针对容器网络实现策略校验的方法及其应用系统 - Google Patents

Abstract

本发明涉及一种针对容器网络实现策略校验的方法，步骤包括将容器的属性名称哈希计算至哈希表，将映射至哈希表的容器的index对应的值赋值为1；将每个网络策略的属性哈希计算至bitset，将所有生成的bitset进行逻辑与操作来获取容器的index的值；遍历bit中值为1的index对应的容器，比较label和selector的字符串，在可达bit矩阵中设置相应的bit位，输出可达bit矩阵。本发明还涉及一种通过容器网络实现策略校验的应用系统。采用了本发明的通过容器网络实现策略校验的方法及其应用系统，通过预过滤把策略与容器之间不可能匹配的丢弃掉的方式，可以实现加速可达bit矩阵的计算，利用上述的可达bit矩阵模型，可以快速地检测出上面提到的约束冲突。

Description

针对容器网络实现策略校验的方法及其应用系统

技术领域

本发明涉及计算机容器领域，尤其涉及容器网络领域，具体是指一种针对容器网络实现策略校验的方法及其应用系统。

背景技术

容器在云网络、NFV中扮演着越来越重要的角色，被众多厂商所使用。为了能够保证这些容器网络的安全性、可用性，那么就必须要进行网络隔离与控制。比如，著名的容器编排器Kubernetes，就使用基于容器属性的网络访问控制策略来实现容器网络的隔离以及网络互访。随着容器网络部署的越来越庞大与复杂，网络策略的变化也变的更加频繁。在实际生产环境中，为了避免网络访问控制策略变动带来错误造成网络服务不可用，在将网络访问控制策略部署到真实网络之前，需要对策略进行验证。然而，目前并没有一款工具能够很好的对基于label的网络访问控制策略进行验证。

相比于传统网络，容器网络中验证网络策略有如下难点：

(1)规模大。巨大的容器集群规模意味着网络的复杂性。根据谷歌官方Kubernetes服务提供商GKE的文档，一个集群环境的规模最大可以达到500k个容器。

(2)更新频繁。在容器网络中网络策略会被管理员频繁地添加、删除。因此网络策略验证不是只验证一次，而是需要在运行期间周期性的或者触发性的反复验证。

(3)复杂的意图。不同于多租户场景中不同租户之间的简单隔离，网络策略可以被用来描述更加复杂的意图。

在容器网络中，每个容器都会有相应的属性，网络访问控制策略会通过容器的属性来控制容器网络的访问与隔离。当新增容器时，如果采用朴素的遍历方式进行字符串比较，需要遍历集群中所有容器的属性来验证是否满足网络管理员的容器互访、容器隔离意图。在容器网络规模较大的情况下，效率会非常低下。针对此问题，本专利提出一种提高容器网络的验证效率的算法，并基于该算法实现了容器网络验证装置。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种满足验证效率高、消耗低、适用范围较为广泛的针对容器网络实现策略校验的方法及其应用系统。

为了实现上述目的，本发明的针对容器网络实现策略校验的方法及其应用系统如下：

该针对容器网络实现策略校验的方法，其主要特点是，所述的方法包括以下步骤：

(1)将容器的属性名称哈希计算至哈希表，将映射至哈希表的容器的index对应的值赋值为1；

(2)将每个网络策略的属性哈希计算至bitset，将所有生成的bitset进行逻辑与操作来获取容器的index的值；

(3)遍历bit中值为1的index对应的容器，比较label和selector的字符串，在可达bit矩阵中设置相应的bit位，输出可达bit矩阵。

较佳地，所述的步骤(1)具体包括以下步骤：

(1.1)将容器的属性名称哈希计算至哈希表，将哈希表的每项均关联bitset，每个bit均对应一个容器；

(1.2)若某个容器的属性映射至哈希表中的某个bitset，则将该容器的index对应的值赋值为1。

较佳地，所述的步骤(2)具体包括以下步骤：

(2.1)将每个网络策略的属性哈希计算至bitset；

(2.2)将所有生成的bitset进行逻辑与操作来获取容器的index的值。

较佳地，所述的步骤(3)具体包括以下步骤：

(3.1)遍历bit中值为1的index对应的容器；

(3.2)比较label和selector的字符串，若匹配，则在可达bit矩阵中设置相应的bit位，输出可达bit矩阵。

较佳地，所述的容器网络所处的环境包含约束条件，通过所述的可达bit矩阵检测网络策略间的约束条件。

该应用上述系统实现针对容器网络进行策略校验的应用系统，其主要特点是，所述的系统包括：

矩阵计算器，用于通过配置文件输入或通过容器平台控制台命令自动获取配置，并解析配置，转换为原始数据结构，计算可达bit矩阵；

冲突检测器，与所述的矩阵计算器相连接，用于通过可达bit矩阵检测满足的网络约束，并记录导致冲突的对象；

修复建议器，与所述的冲突检测器相连接，用于提供解决问题的建议。

采用了本发明的针对容器网络实现策略校验的方法及其应用系统，本发明的存储消耗低，可达bit矩阵使用bit位来记录，要比使用整数int或者字符串string的存储开销小得多。本发明的计算快，可达bit矩阵的计算和验证都可以通过按位运算来实现，比整数和字符串的运算要快得多。本发明易于验证，策略和约束可以很容易地使用矩阵表达式来表达，并且能够快速的进行验证。本发明通过预过滤把策略与容器之间不可能匹配的丢弃掉的方式，可以实现加速可达bit矩阵的计算，利用上述的可达bit矩阵模型，可以快速地检测出上面提到的约束冲突。

附图说明

图1为本发明的针对容器网络实现策略校验的方法的可达bit矩阵示意图。

图2为本发明的针对容器网络实现策略校验的方法的将网络策略映射至可达bit矩阵的实施例的示意图。

图3为本发明的针对容器网络实现策略校验的方法的将容器的属性映射至哈希表的示意图。

图4为本发明的针对容器网络实现策略校验的方法的将策略映射至哈希表的示意图。

图5为本发明的针对容器网络实现策略校验的方法的存在策略阴影的可达bit矩阵的实施例的示意图。

图6为本发明的容器网络策略校验的应用系统的结构示意图。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

该针对容器网络实现策略校验的方法，其中包括以下步骤：

(1)将容器的属性名称哈希计算至哈希表，将映射至哈希表的容器的index对应的值赋值为1；

(1.1)将容器的属性名称哈希计算至哈希表，将哈希表的每项均关联bitset，每个bit均对应一个容器；

(1.2)若某个容器的属性映射至哈希表中的某个bitset，则将该容器的index对应的值赋值为1；

(2)将每个网络策略的属性哈希计算至bitset，将所有生成的bitset进行逻辑与操作来获取容器的index的值；

(2.1)将每个网络策略的属性哈希计算至bitset；

(2.2)将所有生成的bitset进行逻辑与操作来获取容器的index的值；

(3)遍历bit中值为1的index对应的容器，比较label和selector的字符串，在可达bit矩阵中设置相应的bit位，输出可达bit矩阵；

(3.1)遍历bit中值为1的index对应的容器；

(3.2)比较label和selector的字符串，若匹配，则在可达bit矩阵中设置相应的bit位，输出可达bit矩阵。

作为本发明的优选实施方式，所述的容器网络所处的环境包含约束条件，通过所述的可达bit矩阵检测网络策略间的约束条件。

该应用上述方法实现针对容器网络进行策略校验的应用系统，其中包括：

矩阵计算器，用于通过配置文件输入或通过容器平台控制台命令自动获取配置，并解析配置，转换为原始数据结构，计算可达bit矩阵；

冲突检测器，与所述的矩阵计算器相连接，用于通过可达bit矩阵检测满足的网络约束，并记录导致冲突的对象；

修复建议器，与所述的冲突检测器相连接，用于提供解决问题的建议。

本发明的具体实施方式中，容器网络在不配置网络访问控制策略，且物理网络没有故障的情况下，容器网络可以看作一个全连通的网络。可以把容器网络中容器之间的可达性看成一个二维的bit图，“Egress”列表示所有容器的egress，“Ingress”行表示所有容器的ingress，每个bit位表示容器间是否可以访问，这个图就叫做可达bit矩阵(bitmatrix)，本说明书中的bitmatrix即指可达bit矩阵。通过配置网络访问控制策略，容器之间的可达性会受到影响。如果在x行和y列的bit位被置为1，则表示容器x可以访问容器y。这个可达bitmatrix如图1(1)所示。

容器的egress访问控制策略和ingress访问控制策略是可以分块配置的，如图所示，图1(1)为容器egress的可达性要求，图1(2)为容器ingress的可达性要求，把图1(1)和图1(2)的bit位进行逻辑与(AND)后，得出图1(3)深色的值为“1”的bit位，表示最终可互访的ingress和egress。

在容器网络中，每个容器都会有一些属性，并且每个属性都有其名称及值。策略一般可以分为四个部分：

Select，用属性来标示策略应用于哪个容器。

Allow，用属性来判断哪些容器允许访问。

Direction，决定策略应用于ingress方向，还是egress方向。

Protocol，指明允许的协议，比如TCP或者UDP，以及允许的port号。

如图2所示，把网络策略映射到可达bitmatrix的一个例子，策略A使容器0和1的ingress对容器2和3开放，被策略A所允许的可达性在bitmatrix中表示为红色bit位。

如果直观地计算可达bitmatrix，则需要遍历网络中所有的策略。对于每个策略，必须遍历每个容器以确认它是否被策略所允许。假设有m个策略和n个容器，那么最暴力的遍历算法的时间复杂度为O(mn)。在容器网络实际环境中，m和n通常都具有相同的数量级。那么，当容器集群的规模达到500k的规模时，必须需要更快的算法，否则策略验证时间将会变的非常长。

在大规模的容器集群环境中，不同用户定义的属性一般是各不相同的，因此可达bitmatrix通常也是稀疏的。通过预过滤把策略与容器之间不可能匹配的丢弃掉的方式，可以实现加速可达bitmatrix的计算。

这个预过滤算法是基于bitset映射来实现的。

本发明的通过容器网络实现策略校验的方法，其中，包括以下步骤：

首先，把容器的属性名称哈希到哈希表，哈希表的每一项都关联bitset，其中每个bit都对应一个容器，若某一个容器的属性可以映射到哈希表中的某一个bitset，则把这个bitset中这个容器的index对应的那一位赋值为1，如图3所示。因为每个容器只有有限数量的属性，所以此过程的时间复杂度为O(n)。

其次，将每个策略Selector/Allow的属性哈希到bitset，然后把所有生成的bitset进行逻辑与(AND)操作以获取容器的index，如图4所示。每条策略对应的时间复杂度近似为O(1)，此过程的时间复杂度为O(m)。

最后，遍历bit中值为1的index对应的容器，确定策略是否select/allow相应的容器。这一步是通过简单粗暴的比较label和selector的字符串的。如果匹配，则在可达bitmatrix中设置相应的bit位。因为可达bitmatrix是稀疏的，那么只有少量的bit位需要设置，所以此过程的时间复杂度为O(1)。

所以，可达bitmatrix计算算法的整体时间复杂度为O(m+n)，完整算法伪代码如下：

输入：容器list C，策略list P

输出：可达性bitmatrix M

1:n＝sizeof(C)

2:m＝sizeof(P)

3:HashMap<String,BitSet>labelHash

4:for i＝0 to n do

5:for label in C[i].Labels do

6:labelHash.hash(label.key).set(i)

7:for i＝0 to m do

8:BitSet SelectSet＝new BitSet(1,n)

9:for label in P[i].selectLabels do

10:SelectSet＝SelectSet&&labelHash.hash(label.key)

11:BitSet AllowSet＝new BitSet(1,n)

12:for label in P[i].allowLabels do

13:AllowSet＝AllowSet&&labelHash.hash(label.key)

14:for SetIndex in SelectSet do

15:if！P[i]selects C[SetIndex]then

16:SelectSet.clear(SetIndex)

17:for SetIndex in AllowSet do

18:if！P[i]allows C[SetIndex]then

19:AllowSet.clear(SetIndex)

20:for SetIndex in SelectSet do

21:M.getRow(SetIndex)＝M.getRow(SetIndex)||AllowSet

22:return M

算法的空间复杂度为O(n²)。以500k个容器规模的集群举例，存储空间需要S＝500000×500000(bit)＝250Gb＝31.25GB。对于数据中心这样支持500k个容器的集群环境，这个内存开销是比较合理的。

基于bitmatrxi的策略校验如下：

在实际容器网络环境中存在一些常见的用户意图，这些意图可以被表达为网络必须满足的约束条件。一旦这些约束不能被满足就可能会产生一些潜在的风险，比如数据泄露、无法正常提供网络服务等。以下是一些约束的例子：

a.不存在全可达，即不存在某个容器可以被其他所有容器访问。

b.不存在全隔离，即不存在某个容器不能被其他任何容器访问。

c.不存在租户穿越，一个租户不可以访问另外一个租户的容器。

d.不存在系统隔离，所有容器都不能与某个特定容器隔离，一般是容器平台系统容器。

e.不存在策略阴影，即不存在某个策略完全被另外一个策略覆盖，也就是说这个策略就是冗余的。

f.不存在策略冲突，即不存在一个策略控制的网络连接与另外一个策略完全冲突。

g.其它一些租户定义的约束条件。

有了上述的可达bitmatrix模型，就可以快速地检测出上面提到的约束冲突。比如，检测是否存在策略阴影，就可以通过遍历所有容器，对于那些选择了相同容器的策略，比较“select”和“allow”的容器来检测冲突。如果一个策略的覆盖区域可以被另外一个策略所覆盖，则它们就是一个策略影子对。可达bitmatrix如图5所示，时间复杂度为O(n)。

同理，其它的网络约束也都可以通过使用生成的可达bitmatrix来检测。此处不再一一举例说明。

系统架构如下：

具有可达bitmatrix，可设计出如图6所示的系统架构图，主要由三部分组成：矩阵计算器、冲突检测器、修复建议器。

首先，矩阵计算器将配置文件作为输入或者通过容器平台控制台命令自动获取配置。输入之后，解析配置并将其转换为系统的原始数据结构。

然后，就可以按前面提到的算法计算可达bitmatrix。然后冲突检测器使用可达bitmatrix来检测是否满足所有的网络约束。如果有约束冲突，它把导致冲突的对象记录下来。

最后，根据检测结果，修复建议器会给管理员一些如何解决问题的建议。尽管修改策略解决潜在风险很简单，但是它可能会破坏人工编写策略的表达能力。所以该系统不会直接修改配置，而是提供建议。

建议一般如下所示：

a.查看所有可到的和所有被隔离的容器。

b.查看导致不同租户之间可访问，以及导致系统隔离的策略。

c.建议删除策略以解决策略阴影。

d.查看有冲突的那些策略。

e.关于其它用户自定义的网络约束的警告。

采用了本发明的针对容器网络实现策略校验的方法及其应用系统，本发明的存储消耗低，可达bit矩阵使用bit位来记录，要比使用整数int或者字符串string的存储开销小得多。本发明的计算快，可达bit矩阵的计算和验证都可以通过按位运算来实现，比整数和字符串的运算要快得多。本发明易于验证，策略和约束可以很容易地使用矩阵表达式来表达，并且能够快速的进行验证。本发明通过预过滤把策略与容器之间不可能匹配的丢弃掉的方式，可以实现加速可达bit矩阵的计算，利用上述的可达bit矩阵模型，可以快速地检测出上面提到的约束冲突。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (6)

1.一种针对容器网络实现策略校验的方法，其特征在于，所述的方法包括以下步骤：

(1)将容器的属性名称哈希计算至哈希表，将映射至哈希表的容器的index对应的值赋值为1；

(2)将每个网络策略的属性哈希计算至bitset，将所有生成的bitset进行逻辑与操作来获取容器的index的值；

(3)遍历bit中值为1的index对应的容器，比较label和selector的字符串，在可达bit矩阵中设置相应的bit位，输出可达bit矩阵。

2.根据权利要求1所述的针对容器网络实现策略校验的方法，其特征在于，所述的步骤(1)具体包括以下步骤：

(1.1)将容器的属性名称哈希计算至哈希表，将哈希表的每项均关联bitset，每个bit均对应一个容器；

(1.2)若某个容器的属性映射至哈希表中的某个bitset，则将该容器的index对应的值赋值为1。

3.根据权利要求1所述的针对容器网络实现策略校验的方法，其特征在于，所述的步骤(2)具体包括以下步骤：

(2.1)将每个网络策略的属性哈希计算至bitset；

(2.2)将所有生成的bitset进行逻辑与操作来获取容器的index的值。

4.根据权利要求1所述的针对容器网络实现策略校验的方法，其特征在于，所述的步骤(3)具体包括以下步骤：

(3.1)遍历bit中值为1的index对应的容器；

(3.2)比较label和selector的字符串，若匹配，则在可达bit矩阵中设置相应的bit位，输出可达bit矩阵。

5.根据权利要求1所述的针对容器网络实现策略校验的方法，其特征在于，所述的容器网络所处的环境包含约束条件，通过所述的可达bit矩阵检测网络策略间的约束条件。

6.一种应用权利要求1的方法实现针对容器网络进行策略校验的应用系统，其特征在于，所述的系统包括：

矩阵计算器，用于通过配置文件输入或通过容器平台控制台命令自动获取配置，并解析配置，转换为原始数据结构，计算可达bit矩阵；

冲突检测器，与所述的矩阵计算器相连接，用于通过可达bit矩阵检测满足的网络约束，并记录导致冲突的对象；

修复建议器，与所述的冲突检测器相连接，用于提供解决问题的建议。

Images