CN117221105A - 一种高效的云网络配置信息处理方法 - Google Patents

Abstract

本发明公开了一种高效的云网络配置信息处理方法，保证任意一段时间内的历史信息能被准确还原。本发明通过哈希和异或等操作，将所有的历史信息以字符串的形式保存在内存中。在相隔有限时间的两个时间点记录字符串快照，即可判断某条信息是否属于该时间段内获取的历史信息。在云网络中的配置校验中，该方法能以极低的额外开销排除绝大部分时序所导致的错误，保证网络的服务质量。相较于现有的方法，本方法可以实时反映任意有限长度时间内的历史信息，从而将网络故障的滞留时间降低到原先的一半，产生的额外开销可以忽略不计。

Description

一种高效的云网络配置信息处理方法

技术领域

本发明涉及云网络运维管理领域，尤其涉及一种部署于云网络的高可用、低开销、高准确率的配置信息处理方法。

背景技术

随着云计算技术的快速发展，越来越多的企业和组织开始将业务和应用程序迁移到云端，以获得更高的灵活性、可靠性和可扩展性。云计算的核心是云网络，它提供了一个高度可配置和可编程的平台，实现了资源的弹性使用和可视化管理。在云网络中，控制器下发的网络配置定义了网络资源如何工作、如何相互通信以及如何进行安全管理。一些常见的网络配置包括IP地址分配、虚拟网络的设置、安全策略、流量路由和负载均衡等。良好的网络配置可以提高网络的可用性、性能和安全性，从而确保业务能够稳定地运行。

然而，复杂动态的庞大网络难以被实时监控，云网络供应商无法保证下发的配置始终与预期一致。当配置发生错误时，会对特定用户乃至整个网络的服务质量造成毁灭性的打击，造成流量黑洞等严重的网络故障。因此，云网络供应商在传统的运维管理工作中需要定期校验网元设备上应用的配置是否与控制面预期的配置相同，注意这个过程不仅包括控制器与网元设备接收到的校验，还包括网元设备内部从控制面接受到的配置与实际应用在网元设备上的配置之间的校验。然而，由于配置的下发过程是一个严格有序的过程，所有的配置必然从控制面下发到数据面，再由数据面接受的网元设备具体应用到后端程序中。这个过程使得配置一致性的校验并不是完全同时进行的，校验过程中得到的不一致信息不仅仅包括错误下发的配置，还包括上一步未在下一步生效的部分，这部分被定义为由于时序不一致所导致的错误。例如，控制器在18:00:00压缩需要校对的历史配置信息S发起配置一致性校对，并于18:00:05被对应的网元设备接收，开启校对流程。相隔的这5s中，控制器仍然在不间断地对网络实时下发配置，而这5s中新增的信息不在S中，会被认为是不一致的信息被筛出。此时的不一致与错误并不等价，处理这些由于时序问题造成的不一致会对网络带来极大的负担。在网元设备内部进行校验时，由于需要等待系统提取应用在后端程序的配置，这个不一致的时间间隔会更长，一般超过20s。

当前处理这些由于时序问题导致的不一致方法主要包括两种。一种是存储相关时间段内所有的历史信息在本地存储设备中，对得到的不一致信息进行筛选，在发起校对的时间点之后的所有能在本地历史信息中得到的不一致被认为是由于时序问题导致的不一致，将其剔除。这种方法需要额外存储空间，以配置的平均长度为500字节，每秒下发5000条配置为例，存储每分钟的历史信息需要143MB左右的存储空间，这个占用的大小会随着配置的平均长度和网络的流量增大进一步扩大。事实上，考虑到代码实现和系统鲁棒性的问题，采用记录所有历史信息的方法时不会仅在发起对账时记录历史信息，而是记录所有的历史信息，并阶段性丢弃过时的信息。以保留30分钟的有效信息为例，需要设备4.2GB的存储开销。在控制器上其冗余的资源也足够满足存储的需求。然而，商用网元设备上的资源是有限的，当处理网元设备内部的不一致校对时，历史信息的保存会浪费大量存储资源。此外，这个方法还需要精确的时钟来支持查询，这在商用网元设备上并不一定支持。

另一种方法记录每次所有的不一致信息而不直接处理，每次将得到的不一致信息与上一次校对得到的不一致信息取交集，交集的部分被认为是真正的错误。这种方法无需额外的存储资源，但故障的滞留时间翻倍，增大到两个校对周期。以30分钟发起一次对账为例，此时在最差情况下，错误的配置会在网络中滞留一个小时，对网络服务质量造成极大的影响。

综上所述，基于云网络配置历史信息的存储问题，亟需一种高可用、低开销、高准确率的信息存储和还原方法，有效保证网络的服务质量。

发明内容

本发明的目的是针对现有技术的不足，设计一套高可用、低开销、高准确率的云网络配置信息处理方法，有效降低云服务提供商在配置问题上的开销。

本发明的目的是通过以下技术方案实现的：一种高效的云网络配置信息处理方法，该方法包括以下步骤：

S1，在网元设备内存中创建两个由m个r位大小单元格组成的字符串L₁和L₂；每当网元设备获取到控制器下发的配置信息时，将配置信息通过哈希函数结合异或操作，存储至字符串L₁和L₂；

S2，获取给定时间段内网络配置历史信息的摘要，包括：获取两个字符串L₁、L₂在两个给定时间点T₁、T₂的快照S₁和S₂，将不同时间点的快照S₁和S₂中的L₁和L₂分别对应异或，得到两个字符串C₁和C₂；

S3，获取控制器下发配置与网元设备实际生效配置的不一致集合Set；

S4，还原给定时间段内的网络配置历史信息，包括：对不一致集合Set中的所有元素，对字符串C₁和C₂中对应位置记录的二进制数和哈希函数计算的二进制数进行异或操作，根据结果是否为0判断对应元素是否属于给定时间段内的网络配置历史信息；若该元素属于网络配置历史信息，则在字符串C₁、C₂以及集合Set中移除该元素。

进一步地，所述网络配置包括更新、删除、新增三类，配置信息以键值对形式下发，三类配置具体内容为：更新：给定键值对的内容，键不变，值改变；删除：给定键值对的内容，删除对应内容；新增：给定键值对的内容，添加对应内容；所述配置信息存储到字符串时，不记录配置的类型，仅记录配置的键值对内容。

进一步地，在网元设备内存中创建的两个字符串L₁和L₂完全相同，由m个单元格组成，每个单元格的长度为r位，m和r的大小与方法性能直接相关，配置的下发不会间断，因此m和r的大小在设定后不再变更。

进一步地，针对键值对形式的配置信息，通过以下流程记录配置摘要信息：

(1)拼接从控制器接收的配置信息的键和值得到字符串E，通过哈希函数H₁和H₂对E计算分别得到一个哈希值，对字符串L₁和L₂中单元格的数量m取余，得到对应的单元格位置索引Index₁和Index₂；

(2)通过哈希函数H₃对E计算得到一个r位大小的二进制哈希值Hash，Hash分别在L₁第Index₁位置的单元格和L₂第Index₂位置的单元格中与该单元格存储的r位二进制数异或，异或的结果替换对应位置单元格内原有的r位二进制数。

进一步地，复制当前时刻L₁与L₂两个字符串的内容作为快照保留；为了覆盖所需要的所有历史信息，时间点T₁和T₂的值应当分别略早于所需时间段的开始时间和略晚于所需时间段的结束时间。

进一步地，通过以下步骤去除由于时序问题导致的不一致：

(1)将不一致集合Set中元素d_i的键和值拼接得到一个新的元素E，通过哈希函数H₁和H₂对E计算分别得到一个哈希值，对字符串中单元格的数量m取余，得到对应的单元格位置索引Index₁和Index₂；

(2)通过哈希函数H₃对E计算得到一个r位大小的二进制哈希值Hash，Hash分别在C₁第Index₁位置的单元格和C₂第Index₂位置的单元格中与该单元格存储的r位二进制数异或，得到两个二进制数D₁和D₂；

(3)若D₁和D₂中存在至少一个为0，则将C₁第Index₁位置的单元格中的r位二进制数用D₁替换，将C₂第Index₂位置的单元格中的r位二进制数用D₂替换，并将此时的元素d_i从Set中移除，添加到历史信息集合H中；

(4)重复遍历Set中的所有元素，直到Set中的元素数量不再减少，此时，H即为Set中所有时间点T₁至时间点T₂内的历史信息的集合，Set中的剩余元素不为历史信息。

进一步地，当C₁和C₂在步骤(4)结束后为两个全0的字符串，则证明时间点T₁至时间点T₂内的所有历史信息都已被还原，被视为完全解码。

进一步地，在处理网络配置一致性校对中的时序问题时，基于配置的类型进一步对历史信息集合H和不一致集合Set中的元素进行处理：

新增/删除：对应的元素可以在H中被找到；

更新：时间点T₁至时间点T₂内更新的信息可以被找到，但被更新的内容会被当做不一致留在Set中，此时存在且仅存在分别一个H和Set中的元素，它们的键相同而值不同，通过删除Set中与H中元素的键相同的元素，排除由于配置更新而导致的不一致中较早的更新前版本。

进一步地，若待配置信息是长字符串，在哈希计算步骤中对长字符串整体做哈希即可；本方法并不限于配置或其他需要保存的历史信息内容的格式，只需保证所有过程中信息的格式一致即可。

本发明与现有技术相比，具有如下的优点：

第一，方法可靠性高。本方法通过极小的资源开销，可以以小于10^-7的假阴性概率还原数据，即使在历史信息有所缺失的情况下，也能以较高概率还原数据；

第二，资源消耗低。本方法无需额外的存储资源，只需要2*m*r位的内存开销和极少量的计算资源即可完成历史信息的还原；

第三，灵敏度高。本方法可以实时反映任意有限长度时间内的历史信息，例如在一致性校对中，本方法可以将故障的滞留时间降低到一个校对周期内；

第四，方法鲁棒性强。本方法仅保留两个时间点字符串的快照，且记录配置信息的过程不涉及到网元设备内部的功能实现，因此可以看做一个无状态的网络功能，无需额外的维护。

附图说明

图1是本发明实施例提供的一种网络配置历史信息存储方法示意图；

图2是本发明实施例提供的网络配置一致性校验情景下的参数选择；

图3为本发明实施例在合适参数下的方法性能；

图4为本发明实施例在合适参数下的方法稳定性测试结果。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

本实施例在云网络配置的一致性校验场景下给出方法的具体实施细节：

如图1所示，本申请实例给出了一种针对云网络网元设备的配置历史信息摘要方法。在网元设备内存中创建两个由m个r位大小单元格组成的长字符串L₁与L₂。首先，将网络配置的类型定义为更新、删除、新增三类，配置信息以键值对(key-value pair)形式下发，三类配置的具体内容为：

1.更新：给定key-value pair的内容，key不变，改变value的值；

2.删除：给定key-value pair的内容，删除对应内容；

3.新增：给定key-value pair的内容，添加对应内容。

一般而言，为了实现网元设备上从控制器接收的配置与实际生效的配置的校对，网元设备会将接收到的配置根据其类型(即删除、更新和新增)对应地在本地数据库进行状态更迭，从而得到网元设备上生效配置的校对参照。基于该内容，本实施例通过以下流程记录配置摘要信息：

1.拼接从控制器接收的配置的key和value得到一个长字符串E，通过哈希函数H₁和H₂对E计算分别得到一个哈希值，对字符串L₁和L₂中单元格的数量m取余，得到对应的单元格位置索引Index₁和Index₂。其中，拼接的方法可以为简单的字符串相加，对配置拼接的原因是不同配置中key或value可能相同，进而单独使用key和value进行计算时，对应的结果必然相同，会导致哈希冲突以外的假阳性。使用key和value拼接后的结果进行哈希计算时，虽然由于计算的字符串长度增加，从而增大了一定的额外计算开销，但能保证不同配置计算时的哈希结果完全随机。此外，由于每秒需要处理的配置一般不超过5000条，本身处理所需要的计算资源有限，额外的资源增加也相当有限。

2.通过哈希函数H₃对E计算得到一个r位大小的二进制哈希值Hash，Hash分别在L₁第Index₁位置的单元格和L₂第Index₂位置的单元格中与该单元格存储的r位二进制数异或，异或的结果替换对应位置单元格内原有的r位二进制数。

网元设备存储配置历史信息到L₁和L₂的过程与控制器下发配置到网元设备的过程是同步的。一段时间内的配置历史信息根据定义的两个时间点之间的快照信息还原。对于网元设备上对从控制器接收到的历史配置和实际生效的配置进行网络配置一致性校验所得到的不一致部分，该不一致部分中包含两类，一类是由于时序问题导致的时间不同步引起的不一致，另一类是由于配置真正发生错误而导致的不一致。此时需要借助配置的历史信息来删除时序问题导致的不一致部分。具体流程依次如下：

1.发起网络配置一致性校验流程前，此时记为时间点T₁，先保存L₁与L₂的快照S₁。

2.依次从网元设备的后端程序daemon中提取实际被应用的配置表项，从本地代理程序agent中提取生效配置的校对参照。

3.得到需要进行网络配置一致性校验的两个配置集后，此时记为时间点T₂，保存L₁与L₂的快照S₂。

对于网络配置一致性校验得到的不一致部分，将所属于实际被应用的配置表项的部分记为不一致集合DIFF₁，将所属于生效配置校对参照的部分记为不一致集合DIFF₂，将DIFF₁和DIFF₂的并集记为Set，进而通过本方法去除由于时序问题导致的不一致，具体流程如下：

1.将S₁与S₂中的L₁和L₂分别对应异或，得到两个长字符串C₁和C₂。

2.将待确认集合Set中元素d_i的key和value拼接得到一个新的元素E，通过哈希函数H₁和H₂对E计算分别得到一个哈希值，对字符串中单元格的数量m取余，得到对应的单元格位置索引Index₁和Index₂。

3.通过哈希函数H₃对E计算得到一个r位大小的二进制哈希值Hash，Hash分别在C₁第Index₁位置的单元格和C₂第Index₂位置的单元格中与该单元格存储的r位二进制数异或，得到两个二进制数D₁和D₂。

4.若D₁和D₂中存在至少一个为0，则说明该不一致元素是由于时序问题导致的不一致部分，将C₁第Index₁位置的单元格中的r位二进制数用D₁替换，将C₂第Index₂位置的单元格中的r位二进制数用D₂替换，即将E对应的元素从C₁和C₂中删除，并将此时的元素d_i从Set中移除，添加到历史信息集合H中。

5.重复遍历Set中的所有元素，直到Set中的元素数量不再减少。此时，H即为Set中所有时间点T₁至时间点T₂内的历史信息的集合。此外，由于配置更新导致的时序不一致部分，通过删除Set中与H中元素的key相同的元素，可以排除由于配置更新而导致的不一致中较早的更新前版本，针对云网络中配置校验的场景，本实施例能够根据历史信息的记录摘要，高效地将配置历史信息还原，给定配置真正发生错误而导致的不一致部分。

进一步考虑此过程中的准确率，从假阳性和假阴性两个部分进行考虑：

1.假阳率FPR：此时的假阳性指代的是非历史信息的部分被当做历史信息指出，对应于通过哈希函数H₃计算得到D₁和D₂后，其中存在至少一个值由于哈希冲突而为0。对r位的单元格，其概率可被表达为：

当r为32时，对应的假阳率为4.66*10^-10，可以忽略不计。

2.假阴率FNR：即召回率的方面，对应本方法的将历史信息还原的能力。事实上，当且仅当历史信息被映射到字符串的位置恰好重合时，会发生无法解码的情况。例如，对于对元素d₁和d₂的key和value拼接得到的E₁和E₂，计算得到的H₁(E₁)＝H₁(E₂),H₂(E₁)＝H₂(E₂)。进一步，对于E₁，E₂，E₃，E₄有H₁(E₁)＝H₁(E₂)＝H₁(E₃)＝H₁(E₄),H₂(E₃)＝H₂(E₁)＝H₂(E₂)＝H₂(E₄),或H₁(E₁)＝H₁(E₄),H₂(E₁)＝H₂(E₂)，H₁(E₃)＝H₁(E₂),H₂(E₁)＝H₂(E₂)，以此类推。从而此时相互重合的元素之间会互相干扰解码。任意一个重合的元素A映射的位置都包含了一个其他元素B的映射，同时这个B又被其他元素干扰，最终相互干扰的元素之间形成闭环，导致无法解码。发生任意数量元素重合时，本次解码存在假阴性。通过古典概型和拆分原理的知识，在由m个单元格组成的字符串插入n个元素后，发生任意数量的元素重合的概率上界可以被估计为：

从而，假阴率可以被粗略的估计为：

取m的长度为2²⁰，插入200000元素时，假阴性的概率小于2*10^-7。

可以发现，本方法的性能与字符串L₁和L₂中单元格的数量m和单元格的位数大小r直接相关。由于网元设备上寄存器的大小一般为64位，本实施例选择32位作为单元格的位数大小，此时假阳性已基本可以忽略不计，同时提高哈希计算的效率。对于单元格的数量m，如图2所示，基于以下特征：

1.方法的假阴率尽可能低；

2.方法的故障容灾能力尽可能强；

3.参数的选择适合哈希计算，即2的幂次方；

本实施例选择m的大小为2²⁰，并基于此以蒙的卡罗实验测试了本方法计算的假阴率上界，如图3所示，实验的结果符合计算的预期，插入20000元素时，假阴率不超过2*10^-7。

最后，由于网络配置的频繁更迭，部分配置虽然在C₁和C₂中没有重合，但可能无法完全从C₁和C₂中解码。例如，同一个key在短时间内更新了2次以上，此时，一致性校对得到的不一致中只会包含最新的版本，而在这个时间段内之前更新的版本正常映射在字符串中，但由于其不再Set中，所以无法解码。这些元素映射到的位置等效于元素相互重合的位置，若某个元素两次映射的位置都是重合的位置，其也无法解码。本方法将Set中的历史信息占T₁到T₂中所有历史信息的比例定义为占空比。占空比为1时，Set包含T₁到T₂的所有历史信息。基于不同占空比和不同的插入元素数量，本方法利用蒙的卡罗实验进一步测试了方法性能如图4，可以看到方法的性能在占空比较大时可以保持稳定，符合实际场景下的数据特点和需求。此外，即使部分信息无法从本方法中解码，在配置一致性校对中，少量的时序不一致被当做错误配置处理也不会对系统的性能造成太大的负担。

本方法在阿里云测试环境下测试了存储历史信息的开销，每秒存储10000条平均长度为330字节的配置时，在单线程的情况下所需的CPU开销为30ms左右，基本可以忽略不计。此外，在m＝2²⁰，r＝32时，所需的额外内存开销仅为8MB。通过本方法，系统无需额外的存储开销即可确认某条配置是否属于一段时间内的历史信息，在正常生产环境下，还原一段有限历史信息的召回率超过99.99999％。本方法有效地提高了配置一致性校验的灵敏度，能保证故障在一个对账周期内被发现，从而最小化故障的滞留时间，提高网络的服务质量。

本方法适用于任意需要保存历史信息的场景中，而不限制于云网络的配置中。以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (10)

1.一种高效的云网络配置信息处理方法，其特征在于，包括以下步骤：

S1，在网元设备内存中创建两个由m个r位大小单元格组成的字符串L₁和L₂；每当网元设备获取到控制器下发的配置信息时，将配置信息通过哈希函数结合异或操作，存储至字符串L₁和L₂；

S2，获取给定时间段内网络配置历史信息的摘要，包括：获取两个字符串L₁、L₂在两个给定时间点T₁、T₂的快照S₁和S₂，将不同时间点的快照S₁和S₂中的L₁和L₂分别对应异或，得到两个字符串C₁和C₂；

S3，获取控制器下发配置与网元设备实际生效配置的不一致集合Set；

S4，还原给定时间段内的网络配置历史信息，包括：对不一致集合Set中的所有元素，对字符串C₁和C₂中对应位置记录的二进制数和哈希函数计算的二进制数进行异或操作，根据结果是否为0判断对应元素是否属于给定时间段内的网络配置历史信息；若该元素属于网络配置历史信息，则在字符串C₁、C₂以及集合Set中移除该元素。

2.根据权利要求1所述的云网络配置信息处理方法，其特征在于，所述网络配置包括更新、删除、新增三类，配置信息以键值对形式下发，三类配置具体内容为：更新：给定键值对的内容，键不变，值改变；删除：给定键值对的内容，删除对应内容；新增：给定键值对的内容，添加对应内容；所述配置信息存储到字符串时，不记录配置的类型，仅记录配置的键值对内容。

3.根据权利要求1所述的云网络配置信息处理方法，其特征在于，在网元设备内存中创建的两个字符串L₁和L₂完全相同，由m个单元格组成，每个单元格的长度为r位，m和r的大小与方法性能直接相关，m和r的大小在设定后不再变更。

4.根据权利要求1所述的云网络配置信息处理方法，其特征在于，针对键值对形式的配置信息，通过以下流程记录配置摘要信息：

(1)拼接从控制器接收的配置信息的键和值得到字符串E，通过哈希函数H₁和H₂对E计算分别得到一个哈希值，对字符串L₁和L₂中单元格的数量m取余，得到对应的单元格位置索引Index₁和Index₂；

(2)通过哈希函数H₃对E计算得到一个r位大小的二进制哈希值Hash，Hash分别在L₁第Index₁位置的单元格和L₂第Index₂位置的单元格中与该单元格存储的r位二进制数异或，异或的结果替换对应位置单元格内原有的r位二进制数。

5.根据权利要求1所述的云网络配置信息处理方法，其特征在于，复制当前时刻L₁与L₂两个字符串的内容作为快照保留；为了覆盖所需要的所有历史信息，时间点T₁和T₂的值应当分别略早于所需时间段的开始时间和略晚于所需时间段的结束时间。

6.根据权利要求1所述的云网络配置信息处理方法，其特征在于，通过以下步骤去除由于时序问题导致的不一致：

(1)将不一致集合Set中元素d_i的键和值拼接得到一个新的元素E，通过哈希函数H₁和H₂对E计算分别得到一个哈希值，对字符串中单元格的数量m取余，得到对应的单元格位置索引Index₁和Index₂；

(2)通过哈希函数H₃对E计算得到一个r位大小的二进制哈希值Hash，Hash分别在C₁第Index₁位置的单元格和C₂第Index₂位置的单元格中与该单元格存储的r位二进制数异或，得到两个二进制数D₁和D₂；

(3)若D₁和D₂中存在至少一个为0，则将C₁第Index₁位置的单元格中的r位二进制数用D₁替换，将C₂第Index₂位置的单元格中的r位二进制数用D₂替换，并将此时的元素d_i从Set中移除，添加到历史信息集合H中；

(4)重复遍历Set中的所有元素，直到Set中的元素数量不再减少，此时，H即为Set中所有时间点T₁至时间点T₂内的历史信息的集合。

7.根据权利要求6所述的云网络配置信息处理方法，其特征在于，当C₁和C₂在步骤(4)结束后为两个全0的字符串，则证明时间点T₁至时间点T₂内的所有历史信息都已被还原，被视为完全解码。

8.根据权利要求6所述的云网络配置信息处理方法，其特征在于，在处理网络配置一致性校对中的时序问题时，基于配置的类型进一步对历史信息集合H和不一致集合Set中的元素进行处理：

新增/删除：对应的元素可以在H中被找到；

更新：时间点T₁至时间点T₂内更新的信息可以被找到，但被更新的内容会被当做不一致留在Set中，此时存在且仅存在分别一个H和Set中的元素，它们的键相同而值不同，通过删除Set中与H中元素的键相同的元素，排除由于配置更新而导致的不一致中较早的更新前版本。

9.根据权利要求1所述的云网络配置信息处理方法，其特征在于，若待配置信息是长字符串，在哈希计算步骤中对长字符串整体做哈希。

10.根据权利要求1所述的云网络配置信息处理方法，其特征在于，对于千万级别的配置总量，设置单元格的数量m＝2²⁰，单元格的位数r＝32。