CN111585809A - 一种利用大数据统计分析进行网络设备配置稽核的方法 - Google Patents

Abstract

本发明公开了一种利用大数据统计分析进行网络设备配置稽核的方法，包括下列步骤：步骤1)将大量历史配置脚本中的文本信息按照不同的维度划分成不同的主体，并通过统计分析将不同维度的主体进行频次统计，按照统计频次排序构建不同维度的主体集合，即配置基线；步骤2)对配置脚本的频次统计，按照层级分为关键字、命令行、配置功能段、角色四个维度，并按照四个维度进行统计和扫描；步骤3)通过自然语言分析中的知识图谱方法，将配置脚本中的不同主体之间的关联关系通过图数据库的形式存储起来，图数据库可以提供配置知识的查询等。

Description

一种利用大数据统计分析进行网络设备配置稽核的方法

技术领域

本发明属于一种利用大数据统计分析进行网络设备配置稽核的方法，属于互联网领域。

背景技术

网络运营随着科技的进步，也迎来了新一轮挑战，运营商网络设备的规模变得非常巨大，通常一个省的设备量达几万级别。传统的网络运维工作是在设备发生异常时才会查看相应的配置脚本，并且面对上万行的脚本文件，运维人员只能对异常部分脚本进行检查和修改。最糟糕的是，脚本中存在着很多的冗余配置，由不同的运维人员进行维护，没有人会主动删除这些冗余配置。但恰恰是这些冗余配置在网络变更时非常容易引起较大的问题，排障难度系数非常高。本方法提出了一种利用大数据统计分析进行网络设备配置稽核的方法，首先通过大数据统计分析学习到配置基线；然后对待检测配置脚本进行扫描发现异常；最后，对异常进行分析，查询主体之间关联关系给出修改建议。本方法不仅可以在较短的时间内给出配置问题列表，还能对问题的修改给出比较好的建议。

(1)传统的配置检查工具强依赖规则、依赖专业、依赖设备厂家，对于现网设备版本的更替，对应工具更新升级困难；

解决：本方法是从大数据统计的处理方法，学习到配置脚本中的统计特征，从而用于配置检查。对于网络的变更，统计分析可以通过不断的模型训练来实现对网络变更的及时响应。

(2)传统工具的稽核效率低，需要人为确认稽核结果，并且查找解决办法，强依赖专业维护人员，人力成本高；

发明内容

本发明所要解决的技术问题是提供一种利用大数据统计分析进行网络设备配置稽核的方法。

本发明解决上述技术问题所采取的技术方案如下：

一种利用大数据统计分析进行网络设备配置稽核的方法，包括：

步骤1)将大量历史配置脚本中的文本信息按照不同的维度划分成不同的主体，并通过统计分析将不同维度的主体进行频次统计，按照统计频次排序构建不同维度的主体集合，即配置基线；

步骤2)对配置脚本的频次统计，按照层级分为关键字、命令行、配置功能段、角色四个维度，并按照四个维度进行统计和扫描；

步骤3)通过自然语言分析中的知识图谱方法，将配置脚本中的不同主体之间的关联关系通过图数据库的形式存储起来，图数据库可以提供配置知识的查询；

步骤4)对于大数据统计分析中扫描出的异常点，通过查询关联关系知识图谱追溯异常点主体的真实关联情况，从而可以分析出异常点的真正原因和修改的最佳建议。

优选的是，步骤2)中，具体包括：

当所述维度是关键字时，对关键字维度进行统计和扫描包括：

子步骤21)关键字模型，分析对象提取：

设备配置文件中与设备本身相关的关键字包括设备型号、版本号、设备名称相关信息；与规格相关的关键字包括各个模块资源分配值、参数；与业务相关的关键字包括运行的协议名、创建的用户名称；

这部分主要通过专家经验标注，由系统自动读取，利用自然语言分析方法对关键字进行编码，形成关键字字典。

优选的是，步骤2)中，具体包括：

当所述维度是命令行时，对命令行拼写规范分析，包括：

第一步：命令行关键字提取：

利用自然语言分析算法提取每一条配置命令行中的关键字，对关键字进行编码，将命令行文本数字化，形成配置命令数字向量；

第二步：命令行模板提取：

对配置命令中的数字变量进行通配符替换，形成命令格式模板，这些样式通过统计统一编码，构成命令行模板集合；

第三步：命令行拼写检查：

通过提取的命令模板，依据对历史数据的统计，频次较高的模板被认为是配置基线的模板。

优选的是，在对配置文件扫描时，通过统计分析得到的正确基线模板对脚本中的每一条命令进行拼写检查，检查过程中结合关键字字典中的关键字属性，对命令行进行智能识别和匹配。

优选的是，步骤2)，具体包括：

当所述维度是配置功能段时，其业务逻辑分析包括：

第一步：功能段特征提取

对脚本段落进行数据序列特征提取，对于不同段落通过算法总结配置规律，例如不同的接口下的配置规则、不同网络协议的配置规则；

第二步：功能段模板挖掘

对不同的逻辑脚本块进行模板提取之后，形成不同配置功能块的模板，每一个模板是一个命令行序列；

对大量的相同配置逻辑脚本块进行统计学习，对逻辑脚本段落提取的模板进行聚类分析可以总结出配置逻辑脚本块的类别划分；

第三步：功能段逻辑检查

同样通过对历史数据的统计分析，得到出现频次最高的功能段命令行组合，认为是功能段的配置基线。

优选的是，利用频繁项集算法对每条命令前后的关联关系提取，专家经验有监督的矫正，训练的脚本块基线模型可以对脚本文件中的逻辑单元块进行隐患和故障排查，如错配、漏配、冗余。

优选的是，步骤2中，具体包括：

当所述维度是角色时，对设备个性化分析，包括：

第一步：设备角色基线挖掘

对相同角色设备的配置历史数据进行统计分析，同样认为出现频次越大的配置特征更贴近正确的配置基线，对网络中相同角色设备的脚本文件进行特征向量提取、聚类，形成这一类设备角色的脚本指纹基线；

第二步：角色相关隐患排查

训练的设备角色脚本基线模型可以对脚本文件进行个性化隐患和故障排查。不同型号或角色的设备配置是不一样的，检查关注点会有区别，主要体现在配置脚本中的功能块模板的不同组合；

根据配置文件相似度，对配置文件进行类别打标签，通过类别属性对配置文件进行个性化扫描检查。

本发明采取了上述方案以后，通过对历史配置的大量统计分析，学习到的基线代替了专业知识，不仅可以快速发现配置中存在的问题，还可以将解决方法推送给运维人员。不仅节省了人力，更大大提高了配置稽核的效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。其中，

图1是本发明利用大数据统计分析进行网络设备配置稽核的方法的流程示意图；

图2是本发明利用大数据统计分析进行网络设备配置稽核的方法的配置样式的结构示意图；

图3是本发明利用大数据统计分析进行网络设备配置稽核的方法的命令行模板集合示意图；

图4是本发明利用大数据统计分析进行网络设备配置稽核的方法的配置规则示意图。

具体实施方式

以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。

具体来说，网络设备的配置都是依据设备厂商提供的配置规范手册进行设置的，所以设备中的配置绝大多数是标准的。

因此本方法认为，配置脚本中出现的配置命令频次越大，配置越接近标准，是配置异常的可能性越小；出现频次越低的配置是异常的几率越大。即绝对出现次数的占比作为配置正确的支持度参数。如图1所示，其中左侧配置样式中的L11出现次数是1次，右侧配置样式中的L10和L11出现次数是1731次，则认为左侧配置样式中的L11是错误的，并且可以根据右侧的配置样式进行修改调整。

所以在本方法中利用大数据统计分析进行配置脚本的基线学习，通过扫描策略将配置文件中的各项错误配置和隐患配置进行提前发现，并通过推送告警以及提供修改建议指引运维一线人员，辅助及时修改现网中存在的配置隐患。

如图2所示是本方法的大数据分析主要技术方案，本方法将大量历史配置脚本中的文本信息按照不同的维度划分成不同的主体，并通过统计分析将不同维度的主体进行频次统计，按照统计频次排序构建不同维度的主体集合——配置基线。

配置基线就是大数据统计分析获得的一份配置脚本答案，它虽然不是标准答案，但却会随着样本量的增加无限逼近标准答案，是一份可以作为参考的优秀答案。在扫描流程中对照这份参考答案，对其他网络设备的配置文件进行扫描，找到配置异常点，再经过关联关系分析将异常点修改的参考答案一并推送给运维人员。

对配置脚本的频次统计，按照层级分为关键字、命令行、配置功能段、角色四个维度。如下是按照四个维度的统计和扫描策略：

(1)关键字模型——分析对象提取

设备配置文件中与设备本身相关的关键字包括设备型号、版本号、设备名称等相关信息；与规格相关的关键字包括各个模块资源分配值、参数等；与业务相关的关键字包括运行的协议名、创建的用户名称等。这部分主要通过专家经验标注，由系统自动读取。利用自然语言分析方法对关键字进行编码，形成关键字字典。

(2)命令行模型——命令行拼写规范分析

第一步：命令行关键字提取：

利用自然语言分析算法提取每一条配置命令行中的关键字，对关键字进行编码，将命令行文本数字化，形成配置命令数字向量。

第二步：命令行模板提取

对配置命令中的数字变量进行通配符替换，形成命令格式模板。如图3中左侧为配置文件中的原始样式，右侧为将数字变量替换成通配符的样式，这些样式通过统计统一编码，构成命令行模板集合，其中Template表示命令行模板，a、b、c、d、……∈{1、2、3、……、S}，S表示命令行模板集合的大小。

第三步：命令行拼写检查

通过提取的命令模板，依据对历史数据的统计，频次较高的模板被认为是配置基线的模板。在对配置文件扫描时，可以通过统计分析得到的正确基线模板对脚本中的每一条命令进行拼写检查，检查过程中结合关键字字典中的关键字属性，对命令行进行智能识别和匹配。

(3)功能段落模型——业务逻辑分析

第一步：功能段特征提取

对脚本段落进行数据序列特征提取，对于不同段落通过算法总结配置规律，例如不同的接口下的配置规则、不同网络协议的配置规则，如图4。

第二步：功能段模板挖掘

对不同的逻辑脚本块进行模板提取之后，形成不同配置功能块的模板，每一个模板是一个命令行序列，形式如下：

Feature-intface：{Template_a，Template_b，Template_c，......，Template_N}

Feature-ospf：{Template_i，Template_j，Template_k，......，Template_M}

其中Feature-*表示一个功能块的模板名称，a、b、c、N、i、j、k、M∈{1、2、3、……、S}，S表示命令行模板集合的大小。

对大量的相同配置逻辑脚本块进行统计学习，对逻辑脚本段落提取的模板进行聚类分析可以总结出配置逻辑脚本块的类别划分。

第三步：功能段逻辑检查

同样通过对历史数据的统计分析，得到出现频次最高的功能段命令行组合，认为是功能段的配置基线。利用频繁项集算法对每条命令前后的关联关系提取，专家经验有监督的矫正。训练的脚本块基线模型可以对脚本文件中的逻辑单元块进行隐患和故障排查，如错配、漏配、冗余等。

(4)角色模型——设备个性化分析

第一步：设备角色基线挖掘

对相同角色设备的配置历史数据进行统计分析，同样认为出现频次越大的配置特征更贴近正确的配置基线。对网络中相同角色设备(有监督标记正确)的脚本文件进行特征向量(配置逻辑功能块)提取、聚类，形成这一类设备角色的脚本指纹基线。如下方所示，其中Device-*表示角色名称，Feature-*表示脚本中的功能块模板。

Device-*：{Feature-*，Feature-*，Feature-*，......，Feature-*}

第二步：角色相关隐患排查

训练的设备角色脚本基线模型可以对脚本文件进行个性化隐患和故障排查。不同型号或角色的设备配置是不一样的，检查关注点会有区别，主要体现在配置脚本中的功能块模板的不同组合。根据配置文件相似度，对配置文件进行类别打标签，通过类别属性对配置文件进行个性化扫描检查。

(5)关联模型——异常点分析

第一步：关联关系知识提取

通过自然语言分析中的知识图谱方法，可以将配置脚本中的不同主体之间的关联关系通过图数据库的形式存储起来，图数据库可以提供配置知识的查询。

第二步：异常点分析精准定位

对于大数据统计分析中扫描出的异常点，通过查询关联关系知识图谱可以追溯异常点主体的真实关联情况，从而可以分析出异常点的真正原因和修改的最佳建议。

本方法，不仅提供了大数据统计分析模型的构建过程，还提供了大数据统计的分析逻辑；同时通过搜索关联关系对扫描出的配置隐患进行精准定因。作为网络设备配置脚本文件的一种稽核方法，即支持离线批量文本扫描，还支持在线定点分析。对于智慧运维领域，提供了一种配置稽核的能力，既可以最为一套独立的巡检系统，又可以提供给其他系统作为一个验证稽核原子模块。

本方法，通过对网络设备的配置脚本进行大数据挖掘，得到配置脚本的统计特征；通过”配置脚本中出现的配置命令频次越大，配置越接近标准，是配置异常的可能性越小；出现频次较低的配置是异常的几率较大。”原则，得到统计分析的配置基线；与基线对比进行配置脚本稽核；通过关联关系分析对配置异常进行根因定位。

本方法的优点：

(1)本方法采用自然语言分析方法将网络设备的配置脚本文本进行了数值化，数值化之后的信息处理方便又高效，同时可以方便的与网络中的其他指标进行组合分析，对于智慧运维具备非常好的意义；

(2)本方法采用了大数据统计分析技术，这套统计分析逻辑具有很好的学习能力，可以轻松的应对现网中的结构复杂、快速更新等情况，具有非常好的推广性；

(3)是一种非常高效的配置稽核方法，稽核时间缩短90％以上。

需要说明的是，对于上述方法实施例而言，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。

而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种利用大数据统计分析进行网络设备配置稽核的方法，其特征在于，包括下列步骤：

步骤1)将大量历史配置脚本中的文本信息按照不同的维度划分成不同的主体，并通过统计分析将不同维度的主体进行频次统计，按照统计频次排序构建不同维度的主体集合，即配置基线；

步骤2)对配置脚本的频次统计，按照层级分为关键字、命令行、配置功能段、角色四个维度，并按照四个维度进行统计和扫描；

步骤3)通过自然语言分析中的知识图谱方法，将配置脚本中的不同主体之间的关联关系通过图数据库的形式存储起来，图数据库可以提供配置知识的查询；

步骤4)对于大数据统计分析中扫描出的异常点，通过查询关联关系知识图谱追溯异常点主体的真实关联情况，从而可以分析出异常点的真正原因和修改的最佳建议。

2.根据权利要求1所述的利用大数据统计分析进行网络设备配置稽核的方法，其特征在于，步骤2)中，具体包括：

当所述维度是关键字时，对关键字维度进行统计和扫描包括：

子步骤21)关键字模型，分析对象提取：

设备配置文件中与设备本身相关的关键字包括设备型号、版本号、设备名称相关信息；与规格相关的关键字包括各个模块资源分配值、参数；与业务相关的关键字包括运行的协议名、创建的用户名称；

这部分主要通过专家经验标注，由系统自动读取，利用自然语言分析方法对关键字进行编码，形成关键字字典。

3.根据权利要求1所述的利用大数据统计分析进行网络设备配置稽核的方法，其特征在于，步骤2)中，具体包括：

当所述维度是命令行时，对命令行拼写规范分析，包括：

第一步：命令行关键字提取：

利用自然语言分析算法提取每一条配置命令行中的关键字，对关键字进行编码，将命令行文本数字化，形成配置命令数字向量；

第二步：命令行模板提取：

对配置命令中的数字变量进行通配符替换，形成命令格式模板，这些样式通过统计统一编码，构成命令行模板集合；

第三步：命令行拼写检查：

通过提取的命令模板，依据对历史数据的统计，频次较高的模板被认为是配置基线的模板。

4.根据权利要求3所述的利用大数据统计分析进行网络设备配置稽核的方法，其特征在于，在对配置文件扫描时，通过统计分析得到的正确基线模板对脚本中的每一条命令进行拼写检查，检查过程中结合关键字字典中的关键字属性，对命令行进行智能识别和匹配。

5.根据权利要求1所述的利用大数据统计分析进行网络设备配置稽核的方法，其特征在于，步骤2)，具体包括：

当所述维度是配置功能段时，其业务逻辑分析包括：

第一步：功能段特征提取

对脚本段落进行数据序列特征提取，对于不同段落通过算法总结配置规律，例如不同的接口下的配置规则、不同网络协议的配置规则；

第二步：功能段模板挖掘

对不同的逻辑脚本块进行模板提取之后，形成不同配置功能块的模板，每一个模板是一个命令行序列；

对大量的相同配置逻辑脚本块进行统计学习，对逻辑脚本段落提取的模板进行聚类分析可以总结出配置逻辑脚本块的类别划分；

第三步：功能段逻辑检查

同样通过对历史数据的统计分析，得到出现频次最高的功能段命令行组合，认为是功能段的配置基线。

6.根据权利要求5所述的利用大数据统计分析进行网络设备配置稽核的方法，其特征在于，利用频繁项集算法对每条命令前后的关联关系提取，专家经验有监督的矫正，训练的脚本块基线模型可以对脚本文件中的逻辑单元块进行隐患和故障排查，如错配、漏配、冗余。

7.根据权利要求1所述的利用大数据统计分析进行网络设备配置稽核的方法，其特征在于，步骤2中，具体包括：

当所述维度是角色时，对设备个性化分析，包括：

第一步：设备角色基线挖掘

对相同角色设备的配置历史数据进行统计分析，同样认为出现频次越大的配置特征更贴近正确的配置基线，对网络中相同角色设备的脚本文件进行特征向量提取、聚类，形成这一类设备角色的脚本指纹基线；

第二步：角色相关隐患排查

训练的设备角色脚本基线模型可以对脚本文件进行个性化隐患和故障排查。不同型号或角色的设备配置是不一样的，检查关注点会有区别，主要体现在配置脚本中的功能块模板的不同组合；

根据配置文件相似度，对配置文件进行类别打标签，通过类别属性对配置文件进行个性化扫描检查。

Images