CN113595800A - 一种应用连接关系自动发现与cmdb信息保鲜的方法 - Google Patents

Abstract

本发明公开一种应用连接关系自动发现与CMDB信息保鲜的方法。本发明通过抓取并统计一个周期内的网络流量信息，形成拓扑快照，以便于与历史快照进行对比，并分析新版本快照与历史版本快照之间的区别，对差异进行识别判断，从而推荐调整方案，自动同步至CMDB，满足CMDB信息的保鲜需求。同时，采用本发明所提供的方法，可以减少对现有服务架构的改造，满足大量传统的数据中心的升级改造需求。

Description

一种应用连接关系自动发现与CMDB信息保鲜的方法

技术领域

本发明涉及数据中心运维领域，尤其涉及一种应用连接关系自动发现与CMDB信息保鲜的方法。

背景技术

配置管理数据库(CMDB)是一个逻辑数据库，包含了配置项全生命周期的信息以及配置项之间的关系(包括物理关系、实时通信关系、非实时通信关系和依赖关系)。CMDB存储于管理企业IT架构中设备的各种配置信息，它与所有服务支持和服务交付流程都紧密相连，支持这些流程的运转、发挥配置信息的价值，同时依赖于相关流程保证数据的准确性。

CMDB的数据质量和保鲜一直是数据中心运维领域的老大难问题，CMDB的组成包含对象和对象关系，其中对象配置信息相对静态，业界已有Salt开源来解决对象配置信息自动发现。对象关系主要有以下三类：

(1)主从关系：这种关系是一种强父子关系，主不存在了，则从就不存在了，例如虚拟机和宿主物理机之间的关系。

(2)依赖关系：一种对象属性级之间的关联关系，比如说某个应用部署在HOST上，这是对象级别的关系。

(3)连接关系：连接是多对多关系，并且这个关系是因为某种“连接”产生的，应用之间的调用关系，就是最典型的连接关系。

应用调用的拦截关系经常发生动态变化，这部分的信息保鲜难度最高。关于应用调用关系，目前业界已有的解决方案是通过traceid全链路透传来构建系统调用链路，如腾讯TSF和阿里SOFA，但是其使用范围有很大的局限性，主要适用于分布式微服务架构，要求数据中心使用统一的微服务框架，需要大量的应用改造，无法应用于大量传统的数据中心。

因此，现有技术存在缺陷，需要改进。

发明内容

本发明的目的是克服现有技术的不足，提供一种应用连接关系自动发现与CMDB信息保鲜的方法。

本发明的技术方案如下：提供一种应用连接关系自动发现与CMDB信息保鲜的方法，包括以下步骤：

步骤1：拓扑快照：通过一端时间内的网络协议和网络流量统计，生成应用连接拓扑快照，并将快照结果持久化，写入数据库；

步骤2：差异识别：通过对连续快照进行比较分析，并通过AI模型+规则的组合方法识别应用连接关系的变化，识别应用调用关系的变化；

步骤3：调整方案推荐：根据识别结果，推荐调整方案，自动同步至CMDB；

步骤4：同步至CMDB：同步应用对象的变化，再同步应用连接关系的变化，从而实现CMDB信息保鲜。

进一步地，所述步骤1的具体步骤为：

步骤1.1：通过核心交换机、虚拟交换机采集最近一个周期内的网络流量，对所采集网络流量进行统计，生成应用拓扑快照；

步骤1.2：应用拓扑快照持久化，并保存至图数据库。

进一步地，所述步骤2的具体步骤为：

步骤2.1：将最新版本的拓扑快照与上一个版本的进行比较，生成拓扑变化初稿；

步骤2.2：基于拓扑变化初稿，通过规则进行T0变化识别；

步骤2.3：基于AI模型做拓扑变化识别，包括服务类型识别、应用分层识别和连接变化识别。

进一步地，所述拓扑变化识别具体方式为：

基于文本和数值混合型数据信息对其进行识别，主要基于网络端口特征和网络符合特征进行识别；对所识别的特征进行规则判断，判断其最接近的服务类型，并对结果做后处理比对，如果判断的服务类型已经存在，则选择第二接近的服务类型，以此类推。

进一步地，所述应用分层识别的具体方式为：

结合网络端口协议特征和网络负荷特征进行识别，将同类型的负荷特征归为一类，不同类型的反之；识别出大致的应用服务，再将应用服务的向量数据与智能运维库比较，找到最相似的标注应用；以最相似的标注应用作为最终确认的应用服务，在对应用进行分层。

进一步地，所述连接变化识别的具体方式为：

对网络数据的连续性进行识别，基于连续变化的规律，找出其对网络的影响，利用前后时间的关系构造序列特征；离线训练长序列、大批量数据、更深度的网络模型，即为教师模型；在线使用小批量数据、浅层的网络模型，即为学生模型；通过学生模型融合教师模型中得到的权重参数，获得更好更快的线上效果。

采用上述方案，本发明通过抓取并统计一个周期内的网络流量信息，形成拓扑快照，以便于与历史快照进行对比，并分析新版本快照与历史版本快照之间的区别，对差异进行识别判断，从而推荐调整方案，自动同步至CMDB，满足CMDB信息的保鲜需求。同时，采用本发明所提供的方法，可以减少对现有服务架构的改造，满足大量传统的数据中心的升级改造需求。

附图说明

图1为本发明的流程框图。

图2为本发明的系统结构图。

图3为本发明的效果示意图。

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明。

请参阅图1至图3，本发明提供一种应用连接关系自动发现与CMDB信息保鲜的方法，包括以下步骤：

步骤1：拓扑快照：通过一端时间内的网络协议和网络流量统计，生成应用连接拓扑快照，并将快照结果持久化，写入数据库。快照是特定数据集的一个完整可用的拷贝，该数据集包含源数据在拷贝点的静态映像，可以是数据再现的一个副本或者复制。快照的作用主要是能够进行在线数据备份与恢复。当存储设备发生应用故障或者文件损坏时可以进行快速的数据恢复，将数据恢复某个可用的时间点的状态。快照的另一个作用是为存储用户提供了另外一个数据访问通道，当原数据进行在线应用处理时，用户可以访问快照数据，还可以利用快照进行测试等工作。通过对网络流量进行采集统计，生成拓扑快照，以便于进行比对识别，从而判断数据信息的变化。具体步骤为：

步骤1.1：通过核心交换机、虚拟交换机等设备采集最近一个周期内的网络流量，对所采集网络流量进行统计，生成应用拓扑快照；

步骤1.2：应用拓扑快照持久化，并保存至图数据库。

步骤2：差异识别：通过对连续快照进行比较分析，并通过AI模型+规则的组合方法识别应用连接关系的变化，识别应用调用关系的变化，包括对象(应用服务器)的增、删、改以及调用关系的增、删。具体步骤为：

步骤2.1：将最新版本的拓扑快照与上一个版本的进行比较，生成拓扑变化初稿；

步骤2.2：基于拓扑变化初稿，通过规则进行T0变化识别；

步骤2.3：基于AI模型做拓扑变化识别，包括服务类型识别、应用分层识别和连接变化识别。服务类型识别可以基于网络端口特征和网络负荷特征识别，应用分层识别可以基于网络端口协议特征和网络负荷特征识别，连接变化识别通过服务的周期性等特征确认最新拓扑上连接消失是否属于正常周期性表现。

所述拓扑变化识别具体方式为：

基于文本和数值混合型数据信息对其进行识别，主要基于网络端口特征和网络符合特征进行识别，如数据库端口一般采用3306，ES端口一般采用9300或9200，对所识别的特征进行规则判断，并对未知的端口进行聚类等，判断其最接近的服务类型，并对结果做后处理比对，如果判断的服务类型已经存在，则选择第二接近的服务类型，以此类推。

所述应用分层识别的具体方式为：

结合网络端口协议特征和网络负荷特征进行识别，如网络端口协议一般是传输6个变量组合成的一段数据，网络负荷则将同类型的负荷特征归为一类，不同类型的反之；识别出大致的应用服务，再将应用服务的向量数据与智能运维库比较，找到最相似的标注应用，并以最相似的标注应用作为最终确认的应用服务，在对应用进行分层。

所述连接变化识别的具体方式为：

对网络数据的连续性进行识别，基于连续变化的规律，找出其对网络的影响，利用前后时间的关系构造序列特征。由于运维结果需要秒级反馈，但更大的数据量以及数据的波动市场又是非常重要的特征，简称优势特征。如果抛弃不使用则效果不佳，需要使用时便要等待移动的时长。将Privileged Features Distillation引入到智能运维领域，取离线训练长序列、大批量数据、更深度的网络模型，即为教师模型；取在线使用小批量数据、浅层的网络模型，即为学生模型。通过学生模型融合教师模型中得到的权重参数，获得更好更快的线上效果。

步骤3：调整方案推荐：根据识别结果，推荐调整方案，自动同步至CMDB。

步骤4：同步至CMDB：同步应用对象的变化，再同步应用连接关系的变化，从而实现CMDB信息保鲜。

通过对网络流量进行采集统计，从而生成拓扑快照，从而根据新生成的快照与历史快照进行对比，分析识别新版本快照与历史快照之间的差异，并对差异进行识别判断，得出拓扑调整方案，从而满足CMDB信息的更新替换，提高数据信息的准确性。

综上所述，本发明通过抓取并统计一个周期内的网络流量信息，形成拓扑快照，以便于与历史快照进行对比，并分析新版本快照与历史版本快照之间的区别，对差异进行识别判断，从而推荐调整方案，自动同步至CMDB，满足CMDB信息的保鲜需求。同时，采用本发明所提供的方法，可以减少对现有服务架构的改造，满足大量传统的数据中心的升级改造需求。

以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种应用连接关系自动发现与CMDB信息保鲜的方法，其特征在于，包括以下步骤：

步骤1：拓扑快照：通过一端时间内的网络协议和网络流量统计，生成应用连接拓扑快照，并将快照结果持久化，写入数据库；

步骤2：差异识别：通过对连续快照进行比较分析，并通过AI模型+规则的组合方法识别应用连接关系的变化，识别应用调用关系的变化；

步骤3：调整方案推荐：根据识别结果，推荐调整方案，自动同步至CMDB；

步骤4：同步至CMDB：同步应用对象的变化，再同步应用连接关系的变化，从而实现CMDB信息保鲜。

2.根据权利要求1所述的应用连接关系自动发现与CMDB信息保鲜的方法，其特征在于，所述步骤1的具体步骤为：

步骤1.1：通过核心交换机、虚拟交换机采集最近一个周期内的网络流量，对所采集网络流量进行统计，生成应用拓扑快照；

步骤1.2：应用拓扑快照持久化，并保存至图数据库。

3.根据权利要求1所述的应用连接关系自动发现与CMDB信息保鲜的方法，其特征在于，所述步骤2的具体步骤为：

步骤2.1：将最新版本的拓扑快照与上一个版本的进行比较，生成拓扑变化初稿；

步骤2.2：基于拓扑变化初稿，通过规则进行T0变化识别；

步骤2.3：基于AI模型做拓扑变化识别，包括服务类型识别、应用分层识别和连接变化识别。

4.根据权利要求3所述的应用连接关系自动发现与CMDB信息保鲜的方法，其特征在于，所述拓扑变化识别具体方式为：

基于文本和数值混合型数据信息对其进行识别，主要基于网络端口特征和网络符合特征进行识别；对所识别的特征进行规则判断，判断其最接近的服务类型，并对结果做后处理比对，如果判断的服务类型已经存在，则选择第二接近的服务类型，以此类推。

5.根据权利要求3所述的应用连接关系自动发现与CMDB信息保鲜的方法，其特征在于，所述应用分层识别的具体方式为：

结合网络端口协议特征和网络负荷特征进行识别，将同类型的负荷特征归为一类，不同类型的反之；识别出大致的应用服务，再将应用服务的向量数据与智能运维库比较，找到最相似的标注应用；以最相似的标注应用作为最终确认的应用服务，在对应用进行分层。

6.根据权利要求3所述的应用连接关系自动发现与CMDB信息保鲜的方法，其特征在于，所述连接变化识别的具体方式为：

对网络数据的连续性进行识别，基于连续变化的规律，找出其对网络的影响，利用前后时间的关系构造序列特征；离线训练长序列、大批量数据、更深度的网络模型，即为教师模型；在线使用小批量数据、浅层的网络模型，即为学生模型；通过学生模型融合教师模型中得到的权重参数，获得更好更快的线上效果。

Images