CN114297729A - 一种配置管理数据库的审计方法、系统及相关装置 - Google Patents

Abstract

本申请提供一种配置管理数据库的审计方法，包括：获取配置管理数据库中的配置项数据，对配置项数据进行数据映射，得到各属性数据；根据各属性数据的分布特征确定对应的异常检测算法；利用异常检测算法对配置项数据进行数据完整性审计和数据有效性审计。本申请通过分析CMDB中存储数据内容，抽象出对配置项属性数据进行有效性检验的审计方案，无需人工根据各个属性设定不同的规则，简化了审计过程中人工参与工作量，扩大了审计规模，提高了数据审计效率，有助于提升CMDB整体数据的数据质量。本申请还提供一种配置管理数据库的审计系统、计算机可读存储介质和电子设备、计算机可读存储介质和电子设备，具有上述有益效果。

Description

一种配置管理数据库的审计方法、系统及相关装置

技术领域

本申请涉及数据审计领域，特别涉及一种配置管理数据库的审计方法、系统及相关装置。

背景技术

随着业务规模发展及新IT技术引入，企业应用系统的资源体量、IT架构的复杂性与日俱增。配置管理数据库(Configuration Management Database，CMDB)记录了企业IT服务过程中使用的信息系统配置项、配置项各维度属性及关联关系，与所有服务支持和服务交付流程都紧密相联，CMDB是数据中心所有运维系统的场景交互数据来源，确保CMDB数据的准确率至关重要。

在CMDB建设过程中，主要采用人工录入及流程驱动的方式对数据进行创建更新，随着数据规模日渐庞大，对数据的完整性、规范性、有效性没有进行及时的校验，CMDB承载的数据内容存在较多问题。传统管理方法是采用抽样及人工规则校验的审计方法，在一定程度上可以解决数据缺失问题，但无法发现信息异常的数据，对数据规范及数据管理存在巨大挑战。

发明内容

本申请的目的是提供一种配置管理数据库的审计方法、审计系统、计算机可读存储介质和电子设备，能够简化审计过程中人工参与工作量，扩大了审计规模，提高了数据审计效率。

为解决上述技术问题，本申请提供一种配置管理数据库的审计方法，具体技术方案如下：

获取所述配置管理数据库中的配置项数据；

对配置项数据进行数据映射，得到各属性数据；

根据各属性数据的分布特征确定对应的异常检测算法；

利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计。

可选的，获取所述配置管理数据库中的配置项数据之后，还包括：

对多维状态的配置项数据进行结构化处理，得到满足预设标准结构的配置项数据集。

可选的，对配置项数据进行数据映射，得到各属性数据包括：

对属于相同配置项数据的各个属性按缺失值进行降序排列，并对缺失数据进行全局唯一特殊字符映射，得到各属性数据。

可选的，根据各属性数据的分布特征确定对应的异常检测算法，包括：

对各所述属性数据进行特征分布校验；

若所述属性数据通过特征分布校验，确认所述属性数据处于非同分布，采用模式分析算法作为对应的异常检测算法；

若所述属性数据未通过特征分布校验，确认所述属性数据处于同分布，采用关联分析算法作为对应的异常检测算法。

可选的，利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计之后，还包括：

利用预设图表显示所述配置项数据的审计结果。

可选的，若所述属性数据处于非同分布，利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计包括：

确定所述属性数据中的缺失数据和非缺失数据；

对所述缺失数据执行数据标注，并归类至异常数据集；

对所述非缺失数据，执行字符串拆分和字符串编码，利用无监督的第一异常检测模型对字符串编码后的频率分析结果进行异常检测，并将得到异常检测结果归类至所述异常数据集。

可选的，若所述属性数据处于非同分布，利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计包括：

根据全局唯一标识确定所述属性数据中的缺失数据和非缺失数据；

对所述缺失数据执行数据标注，并归类至异常数据集；

对所述非缺失数据，判断所述非缺失数据是否存在公共子序列；

若所述非缺失数据存在所述公共子序列，将所述公共子序列移除后进行字符串相似度分析，得到相似度结果；

利用第二异常检测模型对所述相似度结果进行异常检测识别，并将识别到的异常数据分类标注后归类至所述异常数据集。

本申请还提供一种配置管理数据库的审计系统，包括：

数据获取模块，用于获取所述配置管理数据库中的配置项数据；

数据映射模块，用于对配置项数据进行数据映射，得到各属性数据；

算法确定模块，用于根据各属性数据的分布特征确定对应的异常检测算法；

审计模块，用于利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

本申请还提供一种电子设备，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。

本申请提供一种配置管理数据库的审计方法，包括：获取所述配置管理数据库中的配置项数据，对配置项数据进行数据映射，得到各属性数据；根据各属性数据的分布特征确定对应的异常检测算法；利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计。

本申请通过分析CMDB中存储数据内容，抽象出对配置项属性数据进行有效性检验的审计方案，无需人工根据各个属性设定不同的规则，简化了审计过程中人工参与工作量，扩大了审计规模，提高了数据审计效率，有助于提升CMDB整体数据的数据质量。

本申请还提供一种配置管理数据库的审计系统、计算机可读存储介质和电子设备、计算机可读存储介质和电子设备，具有上述有益效果，此处不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例所提供的一种配置管理数据库的审计方法的流程图；

图2为本申请实施例所提供的一种配置管理数据库的审计系统结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请实施例所提供的一种配置管理数据库的审计方法的流程图，该方法包括：

S101：获取所述配置管理数据库中的配置项数据；

本步骤旨在获取审计过程所需的数据，例如可以从存储介质中获取配置管理数据库中的配置项数据，为后续数据处理、建模分析提供基础数据源。获取数据过程中，所需信息可以分为配置项对象、配置项属性对象、配置项关系对象三步，而本申请实施例所针对的审计范围可以包括各个场景使用的核心配置项数据，选定配置项对象后，获取配置项属性数据，还可以包括关系数据信息等。例如，在网络运维过程中，要满足运维监控、故障处置等场景需求，需要获取路由器、交换机、防火墙等物理设备对象信息，逻辑路由器、逻辑交换机等逻辑设备对象信息等配置项信息；各个重要配置项的配置项名称、名称、设备状态、使用类型等核心属性信息；各个重要配置项的供电关系、存放关系、虚拟化等关联关系等。

S102：对配置项数据进行数据映射，得到各属性数据；

本步骤旨在对配置相数据进行数据映射，以得到其包含的属性数据。且直接获取得到的配置项数据通常在数据内容上仍存在较多问题，为适配后续算法模型的数据要求，最大程度丰富数据特征信息，本步骤需要执行数据映射。具体的，可以对同一配置项数据的各个属性按缺失值进行降序排列，并对缺失数据进行特殊字符数据映射。

统一映射主要包含两个方法：对各指标数据按照缺失值比例倒序排列，或者对指标数据中的缺失数据进行全局唯一特殊字符映射。具体的，可以按缺失值数量倒序排列，首先统计结构规范数据集中各个指标的缺失值数量，并按照缺失值数量的多少进行排列，将缺失值数量少的指标前置，缺失值数量多的指标后置，并设定缺失值比例百分比，仅选取低于缺失值比例阈值的指标，按照缺失值数量排列的指标信息，将信息较完整的指标放在排列靠前的位置，信息完整性随指标排列顺序依次递减。

倒序排列的目的是将数据完整程度较高的数据前置，为后续模型分析过程提供更多的特征信息。而后续在分析异常数据过程中，缺失数据的处理会存在较多问题，如果将数据整行删除将会影响其他维度数据准确性检测，因此，对缺失数据选用全局唯一特殊字符的映射方法，在不损失数据信息的前提下，最大程度利用各个维度的数据信息，确保对核心属性数据进行全面的准确性校验。

此外，作为本步骤的一种优选执行方式，可以对多维状态的配置项数据进行结构化处理，得到满足预设标准结构的配置项数据集。由于获取资产配置数据时接入数据方式的不同，需要审计的数据可能分散在多张表中或者一张表中具有多种结构的数据信息，在后续分析过程中会造成很大影响。结构化处理的目的是对于接入的多维异构数据进行数据清洗，对其进行多维关联和数据解析操作，形成标准的结构化数据集，提升后续分析效率。当然，在此对于预设标准结构不作具体限定，可由本领域技术人员自行设定。例如，若在数据提取过程中需要关联多张表，可以对各个字段进行名称统一，根据字典值的数据映射存储方式，对数据记录进行数据解析，转化为结构规范的数据记录。而对于数据量较小的配置项信息可选择从前端直接导出数据表对象，将数据表对象进行行选择和列名信息整理等格式的规范处理，转化为结构规范的数据记录，以实现结构化处理。

而在执行数据映射后，还可以筛选数据，从而明确数据审计范围。在不同的应用场景会对不同状态的数据进行使用，筛选数据的目的是将复合场景拆分为单一场景，简化后续异常检测模型的分析算法，同时，也可以在不影响总体结构的基础上，便于实现算法模型的横向扩展。对于数据中心CMDB数据而言，配置项数据记载着全生命周期的数据记录，但处于下线注销等状态的数据，在日常运维变更过程中不会使用，因此为确保审计过程的有效性，对部分配置项属性的状态信息进行选择，筛选出处于使用中的数据，精确筛选所需审计范围。

S103：根据各属性数据的分布特征确定对应的异常检测算法；

本步骤需要根据属性数据的分布特征确定对应的异常检测算法。具体的，可以对各属性数据进行特征分布校验，若属性数据通过特征分布校验，确认属性数据处于非同分布，采用模式分析算法作为对应的异常检测算法；若属性数据未通过特征分布校验，确认属性数据处于同分布，采用关联分析算法作为对应的异常检测算法。

对于某个配置项数据而言，其可能存在多维度属性及关联关系，则本步骤需要对输出处理后的结构规范的各个指标数据进行特征分布检验，其中原假设是两个指标数据向量的分布是相同的，备择假设是两个指标数据向量的分布是不同的，需要对比的基点数据分布是配置项指标的具体数据记录。

以路由器数据为例，其元数据包含配置项名称、名称和品牌，而主数据信息则为各元数据的具体信息，则对比的元数据指标是配置项名称，需要参与检验的元数据指标是配置项的其他属性(名称、品牌等)，具体内容是由统一映射过程中筛选出的指标名，首先将各个字符串数据进行编码映射，对映射后的两个向量进行统计检验，如果检验结果拒绝原假设，认为参与检验的指标是非同分布的，否则认为参与检验的指标是同分布的。

S104：利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计。

本步骤旨在采用上述步骤确定的异常检测算法进行审计，具体包含数据完整性审计和数据有效性审计。

可以看出，针对同分布和非同分布可以采用不同的异常检测算法。更具体的，若所述属性数据处于非同分布，本步骤可以包括：

第一步、确定属性数据中的缺失数据和非缺失数据；

第二步、对缺失数据执行数据标注，并归类至异常数据集；

第三步、对非缺失数据，执行字符串拆分和字符串编码，利用无监督的第一异常检测模型对字符串编码后的频率分析结果进行异常检测，并将得到异常检测结果归类至异常数据集。

而若属性数据处于非同分布，本步骤可以分为如下过程：

第一步、根据全局唯一标识确定属性数据中的缺失数据和非缺失数据；

第二步、对缺失数据执行数据标注，并归类至异常数据集；

第三步、对非缺失数据，判断非缺失数据是否存在公共子序列；若非缺失数据存在公共子序列，将公共子序列移除后进行字符串相似度分析，得到相似度结果；利用第二异常检测模型对相似度结果进行异常检测识别，并将识别到的异常数据分类标注后归类至异常数据集。

当然，上述过程中，第二步和第三步在实际执行时可以并行处理。且第一异常检测模型，以及第二异常检测模型，均可以由本领域技术人员事先训练完毕或者直接获取，且二者可以为相同或者不同的模型，在此不作具体限定。

本步骤中，完整性评估指根据数据建模模块输出的被标注为缺失数据的数量和总体参与检测数据的总量之间的比值。在传统检测方法中，审计过程可以筛选出存在数据缺失的一条配置项数据记录，但对于具体指标属性的选择需要人工设定，并且无法以全局的视角发现人工选择审计的指标是否有效合理，而本申请实施例能够有效的对这类问题进行算法挖掘分析，以智能化的分析方法提升了传统审计分析过程对于缺失值数据检索的效率，能够更有效地对审计的配置项数据进行完整性评估。

有效性评估指基于模式分析方法和关联分析方法识别出的分类异常数据，对不同标签的异常数据进行评估，从整体上评估参与审计配置项数据的有效性。在传统基于人工规则审计过程中，仅仅依靠录入规则进行判断，无法发现配置项记录中存在错误的数据，有效性评估可以根据上述的异常数据结果，定位到存在问题的具体数据记录。

本申请实施例通过分析CMDB中存储数据内容，抽象出对配置项属性数据进行有效性检验的审计方案，无需人工根据各个属性设定不同的规则，简化了审计过程中人工参与工作量，扩大了审计规模，提高了数据审计效率，有助于提升CMDB整体数据的数据质量。

在利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计之后，还可以利用预设图表显示所述配置项数据的审计结果，以实现审计可视化。审计可视化是对配置项数据分析结果进行可视化显示，通过可视化图表，能够直观地发现检测数据的完整性、各配置项指标属性的关联关系、异常数据分级结果。审计可视化对审计内容及审计结果以面板的形式展示，为CMDB管理人员、数据维护人员提供快速发现数据问题，快速解决数据问题的便利通道。

下面对本申请实施例提供的一种配置管理数据库的审计系统进行介绍，下文描述的审计系统与上文描述的配置管理数据库的审计方法可相互对应参照。

参见图2，图2为本申请实施例所提供的一种配置管理数据库的审计系统结构示意图，本申请还提供一种配置管理数据库的审计系统，包括：

数据获取模块，用于获取所述配置管理数据库中的配置项数据；

数据映射模块，用于对配置项数据进行数据映射，得到各属性数据；

算法确定模块，用于根据各属性数据的分布特征确定对应的异常检测算法；

审计模块，用于利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计。

基于上述实施例，作为优选的实施例，还包括：

数据预处理模块，用于对多维状态的配置项数据进行结构化处理，得到满足预设标准结构的配置项数据集。

基于上述实施例，作为优选的实施例，数据映射模块包括：

映射单元，用于对属于相同配置项数据的各个属性按缺失值进行降序排列，并对缺失数据进行全局唯一特殊字符映射，得到各属性数据。

基于上述实施例，作为优选的实施例，算法确定模块包括：

算法检测单元，用于对各所述属性数据进行特征分布校验；若所述属性数据通过特征分布校验，确认所述属性数据处于非同分布，采用模式分析算法作为对应的异常检测算法；若所述属性数据未通过特征分布校验，确认所述属性数据处于同分布，采用关联分析算法作为对应的异常检测算法。

基于上述实施例，作为优选的实施例，还包括：

审计显示模块，用于利用预设图表显示所述配置项数据的审计结果。

基于上述实施例，作为优选的实施例，审计模块包括：

模式分析单元，用于确定所述属性数据中的缺失数据和非缺失数据；对所述缺失数据执行数据标注，并归类至异常数据集；对所述非缺失数据，执行字符串拆分和字符串编码，利用无监督的第一异常检测模型对字符串编码后的频率分析结果进行异常检测，并将得到异常检测结果归类至所述异常数据集。

基于上述实施例，作为优选的实施例，审计模块包括：

关联分析单元，用于根据全局唯一标识确定所述属性数据中的缺失数据和非缺失数据；对所述缺失数据执行数据标注，并归类至异常数据集；对所述非缺失数据，判断所述非缺失数据是否存在公共子序列；若所述非缺失数据存在所述公共子序列，将所述公共子序列移除后进行字符串相似度分析，得到相似度结果；利用第二异常检测模型对所述相似度结果进行异常检测识别，并将识别到的异常数据分类标注后归类至所述异常数据集。

本申请还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请还提供了一种电子设备，可以包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然所述电子设备还可以包括各种网络接口，电源等组件。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种配置管理数据库的审计方法，其特征在于，包括：

获取所述配置管理数据库中的配置项数据；

对配置项数据进行数据映射，得到各属性数据；

根据各属性数据的分布特征确定对应的异常检测算法；

利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计。

2.根据权利要求1所述的审计方法，其特征在于，获取所述配置管理数据库中的配置项数据之后，还包括：

对多维状态的配置项数据进行结构化处理，得到满足预设标准结构的配置项数据集。

3.根据权利要求1或2所述的审计方法，其特征在于，对配置项数据进行数据映射，得到各属性数据包括：

对属于相同配置项数据的各个属性按缺失值进行降序排列，并对缺失数据进行全局唯一特殊字符映射，得到各属性数据。

4.根据权利要求1所述的审计方法，其特征在于，根据各属性数据的分布特征确定对应的异常检测算法，包括：

对各所述属性数据进行特征分布校验；

若所述属性数据通过特征分布校验，确认所述属性数据处于非同分布，采用模式分析算法作为对应的异常检测算法；

若所述属性数据未通过特征分布校验，确认所述属性数据处于同分布，采用关联分析算法作为对应的异常检测算法。

5.根据权利要求1所述的审计方法，其特征在于，利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计之后，还包括：

利用预设图表显示所述配置项数据的审计结果。

6.根据权利要求4所述的审计方法，其特征在于，若所述属性数据处于非同分布，利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计包括：

确定所述属性数据中的缺失数据和非缺失数据；

对所述缺失数据执行数据标注，并归类至异常数据集；

对所述非缺失数据，执行字符串拆分和字符串编码，利用无监督的第一异常检测模型对字符串编码后的频率分析结果进行异常检测，并将得到异常检测结果归类至所述异常数据集。

7.根据权利要求4所述的审计方法，其特征在于，若所述属性数据处于非同分布，利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计包括：

根据全局唯一标识确定所述属性数据中的缺失数据和非缺失数据；

对所述缺失数据执行数据标注，并归类至异常数据集；

对所述非缺失数据，判断所述非缺失数据是否存在公共子序列；

若所述非缺失数据存在所述公共子序列，将所述公共子序列移除后进行字符串相似度分析，得到相似度结果；

利用第二异常检测模型对所述相似度结果进行异常检测识别，并将识别到的异常数据分类标注后归类至所述异常数据集。

8.一种配置管理数据库的审计系统，其特征在于，包括：

数据获取模块，用于获取所述配置管理数据库中的配置项数据；

数据映射模块，用于对配置项数据进行数据映射，得到各属性数据；

算法确定模块，用于根据各属性数据的分布特征确定对应的异常检测算法；

审计模块，用于利用所述异常检测算法对所述配置项数据进行数据完整性审计和数据有效性审计。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的配置管理数据库的审计方法的步骤。

10.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存有计算机程序，所述处理器调用所述存储器中的计算机程序时实现如权利要求1-7任一项所述的配置管理数据库的审计方法的步骤。

Images