CN112672370B - 网元指标数据的自动检测方法及系统、设备和存储介质 - Google Patents

Abstract

本发明涉及移动通信领域，提供了一种网元指标数据的自动检测方法及其系统、通信设备和计算机可读存储介质，该方法包括：建模步骤，导入每个网元各自的规范文档，并对导入的规范文档进行识别并根据识别结果建立数据模型，数据模型包括各种指标要求；对比步骤，选择待检测网元的真实文件数据，并以数据模型中的指标要求为基准，自动对比检测待检测网元的真实文件数据中的指标数据；结果步骤，生成并保存对比检测的结果。本发明提供的技术方案提高了模型微调的灵活性和易用性，从网元的数据源头保障了上报数据的可靠性，同时支持多文件的并行处理数据，提高检测效率。

Description

网元指标数据的自动检测方法及系统、设备和存储介质

技术领域

本发明涉及移动通信领域，尤其涉及一种网元指标数据的自动检测方法及其系统、通信设备和计算机可读存储介质。

背景技术

目前，移动通信网络管理多采用集团和各省两级集中管理体制，集团移动通信网管系统的网络管理中心(Network Management Center，NMC)负责对全集团网络的集中、统一管理，并且管理各省级移动设备的操作维护中心(Operation and Maintenance Center，OMC)，其中，OMC北向向上提供符合移动通信网管标准的操作维护接口，南向向下管理网元(Network Element，NE) 设备，网元设备为网络中具体通信设备或逻辑实体的统称，涉及无线网、核心网、传输网、IP网等多个专业，因此，网元设备种类繁多，同一类专业下又有不同的网元类型，每个网元涉及的指标数据完全不一样，要求也不一样，少则几十个，多则上百个。

由此可见，最底层的网元设备上报的数据正确与否、完整与否、合理与否对上层通信网管系统来说是至关重要的。

现有通信网管技术中，网管系统中的资源数据和性能数据是通过网元直连接口和OMC系统获取的，而网元上报的数据就是存放在OMC中的FTP服务上。对于上报数据的正确与否，目前采用手工抽查的方式或后期通过北向接口数据的检测方式，但是现有这种方式容易漏测，不能充分发现问题，效率低下，时间成本高，漏测风险大，虽然能够进行部分的数据检测，但是缺乏对字段数值的合理性检测、字段关联关系的检测等，而且也没从源头上及早发现和定位出数据问题。由此可见，网元指标数据的检测一直是个难题，其自动化工具也是处于空白。

发明内容

有鉴于此，本发明的目的在于提供一种网元指标数据的自动检测方法及其系统、通信设备和计算机可读存储介质，既能提高检测覆盖率避免漏测又能提高检测效率。

本发明提出一种网元指标数据的自动检测方法，所述方法包括：

建模步骤，导入每个网元各自的规范文档，并对导入的所述规范文档进行识别并根据识别结果建立数据模型，所述数据模型包括各种指标要求；

对比步骤，选择待检测网元的真实文件数据，并以所述数据模型中的指标要求为基准，自动对比检测所述待检测网元的真实文件数据中的指标数据；

结果步骤，生成并保存对比检测的结果。

优选的，所述建模步骤具体包括：

将每个网元各自所包括的NRM规范文档和PM规范文档以EXCEL格式进行保存；

导入每个网元以EXCEL格式保存的NRM规范文档和PM规范文档，并对导入的规范文档进行识别以解析出每个网元的管理对象所包括的字段特征关系、条件关系、继承关系；

根据每个网元的管理对象所包括的字段特征关系、条件关系、继承关系，每个网元自动生成所述数据模型，所述数据模型包括与所述管理对象相关的各种指标要求。

优选的，所述对比步骤具体包括：

获取以EXCEL格式保存的所述NRM规范文档和PM规范文档作为待检测网元的真实文件数据；

将所述真实文件数据进行XML文件解析后保存在本地缓存中；

以所述数据模型中的指标要求为基准，自动对比检测所述待检测网元的真实文件数据中的指标数据。

优选的，所述结果步骤具体包括：

生成并保存对比检测的结果，所述结果包括结果概括页面、错误概括页面和错误明细页面。

另一方面，本发明还提供一种网元指标数据的自动检测系统，所述系统包括建模模块、对比模块和结果模块，其中，

所述建模模块，用于导入每个网元各自的规范文档，并对导入的所述规范文档进行识别并根据识别结果建立数据模型，所述数据模型包括各种指标要求；

所述对比模块，用于选择待检测网元的真实文件数据，并以所述数据模型中的指标要求为基准，自动对比检测所述待检测网元的真实文件数据中的指标数据；

所述结果模块，用于生成并保存对比检测的结果。

优选的，所述建模模块具体用于：

将每个网元各自所包括的NRM规范文档和PM规范文档以EXCEL格式进行保存；

导入每个网元以EXCEL格式保存的NRM规范文档和PM规范文档，并对导入的规范文档进行识别以解析出每个网元的管理对象所包括的字段特征关系、条件关系、继承关系；

根据每个网元的管理对象所包括的字段特征关系、条件关系、继承关系，每个网元自动生成所述数据模型，所述数据模型包括与所述管理对象相关的各种指标要求。

优选的，所述对比模块具体用于：

获取以EXCEL格式保存的所述NRM规范文档和PM规范文档作为待检测网元的真实文件数据；

将所述真实文件数据进行XML文件解析后保存在本地缓存中；

以所述数据模型中的指标要求为基准，自动对比检测所述待检测网元的真实文件数据中的指标数据。

优选的，所述结果模块具体用于：

生成并保存对比检测的结果，所述结果包括结果概括页面、错误概括页面和错误明细页面。

再一方面，本发明还提供一种通信设备，其中，所述通信设备包括存储器和处理器，所述存储器存储计算机处理指令，所述处理器通过调用所述计算机处理指令来执行前述的网元指标数据的自动检测方法。

又一方面，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的网元指标数据的自动检测方法的步骤。

本发明提供的技术方案具有以下优点：通过导入网元的规范文档进行识别来建立包含各种指标要求的数据模型，以及通过智能化文本类识别技术来提取网元的管理对象所包括的多种关系，并利用多种关系自动生成数据模型，可以提高检测的覆盖率，同时支持在线人工修订，提高了模型微调的灵活性和易用性；另外，以数据模型中的指标要求为基准，通过自动对比检测待检测网元的真实文件数据中的指标数据，可以提高检测网元数据覆盖率，使得从网元的数据源头保障了上报数据的可靠性；同时采用文件方式独立存储对比检测的结果，脱离数据库，减小了对外部中间件的依赖，提高了系统部署便捷性，同时支持多文件的并行处理数据，提高检测效率。

附图说明

图1为本发明一实施方式中网元指标数据的自动检测方法的流程示意图；

图2为本发明一实施方式中网元指标数据的自动检测系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下将对本发明所提供的一种网元指标数据的自动检测方法及其系统进行详细说明。

请参阅图1，为本发明一实施方式中网元指标数据的自动检测方法的流程示意图。

在步骤S1中，建模步骤，导入每个网元各自的规范文档，对导入的规范文档进行识别并根据识别结果建立数据模型，数据模型包括各种指标要求。

在本实施方式中，所述建模步骤具体包括：

将每个网元各自所包括的NRM规范文档和PM规范文档以EXCEL格式进行保存；

导入每个网元以EXCEL格式保存的NRM规范文档和PM规范文档，并对导入的规范文档进行识别以解析出每个网元的管理对象所包括的字段特征关系、条件关系、继承关系；

根据每个网元的管理对象所包括的字段特征关系、条件关系、继承关系，每个网元自动生成数据模型，所述数据模型包括与所述管理对象相关的各种指标要求。

在本实施方式中，各种指标要求主要包括字段名称要求、字段类型要求、字段取值要求、字段关联关系等，该数据模型为树状结构的模型，在自动生成数据模型之后，针对数据模型判断是否有特殊要求，如果有特殊要求，则按照特殊要求通过在页面上人工标注的形式修订之后进行保存以更新数据模型；如果没有特殊要求，则将数据模型生成一个指标模型并以JSON文件进行保存。在本实施方式中，特殊字段类型为枚举类型需指定枚举值、实数值需指定精确位数等，这时指定枚举值和指定精确位数就被视为特殊要求。

在本实施方式中，各个不同专业拥有不同类型的网元，每个网元都有各自的NRM规范文档和PM的规范文档，这些规范文档以EXCEL格式保存，平均每个规范文档有多个SHEET页和上百个字段要求规则，然后通过导入的方式，智能分析识别出每个网元的管理对象所包括的字段特征关系、条件关系、继承关系。采集多类网元的规范文档中的多个文本，识别基于多个文本的文本内容，设定多个对应的正则表达式，将同一语义的内容采用至少一个正则表达式识别，每一个正则表达式设定一个标签。将同一个标签下的文本分成一类特征集合。近义词和/或同义词库还可以通过训练好的词向量模型得到或者线下收集。采用自动化的方式来通过文本内容自动识别文本类别，避免了人工识别文本类别，降低人工成本，另外通过近义词或同义词扩展待识别文本，可提高自动识别文本类别的覆盖率。在本实施方式中，通过文本类内容自动识别技术，采用正则表达式和词义智能扩展的手段方法，降低人工走查EXCEL提取特征的成本，提高了网元指标字段检测内容的覆盖率。

在本实施方式中，特征关系主要包括有字段的属性类别、字段的英文名称、字段的类型要求、字段采集方式、字段粒度要求、网络资源对象的全网唯一标识rmUID的构造规则。例如：NSSF中NRM，UserLabel用户友好名网元名称，根据运营商的网元命名规则设定。AdministrativeState代表管理状态，管理的状态取值范围为{Locked，Unlocked，ShuttingDown}。

在本实施方式中，条件关系主要包括寻找和判断字段在特殊条件下存在或者有依赖关系的字段。譬如，网元标识字段Dn，针对无线网、核心网来说该字段必选，针对传输网、IP专业、业务系统来说则无该字段。譬如，UDM网元中的PM规范中，UDR.5gSub 5G代表用户数UDR.5gActSub 5G代表活动用户数，这两个字段有隐藏的数字大小条件关系。

在本实施方式中，继承关系主要包括判断各个管理对象直接的继承关系。

在本实施方式中，采用这种带有子节点的树状结构数据模型，可以大大加快后续的查询匹配检测速度，另外，每个数据模型以一个JSON文件形式保存，脱离数据库第三方中间件的重度依赖，可以灵活方便的迁移部署使用。

在本实施方式中，采用多级节点的形式可视化界面展现，方便人工标注修改，数据模型的界面可视化展示功能和编辑功能采用了ORGCHART.JS插件和 JQUERY.JS插件，若是有网元字段特殊要求的需求，那么通过在页面上人工标注的形式修订，然后保存即可更新数据模型，如果没有特殊要求，则每一类网元生成一个指标模型，以JSON文件保存，并且根据文件命名方式可以向同一类网元的不同版本兼容，一类网元对应一个模型，采用文件模型，兼容性强。

在本实施方式中，构建的数据模型采用树状结构并以JSON文件格式存储，一方面可以高效的遍历所有节点内容，检测速度快，兼容性好，另一方面通过 ORGCHART.JS插件和JQUERY.JS插件可以完美的可视化界面展示，便于人工标注修订，而且分类建模以网元类型创建不同的数据模型，通过智能化文本类识别技术，提取特征关系，提高检测的覆盖率，同时支持在线人工修订，提高了模型微调的灵活性和易用性。

在步骤S2中，对比步骤，选择待检测网元的真实文件数据，并以数据模型中的指标要求为基准，自动对比检测待检测网元的真实文件数据中的指标数据。

在本实施方式中，所述对比步骤具体包括：

获取以EXCEL格式保存的NRM规范文档和PM规范文档作为待检测网元的真实文件数据；

将真实文件数据进行XML文件解析后保存在本地缓存中；

以数据模型中的指标要求为基准，自动对比检测待检测网元的真实文件数据中的指标数据。

在本实施方式中，通过OMC的FTP服务端获取各类网元上报的NRM规范文档和PM规范文档作为待检测网元的真实文件数据，例如PM规范文档采样粒度如果是5分钟，那么一天一类网元上报的PM规范文档个数为288个。

在本实施方式中，为了提高检测效率，允许同时上传300个文件批量处理进行XML文件的解析保存在本地缓存中，然后和文件相对应的数据模型进行自动对比，自动对比进行网元指标字段的完整性、合理性、一致性、准确性的检测，最后生成对应网元的检测结果，以EXCEL文件分类对应存储。在本实施方式中，检测网元数据覆盖率全，涉及指标数据的完整性、合理性、正确性、关联性，从网元的数据源头保障了上报数据的可靠性。

在步骤S3中，结果步骤，生成并保存对比检测的结果。

在本实施方式中，所述结果步骤具体包括：

生成并保存对比检测的结果，结果包括结果概括页面、错误概括页面和错误明细页面。

在本实施方式中，结果概括SHEET页面包括了此次检测各个字段属性ABC 类的支持率统计结果；错误概括SHEET页面检测出每个文件中缺失的字段、取值不合理的字段、异常的字段，并高亮标注，便于查找；错误明细SHEET 页面详细的说明了错误的具体内容，而且匹配显示原始规范文档的SHEET页和行列号，以便于问题回溯定位。在本实施方式中，采用文件方式独立存储模型和结果，脱离数据库，减小外部中间件依赖，提高系统部署便捷性，同时支持多文件的并行处理数据，提高检测效率。

请参阅图2，为本发明一实施方式中网元指标数据的自动检测系统1的结构示意图。

在本实施方式中，网元指标数据的自动检测系统1包括建模模块2、对比模块3和结果模块4，其中，

建模模块2，用于导入每个网元各自的规范文档，并对导入的规范文档进行识别并根据识别结果建立数据模型，数据模型包括各种指标要求；

对比模块3，用于选择待检测网元的真实文件数据，并以所述数据模型中的指标要求为基准，自动对比检测待检测网元的真实文件数据中的指标数据；

结果模块4，用于生成并保存对比检测的结果。

在本实施方式中，建模模块2具体用于：

将每个网元各自所包括的NRM规范文档和PM规范文档以EXCEL格式进行保存；

导入每个网元以EXCEL格式保存的NRM规范文档和PM规范文档，并对导入的规范文档进行识别以解析出每个网元的管理对象所包括的字段特征关系、条件关系、继承关系；

根据每个网元的管理对象所包括的字段特征关系、条件关系、继承关系，每个网元自动生成数据模型，所述数据模型包括与所述管理对象相关的各种指标要求。

在本实施方式中，对比模块3具体用于：

获取以EXCEL格式保存的NRM规范文档和PM规范文档作为待检测网元的真实文件数据；

将真实文件数据进行XML文件解析后保存在本地缓存中；

以所述数据模型中的指标要求为基准，自动对比检测待检测网元的真实文件数据中的指标数据。

在本实施方式中，结果模块4具体用于：

生成并保存对比检测的结果，结果包括结果概括页面、错误概括页面和错误明细页面。

在本实施方式中，系统装置项的详细说明参阅前述图1所示的方法项的详细说明，在此不做重复记载。

此外，本发明还提供一种通信设备，其中，通信设备包括存储器和处理器，存储器存储计算机处理指令，处理器通过调用计算机处理指令来执行前述的网元指标数据的自动检测方法。

另外，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现前述的网元指标数据的自动检测方法的步骤。

本发明提供的技术方案具有以下优点：通过导入网元的规范文档进行识别来建立包含各种指标要求的数据模型，以及通过智能化文本类识别技术来提取网元的管理对象所包括的多种关系，并利用多种关系自动生成数据模型，可以提高检测的覆盖率，同时支持在线人工修订，提高了模型微调的灵活性和易用性；另外，以数据模型中的指标要求为基准，通过自动对比检测待检测网元的真实文件数据中的指标数据，可以提高检测网元数据覆盖率，使得从网元的数据源头保障了上报数据的可靠性；同时采用文件方式独立存储对比检测的结果，脱离数据库，减小了对外部中间件的依赖，提高了系统部署便捷性，同时支持多文件的并行处理数据，提高检测效率。

值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于一计算机可读取存储介质中，的存储介质，如ROM/RAM、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种网元指标数据的自动检测方法，其特征在于，所述方法包括：

建模步骤，导入每个网元各自的规范文档，对导入的所述规范文档进行识别并根据识别结果建立数据模型，所述数据模型包括各种指标要求；

对比步骤，选择待检测网元的真实文件数据，并以所述数据模型中的指标要求为基准，自动对比检测所述待检测网元的真实文件数据中的指标数据；

结果步骤，生成并保存对比检测的结果；

所述建模步骤具体包括：

将每个网元各自所包括的NRM规范文档和PM规范文档以EXCEL格式进行保存；

导入每个网元以EXCEL格式保存的NRM规范文档和PM规范文档，并对导入的规范文档进行识别以解析出每个网元的管理对象所包括的字段特征关系、条件关系、继承关系；

根据每个网元的管理对象所包括的字段特征关系、条件关系、继承关系，每个网元自动生成所述数据模型，所述数据模型包括与所述管理对象相关的各种指标要求。

2.如权利要求1所述的网元指标数据的自动检测方法，其特征在于，所述对比步骤具体包括：

获取以EXCEL格式保存的所述NRM规范文档和PM规范文档作为待检测网元的真实文件数据；

将所述真实文件数据进行XML文件解析后保存在本地缓存中；

以所述数据模型中的指标要求为基准，自动对比检测所述待检测网元的真实文件数据中的指标数据。

3.如权利要求2所述的网元指标数据的自动检测方法，其特征在于，所述结果步骤具体包括：

生成并保存对比检测的结果，所述结果包括结果概括页面、错误概括页面和错误明细页面。

4.一种网元指标数据的自动检测系统，其特征在于，所述系统包括建模模块、对比模块和结果模块，其中，

所述建模模块，用于导入每个网元各自的规范文档，并对导入的所述规范文档进行识别并根据识别结果建立数据模型，所述数据模型包括各种指标要求；

所述对比模块，用于选择待检测网元的真实文件数据，并以所述数据模型中的指标要求为基准，自动对比检测所述待检测网元的真实文件数据中的指标数据；

所述结果模块，用于生成并保存对比检测的结果；

所述建模模块具体用于：

将每个网元各自所包括的NRM规范文档和PM规范文档以EXCEL格式进行保存；

导入每个网元以EXCEL格式保存的NRM规范文档和PM规范文档，并对导入的规范文档进行识别以解析出每个网元的管理对象所包括的字段特征关系、条件关系、继承关系；

根据每个网元的管理对象所包括的字段特征关系、条件关系、继承关系，每个网元自动生成所述数据模型，所述数据模型包括与所述管理对象相关的各种指标要求。

5.如权利要求4所述的网元指标数据的自动检测系统，其特征在于，所述对比模块具体用于：

获取以EXCEL格式保存的所述NRM规范文档和PM规范文档作为待检测网元的真实文件数据；

将所述真实文件数据进行XML文件解析后保存在本地缓存中；

以所述数据模型中的指标要求为基准，自动对比检测所述待检测网元的真实文件数据中的指标数据。

6.如权利要求5所述的网元指标数据的自动检测系统，其特征在于，所述结果模块具体用于：

生成并保存对比检测的结果，所述结果包括结果概括页面、错误概括页面和错误明细页面。

7.一种通信设备，其特征在于，所述通信设备包括存储器和处理器，所述存储器存储计算机处理指令，所述处理器通过调用所述计算机处理指令来执行上述权利要求1-3中任一项所述的网元指标数据的自动检测方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-3中任一项所述的网元指标数据的自动检测方法的步骤。

Images