CN110855481B - 数据采集系统及方法 - Google Patents

Abstract

本发明公开了一种数据采集系统及方法，其中，该系统包括：采集平台、与采集平台连接的多个采集节点、与每个采集节点连接的多个网元；其中，采集平台用于：根据网元数据的数据类型，为各个网元配置多种采集服务；在新网元接入时，根据新网元数据的数据类型，为新网元配置采集服务；采集节点用于根据采集服务，采集网元数据；与同一采集节点连接的多个网元以及该采集节点布置在同一个云机房中。本发明可以提供统一的采集服务，提高数据采集的效率。

Description

数据采集系统及方法

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据采集系统及方法。

背景技术

传统的网元数据采集是按照不同的专业(如：无线、承载、核心、传输等)分别部署各自专业的采集机，在这些采集机上再部署相应的资源、性能、告警、日志等采集程序，采集各专业网元的数据。而同样的数据类型在采集方法有共同的地方，按照不同专业分开采集，不仅在开发上存在重复投入的风险，在部署上也会造成一定的资源浪费。

此外，传统的网元采集是先规划并集中部署采集机，让集中的采集机去采集分散在不同地方的网元数据，当出现新增网元时，首先要在新增网元上做好路由配置(如白名单配置，保证采集机可以访问对应网元)，再去修改这些集中的采集机配置，以便可以采集新增网元的数据，这样会增加数据采集的链路，降低数据采集的效率。

针对上述问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据采集系统，用以提供统一的采集服务，提高数据采集的效率，该系统包括：采集平台、与采集平台连接的多个采集节点、与每个采集节点连接的多个网元；

其中，采集平台用于：根据网元数据的数据类型，为各个网元配置多种采集服务；在新网元接入时，根据新网元数据的数据类型，为新网元配置采集服务；

采集节点用于根据采集服务，采集网元数据；

与同一采集节点连接的多个网元以及该采集节点布置在同一个云机房中。

本发明实施例还提供了一种数据采集方法，用以提供统一的采集服务，提高数据采集的效率，该方法包括：

采集平台获取多个网元数据的数据类型，根据网元数据的数据类型，为各个网元配置多种采集服务；在新网元接入时，获取新网元数据的数据类型，根据新网元数据的数据类型，为新网元配置采集服务；

采集节点根据采集服务，采集网元数据。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据采集方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述数据采集方法的计算机程序。

本发明实施例通过：根据网元数据的数据类型，为各个网元配置多种采集服务，可以提供统一的采集服务，避免采集资源的浪费；在新网元接入时，根据新网元数据的数据类型，为新网元配置采集服务，可以简化新网元配置的流程，迅速为新网元配置相应的采集服务；将多个网元以及与多个网元连接的一个采集节点布置一个云机房中，可以实现数据的就近采集，减少了的数据采集的链路，提高了数据采集的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中数据采集系统结构的示意图；

图2为本发明实施例中数据采集方法流程的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了提供统一的采集服务，提高数据采集的效率，本发明实施例提供了一种数据采集系统，图1为本发明实施例中数据采集系统结构的示意图，如图1所示，该系统包括：采集平台01、与采集平台连接的多个采集节点02、与每个采集节点02连接的多个网元03；

其中，采集平台01用于：根据网元数据的数据类型，为各个网元03配置多种采集服务；在新网元03接入时，根据新网元数据的数据类型，为新网元03配置采集服务；

采集节点02用于根据采集服务，采集网元数据；

与同一采集节点02连接的多个网元03以及该采集节点02布置在同一个云机房04中。

如图1所示：本发明实施例通过：根据网元数据的数据类型，为各个网元配置多种采集服务，可以提供统一的采集服务，避免采集资源的浪费；在新网元接入时，根据新网元数据的数据类型，为新网元配置采集服务，可以简化新网元配置的流程，迅速为新网元配置相应的采集服务；将多个网元以及与多个网元连接的一个采集节点布置一个云机房中，可以实现数据的就近采集，减少了的数据采集的链路，提高了数据采集的效率。

具体实施时，可以将采集平台01与多个采集节点02分别连接，每个采集节点02与多个网元02分别连接，并且与同一采集节点02连接的多个网元03以及该采集节点02布置在同一个云机房04中。网元是网络中的设备，传统的网元采集是先规划并集中部署采集机，让集中的采集机去采集分散在不同地方的网元数据，随着网络虚拟化技术的发展，5G网络核心网UPF网元下沉、无线网CU网元上升到同一数据中心，云机房可以代替传统机房，由于一个云机房中的各个设备之间的网络是互通的，将多个网元03虚拟化部署在一个云机房04中可以减少路由等设备的配置。将与同一采集节点02连接的多个网元03以及该采集节点02布置在同一个云机房04中，与传统的集中采集机相比，可以实现数据的就地采集，减少了数据采集的链路，同时对于告警、信令等时限要求较高的数据，也可以加快数据采集的速度，更好地为上层应用提供数据支撑。将这样的多个采集节点02分别与部署在运营商核心节点的一个采集平台01连接，通过采集平台01为各个采集节点02部署采集服务，实现网元数据的采集。

具体实施时，采集平台01可以根据网元数据的数据类型，为各个网元03配置多种采集服务。一个网元03可以包括多种类型的数据，例如：资源数据、配置数据、性能数据、告警数据、信令、MR等，采集平台01会为网元03的每一种数据分别配置不同的采集服务，并将这些采集服务统一下发至各个采集节点02，各个采集节点02根据这些采集服务进行网元数据的采集，此外，同一个采集服务，也可以对不同专业的数据进行采集，与传统的按照不同专业分别部署各自专业的采集机相比，本发明实施例可以避免采集资源的浪费。

在一个实施例中，采集服务至少包括：网元接口协议适配、数据采集、数据检测、数据标准化处理、数据存储和数据分发。

具体实施时，网元接口协议适配，可以将采集节点02与网元03的接口协议适配，从而实现采集节点02从网元03侧采集原始数据，网元接口协议适配可以支持多种类型的网元接口，包括：文件、REST、Telnet、SNMP、corba等，同时可以支持接口扩展。

数据采集，可以支持各种类型数据的采集，包括资源数据、配置数据、告警数据、性能数据、信令、MR等。

数据检测，可以及时检测网元03侧原始数据是否满足预设的完整性标准，当原始数据满足预设的完整性标准时，立即进行数据采集，当原始数据不满足预设的完整性标准时，也可以采集部分满足预设的完整性标准的数据，也即，数据检测可以尽可能及时的采集满足预设的完整性标准要求的原始数据。

数据标准化处理，可以根据预设规则对采集到的原始数据进行词法分析和标准化处理，在实现标准化处理的基础上，还可以对原始数据进行归一化处理，例如：将原始counter数据归一化处理为遵循指标规范定义的指标数据。

数据存储，可以将标准化处理后的数据按照预设格式进行统一的持久化存储。

数据分发，对于一些采集量大且对实时性要求较高的数据，根据上层应用平台的需求，例如边缘计算系统的需求，还可以将标准化处理后的数据直接分发给相应的上层应用平台，避免了传统的网元采集系统中将全部数据上传至采集机造成的宽带压力。

具体实施时，在新网元03接入时，采集平台01可以根据新网元数据的数据类型，为新网元03配置采集服务。

在一个实施例中，采集平台01根据新网元数据的数据类型，为新网元03配置采集服务，可以包括：

根据新网元数据的数据类型，判断已有采集服务中是否存在满足新网元03数据采集需求的目标采集服务；

当已有采集服务中存在满足新网元数据采集需求的目标采集服务时，为新网元03配置目标采集服务；

当已有采集服务中不存在满足新网元数据采集需求的目标采集服务时，为新网元03配置新的采集服务。

具体实施时，当一个新网元03接入时，新网元03中可以包括多种类型的数据，不同类型的数据需要配置不同的采集服务，对于不同类型的数据，采集平台01分别判断已有采集服务是否满足新网元数据的采集需求，当已有采集服务中存在满足新网元数据采集需求的采集服务时，为新网元03配置该采集服务，当已有采集服务中不存在满足新网元数据采集需求的采集服务时，为新网元03配置新采集服务，并注册新的采集服务信息，其中，注册信息可以包括：新的采集服务的类型、新的采集服务适配的网元类型、新采的集服务对应的厂家、新的采集服务的版本等，因此，在一个新网元03接入时，对于不同类型的数据，有的数据配置已有的采集服务，有的数据配置新的采集服务。

在一个实施例中，采集平台01还可以用于：接收用户发送的采集任务；根据各个采集节点02的剩余资源信息，将采集任务分发至各个采集节点02。

具体实施时，采集品台01在接收上层应用平台的采集任务后，可以根据调度策略，基于各个采集节点02的运行环境和资源剩余情况，选择合适的采集节点02进行任务分发，任务调度方式可以包括实时或定时或周期三种方式。

在一个实施例中，采集平台01还可以用于：接收各个采集节点02发送的心跳信息；根据心跳信息对各个采集节点02的采集状态进行实时监控；在出现采集异常时，提供实时告警。

具体实施时，采集平台01可以接收各个采集节点02发送的心跳信息；根据心跳信息对各个采集节点02的采集状态进行实时监控，包括：任务的状态监控、数据的质量监控、采集节点的容量监控等，并可以生成全面的监控日志，在出现采集异常时，提供实时告警，便于及时发现和处理异常。

在一个实施例中，采集平台01还可以用于：将各个采集节点02采集到的数据发送至相应的用户。

具体实施时，在各个采集节点02完成数据的采集后，各个采集节点02可以将采集到的数据传输至采集平台01，采集平台01按照预设的配置，将数据发送给上层应用平台，并发送消息通知上层应用平台。对于一些采集量大且对实时性要求较高的数据，各个采集节点02也可以根据上层应用平台的需求，将采集到的数据直接分发给相应的上层应用平台。

在一个实施例中，采集平台01还可以用于：对各个采集节点02采集到的数据进行存储。

具体实施时，采集平台01可以对采集数据的目录、消息队列、缓存数据实现可视化管理和维护，可以包括：目录配置、数据存储、数据所在磁盘空间的监控、历史数据清理等功能。

在一个实施例中，采集平台01还可以用于：对各个网元03进行配置管理。

具体实施时，采集平台01可以对各个网元03的类型、厂商、型号，各个网元03数据的类型，包括：性能、告警、配置、信令等，各个网元03的采集服务、采集策略、采集指标等配置信息进行加载、录入和更新维护。

基于同一发明构思，本发明实施例还提供了一种数据采集方法，如下面的实施例。由于这些解决问题的原理与数据采集系统相似，因此方法的实施可以参见系统的实施，重复之处不再赘述。

为了提供统一的采集服务，提高数据采集的效率，本发明实施例提供了一种数据采集方法，图2为本发明实施例中数据采集方法流程的示意图，如图2所示，该方法包括：

步骤101：采集平台获取多个网元数据的数据类型，根据网元数据的数据类型，为各个网元配置多种采集服务；

步骤102：在新网元接入时，获取新网元数据的数据类型，根据新网元数据的数据类型，为新网元配置采集服务；

步骤103：采集节点根据采集服务，采集网元数据。

在一个实施例中，步骤102在新网元接入时，获取新网元数据的数据类型，根据新网元数据的数据类型，为新网元配置采集服务，可以包括：

根据新网元数据的数据类型，判断已有采集服务中是否存在满足新网元数据采集需求的目标采集服务；

当已有采集服务中存在满足新网元数据采集需求的目标采集服务时，为新网元配置目标采集服务；

当已有采集服务中不存在满足新网元数据采集需求的目标采集服务时，为新网元配置新的采集服务。

在一个实施例中，采集服务可以包括：网元接口协议适配、数据采集、数据检测、数据标准化处理、数据存储和数据分发。

在一个实施例中，数据采集方法还可以包括：采集平台接收用户发送的采集任务，根据各个采集节点的剩余资源信息，将采集任务分发至各个采集节点。

在一个实施例中，数据采集方法还可以包括：采集平台接收各个采集节点发送的心跳信息，根据心跳信息对各个采集节点的采集状态进行实时监控；在出现采集异常时，采集平台提供实时告警。

在一个实施例中，数据采集方法还可以包括：采集平台对各个节点采集到的数据进行存储。

在一个实施例中，数据采集方法还可以包括：采集平台将各个节点采集到的数据发送至相应的用户。

下面给出一个具体实施例，以便于理解本发明如何实施。

第一步：在运营商核心节点集中部署一套采集平台，将采集平台与多个采集节点分别连接，并在采集平台中配置采集服务、任务调度、任务监控、数据分发、数据存储、配置管理等应用，在云机房就绪并达到可部署网元的条件时，将与同一采集节点连接的多个网元以及该采集节点布置在同一个云机房04中，采集平台向各个采集节点下发采集服务。

第二步：在新网元接入时，采集平台根据新网元数据的数据类型，判断已有采集服务中是否存在满足新网元数据采集需求的目标采集服务，如果已有采集服务中存在满足新网元数据采集需求的目标采集服务，则进入第三步，当已有采集服务中不存在满足新网元数据采集需求的目标采集服务时，则进入第四步。

第三步：为新网元配置已有的目标采集服务。

第四步：为新网元配置新的采集服务，并注册新的采集服务信息，其中，注册信息可以包括：新的采集服务的类型、新的采集服务适配的网元类型、新的采集服务对应的厂家、新的采集服务的版本等。

第五步：采集平台根据各个采集节点的剩余资源信息，将采集任务分发至各个采集节点，各个采集节点执行相应的采集服务，包括网元接口协议适配、数据采集、数据检测、数据标准化处理、数据存储和数据分发。在各个采集节点执行相应的采集服务的过程中，各个采集节点向采集平台发送心跳信息，采集平台根据心跳信息对各个采集节点的采集状态进行实时监控；在出现采集异常时，提供实时告警。

第六步：完成本次采集，等待下一次采集。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述数据采集方法。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有执行上述数据采集方法的计算机程序。

综上所述，本发明实施例通过：根据网元数据的数据类型，为各个网元配置多种采集服务，可以提供统一的采集服务，避免采集资源的浪费；在新网元接入时，根据新网元数据的数据类型，为新网元配置采集服务，可以简化新网元配置的流程，迅速为新网元配置相应的采集服务；将多个网元以及与多个网元连接的一个采集节点布置一个云机房中，可以实现数据的就近采集，减少了的数据采集的链路，提高了数据采集的效率。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种数据采集系统，其特征在于，包括：采集平台、与采集平台连接的多个采集节点、与每个采集节点连接的多个网元；

其中，所述采集平台用于：根据网元数据的数据类型，为每个网元的每种数据类型分别配置不同的采集服务；在新网元接入时，根据新网元数据的数据类型，为新网元配置采集服务，其中，

所述采集服务至少包括：网元接口协议适配、数据采集、数据检测、数据标准化处理、数据存储和数据分发；

在网元接口协议适配时，将采集节点与网元的接口协议适配，使采集节点从网元侧采集原始数据，网元接口协议适配支持多种类型的网元接口，包括：文件、REST、Telnet、SNMP、corba，同时支持接口扩展；

在数据采集时，支持各种类型数据的采集，包括资源数据、配置数据、告警数据、性能数据、信令、MR；

在数据检测时，检测网元侧原始数据是否满足预设的完整性标准，当原始数据满足预设的完整性标准时，立即进行数据采集，当原始数据不满足预设的完整性标准时，采集部分满足预设的完整性标准的数据；

在数据标准化处理时，根据预设规则对采集到的原始数据进行词法分析和标准化处理，在实现标准化处理的基础上，对原始数据进行归一化处理；

在数据存储时，将标准化处理后的数据按照预设格式进行统一的持久化存储；

在数据分发时，将标准化处理后的数据直接分发给相应的上层应用平台；

采集节点用于根据所述采集服务，采集与该采集节点连接的多个网元的多种数据类型的网元数据；

与同一采集节点连接的多个网元以及该采集节点布置在同一个云机房中。

2.如权利要求1所述的系统，其特征在于，所述根据新网元数据的数据类型，为新网元数据配置采集服务，包括：

根据新网元数据的数据类型，判断已有采集服务中是否存在满足新网元数据采集需求的目标采集服务；

当已有采集服务中存在满足新网元数据采集需求的目标采集服务时，为所述新网元配置所述目标采集服务；

当已有采集服务中不存在满足新网元数据采集需求的目标采集服务时，为新网元配置新的采集服务。

3.如权利要求1所述的系统，其特征在于，所述采集平台还用于：接收用户发送的采集任务，根据各个采集节点的剩余资源信息，将所述采集任务分发至各个采集节点。

4.如权利要求3所述的系统，其特征在于，所述采集平台还用于：接收各个采集节点发送的心跳信息，根据所述心跳信息对各个采集节点的采集状态进行实时监控；在出现采集异常时，提供实时告警。

5.如权利要求4所述的系统，其特征在于，所述采集平台还用于：对各个节点采集到的数据进行存储。

6.如权利要求5所述的系统，其特征在于，所述采集平台还用于：将各个节点采集到的数据发送至相应的用户。

7.一种数据采集方法，其特征在于，所述数据采集方法应用权利要求1至6任一所述数据采集系统进行数据采集，所述数据采集方法包括：

所述采集平台获取多个网元数据的数据类型，根据网元数据的数据类型，为每个网元的每种数据类型分别配置不同的采集服务；在新网元接入时，获取新网元数据的数据类型，根据新网元数据的数据类型，为新网元配置采集服务，其中，

所述采集服务至少包括：网元接口协议适配、数据采集、数据检测、数据标准化处理、数据存储和数据分发；

在网元接口协议适配时，将采集节点与网元的接口协议适配，使采集节点从网元侧采集原始数据，网元接口协议适配支持多种类型的网元接口，包括：文件、REST、Telnet、SNMP、corba，同时支持接口扩展；

在数据采集时，支持各种类型数据的采集，包括资源数据、配置数据、告警数据、性能数据、信令、MR；

在数据检测时，检测网元侧原始数据是否满足预设的完整性标准，当原始数据满足预设的完整性标准时，立即进行数据采集，当原始数据不满足预设的完整性标准时，采集部分满足预设的完整性标准的数据；

在数据标准化处理时，根据预设规则对采集到的原始数据进行词法分析和标准化处理，在实现标准化处理的基础上，对原始数据进行归一化处理；

在数据存储时，将标准化处理后的数据按照预设格式进行统一的持久化存储；

在数据分发时，将标准化处理后的数据直接分发给相应的上层应用平台；

采集节点根据所述采集服务，采集与该采集节点连接的多个网元的多种数据类型的网元数据。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求7所述方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求7所述方法的计算机程序。

Images