CN112968789A - 数据采集方法、装置、计算机设备及计算机可读介质 - Google Patents

数据采集方法、装置、计算机设备及计算机可读介质 Download PDF

Info

Publication number
CN112968789A
CN112968789A CN201911288997.4A CN201911288997A CN112968789A CN 112968789 A CN112968789 A CN 112968789A CN 201911288997 A CN201911288997 A CN 201911288997A CN 112968789 A CN112968789 A CN 112968789A
Authority
CN
China
Prior art keywords
model file
acquisition
module
data
sending
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911288997.4A
Other languages
English (en)
Other versions
CN112968789B (zh
Inventor
陈波
唐文彬
全锐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201911288997.4A priority Critical patent/CN112968789B/zh
Priority to PCT/CN2020/117255 priority patent/WO2021114812A1/zh
Priority to EP20898040.9A priority patent/EP3975481A4/en
Publication of CN112968789A publication Critical patent/CN112968789A/zh
Application granted granted Critical
Publication of CN112968789B publication Critical patent/CN112968789B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/084Configuration by using pre-existing information, e.g. using templates or copying from other elements
    • H04L41/0843Configuration by using pre-existing information, e.g. using templates or copying from other elements based on generic templates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0806Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/34Signalling channels for network management communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02Standardisation; Integration
    • H04L41/0213Standardised network management protocols, e.g. simple network management protocol [SNMP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/02Standardisation; Integration
    • H04L41/0246Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
    • H04L41/0273Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols using web services for network management, e.g. simple object access protocol [SOAP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters

Abstract

本公开提供一种数据采集方法,接收用于定义数据采集对象、采集参数和告警描述信息的模型文件,并将模型文件发送给采集装置,以使采集装置根据模型文件采集数据。本公开实施例可以利用模型文件定义采集对象,监控系统与采集对象是解耦合关系,将模型文件上传至监控系统后模型文件即可生效,有效缩短联调周期,无需重启监控系统,不影响业务运行。还可以在其他监控系统中复用模型文件定义,无需重新编码和部署。还可以通过重新定义模型文件来更新或修复监控系统的功能,快速响应需求变化。可以适用于中央数据中心和边缘云等类型的采集对象,能够在各种场景下对IaaS、PaaS、SaaS各个层次的云资源进行监控。本公开还提供一种装置、计算机设备及可读介质。

Description

数据采集方法、装置、计算机设备及计算机可读介质
技术领域
本公开涉及通信技术领域,具体涉及一种数据采集方法、装置、计算机设备及计算机可读介质。
背景技术
在网络环境下,监控系统是一种以计算机技术为基础的自动化系统,它可以对网络相关设备和系统进行数据采集,从而实现告警监控和性能采集等功能。
传统模式下,监控系统存在着很多弊端:对于新的采集对象,需要通过硬编码部署到现有的监控系统中,开发、联调周期较长,且部署完成后还需要重启监控系统,影响业务运行。对于现有的采集对象,如果需要部署到其他监控系统中使用,也需要重新对其进行编码和部署,效率低下。随着网络的发展,各种新需求不断增加,更新或修复监控系统的功能愈发困难,监控系统也难以快速响应需求。
随着5G(5th generation wireless systems,第五代移动通信技术)时代和云时代的到来,引入了不同层级的云化部署和网络部署,硬件、软件设备飞速发展,传统的监控系统更加难以及时支持对5G云化网络的设备和系统的监控。
发明内容
本公开针对现有技术中存在的上述不足,提供一种数据采集方法、装置、计算机设备及计算机可读介质。
第一方面,本公开实施例提供一种数据采集方法,所述方法包括:
接收模型文件,所述模型文件用于定义数据采集对象、采集参数和告警描述信息;
将所述模型文件发送给采集装置,以使所述采集装置根据所述模型文件采集数据。
进一步的,在所述将所述模型文件发送给采集装置之后,还包括:
获取待增加的采集对象的接入参数;
将所述接入参数发送给通用业务模块,以使所述通用业务模块持久化所述接入参数,所述通用业务模块包括资源模块;
将所述接入参数发送给所述采集装置,以使所述采集装置根据所述接入参数和所述模型文件对所述待增加的采集对象进行数据采集。
进一步的,在所述接收模型文件之后,所述方法还包括:
将所述模型文件发送给通用业务模块,以使所述通用业务模块加载所述模型文件。
进一步的,所述模型文件包括:用于定义数据采集对象的资源模型文件、用于定义采集参数的性能模型文件和用于定义告警描述信息的告警模型文件,所述通用业务模块包括:资源模块、性能模块和告警模块;
所述将所述模型文件发送给通用业务模块,以使所述通用业务模块加载所述模型文件,包括:
将所述资源模型文件发送给资源模块,以使所述资源模块加载所述资源模型文件,将所述性能模型文件发送给性能模块,以使所述性能模块加载所述性能模型文件,并将所述告警模型文件发送给告警模块,以使所述告警模块加载所述告警模型文件。
进一步的,所述模型文件还包括以下其中之一或任意组合:脚本文件、协议配置文件、管理信息库文件。
进一步的,所述将所述模型文件发送给采集装置,包括:通过表述性状态传递接口将所述模型文件发送给采集装置;和/或,所述将所述模型文件发送给通用业务模块,包括:通过表述性状态传递接口将所述模型文件发送给通用业务模块。
又一方面,本公开实施例还提供一种数据采集方法,所述方法包括:
接收处理装置发送的模型文件,所述模型文件用于定义数据采集对象、采集参数和告警描述信息;
根据所述模型文件采集数据;
将采集到的数据发送给指定设备。
进一步的,所述根据所述模型文件采集数据,包括:
根据所述模型文件确定采集对象、采集参数和告警描述信息;
获取所述采集对象的数据,并接收所述采集对象发送的告警信息,所述数据为所述采集对象的采集参数对应的性能数据;
根据所述告警描述信息处理所述告警信息。
进一步的,在根据所述模型文件采集数据之后、将采集到的数据发送给指定设备之前,所述方法还包括:
对所述采集到的数据进行抽象处理,以统一所述数据的格式。
又一方面,本公开实施例还提供一种数据采集方法,所述方法包括:
响应于接收到采集对象参数、采集参数和告警描述信息,根据所述采集对象参数、采集参数和告警描述信息生成模型文件,所述模型文件用于定义数据采集对象、采集参数和告警描述信息;
将所述模型文件发送给处理装置。
又一方面,本公开实施例还提供一种处理装置,包括:第一接收模块和第一发送模块,所述第一接收模块用于,接收模型文件,所述模型文件用于定义数据采集对象、采集参数和告警描述信息;
所述第一发送模块用于,将所述模型文件发送给采集装置,以使所述采集装置根据所述模型文件采集数据。
又一方面,本公开实施例还提供一种采集装置,包括:第二接收模块、采集模块和第二发送模块,所述第二接收模块用于,接收处理装置发送的模型文件,所述模型文件用于定义数据采集对象、采集参数和告警描述信息;
所述采集模块用于,根据所述模型文件采集数据;
所述第二发送模块用于,将采集到的数据发送给指定设备。
又一方面,本公开实施例还提供一种模型定义装置,包括生成模块和发送模块,所述生成模块用于,响应于接收到采集对象参数、采集参数和告警描述信息,根据所述采集对象参数、采集参数和告警描述信息生成模型文件,所述模型文件用于定义数据采集对象、采集参数和告警描述信息。
所述发送模块用于,将所述模型文件发送给处理装置。
又一方面,本公开实施例还提供一种计算机设备,包括:一个或多个处理器以及存储装置;其中,存储装置上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如前述各实施例所提供的数据采集方法。
本公开实施例还提供了一种计算机可读介质,其上存储有计算机程序,其中,该计算机程序被执行时实现如前述各实施例所提供的数据采集方法。
本公开实施例提供的数据采集方法,接收用于定义数据采集对象、采集参数和告警描述信息的模型文件,并将模型文件发送给采集装置,以使采集装置根据模型文件采集数据。本公开实施例可以利用模型文件定义采集对象,监控系统与采集对象是解耦合关系,这样,将模型文件上传至监控系统后模型文件即可生效,因此可以缩短联调周期,并且不需要重启监控系统,也不会影响业务运行。本公开实施例还可以在其他监控系统中复用模型文件定义,不需要重新进行编码和部署。本公开实施例还可以通过重新定义模型文件来更新或修复监控系统的功能,快速响应需求变化。本公开实施例可以适用于中央数据中心和边缘云等类型的采集对象,能够在各种场景下对IaaS、PaaS、SaaS各个层次的云资源进行监控。
附图说明
图1为本公开一实施例提供的数据采集方法应用的系统结构图;
图2为本公开一实施例提供的数据采集方法的流程图;
图3为本公开一实施例提供的数据采集方法的又一流程图;
图4为本公开又一实施例提供的数据采集方法的流程图;
图5为本公开再一实施例提供的根据模型文件采集数据的流程图;
图6a为本公开又一实施例提供的部署方式示意图;
图6b为本公开再一实施例提供的部署方式示意图;
图6c为本公开又一实施例提供的部署方式示意图;
图7为本公开又一实施例提供的处理装置的结构示意图;
图8为本公开再一实施例提供的采集装置的结构示意图;
图9为本公开又一实施例提供的模型定义装置的结构示意图。
具体实施方式
在下文中将参考附图更充分地描述示例实施例,但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本文阐述的实施例。反之,提供这些实施例的目的在于使本公开透彻和完整,并将使本领域技术人员充分理解本公开的范围。
如本文所使用的,术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本文所使用的术语仅用于描述特定实施例,且不意欲限制本公开。如本文所使用的,单数形式“一个”和“该”也意欲包括复数形式,除非上下文另外清楚指出。还将理解的是,当本说明书中使用术语“包括”和/或“由……制成”时,指定存在所述特征、整体、步骤、操作、元件和/或组件,但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或其群组。
本文所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此,可根据制造技术和/或容限来修改示例图示。因此,实施例不限于附图中所示的实施例,而是包括基于制造工艺而形成的配置的修改。因此,附图中例示的区具有示意性属性,并且图中所示区的形状例示了元件的区的具体形状,但并不旨在是限制性的。
除非另外限定,否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解,诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义,且将不解释为具有理想化或过度形式上的含义,除非本文明确如此限定。
针对现有技术中存在的上述问题,本公开实施例提供了一种数据采集方法,如图1所示,所述方法应用于包括监控系统、采集装置和采集对象的系统中,监控系统包括处理装置和通用业务模块。其中,采集对象可以是通过某种通信协议能够被监控系统纳管的硬件或软件,例如路由器、交换机、防火墙、服务器、机架/机框、MySQL(My Structure QuestLanguage,关系型数据库管理系统)和PostgreSQL(Postgre Structured Query Language,对象关系型数据库管理系统)、Ubuntu(乌班图操作系统)和Windows(视窗操作系统)、Kafka(Apache Kafka,分布式发布订阅消息系统)和FTP(Fi le Transfer Protocol,文件传输协议)等公共服务软件、OpenStack(云端计算服务组件)和VMware(一种虚拟机软件)等云平台。采集装置能够从采集对象处采集资源、性能和告警等数据,主要提供性能采集和告警监控这两种采集功能,性能采集是指通过SNMP(Simple Network Management Protocol,简单网络管理协议)、SSH(Secure Shell,安全外壳协议)、JDBC(Java DataBase Connectivityjava,数据库连接)等协议从采集对象获取性能数据,告警监听是指对于支持SNMP协议的采集对象监听告警。处理装置能够处理采集装置上传的数据,并负责将数据传递给网管、云管或第三方应用,处理装置通常可以作为网管、云管或第三方应用平台中的一个服务、微服务、插件来部署。通用业务模块可以是在网管或云管的监控系统中常用的业务模块。
如图2所示,本公开实施例提供的数据采集方法,可以包括以下步骤:
步骤21,接收模型文件,模型文件用于定义数据采集对象、采集参数和告警描述信息。
在本步骤中,处理装置可以接收用户以压缩文件形式上传的模型文件,压缩文件中可以包括多个模型文件,分别用来定义数据采集对象、采集参数和告警描述信息。可以通过定义资源中的网元类型(例如存储网元的字段)和资源中的部件类型(例如存储部件实例的字段)来定义数据采集对象,可以通过定义测量计数器等相关的性能信息来定义采集参数,例如定义采集参数为CPU(Central Processing Unit/Processor,中央处理器)使用率、CPU温度等等,可以通过定义各种异常情况对应的告警码来定义告警描述信息。
采集对象、采集参数和告警描述信息都是监控系统的采集装置在采集设备或系统的数据时所必需的信息,使用模型文件来定义数据采集对象、采集参数和告警描述信息,当需要修改或添加这三种信息时,可以直接在模型文件中进行修改或添加,因此,当这三种信息发生变化时,不再需要对采集对象进行重新编码和部署。
步骤22,将模型文件发送给采集装置,以使采集装置根据模型文件采集数据。
在本步骤中,处理装置可以将模型文件直接以压缩文件的形式发送给采集装置,采集装置从压缩文件中解析各模型文件,获取数据采集对象、采集参数和告警描述信息,进一步可以根据这些信息采集数据。
由于采集装置可以根据模型文件采集数据,如果需要增加采集需求(例如增加新类型的采集参数),只需要在模型文件中增加相应信息。如果需要在其他同类型监控系统中监控采集对象,可以将该采集对象的模型文件复用其他监控系统中。如果需要支持采集新设备、定制设备或特殊设备的数据,可以通过修改或添加模型文件中的数据采集对象、采集参数和告警描述信息来实现。本公开通过灵活定义模型文件、在线部署的方式,对各种设备、系统的采集更加快捷,并能方便地进行定制、在线部署即时生效。在接入新设备类型时,取得了效率上的进步,达到了快速开发、快速接入的效果,节省了开发、联调和部署的时间,提高了易用性。
通过上述步骤21-22可以发现,本公开实施例提供的数据采集方法,接收用于定义数据采集对象、采集参数和告警描述信息的模型文件,并将模型文件发送给采集装置,以使采集装置根据模型文件采集数据。本公开实施例可以利用模型文件定义采集对象,监控系统与采集对象是解耦合关系,这样,将模型文件上传至监控系统后模型文件即可生效,因此可以缩短联调周期,并且不需要重启监控系统,也不会影响业务运行。本公开实施例还可以在其他监控系统中复用模型文件定义,不需要重新进行编码和部署。本公开实施例还可以通过重新定义模型文件来更新或修复监控系统的功能,快速响应需求变化。本公开实施例可以适用于中央数据中心和边缘云等类型的采集对象,能够在各种场景下对IaaS、PaaS、SaaS各个层次的云资源进行监控。
在一些实施例中,如图3所示,在将模型文件发送给采集装置之后,还可以包括以下步骤:
步骤31,获取待增加的采集对象的接入参数。
通用业务模块可以包括人机交互界面(User Interface,UI)模块,当第一次采集新增加的采集对象的数据时,可以从人机交互界面模块导入或输入待增加的采集对象的接入参数,处理装置通过人机交互界面模块获取待增加的采集对象的接入参数。
具体的,用户可以通过人机交互界面模块将模型文件上传至处理装置,在处理装置将模型文件发送给采集装置之后,人机交互界面模块可以根据模型文件中对资源字段的描述,动态生成参数输入字段,便于用户填写待增加的采集对象的接入参数,并将该接入参数发送给处理装置。
步骤32,将接入参数发送给通用业务模块,以使通用业务模块持久化接入参数,通用业务模块包括资源模块。
资源模块接收处理装置发送的待增加的采集对象的接入参数后,可以将该接入参数存储至数据库中,以便后续再采集该采集对象的数据时无需导入或输入接入参数。
步骤33,将接入参数发送给采集装置,以使采集装置根据接入参数和模型文件对待增加的采集对象进行数据采集。
在本步骤中,处理装置将接入参数发送给采集装置,以便采集装置可以根据该接入参数,配合处理装置发送的模型文件,自动解析采集逻辑,智能化采集该采集对象的数据。
在一些实施例中,在接收模型文件(即步骤21)之后,还可以包括:将模型文件发送给通用业务模块,以使通用业务模块加载模型文件。在本步骤中,处理装置接收到用户以压缩文件形式上传的模型文件之后,在将模型文件发送给采集装置的同时,将压缩文件进行解压,获得用于定义数据采集对象、采集参数和告警描述信息的模型文件,并将各模型文件发送给通用业务模块,以使通用业务模块加载模型文件,从而实现业务监控。
在一些实施例中,模型文件可以包括:用于定义数据采集对象的资源模型文件、用于定义采集参数的性能模型文件和用于定义告警描述信息的告警模型文件。通用业务模块可以包括:资源模块、性能模块和告警模块。所述将模型文件发送给通用业务模块,以使通用业务模块加载模型文件(即步骤32),可以包括:将资源模型文件发送给资源模块,以使资源模块加载资源模型文件,将性能模型文件发送给性能模块,以使性能模块加载性能模型文件,并将告警模型文件发送给告警模块,以使告警模块加载告警模型文件。
压缩文件中可以包括资源模型文件、性能模型文件和告警资源模型文件这三种模型文件,通用业务模块还可以包括资源模块、性能模块和告警模块这几种模块,资源模块可用于管理采集对象,性能模块可用于提供性能相关服务,告警模块可用于提供告警相关服务。处理装置在对压缩文件解压后,可以分别将三种模型文件发送给对应的模块,各模块动态加载对应的模型文件,以便向用户显示资源、性能和告警等相关信息。同时,存储资源、性能数据的数据库可以根据模型中对资源、性能字段的描述来动态生成不同的存储表。
在一些实施例中,模型文件还可以包括以下其中之一或任意组合:脚本文件、协议配置文件、管理信息库文件。
其中,脚本文件可以包括以下其中之一或任意组合:连接设备、采集数据使用的相关协议的执行脚本,对资源即接入参数字段的自定义脚本,对告警解析的特殊处理脚本,对性能数据的二次计算脚本,调用外部服务采集数据的脚本等自定义的特殊逻辑脚本。协议配置文件可以包括解析协议返回结果的配置文件等。模型文件还可以包括管理信息库(Management Information Base,MIB)文件。
需要说明的是,用户可以将上述脚本文件、协议配置文件、管理信息库文件可以与资源模型文件、性能模型文件和告警模型文件打包生成压缩包,将该压缩包发送给处理装置。
在一些实施例中,所述将模型文件发送给采集装置(即步骤22),可以包括:通过表述性状态传递接口将模型文件发送给采集装置;和/或,将模型文件发送给通用业务模块,可以包括:通过表述性状态传递接口将模型文件发送给通用业务模块。
处理装置与采集装置以及处理装置与通用业务模块之间,可以通过统一定义的Restful(Representational State Transfer,表述性状态传递)接口连接,从而形成微服务架构,处理装置可以将模型文件或接入参数通过Restful接口发送给采集装置或通用业务模块。处理装置、采集装置和通用业务模块为独立的微服务模块,各微服务模块之间是松耦合关系,每个微服务模块仅专注于完成各自的任务。当监控系统增加新需求时,只需要添加或修改对应的微服务模块即可,更新或修复监控系统的功能变得轻松简单。并且,由于微服务架构非常适合云部署,因此能够与云端开发模式下的应用兼容。
本公开实施例还提供了一种数据采集方法,如图4所示,该方法可以包括以下步骤:
步骤41,接收处理装置发送的模型文件,模型文件用于定义数据采集对象、采集参数和告警描述信息。
在本步骤中,处理装置可以通过压缩文件形式将模型文件发送给采集装置。
步骤42,根据模型文件采集数据。
步骤43,将采集到的数据发送给指定设备。
采集装置接收处理装置以压缩文件形式发送的模型文件后,可直接根据模型文件中的采集对象、采集参数和告警描述信息来采集数据,并将采集到的数据发送给处理装置或管理系统等任意的指定设备。
在一些实施例中,如图5所示,所述根据模型文件采集数据(即步骤42),可以包括以下步骤:
步骤51,根据模型文件确定采集对象、采集参数和告警描述信息。
在本步骤中,采集装置可以根据资源模型文件确定采集对象,根据性能模型文件确定采集参数,根据告警模型文件确定告警描述信息。告警描述信息可以是告警过滤或适配的参数。
步骤52,获取采集对象的数据,并接收采集对象发送的告警信息,所述数据为采集对象的采集参数对应的性能数据。
步骤53,根据告警描述信息处理告警信息。
在本步骤中,根据告警过滤或适配的参数,对接收到的告警信息进行过滤和适配等处理,将其转换为统一模型、统一格式的告警数据。
在本步骤中,采集装置可以按照采集周期采集采集对象的采集参数,通过不同的对接协议,对采集对象进行采集,获取到不同形式的原始数据。当有异常情况发生时,采集装置还可以接收采集对象发送的告警信息。
在一些实施例中,在根据模型文件采集数据(即步骤42)之后、将采集到的数据发送给指定设备(即步骤43)之前,还可以包括:对采集到的数据进行抽象处理,以统一数据的格式。
采集装置采集到数据之后,通过数据抽象能力,将不同形式的原始数据抽象为统一格式的监控数据,便于指定设备后续根据监控数据做其他应用。由于采集装置具备通用的数据抽象能力和协议转换能力,因此也可以对接各种监控系统。
本公开实施例还提供了一种数据采集方法,该方法可以包括以下步骤:
响应于接收到采集对象参数、采集参数和告警描述信息,根据采集对象参数、采集参数和告警描述信息生成模型文件,模型文件用于定义数据采集对象、采集参数和告警描述信息;将模型文件发送给处理装置。
具体的,可以由用户定义模型文件,并将模型文件通过人工交互界面模块上传到处理装置。模型文件中可以包括数据采集对象、采集参数和告警描述信息等采集所必需的信息。
需要说明的是,本公开提供的采集装置和处理装置可以部署在相同位置,也可以部署在不同位置。
如图6a所示,采集装置可以与处理装置部署在同一云平台中,采集装置通过专用网络与采集对象连接,同时,资源模块、性能模块、告警模块和UI模块也分别作为一个独立的微服务部署在同一云平台中。这种方式下,微服务的部署和管理都比较方便。
如图6b所示,采集装置也可以与处理装置分别部署在不同的云平台中,采集装置通过专用网络与采集对象连接,同时,资源模块、性能模块、告警模块和UI模块也分别作为一个独立的微服务与适配/处理微服务部署在同一云平台中,采集微服务所在的云平台还部署了服务模块1、服务模块2等等模块。这种方式下,可以分开运行和管理采集装置和处理装置,分别使用两个云平台的资源,采集装置的运行状态和处理装置的运行状态互不干扰。
如图6c所示,采集装置还可以部署在云外,与采集对象部署在同一网络中,而处理装置部署在云平台,同时,资源模块、性能模块、告警模块和UI模块也分别作为一个独立的微服务与适配/处理微服务部署在同一云平台中。这种方式下,部署相对灵活,可以适应网络情况较为复杂的场景。
本公开涉及的数据采集方法和监控系统,通过微服务架构设计,采用模型定义文件、脚本文件等形式描述设备特征,提供模型驱动能力,针对不同采集协议和采集逻辑定义模型,封装了各种采集协议的复杂性,避免通过编码才能支持新的云资源对象,能够基于裸设备、IaaS(Infrastructure as a Service,基础设施即服务)、PaaS(Platform as aService,平台即服务)等各种场景,利用模型驱动,在硬件层对服务器、磁阵、路由器、交换机、防火墙、负载均衡器等硬件进行数据采集,在软件层对服务器、分布式存储、数据库的软件进行数据采集,在云平台对OpenStack(云端计算服务组件)和VMware(虚拟机软件)等进行数据采集。能够在5G复杂的组网环境下,对5G云化网络的相关设备和系统进行告警监控、性能采集。对多种类型的采集数据进行数据抽象,并提供数据处理模板,能够从多种类型的数据中提取统一建模的数据。能够将复杂的对接协议转换为简单统一的Restful接口提供给监控系统使用,方便与监控系统或者分析系统对接,采用动态加载模型文件的方式降低系统定制或升级所需的时间和成本。能够通过在线上传模型文件,使之动态生效,避免部署操作带来的系统重启能够支持多种部署方式,即可部署为云中的采集服务,也可部署为云外的采集服务,适合PaaS/IaaS/单机等各种应用场景。
基于相同的技术构思,如图7所示,本公开实施例还提供一种处理装置,包括:接收模块701和发送模块702,接收模块701用于,接收模型文件,模型文件用于定义数据采集对象、采集参数和告警描述信息。
发送模块702用于,将模型文件发送给采集装置,以使采集装置根据模型文件采集数据。
在一些实施例中,该处理装置还可以包括获取模块,获取模块用于,获取待增加的采集对象的接入参数。
发送模块702还用于,将接入参数发送给通用业务模块,以使通用业务模块持久化接入参数,通用业务模块包括资源模块;
将接入参数发送给采集装置,以使采集装置根据接入参数和模型文件对待增加的采集对象进行数据采集。
在一些实施例中,发送模块702还用于,将模型文件发送给通用业务模块,以使通用业务模块加载模型文件。
在一些实施例中,模型文件可以包括:用于定义数据采集对象的资源模型文件、用于定义采集参数的性能模型文件和用于定义告警描述信息的告警模型文件,通用业务模块可以包括:资源模块、性能模块和告警模块。
发送模块702还用于,将资源模型文件发送给资源模块,以使资源模块加载资源模型文件,将性能模型文件发送给性能模块,以使性能模块加载性能模型文件,并将告警模型文件发送给告警模块,以使告警模块加载告警模型文件。
在一些实施例中,模型文件还包括以下其中之一或任意组合:脚本文件、协议配置文件、管理信息库文件。
在一些实施例中,发送模块702还用于,通过表述性状态传递接口将模型文件发送给采集装置,和/或,通过表述性状态传递接口将模型文件发送给通用业务模块。
如图8所示,本公开实施例还提供了一种采集装置,包括:接收模块801、采集模块802和发送模块803,接收模块801用于,接收处理装置发送的模型文件,模型文件用于定义采集对象、采集参数和告警描述信息。
采集模块802用于,根据模型文件采集数据。
发送模块803用于,将采集到的数据发送给指定设备。
在一些实施例中,采集模块802用于,根据模型文件确定采集对象、采集参数和告警描述信息;获取采集对象的数据,并接收采集对象发送的告警信息,所述数据为采集对象的采集参数对应的性能数据;根据告警描述信息处理告警信息。
在一些实施例中,该采集装置还可以包括处理模块,处理模块用于,对采集到的数据进行抽象处理,以统一数据的格式。
如图9所示,本公开实施例还提供了一种模型定义装置,包括生成模块901和发送模块902,生成模块901用于,响应于接收到采集对象参数、采集参数和告警描述信息,根据采集对象参数、采集参数和告警描述信息生成模型文件,模型文件用于定义数据采集对象、采集参数和告警描述信息。
发送模块902用于,将模型文件发送给处理装置。
本公开实施例还提供了一种计算机设备,该计算机设备包括:一个或多个处理器以及存储装置;其中,存储装置上存储有一个或多个程序,当上述一个或多个程序被上述一个或多个处理器执行时,使得上述一个或多个处理器实现如前述各实施例所提供的数据采集方法。
本公开实施例还提供了一种计算机可读介质,其上存储有计算机程序,其中,该计算机程序被执行时实现如前述各实施例所提供的数据采集方法。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
本文已经公开了示例实施例,并且虽然采用了具体术语,但它们仅用于并仅应当被解释为一般说明性含义,并且不用于限制的目的。在一些实例中,对本领域技术人员显而易见的是,除非另外明确指出,否则可单独使用与特定实施例相结合描述的特征、特性和/或元素,或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此,本领域技术人员将理解,在不脱离由所附的权利要求阐明的本发明的范围的情况下,可进行各种形式和细节上的改变。

Claims (15)

1.一种数据采集方法,包括:
接收模型文件,所述模型文件用于定义数据采集对象、采集参数和告警描述信息;
将所述模型文件发送给采集装置,以使所述采集装置根据所述模型文件采集数据。
2.如权利要求1所述的方法,其中,在所述将所述模型文件发送给采集装置之后,还包括:
获取待增加的采集对象的接入参数;
将所述接入参数发送给通用业务模块,以使所述通用业务模块持久化所述接入参数,所述通用业务模块包括资源模块;
将所述接入参数发送给所述采集装置,以使所述采集装置根据所述接入参数和所述模型文件对所述待增加的采集对象进行数据采集。
3.如权利要求1所述的方法,其中,在所述接收模型文件之后,所述方法还包括:
将所述模型文件发送给通用业务模块,以使所述通用业务模块加载所述模型文件。
4.如权利要求3所述的方法,其中,所述模型文件包括:用于定义数据采集对象的资源模型文件、用于定义采集参数的性能模型文件和用于定义告警描述信息的告警模型文件,所述通用业务模块包括:资源模块、性能模块和告警模块;
所述将所述模型文件发送给通用业务模块,以使所述通用业务模块加载所述模型文件,包括:
将所述资源模型文件发送给资源模块,以使所述资源模块加载所述资源模型文件,将所述性能模型文件发送给性能模块,以使所述性能模块加载所述性能模型文件,并将所述告警模型文件发送给告警模块,以使所述告警模块加载所述告警模型文件。
5.如权利要求4所述的方法,其中,所述模型文件还包括以下其中之一或任意组合:脚本文件、协议配置文件、管理信息库文件。
6.如权利要求2-5任一项所述的方法,其中,所述将所述模型文件发送给采集装置,包括:通过表述性状态传递接口将所述模型文件发送给采集装置;和/或,所述将所述模型文件发送给通用业务模块,包括:通过表述性状态传递接口将所述模型文件发送给通用业务模块。
7.一种数据采集方法,包括:
接收处理装置发送的模型文件,所述模型文件用于定义数据采集对象、采集参数和告警描述信息;
根据所述模型文件采集数据;
将采集到的数据发送给指定设备。
8.如权利要求7所述的方法,其中,所述根据所述模型文件采集数据,包括:
根据所述模型文件确定采集对象、采集参数和告警描述信息;
获取所述采集对象的数据,并接收所述采集对象发送的告警信息,所述数据为所述采集对象的采集参数对应的性能数据;
根据所述告警描述信息处理所述告警信息。
9.如权利要求7或8所述的方法,其中,在所述根据所述模型文件采集数据之后、将采集到的数据发送给指定设备之前,还包括:
对所述采集到的数据进行抽象处理,以统一所述数据的格式。
10.一种数据采集方法,包括:
响应于接收到采集对象参数、采集参数和告警描述信息,根据所述采集对象参数、采集参数和告警描述信息生成模型文件,所述模型文件用于定义数据采集对象、采集参数和告警描述信息;
将所述模型文件发送给处理装置。
11.一种处理装置,包括:接收模块和发送模块,所述接收模块用于,接收模型文件,所述模型文件用于定义数据采集对象、采集参数和告警描述信息;
所述发送模块用于,将所述模型文件发送给采集装置,以使所述采集装置根据所述模型文件采集数据。
12.一种采集装置,包括:接收模块、采集模块和发送模块,所述接收模块用于,接收处理装置发送的模型文件,所述模型文件用于定义数据采集对象、采集参数和告警描述信息;
所述采集模块用于,根据所述模型文件采集数据;
所述发送模块用于,将采集到的数据发送给指定设备。
13.一种模型定义装置,包括生成模块和发送模块,所述生成模块用于,响应于接收到采集对象参数、采集参数和告警描述信息,根据所述采集对象参数、采集参数和告警描述信息生成模型文件,所述模型文件用于定义数据采集对象、采集参数和告警描述信息;
所述发送模块用于,将所述模型文件发送给处理装置。
14.一种计算机设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-10任一项所述的数据采集方法。
15.一种计算机可读介质,其上存储有计算机程序,其中,所述程序被执行时实现如权利要求1-10任一项所述的数据采集方法。
CN201911288997.4A 2019-12-12 2019-12-12 数据采集方法、装置、计算机设备及计算机可读介质 Active CN112968789B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911288997.4A CN112968789B (zh) 2019-12-12 2019-12-12 数据采集方法、装置、计算机设备及计算机可读介质
PCT/CN2020/117255 WO2021114812A1 (zh) 2019-12-12 2020-09-23 数据采集方法、装置、计算机设备及计算机可读介质
EP20898040.9A EP3975481A4 (en) 2019-12-12 2020-09-23 DATA ACQUISITION METHOD AND DEVICE, COMPUTER DEVICE AND COMPUTER READABLE MEDIA

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911288997.4A CN112968789B (zh) 2019-12-12 2019-12-12 数据采集方法、装置、计算机设备及计算机可读介质

Publications (2)

Publication Number Publication Date
CN112968789A true CN112968789A (zh) 2021-06-15
CN112968789B CN112968789B (zh) 2024-02-27

Family

ID=76270862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911288997.4A Active CN112968789B (zh) 2019-12-12 2019-12-12 数据采集方法、装置、计算机设备及计算机可读介质

Country Status (3)

Country Link
EP (1) EP3975481A4 (zh)
CN (1) CN112968789B (zh)
WO (1) WO2021114812A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113992514A (zh) * 2021-12-29 2022-01-28 北京万维盈创科技发展有限公司 一种零代码快速实现数采仪协议的方法及数采仪终端
CN114244678A (zh) * 2021-12-15 2022-03-25 浪潮通信信息系统有限公司 多协议告警设备接入方法及系统
CN114338800A (zh) * 2022-03-08 2022-04-12 杭州义益钛迪信息技术有限公司 数据流组态方法、装置、电子设备及存储介质
CN114389960A (zh) * 2022-01-04 2022-04-22 烽火通信科技股份有限公司 一种网络业务性能采集上报的方法和系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113688100B (zh) * 2021-09-06 2023-07-18 北京普睿德利科技有限公司 一种气象数据的处理方法、装置、终端及存储介质
CN114124643B (zh) * 2021-11-10 2023-08-01 中盈优创资讯科技有限公司 一种基于PaaS的网络设备流量采集方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015184850A1 (zh) * 2014-07-22 2015-12-10 中兴通讯股份有限公司 过期数据采集方法、装置及系统
CN106444662A (zh) * 2016-09-23 2017-02-22 东莞团诚自动化设备有限公司 一种用于物联网的数据采集装置及方法
JP2017076412A (ja) * 2016-11-21 2017-04-20 インテル・コーポレーション テスト、検証及びデバッグアーキテクチャのプログラム及び方法
US20170201425A1 (en) * 2016-01-11 2017-07-13 Equinix, Inc. Associating infrastructure assets in a data center
CN107528870A (zh) * 2016-06-22 2017-12-29 腾讯科技(深圳)有限公司 一种数据采集方法及其设备
CN108763040A (zh) * 2018-04-25 2018-11-06 郑州易通众联电子科技有限公司 数据采集方法及数据采集装置
US20180359201A1 (en) * 2017-06-09 2018-12-13 Equinix, Inc. Near real-time messaging service for data center infrastructure monitoring data
CN110543409A (zh) * 2019-08-29 2019-12-06 南方电网数字电网研究院有限公司 硬件数据采集方法、装置、计算机设备和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102445933B (zh) * 2011-10-14 2013-06-12 兰泽华 基于物联网的农田大棚监测报警管理系统
CN105763352A (zh) * 2014-12-16 2016-07-13 中兴通讯股份有限公司 一种数据的采集方法、装置及网管管理通信设备
CN105610648B (zh) * 2016-01-11 2019-08-09 飞天诚信科技股份有限公司 一种运维监控数据的采集方法及服务器
CN107276813A (zh) * 2017-06-30 2017-10-20 郑州云海信息技术有限公司 一种snmp‑trap告警方法及装置
CN108880867B (zh) * 2018-05-31 2020-09-04 腾讯科技(深圳)有限公司 一种网络设备数据采集方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015184850A1 (zh) * 2014-07-22 2015-12-10 中兴通讯股份有限公司 过期数据采集方法、装置及系统
US20170201425A1 (en) * 2016-01-11 2017-07-13 Equinix, Inc. Associating infrastructure assets in a data center
CN107528870A (zh) * 2016-06-22 2017-12-29 腾讯科技(深圳)有限公司 一种数据采集方法及其设备
CN106444662A (zh) * 2016-09-23 2017-02-22 东莞团诚自动化设备有限公司 一种用于物联网的数据采集装置及方法
JP2017076412A (ja) * 2016-11-21 2017-04-20 インテル・コーポレーション テスト、検証及びデバッグアーキテクチャのプログラム及び方法
US20180359201A1 (en) * 2017-06-09 2018-12-13 Equinix, Inc. Near real-time messaging service for data center infrastructure monitoring data
CN108763040A (zh) * 2018-04-25 2018-11-06 郑州易通众联电子科技有限公司 数据采集方法及数据采集装置
CN110543409A (zh) * 2019-08-29 2019-12-06 南方电网数字电网研究院有限公司 硬件数据采集方法、装置、计算机设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114244678A (zh) * 2021-12-15 2022-03-25 浪潮通信信息系统有限公司 多协议告警设备接入方法及系统
CN114244678B (zh) * 2021-12-15 2024-03-12 浪潮通信信息系统有限公司 多协议告警设备接入方法及系统
CN113992514A (zh) * 2021-12-29 2022-01-28 北京万维盈创科技发展有限公司 一种零代码快速实现数采仪协议的方法及数采仪终端
CN114389960A (zh) * 2022-01-04 2022-04-22 烽火通信科技股份有限公司 一种网络业务性能采集上报的方法和系统
CN114389960B (zh) * 2022-01-04 2023-11-28 烽火通信科技股份有限公司 一种网络业务性能采集上报的方法和系统
CN114338800A (zh) * 2022-03-08 2022-04-12 杭州义益钛迪信息技术有限公司 数据流组态方法、装置、电子设备及存储介质
CN114338800B (zh) * 2022-03-08 2022-06-17 杭州义益钛迪信息技术有限公司 数据流组态方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2021114812A1 (zh) 2021-06-17
CN112968789B (zh) 2024-02-27
EP3975481A4 (en) 2022-09-07
EP3975481A1 (en) 2022-03-30

Similar Documents

Publication Publication Date Title
CN112968789B (zh) 数据采集方法、装置、计算机设备及计算机可读介质
US11483218B2 (en) Automating 5G slices using real-time analytics
CN107704360B (zh) 监控数据的处理方法、设备、服务器及存储介质
KR102328938B1 (ko) 전자 시스템들에서의 로그 데이터의 관리
CN105052076B (zh) 一种基于云计算的网元管理系统及网元管理方法
CN102196373B (zh) 一种短信告警系统及短信告警方法
US20150081878A1 (en) Describing datacenter rack information in management system
CN113742031B (zh) 节点状态信息获取方法、装置、电子设备及可读存储介质
CN111008026B (zh) 集群管理方法、装置及系统
US11463327B2 (en) Commerce characteristic data reporting method and device, network slice arrangement method and device
CN112612577B (zh) 一种大规模K8s集群监控的方法、装置、设备及可读介质
CN109245966A (zh) 云平台的服务状态的监控方法和装置
CN111045893B (zh) 监控任务的执行方法、装置及系统、存储介质、电子装置
CN110196804B (zh) 业务的测试方法和装置、存储介质、电子装置
CN111381835A (zh) 技术服务组件的注册与发现的方法、装置、设备及介质
WO2018202440A1 (en) Data transmission method and apparatus
CN109391982B (zh) 信息包生成方法及编排管理方法、网元及存储介质
CN113885971A (zh) 一种基于自适应平台系统的状态管理方法及装置
CN115543793A (zh) 一种目标服务器的系统部署方法、装置和运维中台
CN113986662A (zh) 边缘集群监控方法和系统
CN113032054A (zh) 一种服务执行方法、装置、存储介质及电子装置
CN111294250A (zh) 压力测试方法、装置和系统
CN117667599A (zh) 数据的存储方法和装置、存储介质及电子装置
CN114840264A (zh) 配置数据管理方法、配置数据管理装置和车辆管理系统
CN113934599A (zh) 信息处理方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant