CN113141269A - 数据采集方法、装置及系统 - Google Patents
数据采集方法、装置及系统 Download PDFInfo
- Publication number
- CN113141269A CN113141269A CN202010067065.3A CN202010067065A CN113141269A CN 113141269 A CN113141269 A CN 113141269A CN 202010067065 A CN202010067065 A CN 202010067065A CN 113141269 A CN113141269 A CN 113141269A
- Authority
- CN
- China
- Prior art keywords
- plug
- data
- collector
- ins
- network element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0803—Configuration setting
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q2209/00—Arrangements in telecontrol or telemetry systems
- H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
- H04Q2209/82—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Stored Programmes (AREA)
Abstract
本申请公开了一种数据采集方法、装置及系统,属于通信技术领域。该方法包括:获取多个采集器插件和多个插件执行顺序,插件执行顺序为:多个采集器插件中的至少两个采集器插件的执行顺序,且至少两个采集器插件适用同一网元型号,且多个插件执行顺序中的采集器插件适用于多个网元型号;确定多个插件执行顺序中的第一插件执行顺序,其中,第一插件执行顺序中的插件均适用于第一网元的型号,且第一插件执行顺序中的插件用于采集的数据的集合包括第一网元的待采集数据;按照第一插件执行顺序执行采集器插件,并采集第一网元的待采集数据。本申请解决了采集器无法采集未与采集器配套的网元的数据的问题,本申请用于网元的数据采集。
Description
技术领域
本申请涉及通信技术领域,特别涉及一种数据采集方法、装置及系统。
背景技术
遥测(Telemetry)技术是一种能够远程采集各个网元的数据,并基于采集的数据对各个网元进行管理的技术。
运用遥测技术的数据采集系统包括:采集器和分析器,其中,采集器用于采集各个网元的数据,分析器用于根据采集器采集的数据对这些网元进行管理。并且,采集器仅需要向各个网元下发少量采集命令,便可以接收到网元多次发送的数据。
相关技术中,网元会存在更新换代的情况,若更新换代后的网元未与采集器配套,则采集器无法适用于未配套的网元,从而无法采集未配套的网元的数据。
发明内容
本申请提供了一种数据采集方法、装置及系统,可以解决采集器可能无法采集未配套的网元的数据的问题,所述技术方案如下:
第一方面,提供了一种数据采集方法,所述方法包括:获取多个采集器插件和多个插件执行顺序;确定第一网元,以及所述第一网元的待采集数据;基于所述第一网元的型号以及所述第一网元的待采集数据,确定所述多个插件执行顺序中的第一插件执行顺序;按照所述第一插件执行顺序执行采集器插件,并采集所述第一网元的待采集数据。其中,所述采集器插件具有适用的网元型号,以及用于采集的数据。所述采集器插件具有适用的网元型号,可以理解为:该采集器插件可以为适用于该网元型号的采集器的插件。采集器适用于某一网元型号,可以理解为:采集器能够采集该网元型号的网元的数据。所述插件执行顺序为:所述多个采集器插件中的至少两个采集器插件的执行顺序,且所述至少两个采集器插件适用同一网元型号,且所述多个插件执行顺序中的采集器插件适用于多个网元型号。
由于采集器在采集第一网元的数据前,获取了多个插件执行顺序,且所述多个插件执行顺序中的采集器插件适用于多个网元型号,因此,对于未与采集器配套(或与采集器配套)的第一网元,该多个插件执行顺序中的采集器插件适用于的多个网元型号包含第一网元的型号的概率较大。采集器获取到第一插件执行顺序的概率较大。因此,按照该第一插件执行顺序执行采集器插件,能够得到适用于第一网元的采集软件。基于该采集软件能够较容易实现第一网元的数据的有效采集。
可选地,所述获取多个采集器插件和多个插件执行顺序,包括:接收扩展器发送的所述多个采集器插件和所述多个插件执行顺序。可以看出,该多个采集器插件和多个插件执行顺序可以是由扩展器提供给采集器的,当然,该多个采集器插件和多个插件执行顺序也可以不是扩展器提供给采集器的,而是工作人员直接输入采集器的,本申请实施例对此不作限定。
可选地,扩展器可以通过编码或无编码的方式获取上述采集器插件中的数据采集插件。当扩展器通过无编码的方式获取数据采集插件时,在所述接收扩展器发送的多个采集器插件和多个插件执行顺序之前,所述方法还包括:接收所述扩展器发送的至少一个数据模型,所述数据模型包括:多个数据;扩展器获取到的所述多个采集器插件包括:用于采集第一数据的数据采集插件,所述数据采集插件包括:所述数据采集插件适用的第一网元型号,以及,所述至少一个数据模型中第一数据模型中的所述第一数据,其中,所述第一数据模型为所述第一网元型号所采用的数据模型。通过无编码的方式获取数据采集插件,能够简化插件获取的流程,提升开发插件的效率。
可选地,所述数据采集插件还包括:多种数据订阅方式中所述第一数据的订阅方式,所述多种数据订阅方式包括:静态订阅方式、动态订阅方式和无订阅方式;多种连接协议中采集器采集所述第一数据时所采用的连接协议。
可选地,接收分析器发送的采集请求,所述采集请求用于指示所述第一网元,以及所述第一网元的待采集数据;所述确定第一网元,以及所述第一网元的待采集数据包括:基于所述采集请求,确定所述第一网元,以及所述第一网元的待采集数据。可以看出,第一网元及其待采集数据是采集器根据分析器下发的采集请求确定的,可选地,该第一网元及其待采集数据也可以不是根据分析器下发的采集请求确定的,而是由采集器根据工作人员输入的采集请求确定的,本申请实施例对此也不作限定。
可选地,所述方法还包括:获取至少一个新增的采集器插件和/或至少一个新增的插件执行顺序;基于所述至少一个新增的采集器插件和/或所述至少一个新增的插件执行顺序,对所述多个采集器插件和所述多个插件执行顺序进行更新;可见,若前述采集器获取到的多个采集器插件和多个插件执行顺序不够完善,则本申请实施例中还可以对该多个采集器插件和多个插件执行顺序进行更新,以尽量使多个插件执行顺序包括:插件适用待采集数据的网元的型号,且插件用于采集的数据的集合包括待采集数据的插件执行顺序。之后,该方法还可以包括:确定待采集数据的第二网元,以及所述第二网元的待采集数据;基于所述第二网元的型号以及所述第二网元的待采集数据,确定更新后的所述多个插件执行顺序中的第二插件执行顺序,以及按照第二插件执行顺序执行采集器插件,并采集所述第二网元的待采集数据。其中,所述第二插件执行顺序中的插件适用于所述第二网元的型号,且所述第二插件执行顺序中的插件用于采集的数据的集合包括所述第二网元的待采集数据。
第二方面,提供了一种数据采集方法,所述方法包括:获取多个采集器插件,其中,所述采集器插件具有适用的网元型号,以及用于采集的数据;获取多个插件执行顺序,其中,所述插件执行顺序为:所述多个采集器插件中的至少两个采集器插件的执行顺序,且所述至少两个采集器插件适用于同一网元型号,且所述多个插件执行顺序中的采集器插件适用于多个网元型号;向采集器发送所述多个采集器插件和所述多个插件执行顺序,以便于所述采集器按照第一插件执行顺序执行采集器插件,并采集所述第一网元的待采集数据,其中,所述第一插件执行顺序中的插件均适用于所述第一网元的型号,且所述第一插件执行顺序中的插件用于采集的数据的集合包括所述第一网元的待采集数据。
可选地,在所述向采集器发送所述多个采集器插件和所述多个插件执行顺序之前,所述方法还包括:获取至少一个数据模型,所述数据模型包括:多个数据;向所述采集器发送所述至少一个数据模型;所述多个采集器插件包括:用于采集第一数据的数据采集插件,所述获取多个采集器插件,包括:接收型号选择指令,所述型号选择指令用于指示所述数据采集插件适用的第一网元型号;接收数据选择指令,所述数据选择指令用于指示所述至少一个数据模型中第一数据模型中的所述第一数据,所述第一数据模型为所述第一网元型号所采用的数据模型;基于接收到的多种指令,获取所述数据采集插件,所述多种指令包括:所述型号选择指令和所述数据选择指令。
可选地,所述获取多个采集器插件,还包括:接收订阅方式选择指令,所述订阅方式选择指令用于指示多种数据订阅方式中所述第一数据的订阅方式,所述多种数据订阅方式包括:静态订阅方式、动态订阅方式和无订阅方式;连接协议选择指令,所述协议选择指令用于指示多种连接协议中所述采集器在采集所述第一数据时采用的连接协议;所述多种指令还包括:所述订阅方式选择指令和所述协议选择指令。
可选地,所述获取多个插件执行顺序,包括:在获取每个插件执行顺序时,接收插件选择指令,所述插件选择指令用于选择所述多个采集器插件中的至少两个目标采集器插件;接收顺序指示指令,所述顺序指示指令用于指示所述至少两个目标采集器插件的执行顺序;根据所述插件选择指令和所述顺序指示指令,获取所述每个插件执行顺序。
可选地,所述方法还包括:获取至少一个新增的采集器插件和/或至少一个新增的插件执行顺序;向所述采集器发送所述至少一个新增的采集器插件和/或所述至少一个新增的插件执行顺序,以便于所述采集器基于所述至少一个新增的采集器插件和/或所述至少一个新增的插件执行顺序,对所述多个采集器插件和所述多个插件执行顺序进行更新,按照第二插件执行顺序执行采集器插件,并采集所述第二网元的待采集数据,其中,所述第二插件执行顺序中的插件适用于所述第二网元的型号,且所述第二插件执行顺序中的插件用于采集的数据的集合包括所述第二网元的待采集数据。
第三方面,提供了一种数据采集装置,所述数据采集装置包括:用于执行第一方面提供的数据采集方法的各个模块。
第四方面,提供了一种数据采集装置,所述数据采集装置包括:用于执行第二方面提供的数据采集方法的各个模块。
第五方面,提供了一种数据采集装置,所述数据采集装置包括:处理器和存储器,所述存储器中存储有程序,所述处理器用于调用所述存储器中存储的程序,以使得所述数据采集装置执行如第一方面所述的数据采集方法。
第六方面,提供了一种数据采集装置,所述数据采集装置包括:处理器和存储器,所述存储器中存储有程序,所述处理器用于调用所述存储器中存储的程序,以使得所述数据采集装置执行如第二方面所述的数据采集方法。
第七方面,提供了一种计算机存储介质,所述存储介质内存储有计算机程序,所述计算机程序用于执行第一方面所述的数据采集方法。
第八方面,提供了一种计算机存储介质,所述存储介质内存储有计算机程序,所述计算机程序用于执行第二方面所述的数据采集方法。
第九方面,提供了一种包含指令的计算机程序产品,当计算机程序产品在数据采集装置上运行时,使得数据采集装置执行第一方面任一设计所述的数据采集方法。
第十方面,提供了一种包含指令的计算机程序产品,当计算机程序产品在数据采集装置上运行时,使得数据采集装置执行第二方面任一设计所述的数据采集方法。
第十一方面,提供了一种数据采集系统,所述数据采集系统包括:采集器;所述采集器包括第三方面或第五方面所述的数据采集装置。
可选地,所述数据采集系统还包括:扩展器,所述扩展器与所述采集器连接;所述扩展器包括第四方面或第六方面的数据采集装置。
第二方面至第十一方面中任一种设计方式所带来的技术效果可参见第一方面中相应设计方式所带来的技术效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种数据采集系统的结构示意图;
图2为本申请实施例提供的一种采集器的功能模块示意图;
图3为本申请实施例提供的一种数据采集方法的流程图;
图4为本申请实施例提供的另一种数据采集系统的结构示意图;
图5为本申请实施例提供的另一种数据采集方法的流程图;
图6为本申请实施例提供的一种模型界面示意图;
图7为本申请实施例提供的一种插件编辑界面的示意图;
图8为本申请实施例提供的一种顺序获取界面的示意图;
图9为本申请实施例提供的一种采集器和扩展器的功能模块示意图;
图10为本申请实施例提供的一种数据采集装置的结构示意图;
图11为本申请实施例提供的另一种数据采集装置的结构示意图;
图12为本申请实施例提供的又一种数据采集装置的结构示意图。
具体实施方式
为使本申请的原理、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
网元在运行时会产生海量的数据,这些数据是支撑网络运维自动化的重要数据基础。面对大规模、高性能的网络监控需求,通常可以采用遥测技术采集网元的数据,为网络问题的快速定位、网络质量优化调整提供最重要的大数据支持,有力的支撑网管运维的需要。
通常采用数据采集系统对网元的数据进行采集,以及对网元进行管理。示例地,图1为本申请实施例提供的一种数据采集系统的结构示意图,如图1所示,该数据采集系统包括:采集器01和分析器02。该采集器01和分析器02均可以为服务器或多个服务器组成的服务器集群,本申请实施例对此不作限定。其中,分析器02能够向采集器01下发采集请求,采集器01能够根据采集请求通过网络与多个网元03(如网关、转发器等)建立通信连接,并采集各个网元03的数据,之后,再将采集到的数据上报至分析器02。分析器02能够根据采集器01采集的数据对这些网元03进行管理。并且,采集器01仅需要向各个网元03下发少量采集命令,便可以接收到网元03多次发送的数据。
可选地,该数据采集系统还可以包括控制器04,控制器04与分析器02建立通信连接,控制器04还通过网络与网元03通信连接。分析器02可以通过控制器04向各个网元03发送用于管理网元的命令,如对网元的网络参数进行调整的命令。
如图2所示,采集器按照功能可以划分为:采集任务管理模块、采集流程控制模块以及采集配套模块。其中,采集任务管理模块包括:网元管理子模块和任务管理子模块,网元管理子模块主要用于根据分析器下发的采集请求管理采集的网元,任务管理子模块主要用于根据分析器下发的采集请求管理采集的任务。采集流程控制模块包括:并发控制子模块、过滤控制子模块和上报控制子模块,并发控制子模块主要用于控制对多个网元的并发采集数据,过滤控制子模块主要用于控制对采集到的数据进行过滤,上报控制子模块主要用于对经过滤后的数据上报至分析器等。采集配套模块包括:连接协议配套子模块、采集命令配套子模块和报文解析配套子模块,连接协议配套子模块主要用于配置与网元的连接协议,采集命令配套子模块主要用于配置下发至网元的采集命令,报文解析配套子模块主要用于配置对采集到的数据的解析方法。
相关技术中,网元可以基于数据模型(可以称为YANG模型)生成数据,采集器可以基于数据模型对网元进行数据的采集。其中,数据模型可以包括多个数据,采集器在采集网元中的数据时,可以首先基于网元采用的数据模型生成采集命令,该采集命令携带有该数据模型中待采集的至少一组数据。网元在接收到该采集命令后,便可以向采集器反馈(如周期性地反馈)该至少一组数据。
但是,相关技术中存在多种数据模型,比如,标准的数据模型或厂商私有的数据模型。但通常网元较多采用的模型为厂商私有的数据模型。并且,同一厂商的不同版本的网元采用的厂商私有的数据模型也可能不同。而采集器01仅能够基于一种数据模型对网元进行数据的采集,使得采集器01适用于采用一种数据模型的网元03(采集器配套于一种数据模型的网元)。但网元03会存在更新换代的情况,若网元在更新换代前后所采用的数据模型不同,则会导致更新换代后的网元未与采集器配套,采集器01无法适用于未配套的网元,从而无法采集未配套的网元的数据。
另外,不同网元所支持的数据采集机制也不同,该数据采集机制比如包括:动态或静态订阅,上报协议(如用户数据报协议(user datagram protocol,UDP)),数据加密方式,编解码方式,订阅的传感器组个数限制,条件采集以及采集周期等。采集器通常只能支持一种数据采集机制的网元,并对该网元的数据进行采集,而无法对不同数据采集机制的网元进行数据采集。
相关技术中,当网元更新换代时,可以暂停采集器的数据采集,并将采集器中的软件进行升级,以使采集器能够与更新换代后的网元配套,再重新启动采集器,才能使采集器能够采集更新换代后的网元的数据。当不同网元所支持的数据采集机制不同时,采集器对于不同网元的数据的解析、过滤和上报需要开发不同的功能。面对采集诉求的变化,需要修改和重新发布整个采集软件,增加新的采集功能工作量大,发布周期长,无法及时响应分析器的采集请求。
本申请实施例提供了一种数据采集方法,该数据采集方法能够使采集器能够适用于多种型号的网元。无论网元的型号是否更换,采集器仍然能够对网元的数据进行采集。并且,本申请实施例提供的数据采集方法能够及时的对采集器中的软件进行更新,且整个过程中也无需暂停采集器的数据采集。
示例地,图3为本申请实施例提供的一种数据采集方法的流程图,该数据采集方法可以用于如图1所示的数据采集系统。如图3所示,该数据采集方法可以包括:
步骤301、采集器获取多个采集器插件和多个插件执行顺序,其中,采集器插件具有适用的网元型号以及用于采集的数据,插件执行顺序为:多个采集器插件中的至少两个采集器插件的执行顺序,该至少两个采集器插件适用同一网元型号,且多个插件执行顺序中的采集器插件适用于多个网元型号。
需要说明的是,采集器可以有多种版本,并且,每种版本的采集器可以包括多个采集器插件,且该多个采集器插件需要按照一定的顺序依次执行。比如,某一版本的采集器包括:采集器插件1、采集器插件2、采集器插件3和采集器插件4,且采集器插件1、采集器插件2、采集器插件3和采集器插件4依次执行。不同版本的采集器包含的插件不同,和/或,采集器插件的执行顺序不同。
在步骤301中,工作人员可以在采集器中输入上述多个采集器插件以及多个插件执行顺序,以使采集器获取到多个采集器插件和多个插件执行顺序。并且,采集器插件具有适用的网元型号,以及用于采集的数据。每个插件执行顺序为:采集器获取到的采集器插件中,适用于同一网元型号的至少两个采集器插件的执行顺序。并且,该多个插件执行顺序中的采集器插件适用于多个网元型号。
示例地,假设步骤301中采集器获取到的多个采集器插件包括:A1、A2、A3、A4和A5。其中,插件A1能够适用于网元型号B1、B2、B3和B4,插件A2能够适用于网元型号B1、B2、B3和B4,插件A3能够适用于网元型号B1、B3和B4,插件A4够适用于网元型号B1、B2和B3,插件A5够适用于网元型号B4。插件A1用于采集数据1,插件A2用于采集数据2,插件A3用于采集数据3,插件A4用于采集数据4,插件A5用于采集数据5。采集器获取到的多个插件执行顺序可以如表1所示。如表1所示,插件执行顺序A1→A2→A3→A4中的插件适用网元型号B1,且插件执行顺序A1→A2→A3→A4中的插件采集到的数据的集合包括{数据1,数据2,数据3,数据4};插件执行顺序A1→A2→A4中的插件适用于网元型号B2,且插件执行顺序A1→A2→A4中的插件采集到的数据的集合包括{数据1,数据2,数据4};插件执行顺序A1→A3→A2→A4中的插件适用于网元型号B3,且插件执行顺序A1→A3→A2→A4中的插件采集到的数据的集合包括{数据1,数据2,数据3,数据4};插件执行顺序A1→A2→A3→A5中的插件适用网元型号B4,且插件执行顺序A1→A2→A3→A5中的插件采集到的数据的集合包括{数据1,数据2,数据3,数据5};插件执行顺序A1→A3→A5中的插件适用网元型号B4,且插件执行顺序A1→A3→A5中的插件采集到的数据的集合包括{数据1,数据3,数据5}。
表1
插件执行顺序 | 网元型号 | 采集的数据的集合 |
A1→A2→A3→A4 | B1 | {数据1,数据2,数据3,数据4} |
A1→A2→A4 | B2 | {数据1,数据2,数据4} |
A1→A3→A2→A4 | B3 | {数据1,数据2,数据3,数据4} |
A1→A2→A3→A5 | B4 | {数据1,数据2,数据3,数据5} |
A1→A3→A5 | B4 | {数据1,数据3,数据5} |
步骤301中采集器获取到的每个采集器插件具有适用的网元型号,可以理解为:该采集器插件可以为适用于该网元型号的采集器的插件。采集器适用于某一网元型号,可以理解为:采集器能够采集该网元型号的网元的数据。需要说明的是,不同型号的网元的类型和/或软件版本不同,其中,网元的类型可以为网关、路由器等。
步骤302、分析器向采集器发送采集请求,该采集请求用于指示第一网元,以及第一网元的待采集数据。
分析器能够向采集器下发的采集请求,该采集请求用于指示第一网元,以及第一网元的待采集数据。比如采集请求中携带有第一网元的标识,以及待采集数据的标识。该采集请求用于指示采集器对第一网元的带采集数据进行采集。其中,第一网元可以为采集器能够连接到的任一网元,且步骤301中采集器获取到的多个插件执行顺序中的插件适用的多个网元型号可以包括该第一网元的型号。
步骤303、采集器基于采集请求,确定第一网元以及第一网元的待采集数据。
步骤304、采集器确定第一网元的型号。
采集器可以获取到网元标识与网元型号的对应关系,且该对应关系中每种网元标识对应的型号均为该网元标识的网元的型号。采集器在确定第一网元后,可以将该第一网元的标识与该对应关系进行比对,以确定第一网元的标识对应的第一网元的型号。
示例地,该网元标识与网元型号的对应关系可以如表2所示,若第一网元的标识为C1,则采集器可以确定第一网元的型号为B1。
表2
网元标识 | 网元型号 |
C1 | B1 |
C2 | B2 |
C3 | B3 |
C4 | B4 |
步骤305、采集器基于第一网元的型号以及第一网元的待采集数据,确定多个插件执行顺序中的第一插件执行顺序。
在确定第一网元的型号,以及第一网元的待采集数据后,采集器便可以在多个插件执行顺序中查找第一插件执行顺序。其中,第一插件执行顺序中的插件均适用于第一网元的型号,且第一插件执行顺序中的插件用于采集的数据的集合包括第一网元的待采集数据。
比如,若第一网元的标识为表2中的C1,第一网元的型号为表2中的B1,且第一网元的待采集数据包括:数据1、数据2和数据3(或者数据1、数据2、数据3和数据4),则第一插件执行顺序可以为表1中的“A1→A2→A3→A4”。
步骤306、采集器按照第一插件执行顺序执行采集器插件,并采集第一网元的待采集数据。
采集器在查找到第一插件执行顺序后,便可以按照该第一插件执行顺序执行相应的采集器插件,并采集第一网元的待采集数据。
示例地,假设上述第一插件执行顺序为表1中的“A1→A2→A3→A4”,则采集器在步骤306中可以依次执行插件A1、A2、A3和A4,且在执行这些插件的过程中,采集器还能够对第一网元的待采集数据进行采集。
综上所述,本申请实施例提供的数据采集方法中,由于采集器在采集第一网元的数据前,获取了多个插件执行顺序,且所述多个插件执行顺序中的采集器插件适用于多个网元型号,因此,对于未与采集器配套(或与采集器配套)的第一网元,该多个插件执行顺序中的采集器插件适用于的多个网元型号包含第一网元的型号的概率较大。采集器获取到第一插件执行顺序的概率较大。因此,按照该第一插件执行顺序执行采集器插件,能够得到适用于第一网元的采集软件。基于该采集软件能够较容易实现第一网元的数据的有效采集。
需要说明的是,本申请实施例提供的数据采集方法还可以包括:获取至少一个新增的采集器插件和/或至少一个新增的插件执行顺序,并基于该至少一个新增的采集器插件和/或该至少一个新增的插件执行顺序,对多个采集器插件和多个插件执行顺序进行更新。在对多个采集器插件和多个插件执行顺序进行更新之后,若确定需要采集第二网元的待采集数据,则采集器可以在更新后的所述多个插件执行顺序中查找第二插件执行顺序,以及按照第二插件执行顺序执行采集器插件,并采集所述第二网元的待采集数据。其中,第二插件执行顺序中的插件适用于第二网元的型号,且第二插件执行顺序中的插件用于采集的数据的集合包括第二网元的待采集数据。
可见,若步骤301中采集器获取到的多个采集器插件和多个插件执行顺序不够完善,则本申请实施例中还可以对该多个采集器插件和多个插件执行顺序进行更新,以尽量使多个插件执行顺序包括:插件适用于待采集数据的网元的型号,且插件用于采集的数据的集合包括该待采集数据的插件执行顺序。
比如,假设步骤301中采集器获取到的多个采集器插件包括:A1、A2、A3、A4和A5,插件A1能够适用于网元型号B1、B2、B3、B4和B5,插件A2能够适用于网元型号B1、B2、B3和B4,插件A3能够适用于网元型号B1、B3、B4和B5,插件A4够适用于网元型号B1、B2和B3,插件A5够适用于网元型号B4。插件A1用于采集数据1,插件A2用于采集数据2,插件A3用于采集数据3,插件A4用于采集数据4,插件A5用于采集数据5。采集器获取到的多个插件执行顺序可以如表1所示。若第二网元的型号为B5,则表1中的这些插件执行顺序并不包含插件适用于型号B5的插件执行顺序。若对多个采集器插件和多个插件执行顺序进行更新,则可以在多个采集器插件和多个插件执行顺序中加入插件适用于型号B5的插件执行顺序,如“A1→A3”,更新后的多个采集器插件仍然包括:A1、A2、A3、A4和A5,更新后的多个插件执行顺序如表3所示。此时,采集器便可以基于第二插件执行顺序“A1→A3”,依次执行插件A1和A3,并对第二网元的待采集数据(属于{数据1,数据3})进行采集。由于该第二插件执行顺序中的采集器插件均适用于第二网元的型号,因此,按照该第二插件执行顺序执行采集器插件,能够得到适用于第二网元的采集软件。基于该采集软件能够实现第二网元的待采集数据的有效采集。
表3
插件执行顺序 | 网元型号 | 插件采集的数据的集合 |
A1→A2→A3→A4 | B1 | {数据1,数据2,数据3,数据4} |
A1→A2→A4 | B2 | {数据1,数据2,数据4} |
A1→A3→A2→A4 | B3 | {数据1,数据2,数据3,数据4} |
A1→A2→A3→A5 | B4 | {数据1,数据2,数据3,数据5} |
A1→A3→A5 | B4 | {数据1,数据3,数据5} |
A1→A3 | B5 | {数据1,数据3} |
图4为本申请实施例提供的另一种数据采集系统的结构示意图,如图4所示,在图1的基础上,该数据采集系统还可以包括:扩展器05。该扩展器05可以与采集器01建立有通信连接,该扩展器可以为服务器或多个服务器组成的服务器集群,本申请实施例对此不作限定。
图5为本申请实施例提供的另一种数据采集方法的流程图,该数据采集方法可以用于如图4所示的数据采集系统,如图5所示,该数据采集方法可以包括:
步骤501、扩展器获取多个采集器插件,其中,采集器插件具有适用的网元型号,以及用于采集的数据。
示例地,该多个采集器插件的解释可以参考图3中步骤301中对多个采集器插件的解释,本申请实施例在此不做赘述。该多个采集器插件可以包括用于采集数据的数据采集插件,用于处理数据的数据处理插件,以及用于向分析器上报数据的数据上报插件。
该多个采集器插件均可以由工作人员采用编码的方式,遵循插件串行外设接口(serial peripheral interface,SPI)完成插件的开发,并将开发出的插件输入扩展器,以使扩展器获取到该多个采集器插件。可选地,多个采集器插件中的数据采集插件也可以由工作人员采用非编码的方式在扩展器中输入。以下将对该非编码的方式进行讲解。
示例地,在数据采集插件采用非编码的方式输入扩展器时,在步骤501之前,该数据采集方法还可以包括:扩展器获取至少一个数据模型,并将该至少一个数据模型发送至采集器。其中,该数据模型包括:多个数据。例如,数据模型可以为YANG模型,扩展器获取到的至少一个数据模型后,还可以对该至少一个数据模型进行识别,并显示识别的数据模型(如图6所示的模型界面60中的模型区601所示,包括YANG模型1、2、3、4、5、6、7和8)。可选地,扩展器显示的每个数据模型还对应有删除按钮,工作人员通过选择该删除按钮能够删除对应的数据模型。
进一步地,扩展器还可以显示识别出的YANG模型的数据结构。示例地,图6中的数据结构区602示出了YANG模型1的数据结构的示意图,如图6所示,当选中模型区601中的YANG模型1后,数据结构区602可以显示该YANG模型1中与多个密钥(key)一一对应的多个对象,如网元、网元的单板、网元的接口以及网元的链路。该YANG模型1还包括与多个容器(container)一一对应的多个数据组,如网元对应的key下的一个容器对应的处理器(central processing unit,CPU)统计的数据组,以及网元对应的key下的另一个容器对应的内存(Memory,MEM)统计的数据组等。每个数据组可以包括至少一个数据,如CPU统计的数据组包括:CPU利用率、槽位号和过载门限等。YANG模型中的容器可以与xPath(x路径)一一对应,每个xPath均为对应的容器的路径,YANG模型中的数据可以与叶节点(leafnode)一一对应,每个xPath对应的容器中每个数据的路径可以用该xPath与该数据对应的叶节点表示。
另外,扩展器还可以显示识别出的YANG模型中任一数据的信息,如数据名称、数据标识、数据类型、单位、无效值、有效范围、长度、是否主键(表示该数据是否为YANG模型中的主要数据)、示例、描述和叶节点。示例地,当选中图6中数据结构区602中的CPU利用率后,图6中的信息区603可以显示该CPU利用率的信息。如图6所示,CPU利用率的信息中,数据名称可以为CPU利用率,数据标识可以为Y,数据类型可以为字符串型,单位可以为%(百分之),无效值可以为-1,有效范围可以为1-100,长度可以为不可用(not available,NA),是否主键可以选择为是,叶节点可以为叶节点1。示例地,Y可以为cpuUsage(用于标识CPU利用率的符号),或者其他标识。图6中并未示出“示例”和“描述”的内容,该内容均可以由用户自行输入,且“示例”和“描述”对应的输入框可以显示有“输入”的提醒信息。可选地,信息区603中的数据类型和单位均具有下拉按钮,通过数据类型的下拉按钮可以选择与字符串型不同的其他的数据类型,如浮点型或整型等,通过单位的下拉按钮可以选择与%不同的其他单位,‰(千分之)等。
可选地,扩展器获取到的数据模型的格式可以为对象简谱(javascript objectnotation,json)、另一种标记语言(yaml ain't markup language,yaml)、可扩展标记语言(extensible markup language,xml)等格式,本申请实施例对此不作限定。
扩展器在获取用于采集第一数据的数据采集插件时,可以首先获取数据采集插件适用的第一网元型号;之后,再获取至少一个数据模型中第一数据模型中的第一数据,第一数据模型为第一网元型号所采用的数据模型。可选地,扩展器在获取用于采集第一数据的数据采集插件时,还可以获取多种数据订阅方式中第一数据的订阅方式,以及获取多种连接协议中第一数据的连接协议(在采集该第一数据前,采集器能够采用该连接协议与网元建立通信连接)。其中,该多种数据订阅方式包括:静态订阅方式、动态订阅方式和无订阅方式,多种连接协议可以包括:无认证的谷歌远程过程调用(google remote procedure,grpc)协议、双向认证的grpc协议、超文本传输协议和UDP等。
示例地,扩展器在获取该用于采集第一数据的数据采集插件时,可以显示如图7所示的插件编辑界面70。工作人员可以在该插件编辑界面70操作,以使扩展器接收到多种指令,并根据该多种指令获取数据采集插件。
如图7所示,该插件编辑界面70可以包括:型号选择区701和模型选择区702。
型号选择区701可以显示有多种系列(如NE40E+系列和CX600系列)的网元型号,如NE40E+系列的V800R010C*、V800R011C10以及V800R012C00。工作人员可以选择型号选择区701中的任一种型号,以使扩展器接收用于指示数据采集插件适用的第一网元型号的型号选择指令,并将该型号作为数据采集插件适用的第一网元型号。
模型选择区702可以显示有YANG模型框7021、订阅方式框7022、连接协议框7023、采集路径框7024以及采集路径框7024对应的数据列表6025。其中,YANG模型框7021、订阅方式框7022、连接协议框7023和采集路径框7024均可以具有下拉按钮,工作人员可以在这些区中输入相应的内容,或者选择下拉按钮以选择相应的内容。其中,采集路径框7024中相应的内容可以为上述xPath,采集路径框7024对应的数据列表6025可以包含:xPath对应的容器对应的一组数据,如图7中以图7中CPU统计的数据组为例。并且,该数据列表可以包括每个数据的一些信息,如数据类型、单位、叶节点和操作,其中,每个数据的操作是指将采集到的该数据后对该数据执行该操作,比如将CPU利用率*100,将槽位号*1,以及将过载门限*100。
工作人员可以在YANG模型框7021中选择上述第一网元型号所采用的第一数据模型,并在采集路径框7024中选择第一数据模型中的某一xPath,以使扩展器接收到数据选择指令。该数据选择指令用于指示第一数据模型中的第一数据(如该xPath对应的容器对应的一组数据)。工作人员还可以在订阅方式框7022中选择第一数据的订阅方式,以使扩展器接收到用于指示第一数据的订阅方式的订阅方式选择指令。工作人员还可以在连接协议框7023中选择采集器在采集第一数据时采用的连接协议,以使扩展器接收到用于指示该连接协议的协议选择指令。
这样一来,扩展器获取到的用于采集第一数据的数据采集插件可以包括以下内容:上述第一网元型号和上述第一数据。可选地,该数据采集插件还可以包括:第一数据的订阅方式,以及多种连接协议中采集器采集第一数据时所采用的连接协议。
可选地,扩展器获取到的采集器插件的格式可以为动态链接文件(dynamic linklibrary,dll)、Java归档(Java Archive,jar)等格式,本申请实施例对此不作限定,其中Java是一门面向对象编程语言。
步骤502、扩展器获取多个插件执行顺序,其中,插件执行顺序为:多个采集器插件中的至少两个采集器插件的执行顺序,且该至少两个采集器插件适用同一网元型号,该多个插件执行顺序中的采集器插件适用于多个网元型号。
示例地,该多个插件执行顺序的解释可以参考图3中步骤301中对多个插件执行顺序的解释,本申请实施例在此不做赘述。
扩展器在获取每个插件执行顺序时,可以接收插件选择指令,插件选择指令用于选择多个采集器插件中的至少两个目标采集器插件;之后,扩展器可以接收顺序指示指令,并根据顺序指示指令确定该插件执行顺序。其中,该顺序指示指令用于指示至少两个目标采集器插件的执行顺序。
例如,扩展器在获取每个插件执行顺序时,可以显示如图8所示的顺序获取界面80。如图8所示,该顺序获取界面80可以包括:插件区801和编排区802。其中,插件区801包括扩展器获取到的多个扩展器插件,如图8中的数据采集插件(插件1、2、3和4)、数据处理插件(插件5、6、7)和数据上报插件(插件8和9)。工作人员可以通过界面拖拽的方式,将插件区801中的插件拖入编排区802,此时扩展器能够接收插件选择指令。工作人员还可以将拖入编排区802的插件进行排序,且排序后的这些插件间用单向箭头线连接起来,此时扩展器能够接收到顺序指示指令。示例地,如图8所示,编排区802包括:被拖入的插件1、5、6、7和8,且这些插件被排序后图8中显示有插件执行顺序:插件1→插件5→插件6→插件7→插件8。可选地,该编排区802还可以显示有保存按钮和取消按钮,当工作人员选择该保存按钮后,扩展器可以根据当前编排区802显示的插件的排布顺序生成一个插件执行顺序。当工作人员选择该取消按钮后,编排区802可以不显示任何插件。
可选地,扩展器获取到的插件执行顺序的格式可以为对象简谱(javascriptobject notation,json)、可扩展标记语言(extensible markup language,xml)等格式,本申请实施例对此不作限定。
本申请实施例中,工作人员可以通过对已有的采集器插件进行简单的编排,便可以得到插件执行顺序,该过程较为简单,且效率较高。
步骤503、扩展器向采集器发送多个采集器插件和多个插件执行顺序。
扩展器在获取到多个采集器插件和多个插件执行顺序后,可以将该多个采集器插件和多个插件执行顺序发送至采集器。
可选地,在采集器接收到扩展器发送的采集器插件或插件执行顺序时,采集器还可以对接收到的采集器插件或插件执行顺序进行校验(如签名校验),在校验成功后便可以将该采集器插件或插件执行顺序保存至本地。
步骤504、分析器向采集器发送采集请求,该采集请求用于指示第一网元,以及第一网元的待采集数据。
步骤504可以参考图3所示的实施例中的步骤302,本申请实施例在此不做赘述。
步骤505、采集器基于采集请求,确定第一网元以及第一网元的待采集数据。
步骤505可以参考图3所示的实施例中的步骤303,本申请实施例在此不做赘述。
步骤506、采集器确定第一网元的型号。
步骤506可以参考图3所示的实施例中的步骤304,本申请实施例在此不做赘述。
步骤507、采集器基于第一网元的型号以及第一网元的待采集数据,确定多个插件执行顺序中的第一插件执行顺序。
步骤507可以参考图3所示的实施例中的步骤305,本申请实施例在此不做赘述。
步骤508、采集器按照第一插件执行顺序执行采集器插件,并采集第一网元的待采集数据。
步骤508可以参考图3所示的实施例中的步骤306,本申请实施例在此不做赘述。
可选地,该数据采集方法还包括:扩展器获取至少一个新增的采集器插件和/或至少一个新增的插件执行顺序;之后,扩展器向采集器发送至少一个新增的采集器插件和/或至少一个新增的插件执行顺序,以便于采集器基于至少一个新增的采集器插件和/或至少一个新增的插件执行顺序,对多个采集器插件和多个插件执行顺序进行更新,按照第二插件执行顺序执行采集器插件,并采集第二网元的待采集数据。该过程可以参考图3所示的实施例中与第二网元相关的描述,本申请实施例在此不做赘述。
图5所示的数据采集方法应用于图4所示的数据采集系统,此时,如图9所示,该数据采集系统中的扩展器05可以按照功能划分为:数据模型获取模块、采集器插件获取模块、插件执行顺序获取模块以及发布模块。其中,数据模型获取模块用于获取数据模型,采集器插件获取模块用于获取采集器插件,插件执行顺序获取模块用于获取插件执行顺序,发布模块用于将采集器插件获取模块获取的采集器插件,以及插件执行顺序获取模块获取的插件执行顺序发送至采集器。
请继续参考图9,采集器可以按照功能划分为:采集任务管理模块和采集流程控制模块。其中,采集任务管理模块包括:网元管理子模块、任务管理子模块和注入子模块,网元管理子模块用于根据分析器下发的采集请求管理采集的网元,任务管理子模块用于根据分析器下发的采集请求管理采集任务,注入子模块与扩展器中的发布模块通信连接,用于接收发布模块发送的采集器插件以及插件执行顺序。采集流程控制模块包括:顺序动态加载子模块、插件动态加载子模块以及顺序运行控制子模块,其中,顺序动态加载子模块用于加载多个插件执行顺序中插件适用待采集数据的网元(如上述第一网元或第二网元)的型号,且插件用于采集的数据的集合包括待采集数据的插件执行顺序;插件动态加载子模块用于加载该插件执行顺序中的采集器插件;顺序运行控制子模块用于根据按照顺序动态加载子模块加载的插件执行顺序,运行插件动态加载子模块加载的采集器插件。
当采集器运用本申请实施例提供的数据采集方法时,采集器可以根据网元的型号以及待采集数据选择适当的插件执行顺序,以及适当的采集器插件,并且在该过程中,采集器无需重启系统,使采集器中已有的采集业务并不会中断。
综上所述,本申请实施例提供的数据采集方法中,由于采集器在采集第一网元的数据前,获取了多个插件执行顺序,且所述多个插件执行顺序中的采集器插件适用于多个网元型号,因此,对于未与采集器配套(或与采集器配套)的第一网元,该多个插件执行顺序中的采集器插件适用于的多个网元型号包含第一网元的型号的概率较大。采集器获取到第一插件执行顺序的概率较大。因此,按照该第一插件执行顺序执行采集器插件,能够得到适用于第一网元的采集软件。基于该采集软件能够较容易实现第一网元的数据的有效采集。
以上介绍了本申请实施例提供的数据采集方法,以下将结合上述数据采集方法对本申请实施例提供的数据采集装置进行介绍。
示例地,图10为本申请实施例提供的一种数据采集装置的结构示意图,该数据采集装置可以用于图1或图4所示的数据采集系统中的采集器01,如图10所示,该数据采集装置包括:
第一获取模块1001,用于获取多个采集器插件和多个插件执行顺序,其中,所述采集器插件具有适用的网元型号以及用于采集的数据,所述插件执行顺序为:所述多个采集器插件中的至少两个采集器插件的执行顺序,且所述至少两个采集器插件适用于同一网元型号,且所述多个插件执行顺序中的采集器插件适用于多个网元型号。第一获取模块1001可以用于执行图3所示的实施例中的步骤301,或者图5所示的实施例中的步骤503对应的采集器所执行的步骤。
第一确定模块1002,用于确定第一网元,以及所述第一网元的待采集数据。第一确定模块1002可以用于执行图3所示的实施例中的步骤303,或者图5所示的实施例中的步骤505。
第二确定模块1003,用于基于所述第一网元的型号以及所述第一网元的待采集数据,确定所述多个插件执行顺序中的第一插件执行顺序,其中,所述第一插件执行顺序中的插件均适用于所述第一网元的型号,且所述第一插件执行顺序中的插件用于采集的数据的集合包括所述第一网元的待采集数据。第二确定模块1003可以用于执行图3所示的实施例中的步骤305,或者图5所示的实施例中的步骤507。
第一执行模块1004,用于按照第一插件执行顺序执行采集器插件,并采集第一网元的待采集数据。第一执行模块1004可以用于执行图3所示的实施例中的步骤306,或者图5所示的实施例中的步骤508。
综上所述,本申请实施例提供的数据采集装置中,由于采集器在采集第一网元的数据前,第一获取模块获取了多个插件执行顺序,且所述多个插件执行顺序中的采集器插件适用于多个网元型号,因此,对于未与采集器配套(或与采集器配套)的第一网元,该多个插件执行顺序中的采集器插件适用于的多个网元型号包含第一网元的型号的概率较大。采集器获取到第一插件执行顺序的概率较大。因此,第一执行模块按照该第一插件执行顺序执行采集器插件,能够得到适用于第一网元的采集软件。基于该采集软件能够较容易实现第一网元的数据的有效采集。
可选地,第一获取模块1001用于:接收扩展器发送的多个采集器插件和多个插件执行顺序。
可选地,数据采集装置还可以包括:
第一接收模块(图10中未示出),用于接收扩展器发送的至少一个数据模型,数据模型包括:多个数据;
多个采集器插件包括:用于采集第一数据的数据采集插件,数据采集插件包括:数据采集插件适用的第一网元型号,以及,至少一个数据模型中第一数据模型中的第一数据,其中,第一数据模型为第一网元型号所采用的数据模型。
可选地,数据采集插件还包括:多种数据订阅方式中第一数据的订阅方式,多种数据订阅方式包括:静态订阅方式、动态订阅方式和无订阅方式;多种连接协议中采集器采集所述第一数据时所采用的连接协议。
可选地,数据采集装置还包括:
第二接收模块(图10中未示出),用于接收分析器发送的采集请求,所述采集请求用于指示所述第一网元,以及所述第一网元的待采集数据;第二接收模块可以用于执行图3所示的实施例中的步骤302中采集器对应的步骤,或者图5所示的实施例中的步骤504中采集器对应的步骤。
第一确定模块1003用于:基于所述采集请求,确定所述第一网元,以及所述第一网元的待采集数据。
可选地,数据采集装置还包括:
第二获取模块(图10中未示出),用于获取至少一个新增的采集器插件和/或至少一个新增的插件执行顺序;
更新模块(图10中未示出),用于基于至少一个新增的采集器插件和/或至少一个新增的插件执行顺序,对多个采集器插件和多个插件执行顺序进行更新;
第三确定模块(图10中未示出),用于确定待采集数据的第二网元,以及所述第二网元的待采集数据;
第四确定模块(图10中未示出),用于基于所述第二网元的型号以及所述第二网元的待采集数据,确定更新后的所述多个插件执行顺序中的第二插件执行顺序,其中,所述第二插件执行顺序中的插件适用于所述第二网元的型号,且所述第二插件执行顺序中的插件用于采集的数据的集合包括所述第二网元的待采集数据;
第二执行模块(图10中未示出),用于按照第二插件执行顺序执行采集器插件,并采集第二网元的待采集数据。
示例地,图11为本申请实施例提供的另一种数据采集装置的结构示意图,该数据采集装置可以用于图4所示的数据采集系统中的扩展器05,如图11所示,该数据采集装置包括:
第一获取模块1101,用于获取多个采集器插件,其中,采集器插件具有适用的网元型号,以及用于采集的数据;第一获取模块1101可以用于执行图5所示的实施例中的步骤501。
第二获取模块1102,用于获取多个插件执行顺序,其中,所述插件执行顺序为:所述多个采集器插件中的至少两个采集器插件的执行顺序,且所述至少两个采集器插件适用于同一网元型号,且所述多个插件执行顺序中的采集器插件适用于多个网元型号;第二获取模块1102可以用于执行图5所示的实施例中的步骤502。
第一发送模块1103,用于向采集器发送所述多个采集器插件和所述多个插件执行顺序,以便于所述采集器按照第一插件执行顺序执行采集器插件,并采集所述第一网元的待采集数据,其中,所述第一插件执行顺序中的插件均适用于所述第一网元的型号,且所述第一插件执行顺序中的插件用于采集的数据的集合包括所述第一网元的待采集数据。第一发送模块1103可以用于执行图5所示的实施例中的步骤503。
可选地,数据采集装置还包括:
第三获取模块(图11中未示出),用于获取至少一个数据模型,数据模型包括:多个数据;
第二发送模块(图11中未示出),用于向采集器发送至少一个数据模型;
多个采集器插件包括:用于采集第一数据的数据采集插件,第一获取模块1101用于:
接收型号选择指令,型号选择指令用于指示数据采集插件适用的第一网元型号;
接收数据选择指令,数据选择指令用于指示至少一个数据模型中第一数据模型中的第一数据,第一数据模型为第一网元型号所采用的数据模型;
基于接收到的多种指令,获取数据采集插件,多种指令包括:型号选择指令和数据选择指令。
可选地,第一获取模块1101还用于:
接收订阅方式选择指令,订阅方式选择指令用于指示多种数据订阅方式中第一数据的订阅方式,多种数据订阅方式包括:静态订阅方式、动态订阅方式和无订阅方式;
连接协议选择指令,协议选择指令用于指示多种连接协议中采集器在采集第一数据时采用的连接协议;
多种指令还包括:订阅方式选择指令和协议选择指令。
可选地,第二获取模块1102用于:
在获取每个插件执行顺序时,接收插件选择指令,插件选择指令用于选择多个采集器插件中的至少两个目标采集器插件;
接收顺序指示指令,顺序指示指令用于指示至少两个目标采集器插件的执行顺序;
根据插件选择指令和顺序指示指令,获取每个插件执行顺序。
可选地,数据采集装置还包括:
第四获取模块(图11中未示出),用于获取至少一个新增的采集器插件和/或至少一个新增的插件执行顺序;
第三发送模块(图11中未示出),用于向所述采集器发送所述至少一个新增的采集器插件和/或所述至少一个新增的插件执行顺序,以便于所述采集器基于所述至少一个新增的采集器插件和/或所述至少一个新增的插件执行顺序,对所述多个采集器插件和所述多个插件执行顺序进行更新,按照第二插件执行顺序执行采集器插件,并采集所述第二网元的待采集数据,其中,所述第二插件执行顺序中的插件适用于所述第二网元的型号,且所述第二插件执行顺序中的插件用于采集的数据的集合包括所述第二网元的待采集数据。
本申请实施例提供了又一种数据采集装置,该数据采集装置包括:处理器和存储器,存储器中存储有程序。处理器用于调用存储器中存储的程序,以使得数据采集装置执行如图3或图5中采集器用于执行的数据采集方法。或者,处理器用于调用存储器中存储的程序,以使得数据采集装置执行如图5中扩展器用于执行的数据采集方法。
示例地,请参考图12,图12为本申请实施例提供的一种数据采集装置的框图,如图12所示,该数据采集装置1200包括:存储器1201和处理器1202。其中,存储器1201用于存储程序,处理器1202用于调用存储器1201中存储的程序,以使得该数据采集装置执行本申请实施例提供的任一数据采集方法。
可选地,如图12所示,该数据采集装置1200还可以包括至少一个通信接口1203和至少一个通信总线1204。存储器1201、处理器1202以及通信接口1203通过通信总线1204通信连接。其中,通信接口1203用于在处理器1202的控制下与其他装置通信,处理器1202可以通过通信总线1204调用存储器1201中存储的程序。
本申请实施例提供了一种包含指令的计算机程序产品,当计算机程序产品在数据采集装置上运行时,使得数据采集装置执行本申请实施例任一设计所述的数据采集方法。
本申请实施例提供了一种数据采集装置,包括:处理器;处理器用于与存储器耦合,并读取存储器中的指令之后,根据指令执行如本申请实施例任一设计中的数据采集方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机的可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者包含一个或多个可用介质集成的服务器、数据中心等数据存储装置。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质,或者半导体介质(例如固态硬盘)等。
在本申请中,术语“第一”和“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“至少一个”指一个或多个,“多个”指两个或两个以上,除非另有明确的限定。术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
需要说明的是,本申请实施例提供的各个实施例(如各个方法实施例,方法实施例和装置实施例)均可以相互参考。本申请实施例提供的方法实施例所描述的各个动作不必然代表先后顺序,各动作的执行顺序能够根据需要进行适当调整,动作也能够根据情况进行相应增减,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化的方法,都应涵盖在本申请的保护范围之内,因此不再赘述。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (28)
1.一种数据采集方法,其特征在于,所述方法包括:
获取多个采集器插件和多个插件执行顺序,其中,所述采集器插件具有适用的网元型号,以及用于采集的数据,所述插件执行顺序为:所述多个采集器插件中的至少两个采集器插件的执行顺序,且所述至少两个采集器插件适用同一网元型号,且所述多个插件执行顺序中的采集器插件适用于多个网元型号;
确定第一网元,以及所述第一网元的待采集数据;
基于所述第一网元的型号以及所述第一网元的待采集数据,确定所述多个插件执行顺序中的第一插件执行顺序,其中,所述第一插件执行顺序中的插件均适用于所述第一网元的型号,且所述第一插件执行顺序中的插件用于采集的数据的集合包括所述第一网元的待采集数据;
按照所述第一插件执行顺序执行采集器插件,并采集所述第一网元的待采集数据。
2.根据权利要求1所述的方法,其特征在于,所述获取多个采集器插件和多个插件执行顺序,包括:
接收扩展器发送的所述多个采集器插件和所述多个插件执行顺序。
3.根据权利要求2所述的方法,其特征在于,在所述接收扩展器发送的多个采集器插件和多个插件执行顺序之前,所述方法还包括:
接收所述扩展器发送的至少一个数据模型,所述数据模型包括:多个数据;
所述多个采集器插件包括:用于采集第一数据的数据采集插件,所述数据采集插件包括:所述数据采集插件适用的第一网元型号,以及,所述至少一个数据模型中第一数据模型中的所述第一数据,其中,所述第一数据模型为所述第一网元型号所采用的数据模型。
4.根据权利要求3所述的方法,其特征在于,所述数据采集插件还包括:
多种数据订阅方式中所述第一数据的订阅方式,所述多种数据订阅方式包括:静态订阅方式、动态订阅方式和无订阅方式;
多种连接协议中采集器采集所述第一数据时所采用的连接协议。
5.根据权利要求1至4任一所述的方法,其特征在于,在所述确定第一网元之前,所述方法还包括:
接收分析器发送的采集请求,所述采集请求用于指示所述第一网元,以及所述第一网元的待采集数据;
所述确定第一网元,以及所述第一网元的待采集数据包括:
基于所述采集请求,确定所述第一网元,以及所述第一网元的待采集数据。
6.根据权利要求1至5任一所述的方法,其特征在于,所述方法还包括:
获取至少一个新增的采集器插件和/或至少一个新增的插件执行顺序;
基于所述至少一个新增的采集器插件和/或所述至少一个新增的插件执行顺序,对所述多个采集器插件和所述多个插件执行顺序进行更新;
确定待采集数据的第二网元,以及所述第二网元的待采集数据;
基于所述第二网元的型号以及所述第二网元的待采集数据,确定更新后的所述多个插件执行顺序中的第二插件执行顺序,其中,所述第二插件执行顺序中的插件适用于所述第二网元的型号,且所述第二插件执行顺序中的插件用于采集的数据的集合包括所述第二网元的待采集数据;
按照所述第二插件执行顺序执行采集器插件,并采集所述第二网元的待采集数据。
7.一种数据采集方法,其特征在于,所述方法包括:
获取多个采集器插件,其中,所述采集器插件具有适用的网元型号,以及用于采集的数据;
获取多个插件执行顺序,其中,所述插件执行顺序为:所述多个采集器插件中的至少两个采集器插件的执行顺序,且所述至少两个采集器插件适用于同一网元型号,且所述多个插件执行顺序中的采集器插件适用于多个网元型号;
向采集器发送所述多个采集器插件和所述多个插件执行顺序,以便于所述采集器按照第一插件执行顺序执行采集器插件,并采集所述第一网元的待采集数据,其中,所述第一插件执行顺序中的插件均适用于所述第一网元的型号,且所述第一插件执行顺序中的插件用于采集的数据的集合包括所述第一网元的待采集数据。
8.根据权利要求7所述的方法,其特征在于,在所述向采集器发送所述多个采集器插件和所述多个插件执行顺序之前,所述方法还包括:
获取至少一个数据模型,所述数据模型包括:多个数据;
向所述采集器发送所述至少一个数据模型;
所述多个采集器插件包括:用于采集第一数据的数据采集插件,所述获取多个采集器插件,包括:
接收型号选择指令,所述型号选择指令用于指示所述数据采集插件适用的第一网元型号;
接收数据选择指令,所述数据选择指令用于指示所述至少一个数据模型中第一数据模型中的所述第一数据,所述第一数据模型为所述第一网元型号所采用的数据模型;
基于接收到的多种指令,获取所述数据采集插件,所述多种指令包括:所述型号选择指令和所述数据选择指令。
9.根据权利要求8所述的方法,其特征在于,所述获取多个采集器插件,还包括:
接收订阅方式选择指令,所述订阅方式选择指令用于指示多种数据订阅方式中所述第一数据的订阅方式,所述多种数据订阅方式包括:静态订阅方式、动态订阅方式和无订阅方式;
连接协议选择指令,所述协议选择指令用于指示多种连接协议中所述采集器在采集所述第一数据时采用的连接协议;
所述多种指令还包括:所述订阅方式选择指令和所述协议选择指令。
10.根据权利要求7至9任一所述的方法,其特征在于,所述获取多个插件执行顺序,包括:
在获取每个插件执行顺序时,接收插件选择指令,所述插件选择指令用于选择所述多个采集器插件中的至少两个目标采集器插件;
接收顺序指示指令,所述顺序指示指令用于指示所述至少两个目标采集器插件的执行顺序;
根据所述插件选择指令和所述顺序指示指令,获取所述每个插件执行顺序。
11.根据权利要求7至10任一所述的方法,其特征在于,所述方法还包括:
获取至少一个新增的采集器插件和/或至少一个新增的插件执行顺序;
向所述采集器发送所述至少一个新增的采集器插件和/或所述至少一个新增的插件执行顺序,以便于所述采集器基于所述至少一个新增的采集器插件和/或所述至少一个新增的插件执行顺序,对所述多个采集器插件和所述多个插件执行顺序进行更新,按照第二插件执行顺序执行采集器插件,并采集所述第二网元的待采集数据,其中,所述第二插件执行顺序中的插件适用于所述第二网元的型号,且所述第二插件执行顺序中的插件用于采集的数据的集合包括所述第二网元的待采集数据。
12.一种数据采集装置,其特征在于,所述数据采集装置包括:
第一获取模块,用于获取多个采集器插件和多个插件执行顺序,其中,所述采集器插件具有适用的网元型号以及用于采集的数据,所述插件执行顺序为:所述多个采集器插件中的至少两个采集器插件的执行顺序,且所述至少两个采集器插件适用于同一网元型号,且所述多个插件执行顺序中的采集器插件适用于多个网元型号;
第一确定模块,用于确定第一网元,以及所述第一网元的待采集数据;
第二确定模块,用于基于所述第一网元的型号以及所述第一网元的待采集数据,确定所述多个插件执行顺序中的第一插件执行顺序,其中,所述第一插件执行顺序中的插件均适用于所述第一网元的型号,且所述第一插件执行顺序中的插件用于采集的数据的集合包括所述第一网元的待采集数据;
第一执行模块,用于按照所述第一插件执行顺序执行采集器插件,并采集所述第一网元的待采集数据。
13.根据权利要求12所述的数据采集装置,其特征在于,所述第一获取模块用于:
接收扩展器发送的所述多个采集器插件和所述多个插件执行顺序。
14.根据权利要求13所述的数据采集装置,其特征在于,所述数据采集装置还包括:
第一接收模块,用于接收所述扩展器发送的至少一个数据模型,所述数据模型包括:多个数据;
所述多个采集器插件包括:用于采集第一数据的数据采集插件,所述数据采集插件包括:所述数据采集插件适用的第一网元型号,以及,所述至少一个数据模型中第一数据模型中的所述第一数据,其中,所述第一数据模型为所述第一网元型号所采用的数据模型。
15.根据权利要求14所述的数据采集装置,其特征在于,所述数据采集插件还包括:
多种数据订阅方式中所述第一数据的订阅方式,所述多种数据订阅方式包括:静态订阅方式、动态订阅方式和无订阅方式;
多种连接协议中采集器采集所述第一数据时所采用的连接协议。
16.根据权利要求12至15任一所述的数据采集装置,其特征在于,所述数据采集装置还包括:
第二接收模块,用于接收分析器发送的采集请求,所述采集请求用于指示所述第一网元,以及所述第一网元的待采集数据;
所述第一确定模块用于:基于所述采集请求,确定所述第一网元,以及所述第一网元的待采集数据。
17.根据权利要求12至16任一所述的数据采集装置,其特征在于,所述数据采集装置还包括:
第二获取模块,用于获取至少一个新增的采集器插件和/或至少一个新增的插件执行顺序;
更新模块,用于基于所述至少一个新增的采集器插件和/或所述至少一个新增的插件执行顺序,对所述多个采集器插件和所述多个插件执行顺序进行更新;
第三确定模块,用于确定待采集数据的第二网元,以及所述第二网元的待采集数据;
第四确定模块,用于基于所述第二网元的型号以及所述第二网元的待采集数据,确定更新后的所述多个插件执行顺序中的第二插件执行顺序,其中,所述第二插件执行顺序中的插件适用于所述第二网元的型号,且所述第二插件执行顺序中的插件用于采集的数据的集合包括所述第二网元的待采集数据;
第二执行模块,用于按照所述第二插件执行顺序执行采集器插件,并采集所述第二网元的待采集数据。
18.一种数据采集装置,其特征在于,所述数据采集装置包括:
第一获取模块,用于获取多个采集器插件,其中,所述采集器插件具有适用的网元型号,以及用于采集的数据;
第二获取模块,用于获取多个插件执行顺序,其中,所述插件执行顺序为:所述多个采集器插件中的至少两个采集器插件的执行顺序,且所述至少两个采集器插件适用于同一网元型号,且所述多个插件执行顺序中的采集器插件适用于多个网元型号;
第一发送模块,用于向采集器发送所述多个采集器插件和所述多个插件执行顺序,以便于所述采集器按照第一插件执行顺序执行采集器插件,并采集所述第一网元的待采集数据,其中,所述第一插件执行顺序中的插件均适用于所述第一网元的型号,且所述第一插件执行顺序中的插件用于采集的数据的集合包括所述第一网元的待采集数据。
19.根据权利要求18所述的数据采集装置,其特征在于,所述数据采集装置还包括:
第三获取模块,用于获取至少一个数据模型,所述数据模型包括:多个数据;
第二发送模块,用于向所述采集器发送所述至少一个数据模型;
所述多个采集器插件包括:用于采集第一数据的数据采集插件,所述第一获取模块用于:
接收型号选择指令,所述型号选择指令用于指示所述数据采集插件适用的第一网元型号;
接收数据选择指令,所述数据选择指令用于指示所述至少一个数据模型中第一数据模型中的所述第一数据,所述第一数据模型为所述第一网元型号所采用的数据模型;
基于接收到的多种指令,获取所述数据采集插件,所述多种指令包括:所述型号选择指令和所述数据选择指令。
20.根据权利要求19所述的数据采集装置,其特征在于,所述第一获取模块还用于:
接收订阅方式选择指令,所述订阅方式选择指令用于指示多种数据订阅方式中所述第一数据的订阅方式,所述多种数据订阅方式包括:静态订阅方式、动态订阅方式和无订阅方式;
连接协议选择指令,所述协议选择指令用于指示多种连接协议中所述采集器在采集所述第一数据时采用的连接协议;
所述多种指令还包括:所述订阅方式选择指令和所述协议选择指令。
21.根据权利要求18至20任一所述的数据采集装置,其特征在于,所述第二获取模块用于:
在获取每个插件执行顺序时,接收插件选择指令,所述插件选择指令用于选择所述多个采集器插件中的至少两个目标采集器插件;
接收顺序指示指令,所述顺序指示指令用于指示所述至少两个目标采集器插件的执行顺序;
根据所述插件选择指令和所述顺序指示指令,获取所述每个插件执行顺序。
22.根据权利要求18至21任一所述的数据采集装置,其特征在于,所述数据采集装置还包括:
第四获取模块,用于获取至少一个新增的采集器插件和/或至少一个新增的插件执行顺序;
第三发送模块,用于向所述采集器发送所述至少一个新增的采集器插件和/或所述至少一个新增的插件执行顺序,以便于所述采集器基于所述至少一个新增的采集器插件和/或所述至少一个新增的插件执行顺序,对所述多个采集器插件和所述多个插件执行顺序进行更新,按照第二插件执行顺序执行采集器插件,并采集所述第二网元的待采集数据,其中,所述第二插件执行顺序中的插件适用于所述第二网元的型号,且所述第二插件执行顺序中的插件用于采集的数据的集合包括所述第二网元的待采集数据。
23.一种数据采集装置,其特征在于,所述数据采集装置包括:处理器和存储器,所述存储器中存储有程序,所述处理器用于调用所述存储器中存储的程序,以使得所述数据采集装置执行如权利要求1至6任一项所述的数据采集方法。
24.一种数据采集装置,其特征在于,所述数据采集装置包括:处理器和存储器,所述存储器中存储有程序,所述处理器用于调用所述存储器中存储的程序,以使得所述数据采集装置执行如权利要求7至11任一项所述的数据采集方法。
25.一种计算机存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序用于执行权利要求1至6任一项所述的数据采集方法。
26.一种计算机存储介质,其特征在于,所述存储介质内存储有计算机程序,所述计算机程序用于执行权利要求7至11任一项所述的数据采集方法。
27.一种数据采集系统,其特征在于,所述数据采集系统包括:采集器;
所述采集器包括权利要求12至17任一所述的数据采集装置;
或者,所述采集器包括权利要求23所述的数据采集装置。
28.根据权利要求27所述的数据采集系统,其特征在于,所述数据采集系统还包括:扩展器,所述扩展器与所述采集器连接;
所述扩展器包括权利要求18至22任一所述的数据采集装置;
或者,所述扩展器包括权利要求24所述的数据采集装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010067065.3A CN113141269B (zh) | 2020-01-20 | 2020-01-20 | 数据采集方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010067065.3A CN113141269B (zh) | 2020-01-20 | 2020-01-20 | 数据采集方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113141269A true CN113141269A (zh) | 2021-07-20 |
CN113141269B CN113141269B (zh) | 2022-12-27 |
Family
ID=76809184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010067065.3A Active CN113141269B (zh) | 2020-01-20 | 2020-01-20 | 数据采集方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113141269B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114242192A (zh) * | 2021-11-24 | 2022-03-25 | 长沙都正生物科技股份有限公司 | 一种临床试验数据采集方法、装置及终端设备 |
WO2023072023A1 (zh) * | 2021-10-30 | 2023-05-04 | 华为技术有限公司 | 一种意图执行的方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040199903A1 (en) * | 2003-04-02 | 2004-10-07 | Toshiaki Iizuka | Log acquisition method and its control program and storage medium |
CN106383764A (zh) * | 2016-08-31 | 2017-02-08 | 北京百分点信息科技有限公司 | 一种数据采集方法和设备 |
CN109495347A (zh) * | 2018-12-10 | 2019-03-19 | 北京北信源信息安全技术有限公司 | 一种数据采集方法及系统 |
-
2020
- 2020-01-20 CN CN202010067065.3A patent/CN113141269B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040199903A1 (en) * | 2003-04-02 | 2004-10-07 | Toshiaki Iizuka | Log acquisition method and its control program and storage medium |
CN106383764A (zh) * | 2016-08-31 | 2017-02-08 | 北京百分点信息科技有限公司 | 一种数据采集方法和设备 |
CN109495347A (zh) * | 2018-12-10 | 2019-03-19 | 北京北信源信息安全技术有限公司 | 一种数据采集方法及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023072023A1 (zh) * | 2021-10-30 | 2023-05-04 | 华为技术有限公司 | 一种意图执行的方法和装置 |
CN114242192A (zh) * | 2021-11-24 | 2022-03-25 | 长沙都正生物科技股份有限公司 | 一种临床试验数据采集方法、装置及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113141269B (zh) | 2022-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110515912A (zh) | 日志处理方法、装置、计算机装置及计算机可读存储介质 | |
CN104065741A (zh) | 数据采集系统和数据采集方法 | |
CN111143382B (zh) | 数据处理方法、系统和计算机可读存储介质 | |
CN110532322B (zh) | 运维交互方法、系统、计算机可读存储介质及设备 | |
CN103942063A (zh) | 一种针对Java Web应用的集中配置和远程部署方法 | |
CN113141269B (zh) | 数据采集方法、装置及系统 | |
CN114363042B (zh) | 日志分析方法、装置、设备及可读存储介质 | |
US8073938B2 (en) | Information processing apparatus and method of operating the same | |
CN111984505A (zh) | 一种运维数据采集引擎及采集方法 | |
CN108877188A (zh) | 一种环保数据并发采集及多网络发布方法和装置 | |
CN115622986A (zh) | 传感器通讯协议解析方法、系统、存储介质及电子设备 | |
CN113672452A (zh) | 一种数据采集任务的运行监控方法、系统 | |
US8566279B1 (en) | Enhanced data collection techniques | |
CN112417050A (zh) | 数据同步方法和装置、系统、存储介质及电子装置 | |
CN116797233A (zh) | 用户成长体系的管理方法、装置、设备及存储介质 | |
CN112422349B (zh) | 面向nfv的网管系统、方法、设备及介质 | |
CN114020368A (zh) | 基于状态机的信息处理方法、装置和存储介质 | |
CN112416980A (zh) | 数据业务处理方法、装置及设备 | |
CN110716841A (zh) | 监控数据收集方法、装置及设备 | |
WO2022037293A1 (zh) | 消息中间件的布局方法、装置、服务器及存储介质 | |
CN112564953B (zh) | 一种对局远端设备管理的方法和装置及设备 | |
CN113986654A (zh) | 一种分布式日志归集方法、计算机设备及存储介质 | |
US20230259382A1 (en) | Configuring metric collection based on application information | |
US20230099545A1 (en) | Iot system and data collection control method | |
EP4066117B1 (en) | Managing provenance information for data processing pipelines |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |