CN116938668A - 一种性能文件数据的处理方法和装置、设备、存储介质 - Google Patents
一种性能文件数据的处理方法和装置、设备、存储介质 Download PDFInfo
- Publication number
- CN116938668A CN116938668A CN202310878847.9A CN202310878847A CN116938668A CN 116938668 A CN116938668 A CN 116938668A CN 202310878847 A CN202310878847 A CN 202310878847A CN 116938668 A CN116938668 A CN 116938668A
- Authority
- CN
- China
- Prior art keywords
- file
- performance
- analysis
- network element
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000004458 analytical method Methods 0.000 claims abstract description 136
- 238000004806 packaging method and process Methods 0.000 claims abstract description 9
- 230000015654 memory Effects 0.000 claims description 35
- 230000005540 biological transmission Effects 0.000 claims description 32
- 230000004044 response Effects 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims 2
- 238000012217 deletion Methods 0.000 abstract description 8
- 230000037430 deletion Effects 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 14
- 238000003672 processing method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012546 transfer Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/02—Standardisation; Integration
- H04L41/0246—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols
- H04L41/0266—Exchanging or transporting network management information using the Internet; Embedding network management web servers in network elements; Web-services-based protocols using meta-data, objects or commands for formatting management information, e.g. using eXtensible markup language [XML]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/08—Configuration management of networks or network elements
- H04L41/0866—Checking the configuration
- H04L41/0869—Validating the configuration within one network element
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/2866—Architectures; Arrangements
- H04L67/30—Profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
Abstract
本申请公开了一种性能文件数据的处理方法和装置、设备、存储介质,涉及计算机技术领域,解决了目前性能文件数据的采集方式存在时效性较差、数据易缺失、解析存储压力大的问题。该方法包括:响应于实时任务,获取解析记录表;解析记录表包括:解析文件名称和解析文件的文件状态。若文件状态为未解析,获取服务器中存储的解析文件名称对应的性能文件。解析性能文件,确定性能文件数据,并将性能文件数据封装至实体类。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种性能文件数据的处理方法和装置、设备、存储介质。
背景技术
随着5G技术的兴起,5G网络变得越来越广泛和复杂,为了更好适应智能制造的潮流趋势,满足大型工业企业大量的移动场景,解决广域连接与安全性的矛盾,国家加大投入推动5G专网在工业制造领域加快应用,各大5G厂商均着力研发5G核心网网元设备。为了帮助5G核心网用户能直观地监控5G核心网的运行状态,帮助运维人员分析5G核心网业务规模,保障5G核心网业务质量,迅速定位5G核心网业务故障。需要对5G核心网各个网元设备性能进行采集、过滤、分析、汇总。
在5G核心网,存在大量的网元设备,每个类型网元设备均有大量的性能指标,为方便采集传输,5G网元设备对原始性能指标采集后,一般以性能文件的形式进行传输,性能文件中会约定每个性能指标的id以及id与性能指标值的对应规则。由于性能文件中包含大量的指标id,通过人工很难获取有效信息,需要对性能文件进行二次加工处理。
如果采用直接对性能文件进行处理的方法,往往会因为网元采集不稳定,网络故障等原因造成性能文件延时高,或者性能指标缺失等现象,需要对性能指标进行补采。同时在实际运用中,网元设备中采集的大量指标对运维人员帮助很低,如果采用全量采集,会对服务器性能、数据库存储等造成巨大压力,且效果不高,故在采集过程中,还应对性能指标进行筛选过滤。另外,性能文件中的指标均为原始指标,不便于运维人员查阅,故在采集过程中,还应对原始值表进行二次处理,转换为运维人员可以更加直观使用的数据。
发明内容
本申请提供了一种性能文件数据的处理方法和装置、设备、存储介质,用于解决目前性能文件数据的采集方式存在时效性较差、数据易缺失、解析存储压力大的问题。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请提供了一种性能文件数据的处理方法,该方法包括:
响应于实时任务,获取解析记录表。解析记录表包括:解析文件名称和解析文件的文件状态。若文件状态为未解析,获取服务器中存储的解析文件名称对应的性能文件。解析性能文件,确定性能文件数据,并将性能文件数据封装至实体类。
本申请提供的性能文件数据的处理方法,通过获取预先配置的解析记录表,根据该解析记录表,获取sftp服务器中文件状态为未解析的性能文件,并对该性能文件进行自动解析等操作,可以有效提高性能文件数据的实时性、完整性、准确性。
一种可能的实现方式中,解析性能文件,确定性能文件数据,包括:逐行获取性能文件的性能指标。根据性能指标,获取性能指标对应的指标值。利用正则匹配,将性能指标替换为指标值。将指标值输入至预设的引擎中,确定性能文件数据。预设的引擎用于对指标值进行计算。
该可能的实现方式中,通过将性能指标替换为性能指标的指标值,可以在过滤、解析的过程中,还可以对指标进行实时计算,来避免后续查询时反复计算,可以提高核心网性能文件解析的实时性,提高性能文件解析的效率。
一种可能的实现方式中,本申请提供的性能文件数据的处理方法,还包括:响应于第一定时任务,获取待解析的网元数据。网元数据包括以下一个或多个:网元信息、网元指标。根据网元信息和网元指标,生成网元的解析配置表。根据预设规则和解析配置表,生成解析文件的解析记录表。
该可能的实现方式中,通过采集待解析的网元数据,并利用采集的网元数据生成网元的解析配置表,可以使网元数据和代码分离,方便后续对网元信息的增删以及对网元指标的变更。
一种可能的实现方式中,根据预设规则和解析配置表,生成解析文件的解析记录表,包括:根据文件名规则和解析配置表,生成解析配置表对应的解析文件的文件名。根据服务器路径规则为解析文件生成存储路径。
一种可能的实现方式中,本申请提供的性能文件数据的处理方法,还包括:获取第一定时任务的传参时间。若第一定时任务携带有传参时间,格式化传参时间并将格式化后的传参时间添加至解析配置表。若第一定时任务不携带传参时间,获取当前时间戳。格式化当前时间戳,并将格式化后的当前时间戳添加至解析配置表。
一种可能的实现方式中,解析性能文件,确定性能文件数据之后,还包括:将解析记录表中解析文件的文件状态修改为已解析。
一种可能的实现方式中,本申请提供的性能文件数据的处理方法,还包括:响应于第二定时任务,删除预设时间戳前的解析记录表和性能文件。
该可能的实现方式中,通过定期删除解析记录表和性能文件,可以释放服务器存储空间,提高服务器处理速度。
第二方面,本申请提供了一种性能文件数据的处理装置,该装置包括:获取模块、解析模块。
其中,获取模块,用于响应于实时任务,获取解析记录表。解析记录表包括:性能文件名称和解析文件的文件状态。若文件状态为未解析,获取服务器中存储的解析文件名称对应的性能文件。
解析模块,用于解析性能文件,确定性能文件数据,并将性能文件数据封装至实体类。
一种可能的实现方式,获取模块,还用于逐行获取性能文件的性能指标。根据性能指标,获取性能指标对应的指标值。
本申请提供的性能文件数据的处理装置,还可以包括:替换模块、确定模块。
其中,替换模块,用于利用正则匹配,将性能指标替换为指标值。
确定模块,用于将指标值输入至预设的引擎中,确定性能文件数据。预设的引擎用于对指标值进行计算。
一种可能的实现方式,获取模块,还用于响应于第一定时任务,获取待解析的网元数据。网元数据包括以下一个或多个:网元信息、网元指标。
本申请提供的性能文件数据的处理装置,还可以包括:生成模块,用于根据网元信息和网元指标,生成网元的解析配置表。根据预设规则和解析配置表,生成解析文件的解析记录表。
一种可能的实现方式,生成模块,具体用于根据文件名规则和解析配置表,生成解析配置表对应的解析文件的文件名。根据服务器路径规则为解析文件生成存储路径。
一种可能的实现方式,获取模块,还用于获取第一定时任务的传参时间。
本申请提供的性能文件数据的处理装置,还可以包括:格式化模块,用于若第一定时任务携带有传参时间,格式化传参时间并将格式化后的传参时间添加至解析配置表。
获取模块,还用于若第一定时任务不携带传参时间,获取当前时间戳。
格式化模块,还用于格式化当前时间戳,并将格式化后的当前时间戳添加至解析配置表。
一种可能的实现方式,本申请提供的性能文件数据的处理装置,还可以包括:修改模块,用于将解析记录表中解析文件的文件状态修改为已解析。
一种可能的实现方式,本申请提供的性能文件数据的处理装置,还可以包括:删除模块,用于响应于第二定时任务,删除预设时间戳前的解析记录表和性能文件。
第三方面,本申请提供了一种性能文件数据的处理设备,该性能文件数据的处理设备具有实现上述第一方面的方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机可以执行上述第一方面或第一方面中任一种可能的实现方式的性能文件数据的处理方法。
其中,第二方面至第四方面中任一种设计方式所带来的技术效果可参见第一方面中不同设计方式所带来的技术效果,此处不再赘述。
本申请中第二方面到第四方面及其各种实现方式的具体描述,可以参考第一方面及其各种实现方式中的详细描述;并且,第二方面到第四方面及其各种实现方式的有益效果,可以参考第一方面及其各种实现方式中的有益效果分析,此处不再赘述。
本申请的这些方面或其他方面在以下的描述中会更加简明易懂。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种性能文件数据的处理系统的一个结构示意图;
图2为本申请实施例提供的一种性能文件数据的处理设备的一个结构示意图;
图3为本申请实施例提供的一种性能文件数据的处理方法的一个流程示意图;
图4为本申请实施例提供的一种性能文件数据的处理方法的一个具体流程图;
图5为本申请实施例提供的一种性能文件数据的处理方法的另一个流程示意图;
图6为本申请实施例提供的一种性能文件数据的处理方法的另一个具体流程图;
图7为本申请实施例提供的一种性能文件数据的处理方法的一个具体示例图;
图8为本申请实施例提供的一种性能文件数据的处理方法的另一个具体示例图;
图9为本申请实施例提供的一种性能文件数据的处理装置的另一个结构示意图;
图10为本申请实施例提供的一种性能文件数据的处理装置的再一个结构示意图;
图11为本申请实施例提供的一种性能文件数据的处理设备的一个结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请的描述中,除非另有说明,“/”表示前后关联的对象是一种“或”的关系,例如,A/B可以表示A或B;本申请中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。并且,在本申请的描述中,除非另有说明,“多个”是指两个或多于两个。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a,b,c,a-b,a-c,b-c,或a-b-c,其中a,b,c可以是单个,也可以是多个。另外,为了便于清楚描述本申请实施例的技术方案,在本申请的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。同时,在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念,便于理解。
此外,本申请实施例描述的网络架构以及业务场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着网络架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
为了便于理解,先对本申请涉及的相关技术术语进行解释。
文件传输协议(SSH fi le transfer protocol,也称secret fi le trans ferprotocol,sftp),是一种安全的文件传输协议,一种通过网络传输文件的安全方法。它是利用一组实用程序提供对远程计算机的安全访问以提供安全通信,利用安全套接字外壳或安全外壳(secure shel l,SSH),通常也称为“安全外壳文件传输协议”。
sftp服务器,是一个帮助用户通过SSH文件传输协议或支持安全套接字协议(secure sockets layer,SSL)或安全传输层协议(transport layer securi ty,TLS)的文件传输协议(fi le transfer protocol,FTP)等文件传输协议来安全传输文件的工具。传输可以通过服务器到服务器模型或客户端到服务器模型来实现。
性能文件由若干条记录组成。每条记录保存的是一个性能指标组的相关测量对象的性能数据值。性能指标组中包括一个或多个性能指标。
正则匹配,将字符串按照正则表达式的规则进行拆分,并返回指定的字符。
目前,现有的5G核心网网元数据采集解析方法在5G专网实际的应用场景中主要存在以下四个问题:
1)在采集核心网网元数据时,由于每个核心网网元数据的采集时间存在差异,导致上传到上层sftp服务器时间不固定,传统的网元数据采集方式为通过定时采集,例如一小时采集一次,该种采集方式存在数据延迟较高的问题,不利于数据实时性查阅以及后期的数据分析。
2)传统的采集方式对于核心网中每个网元的每个时间点性能文件仅采集一次,如果系统发生异常或者文件未及时传递,则会出现单个时间点网元性能数据缺失的情况,该采集方式容易因为系统或服务器故障等原因造成数据缺失。
3)传统的采集方式按照测量集采集网元性能文件数据并封装为一行数据存储到数据库中,因为网元中存在大量的测量集,导致单个网元在单个时间点存在多行数据,解析过程较为复杂,且容易造成较大的数据库存储压力。
4)传统的采集方式为硬编码采集,采集到的网元性能文件数据中的网元类型、网元对象、网元指标等数据均以常量的方式存储,不可以进行修改。如果需要变更解析配置,则需要进行二次开发,这需要研发人员支撑且对编码较为熟悉,不利于后续对核心网网元数据进行处理。
基于此,本申请提供了一种性能文件数据的处理方法,其基本原理为:响应于实时任务,获取解析记录表,解析记录表中包括:性能文件名称和性能文件的文件状态。若性能文件的文件状态为未解析,获取服务器中存储的性能文件名称对应的性能文件,进而解析该性能文件,确定性能文件数据,并将解析后的性能文件数据封装至实体类中。
本申请通过获取预先配置的解析记录表,根据该解析记录表,获取sftp服务器中文件状态为未解析的性能文件,并对该性能文件进行自动解析等操作,可以有效提高性能文件数据的实时性、完整性、准确性。
下面将结合附图对本申请实施例的实施方式进行详细描述。
本申请提供的方案可以应用于图1示意的性能文件数据的处理系统100中,该系统包括:至少一个网元设备101、客户端102、服务器103。
其中,网元设备101,用于向客户端102上报网元设备101的网元数据。
客户端102,用于在接收到网元设备101上报的网元数据后,利用该网元数据构建解析记录表,同时客户端102还用于通过本申请提供的一种性能文件数据的处理方法,响应于实时任务,获取该解析记录表,若解析记录表中记载的性能文件的文件状态为未解析,获取服务器103中存储的与该性能文件的性能文件名称对应的性能文件,解析该性能文件得到性能文件数据,并将性能文件数据封装至实体类。
服务器103,用于存储网元设备101的性能文件。
需要说明的是,上述网元设备101的数量可以为一个或多个,本申请对网元设备101的数量不予限定。
进一步的,本申请提供的方案还可以应用于图2示意的性能文件数据的处理设备200,该设备包括:处理器201、存储器202。
其中,处理器201可以为中央处理器(central process ing unit,CPU),处理器201还可以为其他通用处理器、数字信号处理器(digi tal s ignal pro cessor,DSP)、专用集成电路(appl ication specific integrated circui t,ASIC)、现场可编程门阵列(field-programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
存储器202可以是易失性存储器(volati le memory),例如随机存取存储器(random-access memory,RAM);或者非易失性存储器(non-volati le memory),例如只读存储器(read-only memory,ROM),快闪存储器(fla sh memory),硬盘(hard disk drive,HDD)或固态硬盘(sol id-state dr ive,SSD);或者上述种类的存储器的组合,用于存储可实现本申请方法的应用程序、配置文件、数据信息或者其他内容。
处理器201通过运行或执行存储在存储器202内的软件程序和/或模块,以及调用存储在存储器202内的数据,执行如下功能:响应于实时任务,获取该解析记录表,若解析记录表中记载的性能文件的文件状态为未解析,获取服务器103中存储的与该性能文件的性能文件名称对应的性能文件,解析该性能文件得到性能文件数据,并将性能文件数据封装至实体类。
需要说明的是,上述图2示意的性能文件数据的处理设备200,仅为对本申请方案的应用场景的举例说明,并不是对本申请方案应用场景的限定。
下面将结合附图对本申请实施例的实施方式进行详细描述。
一方面,本申请提供了一种性能文件数据的处理方法,可以应用于上述的性能文件数据的处理系统100。如图3所示,本申请公开的性能文件数据的处理方法可以包括以下步骤:
S301,响应于实时任务,获取解析记录表。
其中,解析记录表包括:解析文件名称和解析文件的文件状态。
S302,若文件状态为未解析,获取服务器中存储的解析文件名称对应的性能文件。
具体的,若解析记录表中记录的解析文件的文件状态为未解析时,根据解析记录表中解析文件名称,从服务器中获取该解析文件名称对应的性能文件。
示例性的,若文件状态为未解析,从sftp服务器中获取核心网性能文件。由于性能文件是由网管按天来创建文件夹存放的,为了节省解析性能、提高解析效率,可以按照预设时间对性能文件重新进行分类,例如按照每十五分钟创建文件夹,将性能文件按照该文件夹重新存放。
S303,解析性能文件,确定性能文件数据,并将性能文件数据封装至实体类。
具体的,逐行获取性能文件的性能指标,根据该性能指标,获取性能指标对应的指标值,再利用正则匹配的方式,将性能指标替换为性能指标的指标值,最后将指标值输入至预设的引擎中,得到性能文件数据,进而将该性能文件数据封装至实体类。
示例性的,如图4所示,图4为本申请实施例提供的一种性能文件数据的处理方法的一个具体流程图。性能文件为xml文件,该xml文件中存储有<indicatorld>a b c d e</indicatorld>…<Value>Va Vb Vc Vd Ve</Value>。
其中,a、b、c、d、e为性能指标,Va、Vb、Vc、Vd、Ve为性能指标对应的指标值。
首先,对xml文件进行逐行遍历,确定性能指标,得到该xml文件中的性能指标a、b、c、d、e,进而将性能指标与配置表中的指标值进行匹配,解析得到对应的指标值Va、Vb、Vc、Vd、Ve,再通过正则匹配的方式,将配置表中计算公式中的性能指标替换为指标值。以性能指标a和性能指标b为例,性能指标a和性能指标b的计算公式为(a+b)/1000,通过正则匹配,将该计算公式中的性能指标替换为指标值,得到(Va+Vb)/1000,进而再将替换后的公式代入ScriptEndine脚本引擎中,计算得到最终结果,并将最终结果封装至实体类中。
进一步的,在解析性能文件,确定性能文件数据之后,将解析记录表中性能文件的文件状态修改为已解析。
进一步的,如图5所示,在S301之前,本申请提供的一种性能文件数据的处理方法,还包括:S304-S306。
S304,响应于第一定时任务,获取待解析的网元数据。
网元数据包括以下一个或多个:网元信息、网元指标。
示例性的,网元信息可以为网元设备的网元名称、网元id等等。网元指标可以为带宽、延迟、丢包率、吞吐量、可靠性、带宽利用率的等等。本申请对网元信息和网元指标不予限定。
S305,根据网元信息和网元指标,生成网元的解析配置表。
具体的,利用需要解析的网元信息和网元指标,生成网元的解析配置表。
示例性的,如表1所示,表1为解析配置表的一个具体示例图,网元的解析配置表可以包括:网元名称和该网元名称对应的网元指标。
解析配置表 |
网元名称 |
网元指标 |
表1解析配置表
进一步的,在生成网元的解析配置表之后,还可以获取第一定时任务的传参时间,若第一定时任务携带有传参时间,格式化传参时间并将格式化后的传参时间添加至解析配置表。若第一定时任务不携带传参时间,获取当前时间戳,格式化当前时间戳,并将格式化后的当前时间戳添加至解析配置表。
示例性的,如图6所示,图6为本申请实施例提供的一种性能文件数据的处理方法的另一个具体流程图。首先,响应于第一定时任务,查询应采集的网元,获取该网元采集时的定时任务的传参时间,若该定时任务带有传参时间,格式化该传参时间,并将格式化后的传参时间添加至解析配置表中。若该定时任务不带有传参时间,获取当前时间戳,并将当前时间戳进行格式化至最近时间戳刻度,再将该最近时间戳刻度添加至解析配置表中。进而生成检查时间戳之前24小时的数据的指令,以防止之前因为服务器异常或网络异常造成的未生成记录的情况,若缺失记录,则生成缺失记录以方便补采数据。
需要说明的是,生成检查时间戳之前24小时的数据的指令可以用于指示自动检查该时间戳24小时之前,每一预设采集时间戳是否存在对应的网元数据采集记录。也可以用于指示生成数据检查消息,用于提醒用于核对该时间戳24小时之前每一预设采集时间戳是否存在对应的网元数据采集记录。本申请对此不予限定。
S306,根据预设规则和解析配置表,生成性能文件的解析记录表。
具体的,根据文件命名规则和解析配置表,生成解析配置表对应的解析文件的文件名。根据服务器路径规则为解析文件生成存储记录。
例如,如表2所示,表2为解析记录表的一个具体示例图,解析记录表可以包括:解析文件的解析文件名称和解析文件的文件状态。
解析记录表 |
解析文件名称 |
文件状态 |
表2解析记录表
示例性的,如图6所示,在生成检查时间戳之前24小时的数据的指令之后,根据应采集的网元信息以及时间戳,生成解析配置表对应的解析文件的解析文件名称,例如,解析文件的解析文件名称可以为yyyyMMddHHmmss_yyyyMMddHHmmss_neName.xml.gz。其中,yyyyMMddHHmmss表示时间戳,neName表示网元信息中网元设备的网元名称。进而,再根据sftp服务器的路径规则,定时为解析文件生成存储记录,并将该解析文件的文件状态设置为未解析状态。
进一步的,如图5所示,在S303之后,本申请提供的一种性能文件数据的处理方法,还可以包括:S307。
S307,响应于第二定时任务,删除预设时间戳之前的解析记录表和性能文件。
示例性的,响应于第二定时任务,删除一周前的解析记录表和sftp服务器上的性能文件。
本申请通过预先配置需要解析的网元数据,将网元数据与代码分离,方便后续对网元信息增删和网元指标变更,然后通过定时任务将网元信息、网元指标、文件状态以及时间戳等数据配置成解析记录表。进而根据预先配置的解析记录表,获取sftp服务器中文件状态为未解析的性能文件,并对该性能文件进行自动解析等操作,可以有效提高性能文件数据的实时性、完整性、准确性。
下面将通过具体的示例,对上述图3-图6示意的方案进行详细描述。
实施例1
如图7所示,首先长期配置要解析的网元数据,获取网元信息和网元指标,利用网元数据中的网元信息和网元指标构建解析配置表。响应于定时任务,根据预设的文件名规则和解析配置表,生成解析配置表对应的解析文件的文件名,再根据服务器路径规则为解析文件生成存储路径,同时设置该解析文件的文件状态为未解析,由解析文件的文件名和文件状态组成解析文件的解析记录表。
进一步的,在接收到实时任务时,获取解析记录表,若解析记录表中记录的解析文件的文件状态为未解析,登录sftp服务器,获取该sftp服务器中解析文件名称对应的性能文件,若该服务器中不存在解析文件名称对应的性能文件,结束流程。若该服务器中存在解析文件名称对应的性能文件,逐行获取性能文件的性能指标,根据该性能指标,获取性能指标对应的指标值,并利用正则匹配的方式,将性能指标替换为指标值,再将指标值输入至预设的ScriptEngine脚本引擎中,以计算出性能文件数据。存储并输出性能文件数据的同时,将解析记录表中该解析文件的文件状态修改为已解析。
再进一步的,响应于第二定时任务,定时删除距离第二定时任务对应的时间戳一周前的解析记录表以及sftp服务器上存储的性能文件。
实施例2
如图8所示,首先响应于实时任务,获取解析记录表,若解析记录表中解析文件的文件状态为未解析,获取sftp服务器中该解析文件的解析文件名称对应的性能文件,进而解析该性能文件。
首先,为了避免准备需要解析的性能文件数量较多导致每次解析直接存储数据库中将会导致数据库压力过大,创建解析数据需要存储的容器,获取待解析的性能文件,性能文件为xml文件时,首先将xml文件转化为xml对象,按照网元类型生成对应的实体类,进而再封装性能文件的公共信息,再查询解析配置表中的性能指标,通过逐行获取xml文件中的指标,并根据性能指标id对应关系。通过正则匹配的方式,将配置表中计算公式中嗯对指标id替换为指标值,再通过ScriptEngine脚本引擎计算得出最终值。进而,通过Java反射的方式,将性能指标的指标值赋值给指标实体类,再对性能指标按照公式进行二次计算、封装得到性能文件数据,以将不同指标集指标的性能文件数据封装到同一实体类中。若性能文件是upf文件,还需要解析dnn和dnai数据。再进一步的,将解析成功后的解析记录表的文件状态修改为已解析,同时将解析后的性能文件数据批量存储至数据库中。
最后,定期删除预设时间前的解析记录表以及sftp服务器中存储的性能文件。
上述主要从设备的工作原理的角度对本申请实施例提供的方案进行了介绍。可以理解的是,计算设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对计算设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下,图9示出了上述实施例中涉及的一种性能文件数据的处理装置的一种可能的组成示意图。如图9所示,该性能文件数据的处理装置900可以包括:获取模块901、解析模块902。
其中,获取模块901,用于支持性能文件数据的处理装置900执行图3所示的性能文件数据的处理方法的S301或S302。
解析模块902,用于支持性能文件数据的处理装置900执行图3所示的性能文件数据的处理方法的S303。
需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本申请实施例提供的性能文件数据的处理装置900,用于执行上述性能文件数据的处理方法,因此可以达到与上述性能文件数据的处理方法相同的效果。
进一步的,如图10所示,本申请实施例提供的性能文件数据的处理装置900还可以包括:替换模块903、确定模块904、生成模块905、格式化模块906、修改模块907、删除模块908。
其中,替换模块903,用于支持性能文件数据的处理装置900执行性能文件数据的处理方法中利用正则匹配,将性能指标替换为指标值的步骤。
确定模块904,用于支持性能文件数据的处理装置900执行性能文件数据的处理方法中确定性能文件数据的步骤。
生成模块905,用于支持性能文件数据的处理装置900执行性能文件数据的处理方法中根据网元信息和网元指标,生成网元的解析配置表或根据预设规则和解析配置表,生成解析文件的解析记录表的步骤。
格式化模块906,用于支持性能文件数据的处理装置900执行性能文件数据的处理方法中格式化传参时间或格式化当前时间戳的步骤。
修改模块907,用于支持性能文件数据的处理装置900执行性能文件数据的处理方法中将解析记录表中解析文件的文件状态修改为已解析的步骤。
删除模块908,用于支持性能文件数据的处理装置900执行性能文件数据的处理方法中删除预设时间戳前的解析记录表和性能文件的步骤。
本申请实施例还提供了一种性能文件数据的处理设备,如图11所示,该性能文件数据的处理设备1100可以包括存储器1101、处理器1102以及收发器1103,其中存储器1101和处理器1102之间可以通过总线或网络或其他方式连接,图11中以通过总线连接为例。
处理器1102可以为中央处理器(central process ing uni t,CPU)。处理器1102还可以为其他通用处理器、数字性能文件数据的处理器(digitals ignal processor,DSP)、专用集成电路(appl ication specific integrated circui t,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
处理器1102用于利用本申请提供的性能文件数据的处理方法,将虚拟世界边界控制权不属于同一服务器的参与碰撞的虚拟物体的控制权归属于同一服务器。
存储器1101可以是易失性存储器(volati le memory),例如随机存取存储器(random-access memory,RAM);或者非易失性存储器(non-volati le memory),例如只读存储器(read-only memory,ROM),快闪存储器(flash memory),硬盘(hard disk drive,HDD)或固态硬盘(sol id-state drive,SSD);或者上述种类的存储器的组合,用于存储可实现本申请方法的应用程序代码、配置文件、数据信息或者其他内容。
存储器1101作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本申请实施例中的例如元数据采集模块等等。处理器1102通过运行存储在存储器1101中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理。
存储器1101可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器1102所创建的数据等。此外,存储器1101可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中,存储器1101可选包括相对于处理器1102远程设置的存储器,这些远程存储器可以通过网络连接至处理器1102。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
存储器1101用于存储可实现本申请方法的影响区域的创建数据、影响区域的删除数据以及虚拟物体的控制数据。
收发器1103用于性能文件数据的处理设备1100与其他设备的信息交互。
所述一个或者多个模块存储在所述存储器1101中,当被所述处理器1102执行时,执行如图3所示实施例中的性能文件数据的处理方法中客户端的功能。
本申请实施例还提供了一种计算机可读存储介质,其上存储有指令,该指令被执行时执行上述方法实施例中的性能文件数据的处理方法和相关步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (16)
1.一种性能文件数据的处理方法,其特征在于,包括:
响应于实时任务,获取解析记录表;所述解析记录表包括:解析文件名称和所述解析文件的文件状态;
若所述文件状态为未解析,获取服务器中存储的所述解析文件名称对应的性能文件;
解析所述性能文件,确定性能文件数据,并将所述性能文件数据封装至实体类。
2.根据权利要求1所述的方法,其特征在于,所述解析所述性能文件,确定性能文件数据,包括:
逐行获取所述性能文件的性能指标;
根据所述性能指标,获取所述性能指标对应的指标值;
利用正则匹配,将所述性能指标替换为指标值;
将所述指标值输入至预设的引擎中,确定所述性能文件数据;所述预设的引擎用于对所述指标值进行计算。
3.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
响应于第一定时任务,获取待解析的网元数据;所述网元数据包括以下一个或多个:网元信息、网元指标;
根据所述网元信息和所述网元指标,生成所述网元的解析配置表;
根据预设规则和所述解析配置表,生成所述解析文件的解析记录表。
4.根据权利要求3所述的方法,其特征在于,所述根据预设规则和所述解析配置表,生成所述解析文件的解析记录表,包括:
根据所述文件名规则和所述解析配置表,生成所述解析配置表对应的解析文件的文件名;
根据所述服务器路径规则为所述解析文件生成存储路径。
5.根据权利要求3所述的方法,其特征在于,所述方法,还包括:
获取所述第一定时任务的传参时间;
若所述第一定时任务携带有传参时间,格式化所述传参时间并将格式化后的所述传参时间添加至所述解析配置表;
若所述第一定时任务不携带传参时间,获取当前时间戳;
格式化所述当前时间戳,并将格式化后的所述当前时间戳添加至所述解析配置表。
6.根据权利要求1所述的方法,其特征在于,在所述解析所述性能文件,确定性能文件数据之后,还包括:
将所述解析记录表中所述解析文件的文件状态修改为已解析。
7.根据权利要求5或6所述的方法,其特征在于,还包括:
响应于第二定时任务,删除预设时间戳前的所述解析记录表和所述性能文件。
8.一种性能文件数据的处理装置,其特征在于,包括:
获取模块,用于响应于实时任务,获取解析记录表;所述解析记录表包括:性能文件名称和所述解析文件的文件状态;若所述文件状态为未解析,获取服务器中存储的所述解析文件名称对应的性能文件;
解析模块,用于解析所述性能文件,确定性能文件数据,并将所述性能文件数据封装至实体类。
9.根据权利要求8所述的装置,其特征在于,
所述获取模块,还用于逐行获取所述性能文件的性能指标;根据所述性能指标,获取所述性能指标对应的指标值;
所述装置,还包括:
替换模块,用于利用正则匹配,将所述性能指标替换为所述指标值;
确定模块,用于将所述指标值输入至预设的引擎中,确定所述性能文件数据;所述预设的引擎用于对所述指标值进行计算。
10.根据权利要求8所述的装置,其特征在于,
所述获取模块,还用于响应于第一定时任务,获取待解析的网元数据;所述网元数据包括以下一个或多个:网元信息、网元指标;
所述装置还包括:
生成模块,用于根据所述网元信息和所述网元指标,生成所述网元的解析配置表;根据预设规则和所述解析配置表,生成所述解析文件的解析记录表。
11.根据权利要求10所述的装置,其特征在于,
所述生成模块,具体用于根据所述文件名规则和所述解析配置表,生成所述解析配置表对应的解析文件的文件名;根据所述服务器路径规则为所述解析文件生成存储路径。
12.根据权利要求10所述的装置,其特征在于,
所述获取模块,还用于获取所述第一定时任务的传参时间;
所述装置,还包括:
格式化模块,用于若所述第一定时任务携带有传参时间,格式化所述传参时间并将格式化后的所述传参时间添加至所述解析配置表;
所述获取模块,还用于若所述第一定时任务不携带传参时间,获取当前时间戳;
所述格式化模块,还用于格式化所述当前时间戳,并将格式化后的所述当前时间戳添加至所述解析配置表。
13.根据权利要求8所述的装置,其特征在于,所述装置,还包括:
修改模块,用于将所述解析记录表中所述解析文件的文件状态修改为已解析。
14.根据权利要求12或13所述的装置,其特征在于,所述装置还包括:
删除模块,用于响应于第二定时任务,删除预设时间戳前的所述解析记录表和所述性能文件。
15.一种性能文件数据的处理设备,其特征在于,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器执行如权利要求1-7中任一项所述的性能文件数据的处理方法。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的性能文件数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310878847.9A CN116938668A (zh) | 2023-07-17 | 2023-07-17 | 一种性能文件数据的处理方法和装置、设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310878847.9A CN116938668A (zh) | 2023-07-17 | 2023-07-17 | 一种性能文件数据的处理方法和装置、设备、存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116938668A true CN116938668A (zh) | 2023-10-24 |
Family
ID=88383773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310878847.9A Pending CN116938668A (zh) | 2023-07-17 | 2023-07-17 | 一种性能文件数据的处理方法和装置、设备、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116938668A (zh) |
-
2023
- 2023-07-17 CN CN202310878847.9A patent/CN116938668A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110278211B (zh) | 一种基于区块链的数据检验方法及装置 | |
US8135827B2 (en) | Distributed capture and aggregation of dynamic application usage information | |
CN107634848B (zh) | 一种采集分析网络设备信息的系统和方法 | |
CN110287163B (zh) | 安全日志采集解析方法、装置、设备及介质 | |
US20080162690A1 (en) | Application Management System | |
CN105227405A (zh) | 监控方法及系统 | |
CN112039701A (zh) | 接口调用监控方法、装置、设备及存储介质 | |
CN112632129A (zh) | 一种码流数据管理方法、装置及存储介质 | |
JP2012216040A (ja) | ログ管理システム、ログ解析装置、ログ解析方法、およびログ解析プログラム | |
WO2021147319A1 (zh) | 一种数据处理方法、装置、设备及介质 | |
CN113141301A (zh) | 一种工作状态参数的处理方法以及装置 | |
CN116938668A (zh) | 一种性能文件数据的处理方法和装置、设备、存储介质 | |
CN113867890A (zh) | 一种日志采集方法、装置、介质 | |
CN112751722B (zh) | 数据传输质量监控方法和系统 | |
CN111897877B (zh) | 基于分布式思想的高性能高可靠数据共享系统及方法 | |
CN115878721A (zh) | 一种数据同步方法、装置、终端和计算机可读存储介质 | |
KR101345095B1 (ko) | 클러스터 환경 기반의 bgp 라우팅 정보 분석 방법 및 시스템 | |
Nystrøm | Network Performance in Hyperledger Fabric-Investigating the network resource consumption of transactions in a Distributed Ledger Technology system | |
CN108449343B (zh) | Ssh协议文本数据采集方法、采集器及计算机设备 | |
CN109684158A (zh) | 分布式协调系统的状态监控方法、装置、设备及存储介质 | |
CN114257643B (zh) | 一种日志传输方法及系统 | |
CN113411206B (zh) | 一种日志审计方法、装置、设备和计算机存储介质 | |
Zhao et al. | Rake: Semantics assisted network-based tracing framework | |
CN117370289A (zh) | 数据采集方法、装置和电子设备 | |
CN117792990A (zh) | 一种基于分布式网络的链路聚合方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |