CN115617764A - 网络云性能数据入库方法、装置及电子设备 - Google Patents

网络云性能数据入库方法、装置及电子设备 Download PDF

Info

Publication number
CN115617764A
CN115617764A CN202211275429.2A CN202211275429A CN115617764A CN 115617764 A CN115617764 A CN 115617764A CN 202211275429 A CN202211275429 A CN 202211275429A CN 115617764 A CN115617764 A CN 115617764A
Authority
CN
China
Prior art keywords
file
performance data
target
data file
storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211275429.2A
Other languages
English (en)
Inventor
陈小超
郑才华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Communication Information System Co Ltd
Original Assignee
Inspur Communication Information System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Communication Information System Co Ltd filed Critical Inspur Communication Information System Co Ltd
Priority to CN202211275429.2A priority Critical patent/CN115617764A/zh
Publication of CN115617764A publication Critical patent/CN115617764A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种网络云性能数据入库方法、装置及电子设备，该方法包括：获取待入库性能数据文件，确定待入库性能数据文件的文件标识；在基于待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件的情况下，将目标数据文件从目标数据库中删除后，再将待入库性能数据文件存入目标数据库；在基于待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中不存在目标数据文件的情况下，将待入库性能数据文件存入目标数据库，以及将待入库性能数据文件的文件标识存入缓存库。本发明用以能够避免将性能数据重复存入数据库中，进而实现性能数据快速和完整的入库。

Description

网络云性能数据入库方法、装置及电子设备
技术领域
本发明涉及数据处理技术领域，尤其涉及一种网络云性能数据入库方法、装置及电子设备。
背景技术
随着网络功能虚拟化(NFV，Network FunctionVirtualization)技术的快速发展和普及，网络功能虚拟化技术被广泛运用在工业界和学术界，尤其是在通信研究领域中，网络功能虚拟化环境扮演着越来越重要的角色。网络功能虚拟化是指在传统的电信设备中，引入了虚拟机，实现电信应用与硬件的解耦，运营商可以实现硬件资源和网元功能的分开采购，对硬件资源、虚拟资源可以统一管理和调度。但是，传统电信设备的高可靠性、高性能是由电信厂商保证的。网络功能虚拟化之后，为了保证电信设备的高可靠性、高性能，如何进行故障定位，将是运营商面临的重大挑战。同时随着网络功能虚拟化云环境的广泛应用，大量企业级应用对网络功能虚拟化云环境的可靠性也提出了更高的要求，因此需要实现网络功能虚拟化的性能快速诊断和处理，以便快速响应支持企业应用的稳定性和连续性。
为了实现网络功能虚拟化的性能快速诊断和处理，需要加载网络云性能数据，目前，性能数据采用批处理进行加载方式以调高数据处理效率，当底层设备厂商上报数据中存在重复数据时，因存在重复数据，引发整批次任务无法加载成功，导致该批次的性能数据整体加载失败，最终影响性能数据完整度。因此，需要提供一种方法，能够避免将性能数据重复存入数据库中，进而实现性能数据快速和完整的入库。
发明内容
本发明提供一种网络云性能数据入库方法、装置及电子设备，用以能够避免将性能数据重复存入数据库中，进而实现性能数据快速和完整的入库。
本发明提供网络云性能数据入库方法，包括：
获取待入库性能数据文件，确定所述待入库性能数据文件的文件标识；
在基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件的情况下，将所述目标数据文件从所述目标数据库中删除后，再将所述待入库性能数据文件存入所述目标数据库；
在基于所述待入库性能数据文件的文件标识以及所述缓存库中的文件标识，确定所述目标数据库中不存在所述目标数据文件的情况下，将所述待入库性能数据文件存入所述目标数据库，以及将所述待入库性能数据文件的文件标识存入所述缓存库；
其中，所述目标性能文件为与所述待入库性能文件相同的文件。
根据本发明提供的网络云性能数据入库方法，所述获取待入库性能数据文件，包括：
接收操作支撑系统侧消息队列中的消息，基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件。
根据本发明提供的网络云性能数据入库方法，所述基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件，包括：
在所述消息队列中的消息为目标时段内的消息的情况下，对所述消息队列中的消息进行有效性确定；
在确定所述消息队列中的消息有效的情况下，基于所述消息队列中消息的文件列表，进行文件采集，基于所采集的文件生成目标文件格式的待入库性能数据文件。
根据本发明提供的网络云性能数据入库方法，所述基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件，还包括：
在所述消息队列中的消息为目标时段外的消息的情况下，将所述消息队列的消息先移动至抑制队列中，在目标时段内的消息对应的待入库性能数据文件存入所述目标数据库后，再基于所述抑制队列中的消息生成目标文件格式的待入库性能数据文件。
根据本发明提供的网络云性能数据入库方法，所述确定所述待入库性能数据文件的文件标识，包括：
确定所述待入库性能数据文件对应的数据周期、网元类型、业务主键以及周期位置标识；
将所述数据周期、网元类型以及业务主键拼接成关键字段，将所述关键字段与所述周期位置标识以键值对的方式组成所述待入库性能数据文件的文件标识。
根据本发明提供的网络云性能数据入库方法，所述基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件，包括：
在所述待入库性能数据文件的文件标识中的关键字段与所述缓存库中目标文件标识的关键字段相同的情况下，将所述待入库性能数据文件的文件标识中的周期位置标识与所述目标文件标识的周期位置标识进行比对；
在所述待入库性能数据文件的文件标识中的周期位置标识与所述目标文件标识的周期位置标识相同的情况下，确定所述目标数据库中存在目标数据文件。
本发明还提供一种网络云性能数据入库装置，包括：
获取模块，用于获取待入库性能数据文件，确定所述待入库性能数据文件的文件标识；
第一存储模块，用于在基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件的情况下，将所述目标数据文件从所述目标数据库中删除后，再将所述待入库性能数据文件存入所述目标数据库；
第二存储模块，用于在基于所述待入库性能数据文件的文件标识以及所述缓存库中的文件标识，确定所述目标数据库中不存在所述目标数据文件的情况下，将所述待入库性能数据文件存入所述目标数据库，以及将所述待入库性能数据文件的文件标识存入所述缓存库；
其中，所述目标性能文件为与所述待入库性能文件相同的文件。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述网络云性能数据入库方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述网络云性能数据入库方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述网络云性能数据入库方法。
本发明提供的网络云性能数据入库方法、装置及电子设备，通过待入库性能数据文件的文件标识，与缓存库中的文件标识进行比对，判断目标数据库中是否存在重复的性能数据文件，若目标数据库中存在重复的性能数据文件，则将目标数据库中重复的数据文件进行删除，再将待入库性能数据文件存入目标数据库，避免重复存储相同的数据文件，实现网络云性能数据快速和完整的入库。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的网络云性能数据入库方法的流程示意图之一；
图2是本发明提供的网络云性能数据入库方法的流程示意图之二；
图3是本发明提供的网络云性能数据入库装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的网络云性能数据入库方法、装置及电子设备。
如图1所示，本发明提供一种网络云性能数据入库方法，包括：
步骤110、获取待入库性能数据文件，确定所述待入库性能数据文件的文件标识。
可以理解的是，待入库性能数据文件中的性能数据，即是待入库的网络功能虚拟化性能数据。正常情况下，电信厂商的设备，按十五分钟周期定期将网络云性能数据上传至操作支撑系统，操作支撑系统对上传的网络云性能数据进行采集解析后存入数据库，然后进行周期汇总呈现以及性能自动诊断预警派单。
正常情况下，数据上报时延15分钟，即0点0分～0点15分的数据，需要在0点30分需要在前端呈现以及预警。由于电信厂商因数据补采重新上报、设备故障、网络中断以及部署的文件生产服务异常等各种因素，可能需要将数据重复上报，如果涉及重复数据量较大时，导致操作支撑系统层数据处理任务积压，影响正常的周期任务数据输出，导致无法快速及时的分析和预警，从而引发网络云相关网元设备故障无法及时通知和处理。
本实施例中的待入库性能数据文件，是基于电信厂商的设备上传的网络云性能数据生成。
每个待入库性能数据文件都对应有一个唯一的文件标识，用来区分不同的性能数据文件。
步骤120、在基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件的情况下，将所述目标数据文件从所述目标数据库中删除后，再将所述待入库性能数据文件存入所述目标数据库；其中，所述目标性能文件为与所述待入库性能文件相同的文件。
可以理解的是，当目标数据库中已存在待入库性能数据文件，则将目标数据库中重复的性能数据文件删除后，再将待入库性能数据文件存入目标数据库，避免目标数据库中重复存入相同的性能数据文件。其中，缓存库可以是远程字典服务(Redis，RemoteDictionary Server)库。
步骤130、在基于所述待入库性能数据文件的文件标识以及所述缓存库中的文件标识，确定所述目标数据库中不存在所述目标数据文件的情况下，将所述待入库性能数据文件存入所述目标数据库，以及将所述待入库性能数据文件的文件标识存入所述缓存库。
可以理解的是，在确定目标数据库中不存在待入库性能数据文件的情况下，直接将待入库性能数据文件存入目标数据库中即可，每个待入库性能数据文件在初次存入目标数据库中时，同时也会将待入库性能数据文件对应的文件标识存入缓存库中，以用于判断下一次的待入库性能数据文件是否已存在目标数据库中。
在一些实施例中，所述获取待入库性能数据文件，包括：
接收操作支撑系统侧消息队列中的消息，基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件。
可以理解的是，电信厂商设备将网络云性能数据以kafka实时消息方式推送给操作支撑系统侧，操作支撑系统在接收到网络云性能数据后存入消息队列。
目标文件格式可以是字符分隔值格式(CSV，Comma-Separated Values)。
在一些实施例中，所述基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件，包括：
在所述消息队列中的消息为目标时段内的消息的情况下，对所述消息队列中的消息进行有效性确定；
在确定所述消息队列中的消息有效的情况下，基于所述消息队列中消息的文件列表，进行文件采集，基于所采集的文件生成目标文件格式的待入库性能数据文件。
可以理解的是，目标时段可以是最近的2小时，对于电信厂商设备大量重复上报历史数据时，会影响正常的数据处理效率，如果按消息队列中的数据进行顺序采集，则影响正常数据处理时延，因此消息数据后，需要判断消息中的数据时间是否是2个小时内。
从消息队列读取消息时，判断读取的消息是否是最近2小时以内的数据，如果读取的消息是最近2小时内的数据，则立即对读取的消息进行解析，判断读取的消息是否有效。判断读取的消息是否有效，也即是判断读取的消息是否满足预设数据标准，若满足预设数据标准，则确定消息有效。
如果读取的消息有效，则根据消息的文件列表进行文件采集，在文件采集过程中，立即将采集的文件生成标准化CSV格式的待入库性能数据文件。
在一些实施例中，所述基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件，还包括：
在所述消息队列中的消息为目标时段外的消息的情况下，将所述消息队列的消息先移动至抑制队列中，在目标时段内的消息对应的待入库性能数据文件存入所述目标数据库后，再基于所述抑制队列中的消息生成目标文件格式的待入库性能数据文件。
可以理解的是，如果读取的消息不是最近2小时内的数据，则将读取的消息先移到抑制队列(即：抑制topic)中。在目标时段内的消息对应的待入库性能数据文件存入目标数据库后，再读取抑制队列中的消息，并判断抑制队列中的消息是否有效，若有效，则对抑制队列中的消息进行文件采集，在文件采集过程中，立即将采集的文件生成标准化CSV格式的待入库性能数据文件，处理流程需要消费抑制队列，逐一进行消费消息并文件入库，入库的流程按照步骤120、130执行。
在一些实施例中，所述确定所述待入库性能数据文件的文件标识，包括：
确定所述待入库性能数据文件对应的数据周期、网元类型、业务主键以及周期位置标识；
将所述数据周期、网元类型以及业务主键拼接成关键字段(即：key)，将所述关键字段与所述周期位置标识以键值对的方式组成所述待入库性能数据文件的文件标识。
可以理解的是，在判断待入库性能数据文件与目标数据库中的数据文件是否重复之前，需要设置每类性能数据文件的业务主键列序号。
在一些实施例中，所述基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件，包括：
在所述待入库性能数据文件的文件标识中的关键字段与所述缓存库中目标文件标识的关键字段相同的情况下，将所述待入库性能数据文件的文件标识中的周期位置标识与所述目标文件标识的周期位置标识进行比对；
在所述待入库性能数据文件的文件标识中的周期位置标识与所述目标文件标识的周期位置标识相同的情况下，确定所述目标数据库中存在目标数据文件。
可以理解的是，将数据周期时间日期、网元类型以及业务主键拼接成关键字段写入缓存库，周期位置标识用12个字节，96位(一天96个周期)，每一位的1代表这个周期数据已存在，如第一位的数值为1，则当天的0点0分的数据有数据(100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000)，如第二位数据数值为1，则表示0点15分周期有数据(110000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000)，以此类推。先判断缓存库中是否存在当前待入库性能数据文件对应的关键字段：
如果不存在，则在缓存库初始化插入关键字段，并初始化当前数据时间周期对应的当天中第几个周期，如果是第一个周期则表示0点0分，当前数据时间周期对应的周期位置标识为1，其他数据时间周期对应的周期标识位置为0；
如果存在，则检测缓存库中关键字段对应的周期位置标识是否为1：如果为1，则表示该记录已存在，需要删除该关键字段对应的目标数据库中的性能数据文件记录；如果不为1，则表示该记录为新记录，更新替换缓存库中的对应的周期位置标识为1。
对目标数据库中需要删除的记录，先根据表的业务主键进行删除；
将符合批量加载的数据文件，通过文件流方式批量加载到目标数据库中。
在本发明提供的另一些实施例中，网络云性能数据入库方法如图2所示，访问性能数据的统一资源定位系统(URL，Uniform Resource Locator)，获取JSON格式的性能数据，传入消息队列。
获取消息队列中的消息，对消息进行JSON格式解析，判断数据周期时间是否是2小时以外，若不是2小时以外，则判断消息是否有效，若是2小时以外，则先将消息加入抑制队列。
若消息确认有效，则根据统一资源定位系统确定消息是否下载成功，若成功，则进行文件读取，根据入库规则表名文件获取业务主键位置，判断Redis中是否存在重复的关键字段，若存在，则对Redis中的关键字段进行更新，删除数据库记录，若不存在，则直接将新的关键字段插入Redis。
接着，对待入库性能数据文件进行加载，若没有加载成功，则对文件去重后再重新进行加载，最后生成对应的性能表、记录日志、日志表。
综上所述，本发明提供的网络云性能数据入库方法，包括：获取待入库性能数据文件，确定所述待入库性能数据文件的文件标识；在基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件的情况下，将所述目标数据文件从所述目标数据库中删除后，再将所述待入库性能数据文件存入所述目标数据库；在基于所述待入库性能数据文件的文件标识以及所述缓存库中的文件标识，确定所述目标数据库中不存在所述目标数据文件的情况下，将所述待入库性能数据文件存入所述目标数据库，以及将所述待入库性能数据文件的文件标识存入所述缓存库；其中，所述目标性能文件为与所述待入库性能文件相同的文件。
本发明提供的网络云性能数据入库方法，通过待入库性能数据文件的文件标识，与缓存库中的文件标识进行比对，判断目标数据库中是否存在重复的性能数据文件，若目标数据库中存在重复的性能数据文件，则将目标数据库中重复的数据文件进行删除，再将待入库性能数据文件存入目标数据库，避免重复存储相同的数据文件，实现网络云性能数据快速和完整的入库。
下面对本发明提供的网络云性能数据入库装置进行描述，下文描述的网络云性能数据入库装置与上文描述的网络云性能数据入库方法可相互对应参照。
如图3所示，本发明提供的一种网络云性能数据入库装置300，包括：
获取模块310，用于获取待入库性能数据文件，确定所述待入库性能数据文件的文件标识；
第一存储模块320，用于在基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件的情况下，将所述目标数据文件从所述目标数据库中删除后，再将所述待入库性能数据文件存入所述目标数据库；
第二存储模块330，用于在基于所述待入库性能数据文件的文件标识以及所述缓存库中的文件标识，确定所述目标数据库中不存在所述目标数据文件的情况下，将所述待入库性能数据文件存入所述目标数据库，以及将所述待入库性能数据文件的文件标识存入所述缓存库；
其中，所述目标性能文件为与所述待入库性能文件相同的文件。
下面对本发明提供的电子设备、计算机程序产品及存储介质进行描述，下文描述的电子设备、计算机程序产品及存储介质与上文描述的网络云性能数据入库方法可相互对应参照。
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行网络云性能数据入库方法，该方法包括：
获取待入库性能数据文件，确定所述待入库性能数据文件的文件标识；
在基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件的情况下，将所述目标数据文件从所述目标数据库中删除后，再将所述待入库性能数据文件存入所述目标数据库；
在基于所述待入库性能数据文件的文件标识以及所述缓存库中的文件标识，确定所述目标数据库中不存在所述目标数据文件的情况下，将所述待入库性能数据文件存入所述目标数据库，以及将所述待入库性能数据文件的文件标识存入所述缓存库；
其中，所述目标性能文件为与所述待入库性能文件相同的文件。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的网络云性能数据入库方法，该方法包括：
获取待入库性能数据文件，确定所述待入库性能数据文件的文件标识；
在基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件的情况下，将所述目标数据文件从所述目标数据库中删除后，再将所述待入库性能数据文件存入所述目标数据库；
在基于所述待入库性能数据文件的文件标识以及所述缓存库中的文件标识，确定所述目标数据库中不存在所述目标数据文件的情况下，将所述待入库性能数据文件存入所述目标数据库，以及将所述待入库性能数据文件的文件标识存入所述缓存库；
其中，所述目标性能文件为与所述待入库性能文件相同的文件。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的网络云性能数据入库方法，该方法包括：
获取待入库性能数据文件，确定所述待入库性能数据文件的文件标识；
在基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件的情况下，将所述目标数据文件从所述目标数据库中删除后，再将所述待入库性能数据文件存入所述目标数据库；
在基于所述待入库性能数据文件的文件标识以及所述缓存库中的文件标识，确定所述目标数据库中不存在所述目标数据文件的情况下，将所述待入库性能数据文件存入所述目标数据库，以及将所述待入库性能数据文件的文件标识存入所述缓存库；
其中，所述目标性能文件为与所述待入库性能文件相同的文件。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种网络云性能数据入库方法，其特征在于，包括：
获取待入库性能数据文件，确定所述待入库性能数据文件的文件标识；
在基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件的情况下，将所述目标数据文件从所述目标数据库中删除后，再将所述待入库性能数据文件存入所述目标数据库；
在基于所述待入库性能数据文件的文件标识以及所述缓存库中的文件标识，确定所述目标数据库中不存在所述目标数据文件的情况下，将所述待入库性能数据文件存入所述目标数据库，以及将所述待入库性能数据文件的文件标识存入所述缓存库；
其中，所述目标性能文件为与所述待入库性能文件相同的文件。
2.根据权利要求1所述的网络云性能数据入库方法，其特征在于，所述获取待入库性能数据文件，包括：
接收操作支撑系统侧消息队列中的消息，基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件。
3.根据权利要求2所述的网络云性能数据入库方法，其特征在于，所述基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件，包括：
在所述消息队列中的消息为目标时段内的消息的情况下，对所述消息队列中的消息进行有效性确定；
在确定所述消息队列中的消息有效的情况下，基于所述消息队列中消息的文件列表，进行文件采集，基于所采集的文件生成目标文件格式的待入库性能数据文件。
4.根据权利要求3所述的网络云性能数据入库方法，其特征在于，所述基于所述消息队列中的消息生成目标文件格式的待入库性能数据文件，还包括：
在所述消息队列中的消息为目标时段外的消息的情况下，将所述消息队列的消息先移动至抑制队列中，在目标时段内的消息对应的待入库性能数据文件存入所述目标数据库后，再基于所述抑制队列中的消息生成目标文件格式的待入库性能数据文件。
5.根据权利要求1-4任一项所述的网络云性能数据入库方法，其特征在于，所述确定所述待入库性能数据文件的文件标识，包括：
确定所述待入库性能数据文件对应的数据周期、网元类型、业务主键以及周期位置标识；
将所述数据周期、网元类型以及业务主键拼接成关键字段，将所述关键字段与所述周期位置标识以键值对的方式组成所述待入库性能数据文件的文件标识。
6.根据权利要求5所述的网络云性能数据入库方法，其特征在于，所述基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件，包括：
在所述待入库性能数据文件的文件标识中的关键字段与所述缓存库中目标文件标识的关键字段相同的情况下，将所述待入库性能数据文件的文件标识中的周期位置标识与所述目标文件标识的周期位置标识进行比对；
在所述待入库性能数据文件的文件标识中的周期位置标识与所述目标文件标识的周期位置标识相同的情况下，确定所述目标数据库中存在目标数据文件。
7.一种网络云性能数据入库装置，其特征在于，包括：
获取模块，用于获取待入库性能数据文件，确定所述待入库性能数据文件的文件标识；
第一存储模块，用于在基于所述待入库性能数据文件的文件标识以及缓存库中的文件标识，确定目标数据库中存有目标数据文件的情况下，将所述目标数据文件从所述目标数据库中删除后，再将所述待入库性能数据文件存入所述目标数据库；
第二存储模块，用于在基于所述待入库性能数据文件的文件标识以及所述缓存库中的文件标识，确定所述目标数据库中不存在所述目标数据文件的情况下，将所述待入库性能数据文件存入所述目标数据库，以及将所述待入库性能数据文件的文件标识存入所述缓存库；
其中，所述目标性能文件为与所述待入库性能文件相同的文件。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述网络云性能数据入库方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述网络云性能数据入库方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述网络云性能数据入库方法。
CN202211275429.2A 2022-10-18 2022-10-18 网络云性能数据入库方法、装置及电子设备 Pending CN115617764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211275429.2A CN115617764A (zh) 2022-10-18 2022-10-18 网络云性能数据入库方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211275429.2A CN115617764A (zh) 2022-10-18 2022-10-18 网络云性能数据入库方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115617764A true CN115617764A (zh) 2023-01-17

Family

ID=84861861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211275429.2A Pending CN115617764A (zh) 2022-10-18 2022-10-18 网络云性能数据入库方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115617764A (zh)

Similar Documents

Publication Publication Date Title
CN112988485B (zh) 电力物联网设备模拟测试方法及装置
CN111010318A (zh) 发现物联网终端设备失联的方法、系统和设备影子服务器
CN113760677A (zh) 异常链路分析方法、装置、设备及存储介质
CN112650688A (zh) 自动化回归测试方法、关联设备以及计算机程序产品
CN108650123B (zh) 故障信息记录方法、装置、设备和存储介质
CN113918438A (zh) 服务器异常的检测方法、装置、服务器及存储介质
CN111209266B (zh) 一种基于Redis数据库的审计方法、装置及电子设备
CN112988220A (zh) 一种应用配置更新方法、装置、存储介质及服务器
CN112835591A (zh) 一种支持跨语言跨平台的运维配置管理方法及系统
CN112905197A (zh) 一种信息处理方法、装置、系统、电子设备及存储介质
CN114500249B (zh) 一种根因定位方法和装置
CN115617764A (zh) 网络云性能数据入库方法、装置及电子设备
CN112596750B (zh) 应用测试方法、装置、电子设备及计算机可读存储介质
US20230066698A1 (en) Compute instance warmup operations
CN114416420A (zh) 设备问题反馈方法和系统
CN113835916A (zh) 一种基于Ambari大数据平台的告警方法、系统及设备
CN113656210A (zh) 报错信息的处理方法、装置、服务器和可读存储介质
CN113238901A (zh) 多设备的自动化测试方法及装置、存储介质、计算机设备
CN113407451A (zh) 测试方法、装置、设备、存储介质及程序产品
CN113656378A (zh) 一种服务器管理方法、装置、介质
CN111381932A (zh) 触发应用程序更改的方法、装置、电子设备及存储介质
CN113778800B (zh) 一种报错信息处理方法、装置、系统、设备及存储介质
CN112051985B (zh) 事件触发方法、装置、电子设备及可读存储介质
CN112527637A (zh) 数据管理方法、装置、服务器及存储介质
CN115793968A (zh) 一种数据迁移方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination