CN114329253B - 一种网络运行数据查询方法、装置、设备及存储介质 - Google Patents

Abstract

本发明涉及一种网络运行数据查询方法、装置、设备及存储介质，包括：获取网络运行数据，其中所述网络运行数据包括字段数据以及时间数据；根据所述时间数据将所述字段数据存储至预设数据库中；建立汇聚表，根据所述时间数据，提取所述预设数据库中的待查询字段数据添加至所述汇聚表；根据所述汇聚表，查询满足预设要求的所述待查询字段数据。本发明提供的网络运行数据查询方法、装置、设备及存储介质，根据时间数据，将网络运行数据的字段数据以列进行存储，并进行压缩，建立汇聚表，根据查询要求以及汇聚表，查询对应数据，实现对海量数据的快速存储和查询。

Description

一种网络运行数据查询方法、装置、设备及存储介质

技术领域

本发明涉及数据查询技术领域，尤其涉及一种网络运行数据查询方法、装置、设备及存储介质。

背景技术

根据《中华人民共和国网络安全法》：采取监测、记录网络运行状态、网络安全事件的技术措施，并按照规定留存相关的网络运行数据不少于六个月。

因此，在企业中，保留用户上网产生的各种网络运行数据，首先符合国家政策，其次可针对网络中存在的各种问题，利用回溯网络运行数据得到优化方案，降低运维成本。对于大型企业，企业内部产生的各种网络运行数据是海量的。如何解决日志存储、回溯查询，迫在眉睫。

在目前的方案中，采用MySQL或者Hadoop等技术进行存储和查询。但这两种方案中MySQL由于是行式存储，在存储上太慢，且统计分析无法很好支持；而Hadoop需要多台机器协同工作，查询速度慢，对于一般企业成本太高，无法达到想要的效果。

发明内容

有鉴于此，有必要提供一种网络运行数据查询方法、装置、设备及存储介质，用以解决现有技术中需要多台机器协同进行数据查询，且查询速度慢、成本高的问题。

为达到上述技术目的，本发明采取了以下技术方案：

第一方面，本发明提供了一种网络运行数据查询方法，包括：

获取网络运行数据，其中，网络运行数据包括字段数据以及时间数据；

根据时间数据将字段数据存储至预设数据库中；

建立汇聚表，根据时间数据，提取预设数据库中的待查询字段数据添加至汇聚表；

根据汇聚表，查询满足预设要求的待查询字段数据。

优选的，根据时间数据将字段数据存储至预设数据库中，包括：

将字段数据的格式设置为预设格式；

根据时间数据，将字段数据以预设格式进行分区保存至预设数据库中。

优选的，将字段数据以预设格式进行分区保存，包括：

记录字段数据的概要信息，概要信息包括字段数据的当天数据量以及字段数据的占用内存大小；

根据字段数据的当天数据量以及占用内存大小进行分区，根据数据量以及分区结果对字段数据进行分别保存。

优选的，根据时间数据，将字段数据以预设格式进行分区保存，包括：根据时间数据，将超过预设时间阈值的字段数据不保存至预设数据库中。

优选的，根据时间数据将字段数据存储至预设数据库中，包括：

将字段数据中每个字段按列结合存储引擎进行存储；

根据预设算法，将字段数据中每个字段按列压缩后存储至预设数据库中。

优选的，建立汇聚表，根据时间数据，提取预设数据库中的待查询字段数据添加至汇聚表，包括：

根据时间数据以及预设方式，将待查询字段数据添加至汇聚表。

优选的，根据汇聚表，查询满足预设要求的待查询字段数据，包括：

根据预设查询条件，调度待查询字段数据的预汇聚表；

根据待查询字段数据的预汇聚表，查询并提取待查询字段数据。

第二方面，本发明还提供了一种网络运行数据查询装置，包括：

获取模块，用于获取网络运行数据，其中网络运行数据包括字段数据以及时间数据；

存储模块，用于根据时间数据将字段数据存储至预设数据库中；

汇聚模块，用于建立汇聚表，根据时间数据，提取预设数据库中的待查询字段数据添加至汇聚表；

查询模块，用于根据汇聚表，查询满足预设要求的待查询字段数据。

第三方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，

存储器，用于存储程序；

处理器，与存储器耦合，用于执行存储器中存储的程序，以实现上述任一种实现方式中的网络运行数据查询方法中的步骤。

第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述任一种实现方式中的网络运行数据查询方法中的步骤。

采用上述实施例的有益效果是：本发明提供的网络运行数据查询方法、装置、设备及存储介质，将网络运行数据的字段数据按照时间数据进行存储，并将字段数据进行压缩，再根据时间数据以及字段数据建立汇聚表，然后根据查询要求，查询满足要求的数据，实现了单台机器对大量数据的查询，降低了企业的成本，且提高了查询速度。

附图说明

图1为本发明提供的网络运行数据查询方法的一实施例的流程示意图；

图2 为本发明提供的网络运行数据查询装置的一实施例的结构示意图；

图3为本发明实施例提供的网络运行数据查询电子设备的结构示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本发明提供了一种网络运行数据查询方法、装置、设备及存储介质，以下分别进行说明。

请参阅图1，图1为本发明提供的网络运行数据查询方法的一实施例的流程示意图，本发明的一个具体实施例，公开了一种网络运行数据查询方法，包括：

S101、获取网络运行数据，其中，网络运行数据包括字段数据以及时间数据；

S102、根据时间数据将字段数据存储至预设数据库中；

S103、建立汇聚表，根据时间数据，提取预设数据库中的待查询字段数据添加至汇聚表；

S104、根据汇聚表，查询满足预设要求的待查询字段数据。

在步骤S101中，在网络设备终端运行时，会不断产生网络运行数据，这些数据监测、记录了网络运行状态，其中，时间数据记录了网络设备终端各种操作的时间，字段数据记录了网络设备终端的具体操作。

在步骤S102中，要实现对大量数据的快速查询，必选将数据按照要求进行存储，从而提升数据查询的速度。

在步骤S103中，汇聚表中可以记录根据时间数据的不同，记录字段数据内容，通过建立汇聚表，并将对应数据添加至汇聚表中，以便后续按照要求进行查找。

在步骤S104中，对数据进行查询时，会根据查询时间以及时间段内的数据量等相应的参数进行计算，给出具体需要查询的汇聚表，进行查询，并返回数据。

与现有技术相比，本实施例提供的网络运行数据查询方法、装置、设备及存储介质，将网络运行数据的字段数据按照时间数据进行存储，并将字段数据进行压缩，再根据时间数据以及字段数据建立汇聚表，然后根据查询要求，查询满足要求的数据，实现了单台机器对大量数据的查询，降低了企业的成本，且提高了查询速度。

在本发明的一些实施例中，根据时间数据将字段数据存储至预设数据库中，包括：

将字段数据的格式设置为预设格式；

根据时间数据，将字段数据以预设格式进行分区保存至预设数据库中。

在上述实施例中，预设格式为csv格式，将网络设备终端产生的字段数据以csv格式进行存储， csv文件是一种用来存储数据的纯文本文件，通常都是用于存放电子表格或数据的一种文件格式。之后还根据不同字段数据的时间数据不同，将字段数据以csv格式进行分区保存至预设数据库中。

预设数据库为clickhouse数据库，将字段数据以csv文件的格式插入到clickhouse数据库中，可以极大的提高数据插入的速率。

在本发明的一些实施例中，将字段数据以预设格式进行分区保存，包括：

记录字段数据的概要信息，概要信息包括字段数据的当天数据量以及字段数据的占用内存大小；

根据字段数据的当天数据量以及占用内存大小进行分区，根据数据量以及分区结果对字段数据进行分别保存。

在上述实施例中，将网络运行数据的各个字段按列进行划分，针对不同天的数据，保存为不同的文件。将网络运行数据进行分区，可以方便数据过滤、删除以及备份操作。另外，在进行数据查询时，会过滤需要处理的分区数据。记录的概要信息可以根据查询要求对数据进行查询。

在本发明的一些实施例中，根据时间数据，将字段数据以预设格式进行分区保存，包括：根据时间数据，将超过预设时间阈值的字段数据不保存至预设数据库中。

在上述实施例中，预设时间阈值可以人为设置，本实施例中的预设时间阈值为6个月，将超过6个月的网络运行数据可以保存到其他的服务器上，节约本服务器的存储空间。

需要说明的是，将字段数据进行分区保存至clickhouse数据库或者将超过预设时间阈值的字段数据不保存至clickhouse数据库，可以在判断字段数据是否满足条件后同步进行。

可以理解的是，不同天的网络运行数据会保存在不同的文件夹内，还可以方便的删除很久远的网络运行数据，从而减少对数据库删除语句的依赖性。

在本发明的一些实施例中，根据时间数据将字段数据存储至预设数据库中，包括：

将字段数据中每个字段按列结合存储引擎进行存储；

根据预设算法，将字段数据中每个字段按列压缩后存储至预设数据库中。

在上述实施例中，将网络运行数据按列并结合日志结构合并树存储：当按列存储时，数据只需要在列的尾部追加即可，不像按行存储，需要随机读写；预设算法为LZ4算法，另外不同网络运行数据之间有些字段高度相似，可以使用快速高效的LZ4算法将数据进行压缩，从而达到减少存储空间和加快存储速度的效果，使系统有更高的吞吐量。

在本发明的一些实施例中，建立汇聚表，根据时间数据，提取预设数据库中的待查询字段数据添加至汇聚表，包括：

根据时间数据以及预设方式，将待查询字段数据添加至汇聚表。

在上述实施例中，预设方式为通过定时器进行添加，网络运行数据中包括时间数据，通过时间数据以及设置定时器将字段数据添加至汇聚表中，实现按时填写汇聚表，减少了对语句的依赖性。

需要说明的是，将待查询字段数据进行压缩存储与建立汇聚表可以同步进行。

在本发明的一些实施例中，根据汇聚表，查询满足预设要求的待查询字段数据，包括：

根据预设查询条件，调度待查询字段数据的预汇聚表；

根据待查询字段数据的预汇聚表，查询并提取待查询字段数据。

在上述实施例中，对于网络运行数据来说，查询字段都是需要进行聚合计算，如果提前进行数据的预计算能将查询数据的量极大的减少，极大的提高查询速度，提高用户体验。

根据查询条件，进行调度计算找到需要查询的聚合表，查询到数据后还需返回。

为了更好实施本发明实施例中的网络运行数据查询方法，在网络运行数据查询方法基础之上，对应的，请参阅图2，图2 为本发明提供的网络运行数据查询装置的一实施例的结构示意图，本发明实施例提供了一种网络运行数据查询装置200，包括：

获取模块201，用于获取网络运行数据，其中网络运行数据包括字段数据以及时间数据；

存储模块202，用于将字段数据以预设格式存储至预设数据库中；

汇聚模块203，用于建立汇聚表，根据时间数据，将字段数据添加至汇聚表；

查询模块204，用于根据汇聚表，查询满足预设要求的网络运行数据。

这里需要说明的是：上述实施例提供的装置200可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。

请参阅图3，图3为本发明实施例提供的网络运行数据查询电子设备的结构示意图。基于上述网络运行数据查询方法，本发明还相应提供了一种网络运行数据查询设备，网络运行数据查询设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该网络运行数据查询设备包括处理器310、存储器320及显示器330。图3仅示出了电子设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

存储器320在一些实施例中可以是网络运行数据查询设备的内部存储单元，例如网络运行数据查询设备的硬盘或内存。存储器320在另一些实施例中也可以是网络运行数据查询设备的外部存储设备，例如网络运行数据查询设备上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，存储器320还可以既包括网络运行数据查询设备的内部存储单元也包括外部存储设备。存储器320用于存储安装于网络运行数据查询设备的应用软件及各类数据，例如安装网络运行数据查询设备的程序代码等。存储器320还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器320上存储有网络运行数据查询程序340，该网络运行数据查询程序340可被处理器310所执行，从而实现本申请各实施例的网络运行数据查询方法。

处理器310在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行存储器320中存储的程序代码或处理数据，例如执行网络运行数据查询方法等。

显示器330在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。显示器330用于显示在网络运行数据查询设备的信息以及用于显示可视化的用户界面。网络运行数据查询设备的部件310-330通过系统总线相互通信。

在一实施例中，当处理器310执行存储器320中网络运行数据查询程序340时实现如上的网络运行数据查询方法中的步骤。

本实施例还提供了一种计算机可读存储介质，其上存储有网络运行数据查询程序，该网络运行数据查询程序被处理器执行时实现以下步骤：

获取网络运行数据，其中，网络运行数据包括字段数据以及时间数据；

根据时间数据将字段数据存储至预设数据库中；

建立汇聚表，根据时间数据，提取预设数据库中的待查询字段数据添加至汇聚表；

根据汇聚表，查询满足预设要求的待查询字段数据。

综上，本实施例提供的一种网络运行数据查询方法、装置、设备及存储介质，将网络运行数据的字段数据按照时间数据进行存储，并将字段数据进行压缩，再根据时间数据以及字段数据建立汇聚表，然后根据查询要求，查询满足要求的数据，实现了单台机器对大量数据的查询，降低了企业的成本，且提高了查询速度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种网络运行数据查询方法，其特征在于，包括：

获取网络运行数据，其中，所述网络运行数据包括字段数据以及时间数据；

根据所述时间数据将所述字段数据存储至预设数据库中；

建立汇聚表，根据所述时间数据，提取所述预设数据库中的待查询字段数据添加至所述汇聚表；

根据所述汇聚表，查询满足预设要求的所述待查询字段数据；

其中，将所述字段数据中每个字段按列结合存储引擎进行存储；

根据预设算法，将所述字段数据中相似字段按列压缩后存储至所述预设数据库中；

根据所述时间数据以及预设方式，将所述待查询字段数据添加至所述汇聚表；

根据预设查询条件，调度待查询字段数据的预汇聚表；

根据所述待查询字段数据的预汇聚表，查询并提取待查询字段数据。

2.根据权利要求1所述的网络运行数据查询方法，其特征在于，所述根据所述时间数据将所述字段数据存储至预设数据库中，包括：

将所述字段数据的格式设置为预设格式；

根据所述时间数据，将所述字段数据以所述预设格式进行分区保存至所述预设数据库中。

3.根据权利要求2所述的网络运行数据查询方法，其特征在于，所述将所述字段数据以所述预设格式进行分区保存，包括：

记录所述字段数据的概要信息，所述概要信息包括所述字段数据的当天数据量以及所述字段数据的占用内存大小；

根据所述字段数据的当天数据量以及占用内存大小进行分区，根据所述数据量以及分区结果对所述字段数据进行分别保存。

4.根据权利要求2所述的网络运行数据查询方法，其特征在于，根据所述时间数据，将所述字段数据以所述预设格式进行分区保存，包括：根据所述时间数据，将超过预设时间阈值的所述字段数据不保存至所述预设数据库中。

5.一种网络运行数据查询装置，其特征在于，包括：

获取模块，用于获取网络运行数据，其中所述网络运行数据包括字段数据以及时间数据；

存储模块，用于根据所述时间数据将所述字段数据存储至预设数据库中；

汇聚模块，用于建立汇聚表，根据所述时间数据，提取所述预设数据库中的待查询字段数据添加至所述汇聚表；

查询模块，用于根据所述汇聚表，查询满足预设要求的所述待查询字段数据；

其中，将所述字段数据中每个字段按列结合存储引擎进行存储；

根据预设算法，将所述字段数据中相似字段按列压缩后存储至所述预设数据库中；

根据所述时间数据以及预设方式，将所述待查询字段数据添加至所述汇聚表；

根据预设查询条件，调度待查询字段数据的预汇聚表；

根据所述待查询字段数据的预汇聚表，查询并提取待查询字段数据。

6.一种电子设备，其特征在于，包括存储器和处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1-4中任一项所述网络运行数据查询方法的步骤。

7.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1-4中任一项所述网络运行数据查询方法的步骤。

Images