CN115544031A - 一种数据存储系统、方法及电子设备和存储介质 - Google Patents

一种数据存储系统、方法及电子设备和存储介质 Download PDF

Info

Publication number
CN115544031A
CN115544031A CN202110741922.8A CN202110741922A CN115544031A CN 115544031 A CN115544031 A CN 115544031A CN 202110741922 A CN202110741922 A CN 202110741922A CN 115544031 A CN115544031 A CN 115544031A
Authority
CN
China
Prior art keywords
data
ipfix
message middleware
time
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110741922.8A
Other languages
English (en)
Inventor
李德方
陈晓帆
朱林杰
杨兰平
马耀泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sangfor Technologies Co Ltd
Original Assignee
Sangfor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sangfor Technologies Co Ltd filed Critical Sangfor Technologies Co Ltd
Priority to CN202110741922.8A priority Critical patent/CN115544031A/zh
Publication of CN115544031A publication Critical patent/CN115544031A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2315—Optimistic concurrency control
    • G06F16/2322—Optimistic concurrency control using timestamps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种数据存储系统、方法及一种电子设备和一种计算机可读存储介质，该系统包括：消息中间件，用于获取IPFIX流数据，并将所述IPFIX流数据按照时间戳的顺序进行排序；时序数据库，用于从所述消息中间件中读取并存储排序完成的IPFIX流数据。本申请提供的数据存储系统，利用消息中间件将IPFIX流数据按照时间戳的顺序进行排序，时序数据库可以直接从消息中间件中读取排序完成的IPFIX流数据，并对其进行直接存储，时序数据库不需要对IPFIX流数据进行排序。由此可见，本申请提供的数据存储系统，实现了IPFIX流数据的高效存储。

Description

一种数据存储系统、方法及电子设备和存储介质
技术领域
本申请涉及计算机技术领域，更具体地说，涉及一种数据存储系统、方法及一种电子设备和一种计算机可读存储介质。
背景技术
IPFIX(IP Flow Information Export Protocol)是由IETF推出的一种基于Netflow v9发展而来的标准流数据导出协议，IPFIX数据一般从数据源按照一定的周期进行上传。
因此，如何实现IPFIX流数据的高效存储是本领域技术人员需要解决的技术问题。
发明内容
本申请的目的在于提供一种数据存储系统、方法及一种电子设备和一种计算机可读存储介质，实现了IPFIX流数据的高效存储。
为实现上述目的，本申请提供了一种数据存储系统，包括：
消息中间件，用于获取IPFIX流数据，并将所述IPFIX流数据按照时间戳的顺序进行排序；
时序数据库，用于从所述消息中间件中读取并存储排序完成的IPFIX流数据。
其中，所述消息中间件包括m个数据缓存区，每个所述数据缓存区中的IPFIX数据按照时间戳的顺序进行缓存；
相应的，所述消息中间件具体用于基于目标IPFIX数据的时间戳确定满足预设条件的目标数据缓存区，并将所述目标IPFIX数据缓存至所述目标数据缓存区中；
其中，所述预设条件为t’-(i+1)T/m≤t≤t’-iT/m，t’＝t0+[(t1-t0)/T]T，t0为所述IPFIX流数据初始到达所述消息中间件的时间，t1为当前时间，i为所述目标数据缓存区的标识，i＝0,1,…,m-1，T为t’的更新周期，t为所述目标IPFIX数据的时间戳。
其中，所述消息中间件具体为kafka，所述数据缓存区具体为partition。
其中，所述时序数据库具体用于创建m个进程，并利用所述进程从所述消息中间件中对应的数据缓存区中读取并存储排序完成的IPFIX数据；其中，所述进程与所述数据缓冲区一一对应。
其中，所述时序数据库具体用于从所述消息中间件中读取排序完成的IPFIX数据，对读取到的数据进行不同时间粒度的分表压缩操作，并对压缩得到的多个数据表进行分别封装；其中，所述时间粒度包括分钟级、小时级和天级中任一项或任几项的组合。
为实现上述目的，本申请提供了一种数据存储方法，包括：
消息中间件获取IPFIX流数据；其中，所述IPFIX流数据包括多个IPFIX数据；
所述消息中间件将所述IPFIX数据按照时间戳的顺序进行排序；
时序数据库从所述消息中间件中读取并存储排序完成的IPFIX数据。
其中，所述消息中间件包括m个数据缓存区，每个所述数据缓存区中的IPFIX数据按照时间戳的顺序进行缓存；
相应的，所述消息中间件将所述IPFIX数据按照时间戳的顺序进行排序，包括：
所述消息中间件基于目标IPFIX数据的时间戳确定满足预设条件的目标数据缓存区，并将所述目标IPFIX数据缓存至所述目标数据缓存区中；
其中，所述预设条件为t’-(i+1)T/m≤t≤t’-iT/m，t’＝t0+[(t1-t0)/T]T，t0为所述IPFIX流数据初始到达所述消息中间件的时间，t1为当前时间，i为所述目标数据缓存区的标识，i＝0,1,…,m-1，T为t’的更新周期，t为所述目标IPFIX数据的时间戳。
其中，所述消息中间件具体为kafka，所述数据缓存区具体为partition。
其中，所述时序数据库从所述消息中间件中读取并存储排序完成的IPFIX数据，包括：
所述时序数据库创建m个进程，并利用所述进程从所述消息中间件中对应的数据缓存区中读取并存储排序完成的IPFIX数据；其中，所述进程与所述数据缓冲区一一对应。
其中，所述时序数据库从所述消息中间件中读取并存储排序完成的IPFIX数据，包括：
所述时序数据库从所述消息中间件中读取排序完成的IPFIX数据，对读取到的数据进行不同时间粒度的分表压缩操作，并对压缩得到的多个数据表进行分别封装；其中，所述时间粒度包括分钟级、小时级和天级中任一项或任几项的组合。
为实现上述目的，本申请提供了一种电子设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述数据存储系统中消息中间件或时序数据库执行的步骤。
为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述数据存储系统中消息中间件或时序数据库执行的步骤。
通过以上方案可知，本申请提供的一种数据存储系统，包括：消息中间件，用于获取IPFIX流数据，并将所述IPFIX流数据按照时间戳的顺序进行排序；时序数据库，用于从所述消息中间件中读取并存储排序完成的IPFIX流数据。
本申请提供的数据存储系统，利用消息中间件将IPFIX流数据按照时间戳的顺序进行排序，时序数据库可以直接从消息中间件中读取排序完成的IPFIX流数据，并对其进行直接存储，时序数据库不需要对IPFIX流数据进行排序。由此可见，本申请提供的数据存储系统，实现了IPFIX流数据的高效存储。本申请还公开了一种数据存储方法及一种电子设备和一种计算机可读存储介质，同样能实现上述技术效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为根据一示例性实施例示出的一种数据存储系统的结构图；
图2为根据一示例性实施例示出的一种数据分表的示意图；
图3为根据一示例性实施例示出的一种数据存储方法的流程图；
图4为根据一示例性实施例示出的一种电子设备的结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，在本申请实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例公开了一种数据存储系统，实现了IPFIX流数据的高效存储。
参见图1，根据一示例性实施例示出的一种数据存储系统的结构图，如图1所示，包括：
消息中间件100，用于获取IPFIX流数据，并将所述IPFIX流数据按照时间戳的顺序进行排序；
在具体实施中，IPFIX流数据由数据源传入消息中间件100，消息中间件用于消除数据源数据的波动性，起到一个数据缓冲的作用，优选的，消息中间件可以为Kafka。
可以理解的是，在数据源向消息中间件100传输IPFIX流数据的过程中，无法保证其中的IPFIX数据按照时间顺序到达消息中间件100，因此消息中间件100需要对IPFIX流数据按照时间戳的先后进行排序，排序完成的IPFIX数据重新存入消息中间件。
需要说明的是，消息中间件100对IPFIX数据的排序需要实时进行，作为一种可行的实施方式，所述消息中间件100包括m个数据缓存区，每个所述数据缓存区中的IPFIX数据按照时间戳的顺序进行缓存；相应的，所述消息中间件100具体用于基于目标IPFIX数据的时间戳确定满足预设条件的目标数据缓存区，并将所述目标IPFIX数据缓存至所述目标数据缓存区中；其中，所述预设条件为t’-(i+1)T/m≤t≤t’-iT/m，t’＝t0+[(t1-t0)/T]T，t0为所述IPFIX流数据初始到达所述消息中间件的时间，t1为当前时间，i为所述目标数据缓存区的标识，i＝0,1,…,m-1，T为t’的更新周期，t为所述目标IPFIX数据的时间戳。
对于kafka来说，其中的数据缓存区具体为partition。在具体实施中，假设消息中间件100中数据缓存区的数量为m，IPFIX数据初始到达数据缓存区的时间为t0。排序的思路为将不同时间点的数据根据时间戳缓存至不同的数据缓存区中。IPFIX数据初始到达数据缓存区时，t’＝t0，若目标IPFIX数据的时间戳大于等于t’-(i+1)T/m且小于等于t’-iT/m，则将目标IPFIX数据缓存至第i个数据缓存区即目标数据缓存区中，其中，t’每隔T周期更新一次：t’＝t’+t0，也即对于当前时间t1来说，t’＝t0+[(t1-t0)/T]T，[]为取整符号。
时序数据库200，用于从所述消息中间件中读取并存储排序完成的IPFIX流数据。
在具体实施中，时序数据库200从消息中间件中读取排序完成的IPFIX流数据，并按照自身的流程进行数据存储。本实施例中的时序数据库200可以包括Druid数据库，在此不进行具体限定。
可以理解的是，若消息中间件100包括m个数据缓存区，则时序数据库100具体用于创建m个进程，并利用所述进程从所述消息中间件中对应的数据缓存区中读取并存储排序完成的IPFIX数据；其中，所述进程与所述数据缓冲区一一对应。在具体实施中，为了取得最好的数据读取效果，时序数据库200创建的进程数量与消息中间件100中的数据缓存区的数量相同，一个进程负责读取一个数据缓存区中的IPFIX数据，提高了数据读取效率。
在上述实施例的基础上，作为一种优选实施方式，所述时序数据库200具体用于从所述消息中间件中读取排序完成的IPFIX数据，对读取到的数据进行不同时间粒度的分表压缩操作，并对压缩得到的多个数据表进行分别封装；其中，所述时间粒度包括分钟级、小时级和天级中任一项或任几项的组合。
在具体实施中，对于存入时序数据库中的数据，首先根据不同的时间粒度进行重新的分表压缩，此处的时间粒度可以包括分钟级、小时级和天级等，数据分表如图2所示。分表压缩是周期性进行的，即每隔预设时间将IPFIX数据以上述时间粒度进行压缩，若时间粒度为15分钟，则将将同一条IPFIX流数据以15分钟为时间粒度钟进行一次数据统计值的计算，形成分钟粒度数据表。若时间粒度为1小时，则将将同一条IPFIX流数据以1小时为时间粒度钟进行一次数据统计值的计算，形成小时粒度数据表。若时间粒度为0.5天，则将将同一条IPFIX流数据以12小时为时间粒度钟进行一次数据统计值的计算，形成天粒度数据表
可以理解的是，数据压缩可以放在业务空闲的时间进行，且每一级细粒度的数据表都是下一级粗粒度数据表的输入，即分钟粒度数据表为小时粒度数据表的输入，小时粒度数据表为天粒度数据表的输入。
其次，时序数据库对压缩得到的数据表进行REST API的封装，以方便上层应用进行数据的查询。不同时间粒度的查询请求会被路由到不同的数据表之上，这样可以避免大量的实时计算，从而提升查询的反应时间。
本申请实施例提供的数据存储系统，利用消息中间件将IPFIX流数据按照时间戳的顺序进行排序，时序数据库可以直接从消息中间件中读取排序完成的IPFIX流数据，并对其进行直接存储，时序数据库不需要对IPFIX流数据进行排序。由此可见，本申请实施例提供的数据存储系统，实现了IPFIX流数据的高效存储。
下面对本申请实施例提供的一种数据存储方法进行介绍，下文描述的一种数据存储方法与上文描述的一种数据存储系统可以相互参照。
参见图3，根据一示例性实施例示出的一种数据存储方法的流程图，如图3所示，包括：
S101：消息中间件获取IPFIX流数据；其中，所述IPFIX流数据包括多个IPFIX数据；
S102：所述消息中间件将所述IPFIX数据按照时间戳的顺序进行排序；
S103：时序数据库从所述消息中间件中读取并存储排序完成的IPFIX数据。
本申请实施例提供的数据存储方法，利用消息中间件将IPFIX流数据按照时间戳的顺序进行排序，时序数据库可以直接从消息中间件中读取排序完成的IPFIX流数据，并对其进行直接存储，时序数据库不需要对IPFIX流数据进行排序。由此可见，本申请实施例提供的数据存储方法，实现了IPFIX流数据的高效存储。
在上述实施例的基础上，作为一种优选实施方式，所述消息中间件包括m个数据缓存区，每个所述数据缓存区中的IPFIX数据按照时间戳的顺序进行缓存；
相应的，所述消息中间件将所述IPFIX数据按照时间戳的顺序进行排序，包括：
所述消息中间件基于目标IPFIX数据的时间戳确定满足预设条件的目标数据缓存区，并将所述目标IPFIX数据缓存至所述目标数据缓存区中；
其中，所述预设条件为t’-(i+1)T/m≤t≤t’-iT/m，t’＝t0+[(t1-t0)/T]T，t0为所述IPFIX流数据初始到达所述消息中间件的时间，t1为当前时间，i为所述目标数据缓存区的标识，i＝0,1,…,m-1，T为t’的更新周期，t为所述目标IPFIX数据的时间戳。
在上述实施例的基础上，作为一种优选实施方式，所述消息中间件具体为kafka，所述数据缓存区具体为partition。
在上述实施例的基础上，作为一种优选实施方式，所述时序数据库从所述消息中间件中读取并存储排序完成的IPFIX数据，包括：
所述时序数据库创建m个进程，并利用所述进程从所述消息中间件中对应的数据缓存区中读取并存储排序完成的IPFIX数据；其中，所述进程与所述数据缓冲区一一对应。
在上述实施例的基础上，作为一种优选实施方式，所述时序数据库从所述消息中间件中读取并存储排序完成的IPFIX数据，包括：
所述时序数据库从所述消息中间件中读取排序完成的IPFIX数据，对读取到的数据进行不同时间粒度的分表压缩操作，并对压缩得到的多个数据表进行分别封装；其中，所述时间粒度包括分钟级、小时级和天级中任一项或任几项的组合。
基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种电子设备，图4为根据一示例性实施例示出的一种电子设备的结构图，如图4所示，电子设备包括：
通信接口1，能够与其它设备比如网络设备等进行信息交互；
处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的数据存储系统中消息中间件或时序数据库执行的步骤。而所述计算机程序存储在存储器3上。
当然，实际应用时，电子设备中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图4中将各种总线都标为总线系统4。
本申请实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。
可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器2旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。
处理器2执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。
在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种数据存储系统，其特征在于，包括：
消息中间件，用于获取IPFIX流数据，并将所述IPFIX流数据按照时间戳的顺序进行排序；
时序数据库，用于从所述消息中间件中读取并存储排序完成的IPFIX流数据。
2.根据权利要求1所述数据存储系统，其特征在于，所述消息中间件包括m个数据缓存区，每个所述数据缓存区中的IPFIX数据按照时间戳的顺序进行缓存；
相应的，所述消息中间件具体用于基于目标IPFIX数据的时间戳确定满足预设条件的目标数据缓存区，并将所述目标IPFIX数据缓存至所述目标数据缓存区中。
3.根据权利要求2所述数据存储系统，其特征在于，所述预设条件为t’-(i+1)T/m≤t≤t’-iT/m，t’＝t0+[(t1-t0)/T]T，t0为所述IPFIX流数据初始到达所述消息中间件的时间，t1为当前时间，i为所述目标数据缓存区的标识，i＝0,1,…,m-1，T为t’的更新周期，t为所述目标IPFIX数据的时间戳。
4.根据权利要求2所述数据存储系统，其特征在于，所述消息中间件具体为kafka，所述数据缓存区具体为partition。
5.根据权利要求2所述数据存储系统，其特征在于，所述时序数据库具体用于创建m个进程，并利用所述进程从所述消息中间件中对应的数据缓存区中读取并存储排序完成的IPFIX数据；其中，所述进程与所述数据缓冲区一一对应。
6.根据权利要求1所述数据存储系统，其特征在于，所述时序数据库具体用于从所述消息中间件中读取排序完成的IPFIX数据，对读取到的数据进行不同时间粒度的分表压缩操作，并对压缩得到的多个数据表进行分别封装；其中，所述时间粒度包括分钟级、小时级和天级中任一项或任几项的组合。
7.一种数据存储方法，其特征在于，包括：
消息中间件获取IPFIX流数据；其中，所述IPFIX流数据包括多个IPFIX数据；
所述消息中间件将所述IPFIX数据按照时间戳的顺序进行排序；
时序数据库从所述消息中间件中读取并存储排序完成的IPFIX数据。
8.根据权利要求7所述数据存储方法，其特征在于，所述消息中间件包括m个数据缓存区，每个所述数据缓存区中的IPFIX数据按照时间戳的顺序进行缓存；
相应的，所述消息中间件将所述IPFIX数据按照时间戳的顺序进行排序，包括：
所述消息中间件基于目标IPFIX数据的时间戳确定满足预设条件的目标数据缓存区，并将所述目标IPFIX数据缓存至所述目标数据缓存区中。
9.根据权利要求8所述数据存储方法，其特征在于，所述预设条件为t’-(i+1)T/m≤t≤t’-iT/m，t’＝t0+[(t1-t0)/T]T，t0为所述IPFIX流数据初始到达所述消息中间件的时间，t1为当前时间，i为所述目标数据缓存区的标识，i＝0,1,…,m-1，T为t’的更新周期，t为所述目标IPFIX数据的时间戳。
10.根据权利要求7所述数据存储方法，其特征在于，所述时序数据库从所述消息中间件中读取并存储排序完成的IPFIX数据，包括：
所述时序数据库从所述消息中间件中读取排序完成的IPFIX数据，对读取到的数据进行不同时间粒度的分表压缩操作，并对压缩得到的多个数据表进行分别封装；其中，所述时间粒度包括分钟级、小时级和天级中任一项或任几项的组合。
11.一种电子设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述数据存储系统中消息中间件或时序数据库执行的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述数据存储系统中消息中间件或时序数据库执行的步骤。
CN202110741922.8A 2021-06-30 2021-06-30 一种数据存储系统、方法及电子设备和存储介质 Pending CN115544031A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110741922.8A CN115544031A (zh) 2021-06-30 2021-06-30 一种数据存储系统、方法及电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110741922.8A CN115544031A (zh) 2021-06-30 2021-06-30 一种数据存储系统、方法及电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN115544031A true CN115544031A (zh) 2022-12-30

Family

ID=84722870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110741922.8A Pending CN115544031A (zh) 2021-06-30 2021-06-30 一种数据存储系统、方法及电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN115544031A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115801787A (zh) * 2023-01-29 2023-03-14 智道网联科技(北京)有限公司 路端数据传输方法、装置及电子设备、存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115801787A (zh) * 2023-01-29 2023-03-14 智道网联科技(北京)有限公司 路端数据传输方法、装置及电子设备、存储介质

Similar Documents

Publication Publication Date Title
US10445302B2 (en) Limiting blockchain size to optimize performance
CN110995616B (zh) 一种大流量服务器的管理方法、设备及可读介质
CN111966289B (zh) 基于Kafka集群的分区优化方法和系统
CN110445828B (zh) 一种基于Redis的数据分布式处理方法及其相关设备
CN112148504A (zh) 目标消息的处理方法及装置、存储介质及电子装置
CN114979158B (zh) 一种资源监控方法、系统、设备及计算机可读存储介质
CN111432247B (zh) 流量调度方法、装置、服务器及存储介质
CN112486915B (zh) 数据存储方法及装置
CN109614404A (zh) 一种数据缓存系统及方法
CN115544031A (zh) 一种数据存储系统、方法及电子设备和存储介质
CN108399175B (zh) 一种数据存储、查询方法及其装置
US9740587B2 (en) Distributing power usage data for low-level components of a computing device to subscribing programs
CN110471896A (zh) 一种数据处理方法、系统及服务器
CN114417200B (zh) 网络数据的采集方法、装置及电子设备
US10496467B1 (en) Monitoring software computations of arbitrary length and duration
CN110874268B (zh) 数据处理方法、装置和设备
CN111352897A (zh) 一种实时数据存储方法、设备、存储介质
WO2020155538A1 (zh) 视频处理方法、系统、计算机设备及存储介质
JP5538810B2 (ja) 監視のための大量データ記憶システム
CN110874267A (zh) 一种轮询调度方法、装置、存储介质及设备
CN111737297A (zh) 链路聚合调用信息的处理方法及装置
CN114710692B (zh) 多媒体文件处理方法和装置
CN113297192B (zh) 针对redis hash类型数据控制field过期的方法及系统
US20230132786A1 (en) Artificial intelligence based power consumption optimization
CN112887991B (zh) 网络质量分析方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination