CN112817967A - 流量数据存储方法、装置、电子设备及存储介质 - Google Patents

流量数据存储方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112817967A
CN112817967A CN202011643829.5A CN202011643829A CN112817967A CN 112817967 A CN112817967 A CN 112817967A CN 202011643829 A CN202011643829 A CN 202011643829A CN 112817967 A CN112817967 A CN 112817967A
Authority
CN
China
Prior art keywords
keyword
sub
index
keywords
corresponding relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011643829.5A
Other languages
English (en)
Other versions
CN112817967B (zh
Inventor
孙子坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Original Assignee
Beijing Topsec Technology Co Ltd
Beijing Topsec Network Security Technology Co Ltd
Beijing Topsec Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Topsec Technology Co Ltd, Beijing Topsec Network Security Technology Co Ltd, Beijing Topsec Software Co Ltd filed Critical Beijing Topsec Technology Co Ltd
Priority to CN202011643829.5A priority Critical patent/CN112817967B/zh
Publication of CN112817967A publication Critical patent/CN112817967A/zh
Application granted granted Critical
Publication of CN112817967B publication Critical patent/CN112817967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425—Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种流量数据存储方法、装置、电子设备及存储介质，所述方法包括：获取流量数据；其中，所述流量数据中包括：流量大小和表征所述流量数据的使用信息的关键字；基于所述关键字及预先存储的关键字和索引的第一对应关系表，确定所述第一对应关系表中是否存在与所述关键字对应的目标索引；若存在与所述关键字对应的目标索引，将所述目标索引和所述流量大小对应存储，实现流量数据的存储，与现有技术直接将关键字和流量大小对应存储相比，由于目标索引所占字节小于关键字，继而有效地提高内存利用率，特别地，流量数据越多，内存利用率被提升越明显。

Description

流量数据存储方法、装置、电子设备及存储介质
技术领域
本申请涉及网络安全技术领域，具体而言，涉及一种流量数据存储方法、装置、电子设备及存储介质。
背景技术
随着互联网应用种类、协议种类和网络流量的不断增加，为了保证网络安全，网络安全设备需要对网络流量进行多维度(例如：用户名称、源网络之间互连的协议(InternetProtocol，IP)地址、应用类型)、细粒度(多个维度组合)的统计和存储。然而，网络安全设备的存储资源有限，通常需要优先保证报文的正常转发以及安全业务的正常运行，继而导致可用于流量统计数据存储的存储资源进一步降低。因此，如何利用有限的存储资源，存储更多的流量数据是当前急需解决的问题。
然而，现有技术根据多个维度对流量数据进行细粒度统计并存储时，存储的流量统计数据中会存在较多重复的关键字，继而在各个维度的关键字所占字节数大，势必会降低导致网络安全设备的内存利用率。
发明内容
鉴于此，本申请实施例的目的在于提供一种流量数据存储方法、装置、电子设备及存储介质，以提高内存利用率。
第一方面，本申请实施例提供一种流量数据存储方法，所述方法包括：获取流量数据；其中，所述流量数据中包括：流量大小和表征所述流量数据的使用信息的关键字；基于所述关键字及预先存储的关键字和索引的第一对应关系表，确定所述第一对应关系表中是否存在与所述关键字对应的目标索引；若存在与所述关键字对应的目标索引，将所述目标索引和所述流量大小对应存储。
在上述实现过程中，通过预先存储关键字和索引的第一对应关系表，继而在获取到流量数据之后，根据流量数据中的关键字，从第一对应关系表中查找到对应的目标索引，通过将目标索引和流量大小对应存储，实现流量数据的存储，与现有技术直接将关键字和流量大小对应存储相比，由于目标索引所占字节小于关键字，继而有效地提高内存利用率，特别地，流量数据越多，内存利用率被提升越明显。
基于第一方面，在一种可能的设计中，所述方法还包括：若不存在与所述关键字对应的目标索引，生成与所述关键字对应的索引；在所述第一对应关系表中，新增所述关键字与所述索引的对应关系条目；将所述索引和所述流量大小对应存储。
在上述实现过程中，在第一对应关系表中不存在与所述关键字对应的索引时，生成对应的索引，并在第一对应关系表中新增所述关键字和索引的对应关系条目，继而保证后续获取到的流量数据中携带所述关键字时，能够查找到所述关键字所对应索引，同时，通过将所述索引和所述流量大小对应存储，实现对流量数据的存储。
基于第一方面，在一种可能的设计中，所述关键字的数量为至少两个且至少两个关键字分属不同关键字字段，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表；所述基于所述关键字及预先存储的关键字和索引的第一对应关系表，确定所述第一对应关系表中是否存在与所述关键字对应的目标索引，所述方法包括：确定出与各个关键字所属字段分别对应的子对应关系表；确定所述各个关键字在其对应的子对应关系表中，是否存在对应的子目标索引；若所述至少两个关键字中存在第一关键字和第二关键字，则确定所述第一对应关系表中不存在与所述关键字对应的目标索引；所述第一关键字对应的子对应关系表中存在对应的子目标索引；所述第二关键字对应的子对应关系表中不存在对应的子目标索引；相应的，所述若不存在与所述关键字对应的目标索引，生成与所述关键字对应的索引，包括：若不存在与所述第二关键字对应的子目标索引，针所述第二关键字，生成与所述第二关键字对应的子索引；相应的，所述在所述第一对应关系表中，新增所述关键字与所述索引的对应关系条目，包括：在所述第二关键字对应的子对应关系表中，新增所述第二关键字与所述子索引的对应关系条目；相应的，所述将所述索引和所述流量大小对应存储，包括：按照预设的关键字所属字段的排列顺序，将所述至少两个关键字各自对应的索引与所述流量大小对应存储。
在上述实现过程中，若所述流量数据中的关键字的数量为至少两个且至少两个关键字分属不同关键字字段，继而在本申请中，通过预先按照关键字字段将第一对应关系表划分为不同的子对应关系表，不同的关键字字段所对应的子对应关系表不同，并快速确定出与各个关键字所属字段分别对应的子对应关系表；确定所述各个关键字在其对应的子对应关系表中，是否存在对应的子目标索引；从而在至少两个关键字中存在第一关键字和第二关键字时，其中，第一关键字对应的子对应关系表中存在对应的子目标索引，第二关键字对应的子对应关系表中不存在对应的子目标索引，生成与第二关键字对应的子索引；在第二关键字对应的子对应关系表中，新增第二关键字与子索引的对应关系条目，以保正后续获取到的流量数据中存在第二关键字时，能够从第二关键字所属字段对应的子关系条目中，查找到对应的索引，同时，按照预设的关键字所属字段的排列顺序，将所述至少两个关键字各自对应的索引与所述流量大小对应存储，实现流量数据的存储，同时也便于准确确定存储的索引和流量大小的对应关系中的各个索引所代表的含义。
基于第一方面，在一种可能的设计中，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表，所述基于所述关键字及预先存储的关键字和索引的第一对应关系表，确定所述第一对应关系表中是否存在与所述关键字对应的目标索引，包括：确定出与所述关键字所属字段对应的目标子对应关系表；基于所述目标子对应关系表，确定所述目标子对应关系表中是否存在与所述关键字对应的目标索引。
在上述实现过程中，为了能够快速准确地查找出关键字对应的索引，因此，通过预先按照关键字字段将第一对应关系表划分为不同的子对应关系表，不同的关键字字段所对应的子对应关系表不同，可以理解的是，属于同一个关键字字段的关键字的数量可以为多个，因此，在获取到流量数据之后，根据流量数据中的关键字，快速地确定出与关键字所属字段对应的目标子对应关系表，由于目标子对应关系表的大小小于第一对应关系表，继而基于所述目标子对应关系表，能够快速确定目标子对应关系表中是否存在与关键字对应的目标索引。
基于第一方面，在一种可能的设计中，所述流量数据中还包括：时间信息；所述将所述目标索引和所述流量大小对应存储，包括：将所述时间信息、所述目标索引和所述流量大小对应存储。
在上述实现过程中，通过将所述时间信息、所述目标索引和所述流量大小对应存储，以便于后续根据时间信息去查询存储的流量数据。
第二方面，本申请实施例提供一种流量数据存储装置，所述装置包括：数据获取单元，用于获取流量数据；其中，所述流量数据中包括：流量大小和表征所述流量数据的使用信息的关键字；确定单元，用于基于所述关键字及预先存储的关键字和索引的第一对应关系表，确定所述第一对应关系表中是否存在与所述关键字对应的目标索引；第一存储单元，用于若存在与所述关键字对应的目标索引，将所述目标索引和所述流量大小对应存储。
基于第二方面，在一种可能的设计中，所述装置还包括：索引生成单元，用于若不存在与所述关键字对应的目标索引，生成与所述关键字对应的索引；新增单元，用于在所述第一对应关系表中，新增所述关键字与所述索引的对应关系条目；第二存储单元，用于将所述索引和所述流量大小对应存储。
基于第二方面，在一种可能的设计中，所述装置还包括：所述关键字的数量为至少两个且至少两个关键字分属不同关键字字段，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表；所述确定单元，具体用于确定出与各个关键字所属字段分别对应的子对应关系表；以及确定所述各个关键字在其对应的子对应关系表中，是否存在对应的子目标索引；其中，若所述至少两个关键字中存在第一关键字和第二关键字，则确定所述第一对应关系表中不存在与所述关键字对应的目标索引；所述第一关键字对应的子对应关系表中存在对应的子目标索引；所述第二关键字对应的子对应关系表中不存在对应的子目标索引；相应的，所述索引生成单元，具体用于若不存在与所述第二关键字对应的子目标索引，针所述第二关键字，生成与所述第二关键字对应的子索引；相应的，所述新增单元，具体用于在所述第二关键字对应的子对应关系表中，新增所述第二关键字与所述子索引的对应关系条目；相应的，所述第二存储单元，具体用于按照预设的关键字所属字段的排列顺序，将所述至少两个关键字各自对应的索引与所述流量大小对应存储。
基于第二方面，在一种可能的设计中，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表，所述确定单元，还用于确定出与所述关键字所属字段对应的目标子对应关系表；基于所述目标子对应关系表，确定所述目标子对应关系表中是否存在与所述关键字对应的目标索引。
基于第二方面，在一种可能的设计中，所述流量数据中还包括：时间信息；所述第一存储单元，还用于将所述时间信息、所述目标索引和所述流量大小对应存储。
第三方面，本申请实施例提供一种电子设备，包括处理器以及与所述处理器连接的存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行第一方面所述的方法。
第四方面，本申请实施例提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行第一方面所述的方法。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1本申请实施例提供的流量数据存储方法的流程示意图。
图2本申请实施例提供的流量数据存储装置的结构示意图。
图3本申请实施例提供的电子设备的结构示意。
图标：200-流量数据存储装置；210-数据获取单元；220-确定单元；230-第一存储单元；300-电子设备；301-处理器；302-存储器；303-通信接口。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1为本申请实施例提供的一种流量数据存储方法的流程图，下面将对图1所示的流程进行详细阐述，所述方法包括步骤：S11-S13。
S11：获取流量数据；其中，所述流量数据中包括：流量大小和表征所述流量数据的使用信息的关键字。
S12：基于所述关键字及预先存储的关键字和索引的第一对应关系表，确定所述第一对应关系表中是否存在与所述关键字对应的目标索引。
S13：若存在与所述关键字对应的目标索引，将所述目标索引和所述流量大小对应存储。
下面对上述方法进行详细介绍。
S11：获取流量数据；其中，所述流量数据中包括：流量大小和表征所述流量数据的使用信息的关键字。
在实际实施过程中，S11可以按照如下方式实施，基于预设时间间隔或者不定时地获取流量数据。
其中，关键字可以为：用户名称、源网络之间互连的协议(Internet Protocol，IP)地址、目的IP地址、应用类型等中的至少一种关键字，即流量数据中的关键字的数量可以为一个、两个或多个。
其中，流量大小可以为：上行流量大小、下行流量大小中的至少一种。
在获取到流量数据之后，执行步骤S12。
S12：基于所述关键字及预先存储的关键字和索引的第一对应关系表，确定所述第一对应关系表中是否存在与所述关键字对应的目标索引。
若关键字的数量为一个，S12可以按照如下方式实施，从所述流量数据中提取出所述关键字，基于所述关键字，确定预先存储的关键字和索引的第一对应关系表中，是否存在与所述关键字对应的目标索引。
若关键字的数量为至少两个，且至少两个关键字不同，S12可以按照如下方式实施，从所述流量数据中提取出所述至少两个关键字，确定预先存储的关键字和索引的第一对应关系表中，是否存在与所述至少两个关键字分别对应的目标索引；其中，若存在与所述至少两个关键字分别对应的目标索引，则确定所述第一对应关系表中是否存在与所述关键字对应的目标索引；反之，则确定所述第一对应关系表中不存在与所述关键字对应的目标索引。
若所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表，则作为一种实施方式，S12包括步骤：A1和A2。
A1：确定出与所述关键字所属字段对应的目标子对应关系表。
在获取到关键字之后，确定该关键字所属关键字字段，继而根据所述所属关键字字段，从所述第一对应关系表中，查找出与所述所属关键字字段对应的子对应关系表。
其中，在本实施例中，关键字段的划分准则为：将用户名称作为一个关键字字段，源IP地址作为以一个关键字字段，目的IP地址作为以一个关键字字段，应用类型作为一个关键字字段，其中，关键字段的划分准则根据用户需求设定。
例如，针对用户名称这个关键字字段，假设存在六个用户名称信息，其分别为“Uer0”、“Uer1”、“Uer2”、“Uer3”、“Uer4”、“Uer5”时，若上述六个用户名称信息对应的索引(User_index)依次为0、1、2、3、4、5，那么针对用户名称这个关键字段所建立的子对应关系表如表1所示。
Figure BDA0002873569690000081
表1
例如，针对源IP地址这个关键字字段，假设存在三个源IP地址信息，其分别为“192.168.1.100”、“192.168.1.101”、“192.168.1.102”，若上述三个源IP地址信息所对应的索引(Sip_index)为0、1、2，那么针对源IP地址这个关键字字段所建立的子对应关系表如表2所示。
Figure BDA0002873569690000091
表2
例如，针对应用类型这个关键字字段，假设存在两个应用类型信息，其分别为“微信”、“淘宝”，若上述两个应用类型信息所对应的索引(App_index)为0、1，那么针对应用类型这个关键字字段所建立的子对应关系表如表3所示。
Figure BDA0002873569690000092
表3
A2：基于所述目标子对应关系表，确定所述目标子对应关系表中是否存在与所述关键字对应的目标索引。
在实际实施过程中，A2可以按照如下方式实施，在确定出所述目标子对应关系表之后，基于所述关键字，确定所述目标子对应关系表中是否存在与所述关键字对应的目标索引。
所述关键字的数量为至少两个且至少两个关键字分属不同关键字字段，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表，则作为一种实施方式，S12包括步骤：B1和B2。
B1：确定出与各个关键字所属字段分别对应的子对应关系表。
在实际实施过程中，B1可以按照如下方式实施，针对所述至少两个关键字中的每个关键字，根据预先确定的关键字字段划分准则，确定该关键字所属字段，继而基于该关键字所属字段，从第一对应关系表中，确定该关键字所属字段所对应的子对应关系表。
B2：确定所述各个关键字在其对应的子对应关系表中，是否存在对应的子目标索引；其中，若所述至少两个关键字中存在第一关键字和第二关键字，则确定所述第一对应关系表中不存在与所述关键字对应的目标索引；所述第一关键字对应的子对应关系表中存在对应的子目标索引；所述第二关键字对应的子对应关系表中不存在对应的子目标索引。
在实际实施过程中，B2可以按照如下方式实施，针对所述至少两个关键字中的每个关键字，确定该关键字对应的子对应表中，是否存在与该关键字对应的子目标索引；若存在，则将该关键字视为第一关键字；若不存在，则将该关键字视为第二关键字。
若所述至少两个关键字中存在第一关键字和第二关键字，则确定所述第一对应关系表中不存在与所述关键字对应的目标索引。
若所述至少两个关键字中只存在第二关键字，则确定所述第一对应关系表中不存在与所述关键字对应的目标索引。
若所述至少两个关键字中只存在第一关键字，则确定所述第一对应关系表中存在与所述关键字对应的目标索引。
S13：若存在与所述关键字对应的目标索引，将所述目标索引和所述流量大小对应存储。
若所述关键字的数量为一个，S13可以按照如下方式实施，若存在与所述关键字对应的目标索引，将所述目标索引和所述流量大小对应存储。
若所述关键字的数量为至少两个，S13可以按照如下方式实施，按照预设的关键字所属字段的排列顺序，将所述至少两个关键字各自对应的索引与所述流量大小对应存储。
若所述至少两个关键字包括：User0，192.168.1.100，淘宝，参照表1，User0属于用户名称字段，其对应的索引为0；参照表2，192.168.1.100属于源IP地址字段，其对应的索引为0；参照表3，淘宝属于应用类型字段，其对应的索引为1；若预设的关键字所属字段的排列顺序为:用户名称字段-》源IP地址字段-》应用类型字段，那么，可以按照如下方式将0-》0-》1和所述流量大小对应存储。
若所述流量数据中还包括：时间信息；则作为一种实施方式，S13包括步骤：C。
C：将所述时间信息、所述目标索引和所述流量大小对应存储。
在实际实施过程中，C可以按照如下方式实施，在从流量数据中提取出所述时间信息之后，将所述时间信息、所述目标索引和所述流量大小对应存储。
作为一种实施方式，所述方法还包括步骤：D1-D3。
D1：若不存在与所述关键字对应的目标索引，生成与所述关键字对应的索引。
若所述流量数据中的关键字的数量为一个，D1可以按照如下方式实施，若所述第一对应关系表中不存在与所述关键字对应的目标索引，生成与所述关键字对应的索引。其中，所述索引与所述第一对应关系表中的索引的值不同。
若所述流量数据中的关键字的数量为至少两个，且至少两个关键字中只存在第二关键字，第二关键字对应的子对应关系表中不存在对应的子目标索引，第二关键字的数量为一个，则D1可以按照如下方式实施，若不存在与第二关键字对应的子目标索引，针第二关键字，生成与第二关键字对应的子索引。
若第二关键字的数量为至少两个，则D1可以按照如下方式实施，针对每个第二关键字，基于该第二关键字对应的子对应关系表中的索引，生成与该关第二关键字对应的子索引，以使所述对应的子索引与其对应的子对应关系表中的索引的值不同，以保证同一个子对应关系表中不存在相同的索引。
相应的，所述关键字的数量为至少两个且至少两个关键字分属不同关键字字段，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表；若至少两个关键字中存在第一关键字和第二关键字，相应的，作为一种实施方式，D1包括：若不存在与所述第二关键字对应的子目标索引，针所述第二关键字，生成与所述第二关键字对应的子索引。
D2：在所述第一对应关系表中，新增所述关键字与所述索引的对应关系条目。
若所述流量数据中的关键字的数量为一个，且在D1步骤中已经生成了与该关键字对应的索引之后，D2可以按照如下方式实施，在所述第一对应关系表中，新增所述关键字与所述索引的对应关系条目。
所述关键字的数量为至少两个且至少两个关键字分属不同关键字字段，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表；若所述至少两个关键字中存在第二关键字，相应的，作为一种实施方式，D2包括：在所述第二关键字对应的子对应关系表中，新增所述第二关键字与所述子索引的对应关系条目。
若第二关键字的数量为至少两个，D2可以按照如下方式实施，针对每个第二关键字，以及在步骤D1中生成的与该第二关键字对应的子索引，在该第二关键字所对应的子对应关系表中，新增该第二关键字与对应的子索引的对应关系条目。
D3：将所述索引和所述流量大小对应存储。
在实际实施过程中，D3可以按照如下方式实施，若所述流量数据中的关键字的数量为一个，则利用从流量数据中提取出的流量大小，以及步骤D1中生成的与该关键字对应的索引，将所述索引和所述流量大小对应存储。
若所述流量数据中还包括时间信息，D3可以按照如下方式实施，利用从流量数据中提取出的流量大小和时间信息，以及步骤D1中生成的与该关键字对应的索引，将所述索引、所述时间信息和所述流量大小对应存储。
所述关键字的数量为至少两个且至少两个关键字分属不同关键字字段，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表；若至少两个关键字中只存在第二关键字，相应的，作为一种实施方式，D3包括：按照预设的关键字所属字段的排列顺序，将所述至少两个关键字各自对应的索引与所述流量大小对应存储。
所述关键字的数量为至少两个且至少两个关键字分属不同关键字字段，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表；若至少两个关键字中存在第一关键字和第二关键字，相应的，作为一种实施方式，D3包括：按照预设的关键字所属字段的排列顺序，将所述至少两个关键字各自对应的索引与所述流量大小对应存储。
请参照图2，图2是本申请实施例提供的一种流量数据存储装置200的结构框图。下面将对图2所示的结构框图进行阐述，所示装置包括：
数据获取单元210，用于获取流量数据；其中，所述流量数据中包括：流量大小和表征所述流量数据的使用信息的关键字。
确定单元220，用于基于所述关键字及预先存储的关键字和索引的第一对应关系表，确定所述第一对应关系表中是否存在与所述关键字对应的目标索引。
第一存储单元230，用于若存在与所述关键字对应的目标索引，将所述目标索引和所述流量大小对应存储。
作为一种实施方式，所述装置还包括：索引生成单元，用于若不存在与所述关键字对应的目标索引，生成与所述关键字对应的索引；新增单元，用于在所述第一对应关系表中，新增所述关键字与所述索引的对应关系条目；第二存储单元，用于将所述索引和所述流量大小对应存储。
作为一种实施方式，所述装置还包括：所述关键字的数量为至少两个且至少两个关键字分属不同关键字字段，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表；所述确定单元220，具体用于确定出与各个关键字所属字段分别对应的子对应关系表；以及确定所述各个关键字在其对应的子对应关系表中，是否存在对应的子目标索引；其中，若所述至少两个关键字中存在第一关键字和第二关键字，则确定所述第一对应关系表中不存在与所述关键字对应的目标索引；所述第一关键字对应的子对应关系表中存在对应的子目标索引；所述第二关键字对应的子对应关系表中不存在对应的子目标索引；相应的，所述索引生成单元，具体用于若不存在与所述第二关键字对应的子目标索引，针所述第二关键字，生成与所述第二关键字对应的子索引；相应的，所述新增单元，具体用于在所述第二关键字对应的子对应关系表中，新增所述第二关键字与所述子索引的对应关系条目；相应的，所述第二存储单元，具体用于按照预设的关键字所属字段的排列顺序，将所述至少两个关键字各自对应的索引与所述流量大小对应存储。
作为一种实施方式，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表，所述确定单元220，还用于确定出与所述关键字所属字段对应的目标子对应关系表；基于所述目标子对应关系表，确定所述目标子对应关系表中是否存在与所述关键字对应的目标索引。
作为一种实施方式，所述流量数据中还包括：时间信息；所述第一存储单元230，还用于将所述时间信息、所述目标索引和所述流量大小对应存储。
本实施例对的各功能单元实现各自功能的过程，请参见上述图1所示实施例中描述的内容，此处不再赘述。
请参照图3，图3为本申请实施例提供的一种电子设备300的结构示意图，电子设备300可以是个人电脑(personal computer，PC)、平板电脑、智能手机、个人数字助理(personal digital assistant，PDA)等。
电子设备300可以包括：存储器302、处理301、通信接口303和通信总线，通信总线用于实现这些组件的连接通信。
所述存储器302用于存储本申请实施例提供的流量数据存储方法及装置对应的计算程序指令等各种数据，其中，存储器302可以是，但不限于，随机存取存储器(RandomAccess Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。
处理器301用于读取并运行存储于存储器中的流量数据存储方法和装置对应的计算机程序指令，以获取流量数据；其中，所述流量数据中包括：流量大小和表征所述流量数据的使用信息的关键字；基于所述关键字及预先存储的关键字和索引的第一对应关系表，确定所述第一对应关系表中是否存在与所述关键字对应的目标索引；若存在与所述关键字对应的目标索引，将所述目标索引和所述流量大小对应存储。
其中，处理器301可能是一种集成电路芯片，具有信号的处理能力。上述的处理器301可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
通信接口303，用于接收或者发送数据。
此外，本申请实施例还提供了一种存储介质，在该存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行本申请任一项实施方式所提供的方法。
综上所述，本申请各实施例提出的流量数据存储方法、装置、电子设备及存储介质，通过预先存储关键字和索引的第一对应关系表，继而在获取到流量数据之后，根据流量数据中的关键字，从第一对应关系表中查找到对应的目标索引，通过将目标索引和流量大小对应存储，实现流量数据的存储，与现有技术直接将关键字和流量大小对应存储相比，由于目标索引所占字节小于关键字，继而有效地提高内存利用率，特别地，在流量数据越多，内存利用率被提升越明显。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

Claims (10)

1.一种流量数据存储方法，其特征在于，所述方法包括：
获取流量数据；其中，所述流量数据中包括：流量大小和表征所述流量数据的使用信息的关键字；
基于所述关键字及预先存储的关键字和索引的第一对应关系表，确定所述第一对应关系表中是否存在与所述关键字对应的目标索引；
若存在与所述关键字对应的目标索引，将所述目标索引和所述流量大小对应存储。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若不存在与所述关键字对应的目标索引，生成与所述关键字对应的索引；
在所述第一对应关系表中，新增所述关键字与所述索引的对应关系条目；
将所述索引和所述流量大小对应存储。
3.根据权利要求2所述的方法，其特征在于，所述关键字的数量为至少两个且至少两个关键字分属不同关键字字段，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表；所述基于所述关键字及预先存储的关键字和索引的第一对应关系表，确定所述第一对应关系表中是否存在与所述关键字对应的目标索引，所述方法包括：
确定出与各个关键字所属字段分别对应的子对应关系表；
确定所述各个关键字在其对应的子对应关系表中，是否存在对应的子目标索引；
其中，若所述至少两个关键字中存在第一关键字和第二关键字，则确定所述第一对应关系表中不存在与所述关键字对应的目标索引；所述第一关键字对应的子对应关系表中存在对应的子目标索引；所述第二关键字对应的子对应关系表中不存在对应的子目标索引；
相应的，所述若不存在与所述关键字对应的目标索引，生成与所述关键字对应的索引，包括：若不存在与所述第二关键字对应的子目标索引，针所述第二关键字，生成与所述第二关键字对应的子索引；
相应的，所述在所述第一对应关系表中，新增所述关键字与所述索引的对应关系条目，包括：在所述第二关键字对应的子对应关系表中，新增所述第二关键字与所述子索引的对应关系条目；
相应的，所述将所述索引和所述流量大小对应存储，包括：按照预设的关键字所属字段的排列顺序，将所述至少两个关键字各自对应的索引与所述流量大小对应存储。
4.根据权利要求1所述的方法，其特征在于，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表，所述基于所述关键字及预先存储的关键字和索引的第一对应关系表，确定所述第一对应关系表中是否存在与所述关键字对应的目标索引，包括：
确定出与所述关键字所属字段对应的目标子对应关系表；
基于所述目标子对应关系表，确定所述目标子对应关系表中是否存在与所述关键字对应的目标索引。
5.根据权利要求1所述的方法，其特征在于，所述流量数据中还包括：时间信息；所述将所述目标索引和所述流量大小对应存储，包括：
将所述时间信息、所述目标索引和所述流量大小对应存储。
6.一种流量数据存储装置，其特征在于，所述装置包括：
数据获取单元，用于获取流量数据；其中，所述流量数据中包括：流量大小和表征所述流量数据的使用信息的关键字；
确定单元，用于基于所述关键字及预先存储的关键字和索引的第一对应关系表，确定所述第一对应关系表中是否存在与所述关键字对应的目标索引；
第一存储单元，用于若存在与所述关键字对应的目标索引，将所述目标索引和所述流量大小对应存储。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
索引生成单元，用于若不存在与所述关键字对应的目标索引，生成与所述关键字对应的索引；
新增单元，用于在所述第一对应关系表中，新增所述关键字与所述索引的对应关系条目；
第二存储单元，用于将所述索引和所述流量大小对应存储。
8.根据权利要求7所述的装置，其特征在于，所述关键字的数量为至少两个且至少两个关键字分属不同关键字字段，所述第一对应关系表包括根据不同的关键字字段划分的子对应关系表；
所述确定单元，具体用于确定出与各个关键字所属字段分别对应的子对应关系表；以及确定所述各个关键字在其对应的子对应关系表中，是否存在对应的子目标索引；其中，若所述至少两个关键字中存在第一关键字和第二关键字，则确定所述第一对应关系表中不存在与所述关键字对应的目标索引；所述第一关键字对应的子对应关系表中存在对应的子目标索引；所述第二关键字对应的子对应关系表中不存在对应的子目标索引；
相应的，所述索引生成单元，具体用于若不存在与所述第二关键字对应的子目标索引，针所述第二关键字，生成与所述第二关键字对应的子索引；
相应的，所述新增单元，具体用于在所述第二关键字对应的子对应关系表中，新增所述第二关键字与所述子索引的对应关系条目；
相应的，所述第二存储单元，具体用于按照预设的关键字所属字段的排列顺序，将所述至少两个关键字各自对应的索引与所述流量大小对应存储。
9.一种电子设备，其特征在于，包括存储器以及处理器，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器读取并运行时，执行如权利要求1-5中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序指令，所述计算机程序指令被计算机读取并运行时，执行如权利要求1-5中任一项所述的方法。
CN202011643829.5A 2020-12-30 2020-12-30 流量数据存储方法、装置、电子设备及存储介质 Active CN112817967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011643829.5A CN112817967B (zh) 2020-12-30 2020-12-30 流量数据存储方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011643829.5A CN112817967B (zh) 2020-12-30 2020-12-30 流量数据存储方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112817967A true CN112817967A (zh) 2021-05-18
CN112817967B CN112817967B (zh) 2023-09-29

Family

ID=75858270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011643829.5A Active CN112817967B (zh) 2020-12-30 2020-12-30 流量数据存储方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112817967B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150171A (zh) * 2022-06-30 2022-10-04 北京天融信网络安全技术有限公司 一种流量统计方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714134A (zh) * 2013-12-18 2014-04-09 中国科学院计算技术研究所 一种网络流量数据索引方法及系统
CN105939218A (zh) * 2016-04-15 2016-09-14 杭州迪普科技有限公司 网络流量的统计方法及装置
CN106648959A (zh) * 2016-09-07 2017-05-10 华为技术有限公司 数据存储的方法和存储系统
CN108710578A (zh) * 2018-04-20 2018-10-26 深圳市战音科技有限公司 基于闪存的数据存储方法和装置
CN110990403A (zh) * 2019-11-26 2020-04-10 深圳壹账通智能科技有限公司 业务数据的存储方法、系统、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103714134A (zh) * 2013-12-18 2014-04-09 中国科学院计算技术研究所 一种网络流量数据索引方法及系统
CN105939218A (zh) * 2016-04-15 2016-09-14 杭州迪普科技有限公司 网络流量的统计方法及装置
CN106648959A (zh) * 2016-09-07 2017-05-10 华为技术有限公司 数据存储的方法和存储系统
CN108710578A (zh) * 2018-04-20 2018-10-26 深圳市战音科技有限公司 基于闪存的数据存储方法和装置
CN110990403A (zh) * 2019-11-26 2020-04-10 深圳壹账通智能科技有限公司 业务数据的存储方法、系统、计算机设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150171A (zh) * 2022-06-30 2022-10-04 北京天融信网络安全技术有限公司 一种流量统计方法、装置、电子设备及存储介质
CN115150171B (zh) * 2022-06-30 2023-11-10 北京天融信网络安全技术有限公司 一种流量统计方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN112817967B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN109299110B (zh) 数据查询方法、装置、存储介质和电子设备
EP3347814B1 (en) Identifying software components in a software codebase
CN108090064B (zh) 一种数据查询方法、装置、数据存储服务器及系统
CN107798038B (zh) 数据响应方法及数据响应设备
US10783153B2 (en) Efficient internet protocol prefix match support on No-SQL and/or non-relational databases
CN109359250A (zh) 统一资源定位符处理方法、装置、服务器及可读存储介质
CN109413227B (zh) 基于多IPv6网络的IPv4用户访问IPv6网络互通装置和设备
US9363140B2 (en) System and method for analyzing and reporting gateway configurations and rules
CN103475584A (zh) 三态内容寻址存储器(tcam)查询方法和装置
CN111224878B (zh) 路由转发方法、装置、电子设备及存储介质
CN113242331B (zh) 不同类型的地址转换方法、装置、计算机设备及存储介质
CN111274204B (zh) 终端识别方法、生成移动设备标识组合码的方法及其装置
CN112887451A (zh) 域名解析方法、装置及计算机设备
CN115757545A (zh) 密文检索方法、存储方法、装置、电子设备及存储介质
CN112817967A (zh) 流量数据存储方法、装置、电子设备及存储介质
CN110851334A (zh) 流量统计方法、电子设备、系统及介质
CN110855525A (zh) 流量统计方法、电子设备、系统及介质
CN110874365B (zh) 一种信息查询方法及其相关设备
CN112052144B (zh) 信息管理方法、装置、电子设备及存储介质
CN112039916B (zh) 基于opc协议的通信方法、装置、电子设备及存储介质
CN112261134B (zh) 网络数据访问审计方法、装置、设备及存储介质
CN116600031B (zh) 报文处理方法、装置、设备及存储介质
CN106844396B (zh) 一种信息处理方法及电子设备
CN116366292B (zh) 报文处理方法、系统、存储介质及电子设备
CN111787007B (zh) 信息处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant