CN114489505B - 数据报文的存储方法、装置、计算机设备 - Google Patents

数据报文的存储方法、装置、计算机设备 Download PDF

Info

Publication number
CN114489505B
CN114489505B CN202210073392.9A CN202210073392A CN114489505B CN 114489505 B CN114489505 B CN 114489505B CN 202210073392 A CN202210073392 A CN 202210073392A CN 114489505 B CN114489505 B CN 114489505B
Authority
CN
China
Prior art keywords
index
information
identifier
data
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210073392.9A
Other languages
English (en)
Other versions
CN114489505A (zh
Inventor
李林哲
杨斌
肖新光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Antiy Network Technology Co Ltd
Original Assignee
Beijing Antiy Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Antiy Network Technology Co Ltd filed Critical Beijing Antiy Network Technology Co Ltd
Priority to CN202210073392.9A priority Critical patent/CN114489505B/zh
Publication of CN114489505A publication Critical patent/CN114489505A/zh
Application granted granted Critical
Publication of CN114489505B publication Critical patent/CN114489505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供了一种数据报文的存储方法、装置、计算机设备，涉及网络安全技术领域，用于提高数据报文存储的有效性。方法主要包括：获取待存储数据报文对应的标识信息；判断索引区中是否存在与所述标识信息对应的索引信息；若不存在对应的索引信息，判断索引区中是否存在空的索引标识；若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；将目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除目标索引标识对应位置信息的数据报文；在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新所述老化表；将待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。

Description

数据报文的存储方法、装置、计算机设备
技术领域
本申请涉及网络安全技术领域，尤其涉及一种数据报文的存储方法、装置、计算机设备及存储介质。
背景技术
信息网络承载了越来越多的关键业务和应用，在新兴的网络应用和网络架构中，网络安全面临全新的挑战。现有IDS(Intrusion Detection Systems入侵检测系统)设备中仅存储发生告警的数据包，且存储的数据包在提取时，需要对全部留存的数据包进行逐个数据报文进行对比，通过对比每个存储的数据包中的源IP，目标IP，源端口，目的端口，协议来确定要提取的数据包，效率较低。
对所有报文使用通用数据库索引留存也是不现实的，这是因为在典型的千兆网络监控状况下，每日将产生数千万个数据报文，则对于目前已公开披露的任何通用数据库都是不可承受的工作负载。
发明内容
本申请实施例提供一种数据报文的存储方法、装置、计算机设备及存储介质，用于提高数据报文存储的有效性。
本发明实施例提供一种数据报文的存储方法，所述方法包括：
获取待存储数据报文对应的标识信息；
判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
在所述索引区中创建与所述标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新所述老化表；
将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
本发明实施例提供一种数据报文的存储装置，所述装置包括：
获取模块，用于获取待存储数据报文对应的标识信息；
判断模块，用于判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
所述判断模块，还用于若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
确定模块，用于若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
删除模块，用于将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
创建模块，用于在所述索引区中创建与所述标识信息对应的索引信息；
更新模块，用于根据创建的索引信息中的索引标识更新所述老化表；
存储模块，用于将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据报文的存储方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据报文的存储方法。
本发明提供一种数据报文的存储方法、装置、计算机设备及存储介质，本发明在获取到待存储数据报文对应的标识信息后，判断索引区中是否存在与标识信息对应的索引信息；若不存在对应的索引信息，则判断索引区中是否存在空的索引标识；若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识，然后将目标索引标识对应的记录从索引区和老化表中删除；并删除目标索引标识对应位置信息的数据报文；之后在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新老化表，最后将待存储数据报文存储到与创建的索引信息中位置信息对应的数据块中。即本发明在根据索引区确定无法进行数据存储时，需要根据老化表中的数据记录将最近未使用的数据删除，然后将待存储数据报文存储到对应的数据块中，从而提高了数据报文存储的有效性。
附图说明
图1为本申请提供的一种数据报文的存储方法流程图；
图2为本申请提供的另一种数据报文的存储方法流程图；
图3为本申请提供的一种数据报文的存储装置的结构示意图
图4为本申请提供的计算机设备的一种示意图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请实施例的技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请实施例技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
请参阅图1，本发明实施例提供的一种数据报文的存储方法，该方法具体包括步骤S101-步骤S107：
步骤S101，获取待存储数据报文对应的标识信息。
在本实施例中，待存储数据报文为需要进行存储的数据报文，该数据报文可以为出现告警的数据报文，也为某种特定类型的数据报文，本实施例对此不做具体限定。
本实施例在获取到待存储数据报文之后，从待存储数据报文中提取源IP(Internet Protocol Address，网际协议地址)、目的IP、源端口sport、目的端口dport、协议proto，然后根据提取的源IP、目的IP、源端口sport、目的端口dport、协议proto进行哈希计算或是红黑树计算，得到待存储数据报文对应的标识信息，然后通过该标识信息表示待存储数据报文。
步骤S102，判断索引区中是否存在与标识信息对应的索引信息。
在本实施例中，索引区存储有标识信息与索引信息的对应关系，索引信息中包括索引标识和位置信息。其中，索引标识具体可以通过数字进行标识，如索引标识具体可以为1、2、3、3…N，位置信息用于表示对应标识信息的数据报文的位置信息，具体的该位置信息可以指示对应数据报文所在的数据块。
例如，获取到待存储数据报文对应的标识信息为A，然后在索引区中查找是否存在标识信息A对应的索引信息，如果未查找到对应的索引信息，则需要跳转到步骤S103继续执行；如果查找到对应的索引信息，则获取索引信息中的位置信息，之后将待存储数据报文存储到该位置信息对应的数据块中。
步骤S103，若不存在对应的索引信息，判断索引区中是否存在空的索引标识。
在本实施例中，在确定不存在对应的索引信息之后，需要为待存储数据报文创建对应的索引信息，以便于对待存储数据报文进行存储。而在创建对应的索引信息之前，需要确定是否存在空的索引标识，如果存在空的索引标识，则可以直接进行创建；如果不存在空的索引标识，则需要删除最久未使用的索引标识，以便于创建新的索引信息，即在确定不存在空的索引标识之后，需要跳转到步骤S104继续执行。
具体的，本实施例可以通过空索引存储表，判断索引区中是否存在空的索引标识。其中，该空索引信息表中记录有空闲未使用的索引标识。例如，索引区中包括10000个索引，对应的索引标识分别为1-10000，若其中索引标识9000-10000为未进行使用的索引，则空索引存表中记录有索引标识9000-10000。
需要说明的是，索引区中索引标识的数量以及索引标识的具体表现形式可以是预先设定的。当在索引区中创建对应的索引信息之后，需要更新对应的空索引存储表。例如，为标识信息创建对应的索引信息中的索引标识为9000，则需要将索引标识9000从空索引存表中删除，即该索引标识已被使用。
步骤S104，若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识。
其中，老化表为双向环形链表，其占用可配置大小的空间。通过老化表可实现磁盘存储空间的循环使用，新出现的数据覆盖老化表中最旧的数据。具体的，老化表中存储有已在索引区建立索引信息中的索引标识，即老化表中的索引标识与索引区中的索引标识相同。除此之外，老化表中的每个索引标识都对应有上一个索引标识和下一个索引标识，通过对应的上一个索引标识和下一个索引标识可确定索引标识在老化表中的位置信息。
需要说明的是，本实施例中的老化表是根据存储到数据块中数据报文对应的索引信息更新的。例如，在获取到待存储数据报文的标识信息后，查询该标识信息在索引区创建有对应的索引信息，并根据该索引信息中的位置信息将待存储数据报文存储到对应的数据块中后，根据索引信息中的索引标识更新老化表，即调整老化表中对应的索引标识的顺序，即将其顺序调整到末尾，以此表示该索引标识对应的数据报文是最近存储的数据。
步骤S105，将目标索引标识对应的记录从索引区和所述老化表中删除；并删除目标索引标识对应位置信息的数据报文。
例如，老化表中包括的三个索引标识的存储顺序为：1(0,2)、2(1,3)、3(2,0)，其索引标识括号内的数值代表对应索引标识的上一个索引标识和下一个索引标识，数值0代表没有上一个索引标识或是没有下一个索引标识，在本例中通过数值0表示索引标识1为第一个索引标识，索引标识3为最后一个索引标识，即索引标识1没有上一个索引标识，索引标识3没有下一个索引标识。若当前时刻获取的待存储数据报文对应的索引标识为2，即根据待存储数据报文的标识信息在索引区中，查找到对应的索引标识为2，则在将待存储数据存储到对应的数据块中之后，更新老化表中的索引标识的存储顺序，更新后的索引标识的存储顺序为：1(0,3)、3(1,2)、2(3,0)，即更新后的索引表中最久未使用的索引标识为1，其次的索引标识为3，最后的索引标识为2。也就是说，若再次获取的待存储数据报文在索引区中没有对应的索引标识，且索引区中也不存在空的索引标识，则获取索引标识1对应的位置信息，然后将该位置信息对应的数据从数据块中删除，之后再将索引标识1在索引区和老化表中删除。
步骤S106，在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新老化表。
在本实施中，在索引区中创建与标识信息对应的索引信息之前，需要从空数据存储表中获取空的数据块的位置信息，即没有存储数据的数据块的位置信息，然后将获取的位置信息和索引标识共同作为标识信息对应的索引信息，最后根据创建的索引信息中的索引标识更新老化表。
需要说明的是，本实施例中索引区和老化表中的索引标识以及数据块都是可以被循环重复使用的。例如，若待存储数据报文在索引区中没有对应索引标识，且索引区中没有空的索引标识(所有的索引标识均对应有标识信息)，通过老化表确定索引标识1000为最近未使用的索引标识，则获取索引区中索引标识1000对应的位置信息，然后将该位置信息对应的数据块中的数据删除，之后将索引标识1000从老化表和索引区中删除。若删除了数据块9-10的数据内容，则在删除数据内容之后，将数据块9-10以及对应的位置信息重新写到空数据存储表中，将索引标识1000重新写到空索引数据存储表中，即将回收的数据资源记录到对应的数据表中，以便于创建待存储数据报文对应的索引信息。在本例中，在索引区中创建与标识信息对应的索引信息中的索引标识为1000，位置信息为数据块9所在的位置信息，在老化表中将创建的索引标识为1000。
步骤S107，将待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
其中，本实施例中的数据区被划分为预置大小的块，块大小为帧长度(一般为1514字节)加上两个32bit或64bit的数据。这两个数据用于存放上一个、下一个数据包的块号码。由于每个块的长度是确定的，同时整个数据区的大小也是确定的，因此，可以对数据块进行编号，并通过编号进行寻址。给定块的编号可通过如下方法计算数据块的位置信息：位置信息＝数据区起始位置+(块号×块长度)。
本发明提供一种数据报文的存储方法，本发明在获取到待存储数据报文对应的标识信息后，判断索引区中是否存在与标识信息对应的索引信息；若不存在对应的索引信息，则判断索引区中是否存在空的索引标识；若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识，然后将目标索引标识对应的记录从索引区和老化表中删除；并删除目标索引标识对应位置信息的数据报文；之后在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新老化表，最后将待存储数据报文存储到与创建的索引信息中位置信息对应的数据块中。即本发明在根据索引区确定无法进行数据存储时，需要根据老化表中的数据记录将最近未使用的数据删除，然后将待存储数据报文存储到对应的数据块中，从而提高了数据报文存储的有效性。
请参阅图2，本发明实施例提供的另一种数据报文的存储方法，该方法具体包括步骤S201-步骤S207：
步骤S201，获取待存储数据报文对应的标识信息。
步骤S202，判断索引区中是否存在与标识信息对应的索引信息。
其中，所述索引信息中包括索引标识和位置信息。
步骤S203A，若存在对应的索引信息，将待存储数据报文存储到索引信息中位置信息对应的数据块中，并根据索引信息中的索引标识更新老化表。
其中，步骤S203A为步骤S203B的并列步骤，即本实施例根据步骤S202的判断结果，执行相应的步骤。具体的，若存在对应的索引信息，将待存储数据报文存储到索引信息中位置信息对应的数据块中，并根据索引信息中的索引标识更新老化表；若不存在对应的索引信息，判断索引区中是否存在空的索引标识。
需要说明的是，本实施例在执行完步骤S203A之后，直接跳转到步骤S207继续执行。
步骤S203B，若不存在对应的索引信息，判断索引区中是否存在空的索引标识。
步骤S204B1，若存在空的索引标识，则在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新老化表。
在本发明提供的一个实施例中，关于步骤S204B1，在索引区中创建与标识信息对应的索引信息具体过程可以为：获取空数据存储表中数据块标识对应的位置信息，所述空数据存储表中记录有未存储数据的数据块标识；获取空索引存储表中的索引标识，所述空索引存储表中存储有未被索引区使用的索引标识；将获取的数据块标识对应的位置信息和索引标识作为索引信息，与所述标识信息对应存储到所述索引区中。删除空数据存储表中对应的数据块标识，及空数据存储表中对应的索引标识。
具体的，所述获取空数据存储表中数据块标识对应的位置信息，包括：判断所述空数据存储表中是否存在数据块标识；若存在，则获取所述数据块标识对应的位置信息；若不存在，则跳转将老化表中最久未使用的索引标识确定为目标索引标识的步骤执行。即在确定不存在数据块标识对应的位置信息之后，将老化表中最久未使用的索引标识确定为目标索引标识，将目标索引标识对应的记录从索引区和所述老化表中删除；并删除目标索引标识对应位置信息的数据报文，然后根据删除资源对应的索引标识和数据块标识更新对应的老化表、空数据存储表以及空索引存储表，即删除老化表中对应索引标识的记录，将对应的索引标识增加到空索引存储表中，将数据块标识增加到对应的空数据存储表中。以便于获取空数据存储表中数据块标识对应的位置信息，获取空索引存储表中的索引标识，然后将获取的数据块标识对应的位置信息和索引标识作为索引信息，与标识信息对应存储到索引区中，从而实现了在索引区中创建与标识信息对应的索引信息。
步骤S204B2，若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识。
步骤S205B2，将目标索引标识对应的记录从索引区和所述老化表中删除；并删除目标索引标识对应位置信息的数据报文。
在本发明提供的一个可选实施例中，在删除所述目标索引标识对应位置信息的数据报文之后，所述方法还包括：获取所述目标索引标识对应位置信息的数据块标识；将所述目标索引标识对应位置信息的数据块标识，存储到所述空数据存储表中。将目标索引标识增加到空索引存储表中。
步骤S206B2，在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新老化表。
需要说明的是，本实施中的步骤S206B2与步骤S204B1的具体说明内容相同，本实施例在此不再赘述。
步骤S207，将待存储数据报文存储到与创建的索引信息中位置信息对应的数据块中。
本发明提供一种数据报文的存储方法，本发明在获取到待存储数据报文对应的标识信息后，判断索引区中是否存在与标识信息对应的索引信息；若不存在对应的索引信息，则判断索引区中是否存在空的索引标识；若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识，然后将目标索引标识对应的记录从索引区和老化表中删除；并删除目标索引标识对应位置信息的数据报文；之后在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新老化表，最后将待存储数据报文存储到与创建的索引信息中位置信息对应的数据块中。即本发明在根据索引区确定无法进行数据存储时，需要根据老化表中的数据记录将最近未使用的数据删除，然后将待存储数据报文存储到对应的数据块中，从而提高了数据报文存储的有效性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种数据报文的存储装置，该数据报文的存储装置与上述实施例中数据报文的存储方法一一对应。如图3所示，所述数据报文的存储装置各功能模块详细说明如下：
获取模块31，用于获取待存储数据报文对应的标识信息；
判断模块32，用于判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
所述判断模块32，还用于若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
确定模块33，用于若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
删除模块34，用于将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
创建模块35，用于在所述索引区中创建与所述标识信息对应的索引信息；
更新模块36，用于根据创建的索引信息中的索引标识更新所述老化表；
存储模块37，用于将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
在一个可选实施例中，存储模块37，还用于若存在对应的索引信息，则将所述待存储数据报文存储到所述索引信息中位置信息对应的数据块中；
更新模块36，用于根据所述索引信息中的索引标识更新所述老化表，所述老化表为环形链表。
在一个可选实施例中，创建模块35，用于若存在空的索引标识，则在所述索引区中创建与所述标识信息对应的索引信息；
更新模块36，用于根据创建的索引信息中的索引标识更新所述老化表。
在一个可选实施例中，获取模块31，用于获取空数据存储表中数据块标识对应的位置信息，所述空数据存储表中记录有未存储数据的数据块标识；
获取模块31，用于获取空索引存储表中的索引标识，所述空索引存储表中存储有未被索引区使用的索引标识；
存储模块37，用于将获取的数据块标识对应的位置信息和索引标识作为索引信息，与所述标识信息对应存储到所述索引区中。
在一个可选实施例中，删除模块34，用于删除所述空数据存储表中对应的数据块标识，及所述空数据存储表中对应的索引标识。
在一个可选实施例中，判断模块32，用于判断所述空数据存储表中是否存在数据块标识；
获取模块31，用于若存在，则获取所述数据块标识对应的位置信息；
确定模块33，用于若不存在，则跳转将老化表中最久未使用的索引标识确定为目标索引标识的步骤执行。
在一个可选实施例中，获取模块31，用于获取所述目标索引标识对应位置信息的数据块标识；
存储模块37，用于将所述目标索引标识对应位置信息的数据块标识，存储到所述空数据存储表中。
关于数据报文的存储装置的具体限定可以参见上文中对于数据报文的存储方法的限定，在此不再赘述。上述设备中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的数据报文的存储装置通过网络连接通信。该计算机程序被处理器执行时以实现一种数据报文的存储方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取待存储数据报文对应的标识信息；
判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
在所述索引区中创建与所述标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新所述老化表；
将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待存储数据报文对应的标识信息；
判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
在所述索引区中创建与所述标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新所述老化表；
将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据报文的存储方法，其特征在于，所述方法包括：
获取待存储数据报文对应的标识信息；
判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
在所述索引区中创建与所述标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新所述老化表；
将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
2.根据权利要求1所述的方法，其特征在于，所述判断索引区中是否存在与所述标识信息对应的索引信息之后，所述方法还包括：
若存在对应的索引信息，则将所述待存储数据报文存储到所述索引信息中位置信息对应的数据块中，并根据所述索引信息中的索引标识更新所述老化表，所述老化表为环形链表。
3.根据权利要求1所述的方法，其特征在于，在判断所述索引区中是否存在空的索引标识之后，所述方法还包括：
若存在空的索引标识，则在所述索引区中创建与所述标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新所述老化表。
4.根据权利要求1或3所述方法，其特征在于，所述在所述索引区中创建与所述标识信息对应的索引信息，包括：
获取空数据存储表中数据块标识对应的位置信息，所述空数据存储表中记录有未存储数据的数据块标识；
获取空索引存储表中的索引标识，所述空索引存储表中存储有未被索引区使用的索引标识；
将获取的数据块标识对应的位置信息和索引标识作为索引信息，与所述标识信息对应存储到所述索引区中。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
删除所述空数据存储表中对应的数据块标识，及所述空数据存储表中对应的索引标识。
6.根据权利要求5所述的方法，其特征在于，所述获取空数据存储表中数据块标识对应的位置信息，包括：
判断所述空数据存储表中是否存在数据块标识；
若存在，则获取所述数据块标识对应的位置信息；
若不存在，则跳转将老化表中最久未使用的索引标识确定为目标索引标识的步骤执行。
7.根据权利要求6所述的方法，其特征在于，在删除所述目标索引标识对应位置信息的数据报文之后，所述方法还包括：
获取所述目标索引标识对应位置信息的数据块标识；
将所述目标索引标识对应位置信息的数据块标识，存储到所述空数据存储表中。
8.一种数据报文的存储装置，其特征在于，所述装置包括：
获取模块，用于获取待存储数据报文对应的标识信息；
判断模块，用于判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
所述判断模块，还用于若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
确定模块，用于若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
删除模块，用于将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
创建模块，用于在所述索引区中创建与所述标识信息对应的索引信息；
更新模块，用于根据创建的索引信息中的索引标识更新所述老化表；
存储模块，用于将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的数据报文的存储方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项的数据报文的存储方法。
CN202210073392.9A 2022-01-21 2022-01-21 数据报文的存储方法、装置、计算机设备 Active CN114489505B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210073392.9A CN114489505B (zh) 2022-01-21 2022-01-21 数据报文的存储方法、装置、计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210073392.9A CN114489505B (zh) 2022-01-21 2022-01-21 数据报文的存储方法、装置、计算机设备

Publications (2)

Publication Number Publication Date
CN114489505A CN114489505A (zh) 2022-05-13
CN114489505B true CN114489505B (zh) 2024-02-27

Family

ID=81472330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210073392.9A Active CN114489505B (zh) 2022-01-21 2022-01-21 数据报文的存储方法、装置、计算机设备

Country Status (1)

Country Link
CN (1) CN114489505B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116366530A (zh) * 2023-04-23 2023-06-30 北京火山引擎科技有限公司 一种流表老化方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696492A (zh) * 2017-04-12 2018-10-23 联芯科技有限公司 Ip报文的处理方法与装置
CN112328435A (zh) * 2020-12-07 2021-02-05 武汉绿色网络信息服务有限责任公司 目标数据备份和恢复的方法、装置、设备及存储介质
CN112565091A (zh) * 2020-11-18 2021-03-26 普联国际有限公司 一种报文转发方法、装置、存储介质及终端设备
CN113626443A (zh) * 2021-08-26 2021-11-09 企查查科技有限公司 索引的数据处理方法、装置、计算机设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101883181A (zh) * 2010-06-18 2010-11-10 中兴通讯股份有限公司 处理短消息的方法及终端
US11176111B2 (en) * 2013-03-15 2021-11-16 Nuodb, Inc. Distributed database management system with dynamically split B-tree indexes
US9189641B2 (en) * 2014-02-06 2015-11-17 Google Inc. Methods and systems for deleting requested information
US10104021B2 (en) * 2015-11-18 2018-10-16 Oracle International Corporation Electronic mail data modeling for efficient indexing
CN109144994B (zh) * 2017-06-19 2022-04-29 华为技术有限公司 索引更新方法、系统及相关装置
US20200210373A1 (en) * 2018-12-31 2020-07-02 T-Mobile Usa, Inc. Storage architecture for message object data in telecommunications networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108696492A (zh) * 2017-04-12 2018-10-23 联芯科技有限公司 Ip报文的处理方法与装置
CN112565091A (zh) * 2020-11-18 2021-03-26 普联国际有限公司 一种报文转发方法、装置、存储介质及终端设备
CN112328435A (zh) * 2020-12-07 2021-02-05 武汉绿色网络信息服务有限责任公司 目标数据备份和恢复的方法、装置、设备及存储介质
CN113626443A (zh) * 2021-08-26 2021-11-09 企查查科技有限公司 索引的数据处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN114489505A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
US11574290B2 (en) Data processing method and apparatus, computer device, and storage medium
CN108427684B (zh) 数据查询方法、装置及计算设备
CN111198856B (zh) 文件管理方法、装置、计算机设备和存储介质
CN114489505B (zh) 数据报文的存储方法、装置、计算机设备
CN111400298A (zh) 数据处理方法及装置、计算机可读存储介质
CN110597918A (zh) 一种账户管理方法、装置及计算机可读存储介质
CN104572845A (zh) 文件分发方法、装置、设备及系统
CN106250476B (zh) 一种更新和同步白名单的方法、装置和系统
CN112070585A (zh) 订单状态统一管理方法、装置、计算机设备和存储介质
CN106130751B (zh) 一种升级状态数据管理装置、系统和方法
CN109684303B (zh) 通信码归属地查询方法、装置、计算机设备和存储介质
CN113596019B (zh) 高性能网络流量数据表示和提取方法和系统
CN113132356B (zh) Udp报文的分发方法、设备及存储介质
CN111831639A (zh) 一种全局唯一id生成方法及装置、车辆管理系统
CN105893150B (zh) 接口调用频度控制、接口调用请求处理方法及装置
CN116561818A (zh) 一种工业控制系统内部逻辑解析方法、系统、设备和介质
CN113608886B (zh) 一种函数接入缓存方法、装置、电子设备及存储介质
CN112241529A (zh) 恶意代码检测方法、装置、存储介质和计算机设备
CN116644062A (zh) 基于b+树的人流分析方法、双b+树的构建方法及装置
US11445036B1 (en) Cluster management method and apparatus, electronic device and storage medium
CN103248506A (zh) 设备管理的权限控制方法和终端
CN114091017A (zh) 计算机软件防御方法、装置、计算机设备及存储介质
CN111522649B (zh) 一种分布式任务分配方法、装置和系统
CN113992739A (zh) 一种局域网ota固件升级装置、方法及系统
CN114489503A (zh) 数据报文的存储方法、装置、计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant