CN114489505A - 数据报文的存储方法、装置、计算机设备 - Google Patents
数据报文的存储方法、装置、计算机设备 Download PDFInfo
- Publication number
- CN114489505A CN114489505A CN202210073392.9A CN202210073392A CN114489505A CN 114489505 A CN114489505 A CN 114489505A CN 202210073392 A CN202210073392 A CN 202210073392A CN 114489505 A CN114489505 A CN 114489505A
- Authority
- CN
- China
- Prior art keywords
- index
- information
- identification
- identifier
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000032683 aging Effects 0.000 claims abstract description 83
- 238000013500 data storage Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 13
- 230000009191 jumping Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0652—Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种数据报文的存储方法、装置、计算机设备，涉及网络安全技术领域，用于提高数据报文存储的有效性。方法主要包括：获取待存储数据报文对应的标识信息；判断索引区中是否存在与所述标识信息对应的索引信息；若不存在对应的索引信息，判断索引区中是否存在空的索引标识；若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；将目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除目标索引标识对应位置信息的数据报文；在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新所述老化表；将待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
Description
技术领域
本申请涉及网络安全技术领域，尤其涉及一种数据报文的存储方法、装置、计算机设备及存储介质。
背景技术
信息网络承载了越来越多的关键业务和应用，在新兴的网络应用和网络架构中，网络安全面临全新的挑战。现有IDS(Intrusion Detection Systems入侵检测系统)设备中仅存储发生告警的数据包，且存储的数据包在提取时，需要对全部留存的数据包进行逐个数据报文进行对比，通过对比每个存储的数据包中的源IP，目标IP，源端口，目的端口，协议来确定要提取的数据包，效率较低。
对所有报文使用通用数据库索引留存也是不现实的，这是因为在典型的千兆网络监控状况下，每日将产生数千万个数据报文，则对于目前已公开披露的任何通用数据库都是不可承受的工作负载。
发明内容
本申请实施例提供一种数据报文的存储方法、装置、计算机设备及存储介质，用于提高数据报文存储的有效性。
本发明实施例提供一种数据报文的存储方法，所述方法包括：
获取待存储数据报文对应的标识信息；
判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
在所述索引区中创建与所述标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新所述老化表；
将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
本发明实施例提供一种数据报文的存储装置，所述装置包括：
获取模块，用于获取待存储数据报文对应的标识信息；
判断模块，用于判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
所述判断模块，还用于若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
确定模块，用于若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
删除模块，用于将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
创建模块，用于在所述索引区中创建与所述标识信息对应的索引信息；
更新模块，用于根据创建的索引信息中的索引标识更新所述老化表；
存储模块，用于将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据报文的存储方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述数据报文的存储方法。
本发明提供一种数据报文的存储方法、装置、计算机设备及存储介质，本发明在获取到待存储数据报文对应的标识信息后，判断索引区中是否存在与标识信息对应的索引信息；若不存在对应的索引信息，则判断索引区中是否存在空的索引标识；若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识，然后将目标索引标识对应的记录从索引区和老化表中删除；并删除目标索引标识对应位置信息的数据报文；之后在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新老化表，最后将待存储数据报文存储到与创建的索引信息中位置信息对应的数据块中。即本发明在根据索引区确定无法进行数据存储时，需要根据老化表中的数据记录将最近未使用的数据删除，然后将待存储数据报文存储到对应的数据块中，从而提高了数据报文存储的有效性。
附图说明
图1为本申请提供的一种数据报文的存储方法流程图；
图2为本申请提供的另一种数据报文的存储方法流程图；
图3为本申请提供的一种数据报文的存储装置的结构示意图
图4为本申请提供的计算机设备的一种示意图。
具体实施方式
为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请实施例的技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请实施例技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
请参阅图1，本发明实施例提供的一种数据报文的存储方法，该方法具体包括步骤S101-步骤S107：
步骤S101，获取待存储数据报文对应的标识信息。
在本实施例中，待存储数据报文为需要进行存储的数据报文，该数据报文可以为出现告警的数据报文，也为某种特定类型的数据报文，本实施例对此不做具体限定。
本实施例在获取到待存储数据报文之后，从待存储数据报文中提取源IP(Internet Protocol Address，网际协议地址)、目的IP、源端口sport、目的端口dport、协议proto，然后根据提取的源IP、目的IP、源端口sport、目的端口dport、协议proto进行哈希计算或是红黑树计算，得到待存储数据报文对应的标识信息，然后通过该标识信息表示待存储数据报文。
步骤S102，判断索引区中是否存在与标识信息对应的索引信息。
在本实施例中，索引区存储有标识信息与索引信息的对应关系，索引信息中包括索引标识和位置信息。其中，索引标识具体可以通过数字进行标识，如索引标识具体可以为1、2、3、3…N，位置信息用于表示对应标识信息的数据报文的位置信息，具体的该位置信息可以指示对应数据报文所在的数据块。
例如，获取到待存储数据报文对应的标识信息为A，然后在索引区中查找是否存在标识信息A对应的索引信息，如果未查找到对应的索引信息，则需要跳转到步骤S103继续执行；如果查找到对应的索引信息，则获取索引信息中的位置信息，之后将待存储数据报文存储到该位置信息对应的数据块中。
步骤S103，若不存在对应的索引信息，判断索引区中是否存在空的索引标识。
在本实施例中，在确定不存在对应的索引信息之后，需要为待存储数据报文创建对应的索引信息，以便于对待存储数据报文进行存储。而在创建对应的索引信息之前，需要确定是否存在空的索引标识，如果存在空的索引标识，则可以直接进行创建；如果不存在空的索引标识，则需要删除最久未使用的索引标识，以便于创建新的索引信息，即在确定不存在空的索引标识之后，需要跳转到步骤S104继续执行。
具体的，本实施例可以通过空索引存储表，判断索引区中是否存在空的索引标识。其中，该空索引信息表中记录有空闲未使用的索引标识。例如，索引区中包括10000个索引，对应的索引标识分别为1-10000，若其中索引标识9000-10000为未进行使用的索引，则空索引存表中记录有索引标识9000-10000。
需要说明的是，索引区中索引标识的数量以及索引标识的具体表现形式可以是预先设定的。当在索引区中创建对应的索引信息之后，需要更新对应的空索引存储表。例如，为标识信息创建对应的索引信息中的索引标识为9000，则需要将索引标识9000从空索引存表中删除，即该索引标识已被使用。
步骤S104，若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识。
其中，老化表为双向环形链表，其占用可配置大小的空间。通过老化表可实现磁盘存储空间的循环使用，新出现的数据覆盖老化表中最旧的数据。具体的，老化表中存储有已在索引区建立索引信息中的索引标识，即老化表中的索引标识与索引区中的索引标识相同。除此之外，老化表中的每个索引标识都对应有上一个索引标识和下一个索引标识，通过对应的上一个索引标识和下一个索引标识可确定索引标识在老化表中的位置信息。
需要说明的是，本实施例中的老化表是根据存储到数据块中数据报文对应的索引信息更新的。例如，在获取到待存储数据报文的标识信息后，查询该标识信息在索引区创建有对应的索引信息，并根据该索引信息中的位置信息将待存储数据报文存储到对应的数据块中后，根据索引信息中的索引标识更新老化表，即调整老化表中对应的索引标识的顺序，即将其顺序调整到末尾，以此表示该索引标识对应的数据报文是最近存储的数据。
步骤S105，将目标索引标识对应的记录从索引区和所述老化表中删除；并删除目标索引标识对应位置信息的数据报文。
例如，老化表中包括的三个索引标识的存储顺序为：1(0,2)、2(1,3)、3(2,0)，其索引标识括号内的数值代表对应索引标识的上一个索引标识和下一个索引标识，数值0代表没有上一个索引标识或是没有下一个索引标识，在本例中通过数值0表示索引标识1为第一个索引标识，索引标识3为最后一个索引标识，即索引标识1没有上一个索引标识，索引标识3没有下一个索引标识。若当前时刻获取的待存储数据报文对应的索引标识为2，即根据待存储数据报文的标识信息在索引区中，查找到对应的索引标识为2，则在将待存储数据存储到对应的数据块中之后，更新老化表中的索引标识的存储顺序，更新后的索引标识的存储顺序为：1(0,3)、3(1,2)、2(3,0)，即更新后的索引表中最久未使用的索引标识为1，其次的索引标识为3，最后的索引标识为2。也就是说，若再次获取的待存储数据报文在索引区中没有对应的索引标识，且索引区中也不存在空的索引标识，则获取索引标识1对应的位置信息，然后将该位置信息对应的数据从数据块中删除，之后再将索引标识1在索引区和老化表中删除。
步骤S106，在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新老化表。
在本实施中，在索引区中创建与标识信息对应的索引信息之前，需要从空数据存储表中获取空的数据块的位置信息，即没有存储数据的数据块的位置信息，然后将获取的位置信息和索引标识共同作为标识信息对应的索引信息，最后根据创建的索引信息中的索引标识更新老化表。
需要说明的是，本实施例中索引区和老化表中的索引标识以及数据块都是可以被循环重复使用的。例如，若待存储数据报文在索引区中没有对应索引标识，且索引区中没有空的索引标识(所有的索引标识均对应有标识信息)，通过老化表确定索引标识1000为最近未使用的索引标识，则获取索引区中索引标识1000对应的位置信息，然后将该位置信息对应的数据块中的数据删除，之后将索引标识1000从老化表和索引区中删除。若删除了数据块9-10的数据内容，则在删除数据内容之后，将数据块9-10以及对应的位置信息重新写到空数据存储表中，将索引标识1000重新写到空索引数据存储表中，即将回收的数据资源记录到对应的数据表中，以便于创建待存储数据报文对应的索引信息。在本例中，在索引区中创建与标识信息对应的索引信息中的索引标识为1000，位置信息为数据块9所在的位置信息，在老化表中将创建的索引标识为1000。
步骤S107，将待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
其中，本实施例中的数据区被划分为预置大小的块，块大小为帧长度(一般为1514字节)加上两个32bit或64bit的数据。这两个数据用于存放上一个、下一个数据包的块号码。由于每个块的长度是确定的，同时整个数据区的大小也是确定的，因此，可以对数据块进行编号，并通过编号进行寻址。给定块的编号可通过如下方法计算数据块的位置信息：位置信息＝数据区起始位置+(块号×块长度)。
本发明提供一种数据报文的存储方法，本发明在获取到待存储数据报文对应的标识信息后，判断索引区中是否存在与标识信息对应的索引信息；若不存在对应的索引信息，则判断索引区中是否存在空的索引标识；若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识，然后将目标索引标识对应的记录从索引区和老化表中删除；并删除目标索引标识对应位置信息的数据报文；之后在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新老化表，最后将待存储数据报文存储到与创建的索引信息中位置信息对应的数据块中。即本发明在根据索引区确定无法进行数据存储时，需要根据老化表中的数据记录将最近未使用的数据删除，然后将待存储数据报文存储到对应的数据块中，从而提高了数据报文存储的有效性。
请参阅图2，本发明实施例提供的另一种数据报文的存储方法，该方法具体包括步骤S201-步骤S207：
步骤S201，获取待存储数据报文对应的标识信息。
步骤S202，判断索引区中是否存在与标识信息对应的索引信息。
其中，所述索引信息中包括索引标识和位置信息。
步骤S203A，若存在对应的索引信息，将待存储数据报文存储到索引信息中位置信息对应的数据块中，并根据索引信息中的索引标识更新老化表。
其中，步骤S203A为步骤S203B的并列步骤，即本实施例根据步骤S202的判断结果，执行相应的步骤。具体的，若存在对应的索引信息，将待存储数据报文存储到索引信息中位置信息对应的数据块中，并根据索引信息中的索引标识更新老化表；若不存在对应的索引信息，判断索引区中是否存在空的索引标识。
需要说明的是，本实施例在执行完步骤S203A之后，直接跳转到步骤S207继续执行。
步骤S203B，若不存在对应的索引信息，判断索引区中是否存在空的索引标识。
步骤S204B1，若存在空的索引标识，则在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新老化表。
在本发明提供的一个实施例中，关于步骤S204B1，在索引区中创建与标识信息对应的索引信息具体过程可以为：获取空数据存储表中数据块标识对应的位置信息，所述空数据存储表中记录有未存储数据的数据块标识；获取空索引存储表中的索引标识，所述空索引存储表中存储有未被索引区使用的索引标识；将获取的数据块标识对应的位置信息和索引标识作为索引信息，与所述标识信息对应存储到所述索引区中。删除空数据存储表中对应的数据块标识，及空数据存储表中对应的索引标识。
具体的，所述获取空数据存储表中数据块标识对应的位置信息，包括：判断所述空数据存储表中是否存在数据块标识；若存在，则获取所述数据块标识对应的位置信息；若不存在，则跳转将老化表中最久未使用的索引标识确定为目标索引标识的步骤执行。即在确定不存在数据块标识对应的位置信息之后，将老化表中最久未使用的索引标识确定为目标索引标识，将目标索引标识对应的记录从索引区和所述老化表中删除；并删除目标索引标识对应位置信息的数据报文，然后根据删除资源对应的索引标识和数据块标识更新对应的老化表、空数据存储表以及空索引存储表，即删除老化表中对应索引标识的记录，将对应的索引标识增加到空索引存储表中，将数据块标识增加到对应的空数据存储表中。以便于获取空数据存储表中数据块标识对应的位置信息，获取空索引存储表中的索引标识，然后将获取的数据块标识对应的位置信息和索引标识作为索引信息，与标识信息对应存储到索引区中，从而实现了在索引区中创建与标识信息对应的索引信息。
步骤S204B2，若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识。
步骤S205B2，将目标索引标识对应的记录从索引区和所述老化表中删除；并删除目标索引标识对应位置信息的数据报文。
在本发明提供的一个可选实施例中，在删除所述目标索引标识对应位置信息的数据报文之后，所述方法还包括：获取所述目标索引标识对应位置信息的数据块标识；将所述目标索引标识对应位置信息的数据块标识，存储到所述空数据存储表中。将目标索引标识增加到空索引存储表中。
步骤S206B2，在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新老化表。
需要说明的是，本实施中的步骤S206B2与步骤S204B1的具体说明内容相同，本实施例在此不再赘述。
步骤S207，将待存储数据报文存储到与创建的索引信息中位置信息对应的数据块中。
本发明提供一种数据报文的存储方法，本发明在获取到待存储数据报文对应的标识信息后，判断索引区中是否存在与标识信息对应的索引信息；若不存在对应的索引信息，则判断索引区中是否存在空的索引标识；若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识，然后将目标索引标识对应的记录从索引区和老化表中删除；并删除目标索引标识对应位置信息的数据报文；之后在索引区中创建与标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新老化表，最后将待存储数据报文存储到与创建的索引信息中位置信息对应的数据块中。即本发明在根据索引区确定无法进行数据存储时，需要根据老化表中的数据记录将最近未使用的数据删除，然后将待存储数据报文存储到对应的数据块中，从而提高了数据报文存储的有效性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种数据报文的存储装置，该数据报文的存储装置与上述实施例中数据报文的存储方法一一对应。如图3所示，所述数据报文的存储装置各功能模块详细说明如下：
获取模块31，用于获取待存储数据报文对应的标识信息；
判断模块32，用于判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
所述判断模块32，还用于若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
确定模块33，用于若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
删除模块34，用于将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
创建模块35，用于在所述索引区中创建与所述标识信息对应的索引信息；
更新模块36，用于根据创建的索引信息中的索引标识更新所述老化表；
存储模块37，用于将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
在一个可选实施例中，存储模块37，还用于若存在对应的索引信息，则将所述待存储数据报文存储到所述索引信息中位置信息对应的数据块中；
更新模块36，用于根据所述索引信息中的索引标识更新所述老化表，所述老化表为环形链表。
在一个可选实施例中，创建模块35，用于若存在空的索引标识，则在所述索引区中创建与所述标识信息对应的索引信息；
更新模块36，用于根据创建的索引信息中的索引标识更新所述老化表。
在一个可选实施例中，获取模块31，用于获取空数据存储表中数据块标识对应的位置信息，所述空数据存储表中记录有未存储数据的数据块标识；
获取模块31，用于获取空索引存储表中的索引标识，所述空索引存储表中存储有未被索引区使用的索引标识；
存储模块37，用于将获取的数据块标识对应的位置信息和索引标识作为索引信息，与所述标识信息对应存储到所述索引区中。
在一个可选实施例中，删除模块34，用于删除所述空数据存储表中对应的数据块标识，及所述空数据存储表中对应的索引标识。
在一个可选实施例中，判断模块32，用于判断所述空数据存储表中是否存在数据块标识；
获取模块31，用于若存在，则获取所述数据块标识对应的位置信息；
确定模块33，用于若不存在，则跳转将老化表中最久未使用的索引标识确定为目标索引标识的步骤执行。
在一个可选实施例中，获取模块31，用于获取所述目标索引标识对应位置信息的数据块标识；
存储模块37，用于将所述目标索引标识对应位置信息的数据块标识，存储到所述空数据存储表中。
关于数据报文的存储装置的具体限定可以参见上文中对于数据报文的存储方法的限定，在此不再赘述。上述设备中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的数据报文的存储装置通过网络连接通信。该计算机程序被处理器执行时以实现一种数据报文的存储方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获取待存储数据报文对应的标识信息；
判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
在所述索引区中创建与所述标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新所述老化表；
将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待存储数据报文对应的标识信息；
判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
在所述索引区中创建与所述标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新所述老化表；
将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据报文的存储方法，其特征在于，所述方法包括：
获取待存储数据报文对应的标识信息；
判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
在所述索引区中创建与所述标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新所述老化表；
将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
2.根据权利要求1所述的方法，其特征在于，所述判断索引区中是否存在与所述标识信息对应的索引信息之后，所述方法还包括：
若存在对应的索引信息，则将所述待存储数据报文存储到所述索引信息中位置信息对应的数据块中，并根据所述索引信息中的索引标识更新所述老化表，所述老化表为环形链表。
3.根据权利要求1所述的方法，其特征在于，在判断所述索引区中是否存在空的索引标识之后，所述方法还包括：
若存在空的索引标识，则在所述索引区中创建与所述标识信息对应的索引信息，并根据创建的索引信息中的索引标识更新所述老化表。
4.根据权利要求1或3所述方法，其特征在于，所述在所述索引区中创建与所述标识信息对应的索引信息，包括：
获取空数据存储表中数据块标识对应的位置信息，所述空数据存储表中记录有未存储数据的数据块标识；
获取空索引存储表中的索引标识，所述空索引存储表中存储有未被索引区使用的索引标识；
将获取的数据块标识对应的位置信息和索引标识作为索引信息，与所述标识信息对应存储到所述索引区中。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
删除所述空数据存储表中对应的数据块标识，及所述空数据存储表中对应的索引标识。
6.根据权利要求5所述的方法，其特征在于，所述获取空数据存储表中数据块标识对应的位置信息，包括：
判断所述空数据存储表中是否存在数据块标识；
若存在，则获取所述数据块标识对应的位置信息；
若不存在，则跳转将老化表中最久未使用的索引标识确定为目标索引标识的步骤执行。
7.根据权利要求6所述的方法，其特征在于，在删除所述目标索引标识对应位置信息的数据报文之后，所述方法还包括：
获取所述目标索引标识对应位置信息的数据块标识；
将所述目标索引标识对应位置信息的数据块标识，存储到所述空数据存储表中。
8.一种数据报文的存储装置，其特征在于，所述装置包括：
获取模块，用于获取待存储数据报文对应的标识信息；
判断模块，用于判断索引区中是否存在与所述标识信息对应的索引信息；所述索引信息中包括索引标识和位置信息；
所述判断模块，还用于若不存在对应的索引信息，判断所述索引区中是否存在空的索引标识；
确定模块，用于若不存在空的索引标识，则将老化表中最久未使用的索引标识确定为目标索引标识；所述老化表中的索引标识与所述索引区中的索引标识相同；
删除模块，用于将所述目标索引标识对应的记录从所述索引区和所述老化表中删除；并删除所述目标索引标识对应位置信息的数据报文；
创建模块，用于在所述索引区中创建与所述标识信息对应的索引信息；
更新模块，用于根据创建的索引信息中的索引标识更新所述老化表；
存储模块，用于将所述待存储数据报文存储到，与创建的索引信息中位置信息对应的数据块中。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的数据报文的存储方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项的数据报文的存储方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210073392.9A CN114489505B (zh) | 2022-01-21 | 2022-01-21 | 数据报文的存储方法、装置、计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210073392.9A CN114489505B (zh) | 2022-01-21 | 2022-01-21 | 数据报文的存储方法、装置、计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114489505A true CN114489505A (zh) | 2022-05-13 |
| CN114489505B CN114489505B (zh) | 2024-02-27 |
Family
ID=81472330
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210073392.9A Active CN114489505B (zh) | 2022-01-21 | 2022-01-21 | 数据报文的存储方法、装置、计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114489505B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130095866A1 (en) * | 2010-06-18 | 2013-04-18 | Cuihong Yang | Method and terminal for processing short message |
| US20150220751A1 (en) * | 2014-02-06 | 2015-08-06 | Google Inc. | Methods and systems for deleting requested information |
| US20170139914A1 (en) * | 2015-11-18 | 2017-05-18 | Oracle International Corporation | Electronic mail data modeling for efficient indexing |
| CN108696492A (zh) * | 2017-04-12 | 2018-10-23 | 联芯科技有限公司 | Ip报文的处理方法与装置 |
| US20190278757A1 (en) * | 2013-03-15 | 2019-09-12 | Nuodb, Inc. | Distributed Database Management System with Dynamically Split B-Tree Indexes |
| US20200210373A1 (en) * | 2018-12-31 | 2020-07-02 | T-Mobile Usa, Inc. | Storage architecture for message object data in telecommunications networks |
| US20200272614A1 (en) * | 2017-06-19 | 2020-08-27 | Huawei Technologies Co., Ltd. | Index Update Method and System, and Related Apparatus |
| CN112328435A (zh) * | 2020-12-07 | 2021-02-05 | 武汉绿色网络信息服务有限责任公司 | 目标数据备份和恢复的方法、装置、设备及存储介质 |
| CN112565091A (zh) * | 2020-11-18 | 2021-03-26 | 普联国际有限公司 | 一种报文转发方法、装置、存储介质及终端设备 |
| CN113626443A (zh) * | 2021-08-26 | 2021-11-09 | 企查查科技有限公司 | 索引的数据处理方法、装置、计算机设备和存储介质 |
-
2022
- 2022-01-21 CN CN202210073392.9A patent/CN114489505B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130095866A1 (en) * | 2010-06-18 | 2013-04-18 | Cuihong Yang | Method and terminal for processing short message |
| US20190278757A1 (en) * | 2013-03-15 | 2019-09-12 | Nuodb, Inc. | Distributed Database Management System with Dynamically Split B-Tree Indexes |
| US20150220751A1 (en) * | 2014-02-06 | 2015-08-06 | Google Inc. | Methods and systems for deleting requested information |
| US20170139914A1 (en) * | 2015-11-18 | 2017-05-18 | Oracle International Corporation | Electronic mail data modeling for efficient indexing |
| CN108696492A (zh) * | 2017-04-12 | 2018-10-23 | 联芯科技有限公司 | Ip报文的处理方法与装置 |
| US20200272614A1 (en) * | 2017-06-19 | 2020-08-27 | Huawei Technologies Co., Ltd. | Index Update Method and System, and Related Apparatus |
| US20200210373A1 (en) * | 2018-12-31 | 2020-07-02 | T-Mobile Usa, Inc. | Storage architecture for message object data in telecommunications networks |
| CN112565091A (zh) * | 2020-11-18 | 2021-03-26 | 普联国际有限公司 | 一种报文转发方法、装置、存储介质及终端设备 |
| CN112328435A (zh) * | 2020-12-07 | 2021-02-05 | 武汉绿色网络信息服务有限责任公司 | 目标数据备份和恢复的方法、装置、设备及存储介质 |
| CN113626443A (zh) * | 2021-08-26 | 2021-11-09 | 企查查科技有限公司 | 索引的数据处理方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114489505B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3145148B1 (en) | Resource subscription processing method and device | |
| CN105794172A (zh) | 网络设备中的报文解析和密钥生成 | |
| CN106210155B (zh) | 连接应用服务器的方法和装置 | |
| CN108494755B (zh) | 一种传输应用程序编程接口api请求的方法及装置 | |
| CN107682426B (zh) | 接口代理方法及应用服务器 | |
| KR20190030728A (ko) | 시스템 콜의 시퀀스를 이용한 이상 검출 | |
| CN106302638B (zh) | 一种数据管理方法、转发设备及系统 | |
| CN109254765B (zh) | 定时任务管理方法、装置、计算机设备及存储介质 | |
| CN113434293A (zh) | 处理重复请求的方法和装置、存储介质及电子装置 | |
| CN112866214A (zh) | 防火墙策略下发方法、装置、计算机设备和存储介质 | |
| CN111177601A (zh) | 页面渲染处理方法、装置、设备及可读存储介质 | |
| CN113132356B (zh) | Udp报文的分发方法、设备及存储介质 | |
| CN105282112A (zh) | 一种终端及检测终端数据交互的安全性的方法 | |
| CN114489505A (zh) | 数据报文的存储方法、装置、计算机设备 | |
| CN110955450B (zh) | 一种应用包文件的归属统计方法、系统及存储介质 | |
| CN112070585A (zh) | 订单状态统一管理方法、装置、计算机设备和存储介质 | |
| CN113268401B (zh) | 日志信息的输出方法、装置及计算机可读存储介质 | |
| CN114489503B (zh) | 数据报文的存储方法、装置、计算机设备 | |
| CN113992739B (zh) | 一种局域网ota固件升级装置、方法及系统 | |
| CN111736944A (zh) | 基于Kubernetes的Docker容器定位方法及装置 | |
| CN111654398B (zh) | 一种更新配置的方法、装置、计算机设备及可读存储介质 | |
| CN109802965B (zh) | 一种自定义ips特征文件导入方法及装置 | |
| CN113420241A (zh) | 页面访问方法及装置、电子设备、存储介质 | |
| CN115309498A (zh) | K8s集群的容器状态调整方法、装置、设备及存储介质 | |
| CN108696526B (zh) | 网络请求响应数据的解析方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |