CN111061684A - 一种数据包文件时序恢复系统 - Google Patents

一种数据包文件时序恢复系统 Download PDF

Info

Publication number
CN111061684A
CN111061684A CN201911407514.8A CN201911407514A CN111061684A CN 111061684 A CN111061684 A CN 111061684A CN 201911407514 A CN201911407514 A CN 201911407514A CN 111061684 A CN111061684 A CN 111061684A
Authority
CN
China
Prior art keywords
data packet
time slice
time
offset
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911407514.8A
Other languages
English (en)
Other versions
CN111061684B (zh
Inventor
王思宇
林鹏
林康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Kelai Network Technology Co ltd
Original Assignee
Colasoft Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colasoft Co ltd filed Critical Colasoft Co ltd
Priority to CN201911407514.8A priority Critical patent/CN111061684B/zh
Publication of CN111061684A publication Critical patent/CN111061684A/zh
Application granted granted Critical
Publication of CN111061684B publication Critical patent/CN111061684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/156—Query results presentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及数据恢复相关领域，具体是一种数据包文件时序恢复系统，包括：存储系统，用于实现数据包文件的存储；时间片索引系统，用于按时间片记录数据包文件的链路信息和存储偏移信息；排序系统，用于实现单时间片内的数据包文件时间排序；本申请的时间片索引系统把针对于大规模数据包文件的乱序问题简化为时间片内乱序问题，然后通过时间片内排序实现时序恢复的效果，并能支持多链路的并发写入与输出。

Description

一种数据包文件时序恢复系统
技术领域
本申请涉及数据恢复相关领域，具体是一种数据包文件时序恢复系统。
背景技术
现有的网络流量分析产品主要的设计目标是解决实时流量的分析和处理。但在实际业务工作中存在特别多的数据包文件，这些文件是由于临时检测任务，或者移动介质或文件服务器拷贝而来。虽然都是以数据包为单位的流量，但流量转存为文件后把原本连续的时序切割的支离破碎，让传统的流量分析产品遇到了很大的困难，因为大多数的流量分析产品只能够分析顺序到达的数据包流量。
图1是正常的连续5秒到达的数据流量，图2是假设每1秒转存一个数据包文件，5秒后切割成了5个独立的数据包文件，再次读取文件的分析的时候，如果要保证正常的时序。要么就只读一个文件，通常单文件内时序是正常的。但这样的只能见局部，没有了整体视角。形成分析的孤岛。通常因为时间太短，会话都被截断不完整，一个数据包文件连一个会话都分析不了。
如果把按顺序读取文件，从第一秒到第二秒。困难在于文件之间已经相互独立，通常遇到的图3所示已经无法读取时序。第一秒的数据包文件不会自己站出来，而且真实的业务中数据文件远远不只5个，而是成千上万，数据包文件的名字也起的千奇百怪。导致众多数据包文件无法恢复到正确的时序。
现有专利如专利申请号为201910125261.9，名称为《一种无线传感器网络数据传输和恢复的方法》，其技术方案如下：本发明公开了一种无线传感器网络数据传输和恢复的方法，针对实时性要求不高的无线传感器网络，周期进行采集和传输数据，包括传感器节点传输数据方法和对应的基站接收到数据后恢复数据方法两个方面。传感器节点每周期随机选取确定数量的少量时序，感知信息得到数据，基于无线传感器网络数据随时间变化小的特点，传感器节点去除未感知的时序，得到新的不含零的数据集，根据压缩感知方法进行数据编码压缩并传输；基站接收到数据后先用重构方法重构出少量时序的数据集，再用矩阵填充方法恢复出完整数据。
上述专利虽然也是一种数据传输和恢复方法，当时其仍然不能很好解决现有技术中存在的大规模数据下的数据时序恢复的问题。
发明内容
本申请针对上述现有应用中存在的不足和问题，提供一种解决海量的数据包文件的时序恢复处理，实现乱序的输入，顺序的输出，把转存文件后支离破碎的时序再重现连接到一起的数据包文件时序恢复系统。
为实现上述技术效果，本申请的技术方案如下：
一种数据包文件时序恢复系统，其特征在于，包括：
存储系统，用于实现数据包文件的存储；
时间片索引系统，用于按时间片记录数据包文件的链路信息和存储偏移信息；链路信息具体是指数据包文件从哪个链路而来。
排序系统，用于实现单时间片内的数据包文件时间排序；
其工作流程如下：
首先，将得到的数据包逐个进行处理，读取数据包的时间戳后，按照时间片对单个数据包进行切割处理，得到切割后的数据包文件，并将各数据包文件写入存储系统；
其次，记录每个数据包文件在单位时间片内的Begin Offset和Offset Length信息，并且将每个数据包文件的时间片信息、Begin Offset和Offset Length信息记录到时间片索引系统；偏移信息包括Begin Offset和Offset Length信息。
再次，要进行数据输出时，先指定具体的链路和时间范围，按照时间顺序从第一个时间片开始，时间片索引系统读取由相应偏移信息构成的索引偏移序列，并读取存储系统中对应的数据包文件。
最后，读取完成同一个时间片的数据包文件后，将其缓存至内存中，并放入排序系统进行实时排序，完成时间片内排序后，再推送到查询接口。因为数据包的时间戳精度往往在微秒甚至纳秒级别，在时间片内依然存在数据包乱序，但经过前序的系统处理，时间片内乱序的数据大小已经可控，完全可以放在内存中进行高性能的实时排序。具体排序系统如何排序属于本领域的常规技术，本申请不做赘述。
进一步地，时间片索引系统为多链路时序连接的并发系统。由于数据包文件可能来源于不同的链路，并且不同的链路流量是相互独立的，所以多链路的并发系统可以同时处理不同链路流量的时序连接。
进一步地，所述时间片的范围为1秒-10秒。
进一步地，每个时间片下挂载了数据包文件对应于该时间片的偏移序列。
进一步地，将数据包文件写入存储系统后，记录
第1秒的Begin Offset和Offset Length；
第2秒的Begin Offset和Offset Length；……；
第N秒的Begin Offset和Offset Length。N为自然数，表示持续的秒数。
Begin Offset指数据包文件的偏移起始点，Offset Length标识数据包文件的偏移长度。
不同的数据包文件中可能有对应同一时间片的流量，所以通常时间片索引连接的是来源不同的数据包文件的偏移信息。如图4所示，在时间片为1秒的前提下，链路A的第1秒包括了三个不同的额数据包文件的偏移信息，即数据包文件A，和数据包文件B和数据包文件C，三个不同来源的数据包文件同时对应相同的时间片上。
本申请有益效果：
1、本申请的时间片索引系统把针对于大规模数据包文件的乱序问题简化为时间片内乱序问题，然后通过时间片内排序实现时序恢复的效果，并能支持多链路的并发写入与输出。
2、本系统可使用普通的硬件服务器，便能支持秒内数据输出响应，能实现纳秒级精度的数据包排序。
附图说明
图1为正常的连续5秒到达的数据流量。
图2为假设每1秒转存一个数据包文件示意。
图3为无法读取时序的数据包文件示意。
图4为本申请时间片索引系统的结构示意图。
具体实施方式
实施例1
一种数据包文件时序恢复系统，包括：
存储系统，用于实现数据包文件的存储；
时间片索引系统，用于按时间片记录数据包文件的链路信息和存储偏移信息；链路信息具体是指数据包文件从哪个链路而来。
排序系统，用于实现单时间片内的数据包文件时间排序；
其工作流程如下：
首先，将得到的数据包逐个进行处理，读取数据包的时间戳后，按照时间片对单个数据包进行切割处理，得到切割后的数据包文件，并将各数据包文件写入存储系统；
其次，记录每个数据包文件在单位时间片内的Begin Offset和Offset Length信息，并且将每个数据包文件的时间片信息、Begin Offset和Offset Length信息记录到时间片索引系统；偏移信息包括Begin Offset和Offset Length信息。所述时间片的范围为1秒-10秒。将数据包文件写入存储系统后，记录
第1秒的Begin Offset和Offset Length；第2秒的Begin Offset和Offset Length……第N秒的Begin Offset和Offset Length。Begin Offset指数据包文件的偏移起始点，Offset Length标识数据包文件的偏移长度。
再次，要进行数据输出时，先指定具体的链路和时间范围，按照时间顺序从第一个时间片开始，时间片索引系统读取由相应偏移信息构成的索引偏移序列，并读取存储系统中对应的数据包文件。每个时间片下挂载了数据包文件对应于该时间片的偏移序列。
最后，读取完成同一个时间片的数据包文件后，将其缓存至内存中，并放入排序系统进行实时排序，完成时间片内排序后，再推送到查询接口。因为数据包的时间戳精度往往在微秒甚至纳秒级别，在时间片内依然存在数据包乱序，但经过前序的系统处理，时间片内乱序的数据大小已经可控，完全可以放在内存中进行高性能的实时排序。具体排序系统如何排序属于本领域的常规技术，本申请不做赘述。
进一步地，时间片索引系统为多链路时序连接的并发系统。由于数据包文件可能来源于不同的链路，并且不同的链路流量是相互独立的，所以多链路的并发系统可以同时处理不同链路流量的时序连接。
不同的数据包文件中可能有对应同一时间片的流量，所以通常时间片索引连接的是来源不同的数据包文件的偏移信息。如图4所示，同时包含有链路A、链路B和链路C，三个不同的链路可同时工作，在时间片为1秒的前提下，链路A的第1秒包括了三个不同的额数据包文件的偏移信息，即数据包文件A，和数据包文件B和数据包文件C，三个不同来源的数据包文件同时对应相同的时间片上。
本申请的时间片索引系统把针对于大规模数据包文件的乱序问题简化为时间片内乱序问题，然后通过时间片内排序实现时序恢复的效果，并能支持多链路的并发写入与输出。本系统可使用普通的硬件服务器，便能支持秒内数据输出响应，能实现纳秒级精度的数据包排序。
实施例2
在实施例1的基础上，下面用具体的例子对本申请的文件时序回复系统进行说明。
文件A 属于链路A的流量，并且持续5秒。
此时按时间片为1秒将流量切分为5段（即5个偏移块），写入存储系统起始偏移为0。其偏移信息如下表所示：
Figure 957409DEST_PATH_IMAGE002
文件B 也属于链路A的流量，持续5秒，从第5秒开始，与A文件有一秒的重叠时间。
按时间片为1秒切分为5段（即5个偏移块），由于先写入了A文件，起始偏移为5,242,880，其偏移信息如下表所示：
Figure 343391DEST_PATH_IMAGE004
文件C 属于链路B的流量，持续5秒，按时间片为1秒切分为5段（即5个偏移块），由于先写入了链路A的文件A和文件B，所以起始偏移为10,485,760，其偏移信息如下表所示：
Figure 841237DEST_PATH_IMAGE006
则最后经过文件时序恢复系统进行时序恢复后的流量数据如下：
Figure 705288DEST_PATH_IMAGE008

Claims (6)

1.一种数据包文件时序恢复系统，其特征在于，包括：
存储系统，用于实现数据包文件的存储；
时间片索引系统，用于按时间片记录数据包文件的链路信息和存储偏移信息；
排序系统，用于实现单时间片内的数据包文件时间排序；
首先，将得到的数据包逐个进行处理，读取数据包的时间戳后，按照时间片对单个数据包进行切割处理，得到切割后的数据包文件，并将各数据包文件写入存储系统；
其次，记录每个数据包文件在单位时间片内的Begin Offset和Offset Length信息，并且将每个数据包文件的时间片信息、Begin Offset和Offset Length信息记录到时间片索引系统；
再次，要进行数据输出时，先指定具体的链路和时间范围，按照时间顺序从第一个时间片开始，时间片索引系统读取由相应偏移信息构成的索引偏移序列，并读取存储系统中对应的数据包文件；
最后，读取完成同一个时间片的数据包文件后，将其缓存至内存中，并放入排序系统进行实时排序，完成时间片内排序后，再推送到查询接口。
2.根据权利要求1所述的一种数据包文件时序恢复系统，其特征在于，时间片索引系统为多链路时序连接的并发系统。
3.根据权利要求1所述的一种数据包文件时序恢复系统，其特征在于，所述时间片的范围为1秒-10秒。
4.根据权利要求1所述的一种数据包文件时序恢复系统，其特征在于，每个时间片下挂载了数据包文件对应于该时间片的偏移序列。
5.根据权利要求1所述的一种数据包文件时序恢复系统，其特征在于，将数据包文件写入存储系统后，记录
第1秒的Begin Offset和Offset Length；
第2秒的Begin Offset和Offset Length；
…….
第N秒的Begin Offset和Offset Length，其中N为自然数，表示持续的秒数。
6.根据权利要求1所述的一种数据包文件时序恢复系统，其特征在于，不同的数据包文件中包含有对应同一时间片的流量，所以时间片索引连接有来源不同的数据包文件的偏移信息。
CN201911407514.8A 2019-12-31 2019-12-31 一种数据包文件时序恢复系统 Active CN111061684B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911407514.8A CN111061684B (zh) 2019-12-31 2019-12-31 一种数据包文件时序恢复系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911407514.8A CN111061684B (zh) 2019-12-31 2019-12-31 一种数据包文件时序恢复系统

Publications (2)

Publication Number Publication Date
CN111061684A true CN111061684A (zh) 2020-04-24
CN111061684B CN111061684B (zh) 2023-04-07

Family

ID=70305253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911407514.8A Active CN111061684B (zh) 2019-12-31 2019-12-31 一种数据包文件时序恢复系统

Country Status (1)

Country Link
CN (1) CN111061684B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965391A (zh) * 2021-10-27 2022-01-21 成都数默科技有限公司 一种多数据包文件冒泡排序的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506330A (zh) * 2014-11-28 2015-04-08 北京奇艺世纪科技有限公司 一种消息同步方法和系统
CN104881481A (zh) * 2015-06-03 2015-09-02 安科智慧城市技术（中国）有限公司 一种存取海量时间序列数据的方法及装置
US20150378825A1 (en) * 2012-08-31 2015-12-31 Cleversafe, Inc. Securely storing data in a dispersed storage network
CN105718521A (zh) * 2016-01-15 2016-06-29 湖南大学 一个基于Wavelet Tree的网络数据包索引系统
CN106649722A (zh) * 2016-12-23 2017-05-10 郑州天迈科技股份有限公司 一种监控系统高频数据的存储及查询方法
CN107241231A (zh) * 2017-07-26 2017-10-10 成都科来软件有限公司 一种原始网络数据包的快速精准定位方法
CN109164980A (zh) * 2018-08-03 2019-01-08 北京涛思数据科技有限公司 一种时序数据的聚合优化处理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150378825A1 (en) * 2012-08-31 2015-12-31 Cleversafe, Inc. Securely storing data in a dispersed storage network
CN104506330A (zh) * 2014-11-28 2015-04-08 北京奇艺世纪科技有限公司 一种消息同步方法和系统
CN104881481A (zh) * 2015-06-03 2015-09-02 安科智慧城市技术（中国）有限公司 一种存取海量时间序列数据的方法及装置
CN105718521A (zh) * 2016-01-15 2016-06-29 湖南大学 一个基于Wavelet Tree的网络数据包索引系统
CN106649722A (zh) * 2016-12-23 2017-05-10 郑州天迈科技股份有限公司 一种监控系统高频数据的存储及查询方法
CN107241231A (zh) * 2017-07-26 2017-10-10 成都科来软件有限公司 一种原始网络数据包的快速精准定位方法
CN109164980A (zh) * 2018-08-03 2019-01-08 北京涛思数据科技有限公司 一种时序数据的聚合优化处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
叶鹏: "时间序列数据库在智能水电厂监控业务中的应用", 《水电厂自动化》 *
英昌甜等: "内存计算环境下基于索引结构的内存优化策略", 《新疆大学学报(自然科学版)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965391A (zh) * 2021-10-27 2022-01-21 成都数默科技有限公司 一种多数据包文件冒泡排序的方法
CN113965391B (zh) * 2021-10-27 2023-10-20 成都数默科技有限公司 一种多数据包文件冒泡排序的方法

Also Published As

Publication number Publication date
CN111061684B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US7742414B1 (en) Lightweight indexing for fast retrieval of data from a flow-level compressed packet trace
CN102890682B (zh) 构建索引的方法、检索方法、装置及系统
CN103914359B (zh) 一种数据恢复方法及装置
CN101969386A (zh) 一种日志采集装置和日志采集方法
CN110795428A (zh) 应用于工业物联网的时序数据存储方法和时序数据库
CN102779138B (zh) 实时数据的硬盘存取方法
WO2006071937A3 (en) System and method for efficient use of memory device bandwidth
US20220343047A1 (en) Method and system for processing simulation data
CN108512726B (zh) 一种数据监控的方法及设备
CN111061684B (zh) 一种数据包文件时序恢复系统
CN103049355A (zh) 一种数据库系统恢复方法及设备
CN104504116A (zh) 一种实时数据库的存储方法
CN104021200A (zh) 一种数据库的数据同步方法和装置
CN106648977A (zh) 一种安卓系统文件的恢复方法及装置
CN105306261A (zh) 一种收集日志的方法、装置及系统
US8190834B2 (en) Process for contiguously streaming data from a content addressed storage system
CN107807969A (zh) 用于电厂的新的时间序列数据存储方法
CN102937956A (zh) 一种智能变电站中实时报文的存储方法及其装置
CN106326439A (zh) 一种实时视频存储、检索方法及装置
CN1905590B (zh) 一种单板信息采集的方法
CN110389861B (zh) 用于审计日志的智能备份系统
CN105468502A (zh) 一种日志收集的方法、装置和系统
CN102325171A (zh) 一种监控系统中数据的存储方法及其系统
CN106855877A (zh) 一种大数据的同步复制的方法
CN101174989B (zh) 一种采用嵌入式数据库系统保存信令跟踪数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210616

Address after: 610000 Sichuan Chengdu China (Sichuan) Free Trade Experimental Zone Chengdu High-tech Zone Tianfu Road North 966 Building 1 Unit 14 Building 41401-41406

Applicant after: Chengdu Kelai Network Technology Co.,Ltd.

Address before: 13 / F and 14 / F, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu high tech Zone, China (Sichuan) pilot Free Trade Zone, Wuhou District, Chengdu, Sichuan 610000

Applicant before: COLASOFT Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 610000 12th, 13th and 14th floors, unit 1, building 4, No. 966, north section of Tianfu Avenue, Chengdu hi tech Zone, China (Sichuan) pilot Free Trade Zone, Chengdu, Sichuan

Applicant after: Kelai Network Technology Co.,Ltd.

Address before: 610000 Sichuan Chengdu China (Sichuan) Free Trade Experimental Zone Chengdu High-tech Zone Tianfu Road North 966 Building 1 Unit 14 Building 41401-41406

Applicant before: Chengdu Kelai Network Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant