CN110597856B - 一种流量深度解析数据的快速检索系统和方法 - Google Patents
一种流量深度解析数据的快速检索系统和方法 Download PDFInfo
- Publication number
- CN110597856B CN110597856B CN201910769694.8A CN201910769694A CN110597856B CN 110597856 B CN110597856 B CN 110597856B CN 201910769694 A CN201910769694 A CN 201910769694A CN 110597856 B CN110597856 B CN 110597856B
- Authority
- CN
- China
- Prior art keywords
- data
- unit
- retrieval
- flow
- flow data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000004458 analytical method Methods 0.000 title description 4
- 238000013500 data storage Methods 0.000 claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012986 modification Methods 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 8
- 238000013480 data collection Methods 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims 1
- 238000005206 flow analysis Methods 0.000 abstract description 2
- 230000015654 memory Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种流量深度解析数据的快速检索系统和方法，该系统包括：数据过滤单元，用于根据预设流量数据的数据格式，对缓存至本地缓存队列中的流量数据进行过滤；数据存储单元，用于根据预定义的模板，将数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；数据检索单元，用于根据数据存储单元存储的检索索引，在数据库中检索出与检索请求对应的流量数据。本公开通过数据存储单元，用于根据预定义的模板，将数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；并通过数据检索单元，精准、且快速地从数据库中检索出与检索请求对应的流量数据。
Description
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种流量深度解析数据的快速检索系统和方法。
背景技术
工控系统面临着日益严峻的安全风险，一旦关键行业的工控系统受到攻击，对个人、企业甚至国家的安全都会造成影响，如果对网络中的原始流量进行深度解析，并对解析后形成的结构化数据进行监测审计，对整个工控网络威胁的实时监测以及安全事件的定位追溯都具有重要意义。
工控网络系统采用的通信协议复杂多样，且网络流量数据量巨大，对流量的实时解析、传输、快速存储和检索带来挑战。
传统的基于关系型数据库的schema设计往往基于确定的数据结构(属性列)，无法满足针对灵活的不可以预知属性的动态扩展存储，同时也无法满足对大数据集的实时检索要求；目前比较流行的NOSQL数据库，如Redis，MongoDB等无法满足多字段实时检索的问题。
因此，在长期的研发当中，发明人对流量数据的检索方法进行了大量的研究，提出了一种流量数据的检索方法，以解决上述技术问题之一。
发明内容
本发明的目的在于提供一种流量深度解析数据的快速检索系统、方法、介质和电子设备，能够解决上述提到的至少一个技术问题。具体方案如下：
根据本发明的具体实施方式，第一方面，本公开提供一种流量数据的检索系统，包括：
数据收集与缓存单元，用于通过多个流量引擎采集并解析流量数据，并将解析后的流量数据缓存至本地缓存队列中；
数据过滤单元，用于根据预设流量数据的数据格式，对缓存至所述本地缓存队列中的所述流量数据进行过滤；
数据存储单元，用于根据预定义的模板，将所述数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；
数据检索单元，用于根据所述数据存储单元存储的所述检索索引，在所述数据库中检索出与检索请求对应的流量数据。
可选的，所述系统还包括：
模板映射结构定义单元，用于对所述数据存储单元存储的各个预定义的模板类型的模板映射结构进行预先定义。
可选的，所述系统还包括：
获取单元，用于获取所述模板映射结构定义单元定义出的各个模板的模板映射结构信息；
其中，所述模板映射结构信息至少包括：
属性名信息、类型信息和对应的描述信息。
可选的，所述系统还包括：
添加数据单元，用于将待添加的流量数据，通过设置于所述数据存储单元上的添加接口添加至所述数据库中。
可选的，所述系统还包括：
删除数据单元，用于通过设置于所述数据存储单元上的删除接口，将待删除的流量数据从所述数据库中删除。
可选的，所述系统还包括：
修改数据单元，用于通过设置于所述数据存储单元上的修改接口，将待修改的流量数据修改成预设格式的流量数据，并将所述预设格式的流量数据添加至所述数据库中。
根据本发明的具体实施方式，第二方面，本发明提供一种使用如上所述的系统对流量数据进行深度解析的方法，包括：
根据预设流量数据的数据格式，对缓存至所述本地缓存队列中的所述流量数据进行过滤；
根据预定义的模板，将所述数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；
根据所述数据存储单元存储的所述检索索引，通过所述数据检索单元在所述数据库中检索出与检索请求对应的流量数据。
可选的，所述方法还包括：
对所述数据存储单元存储的各个预定义的模板类型的模板映射结构进行预先定义。
根据本发明的具体实施方式，第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上任一项所述的对流量数据进行检索的方法。
根据本发明的具体实施方式，第四方面，本发明提供一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上任一项所述的对流量数据进行检索的方法。
本发明实施例的上述方案与现有技术相比，至少具有以下有益效果：本公开通过提供一种流量数据的检索系统、方法、介质和电子设备，通过数据存储单元，用于根据预定义的模板，将数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；并通过数据检索单元，精准、且快速地从数据库中检索出与检索请求对应的流量数据。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了根据本发明实施例的流量数据的检索系统结构示意图；
图2示出了根据本发明的实施例的流量数据的检索方法流程图；
图3示出了根据本发明的实施例的电子设备连接结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述……，但这些……不应限于这些术语。这些术语仅用来将……区分开。例如，在不脱离本发明实施例范围的情况下，第一……也可以被称为第二……，类似地，第二……也可以被称为第一……。
取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者装置中还存在另外的相同要素。
下面结合附图详细说明本发明的可选实施例。
实施例1
如图1所示，根据本公开的具体实施方式，第一方面，本公开提供一种流量数据的检索系统，包括：
数据收集与缓存单元102，用于通过多个流量引擎采集并解析流量数据，并将解析后的流量数据缓存至本地缓存队列中；
需要说明的是，缓存队列负责将收集到的流量数据缓存打本次磁盘，避免当流量过多时，如果消费者消费能力有限导致的数据丢失问题。
数据过滤单元104，用于根据预设流量数据的数据格式，对缓存至本地缓存队列中的流量数据进行过滤；
需要说明的是，数据过滤单元104能够有针对性地，将不同主题的、满足定义的特征条件的的流量数据进行选择性过滤，并将符合预设条件的流量数据过滤出来，并存储到数据库中。
数据存储单元106，用于根据预定义的模板，将数据过滤单元104过滤出的流量数据存储到数据库中，并存储对应的检索索引；
数据检索单元108，用于根据数据存储单元106存储的检索索引，在数据库中检索出与检索请求对应的流量数据。
可选的，所述系统还包括：
模板映射结构定义单元(在图1中未示出)，用于对数据存储单元106存储的各个预定义的模板类型的模板映射结构进行预先定义。
表1示出了预先定义的模板映射结构，具体如下所述：
其中，dynamic_templates是动态模板的配置关键字，是支持自适应结构字段的关键，其他属性都是静态的属性字段；rawMessage字段存储的是引擎深度解析后Json格式的原始数据，该字段支持自动分词，支持模糊匹配过滤。
可选的，所述系统还包括：
获取单元(在图1中未示出)，用于获取模板映射结构定义单元定义出的各个模板的模板映射结构信息；
其中，模板映射结构信息至少包括：
属性名信息、类型信息和对应的描述信息。
可选的，所述系统还包括：
添加数据单元(在图1中未示出)，用于将待添加的流量数据，通过设置于数据存储单元106上的添加接口添加至数据库中。
可选的，所述系统还包括：
删除数据单元(在图1中未示出)，用于通过设置于数据存储单元106上的删除接口，将待删除的流量数据从数据库中删除。
可选的，所述系统还包括：
修改数据单元(在图1中未示出)，用于通过设置于数据存储单元106上的修改接口，将待修改的流量数据修改成预设格式的流量数据，并将预设格式的流量数据添加至数据库中。
本公开通过提供一种流量数据的检索系统、方法、介质和电子设备，通过数据存储单元，用于根据预定义的模板，将数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；并通过数据检索单元，精准、且快速地从数据库中检索出与检索请求对应的流量数据。
除此之外，本公开提供的一种流量数据的检索系统、方法、介质和电子设备，，还具有如下优点：
1.流量数据不丢失，支持缓存，满足瞬时大并发量的场景；
2.不限定数据的结构，自适应数据结构的动态变化；
3.支持集群部署，对系统的容量和性能可动态扩展；
4.流量数据可自定义灵活的检索方式，且检索速度极快。
实施例2
如图2所示，根据本公开的具体实施方式，第二方面，本公开提供一种使用流量数据的检索系统对流量数据进行检索的方法，包括：
S202：根据预设流量数据的数据格式，对缓存至本地缓存队列中的流量数据进行过滤；
S204：根据预定义的模板，将数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引。
为了更好地理解本步骤中的数据过滤单元如何对流量数据进行过滤，作如下说明：
对流量数据过滤的步骤具体如下所述：
第一步,模块启动后加载配置文件，初始化要消费的采集服务的地址，以及过滤后要存储的数据存储服务的地址；
第二步，根据配置文件创建数据库的索引模板；
第三步，启动完成，开始从采集服务消费流量数据；
第四步，判断流量数据的格式与预定义好的规则是否匹配，根据匹配情况输出至数据库的不同索引中，并过滤掉不满足条件的流量数据；
第五步，循环持续消费流量数据。
S206：根据数据存储单元存储的检索索引，通过数据检索单元在数据库中检索出与检索请求对应的流量数据。
可选的，所述方法还包括：
对数据存储单元存储的各个预定义的模板类型的模板映射结构进行预先定义。
正如实施例1中的表1所示，示出了预先对网络流量结构的定义，烦请参见前述实施例1中的表1，在此不再赘述。
本公开通过提供一种流量数据的检索系统、方法、介质和电子设备，通过数据存储单元，用于根据预定义的模板，将数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；并通过数据检索单元，精准、且快速地从数据库中检索出与检索请求对应的流量数据。
除此之外，本公开通过提供的一种流量数据的检索系统、方法、介质和电子设备，还具有如下优点：
1.流量数据不丢失，支持缓存，满足瞬时大并发量的场景；
2.不限定数据的结构，自适应数据结构的动态变化；
3.支持集群部署，对系统的容量和性能可动态扩展；
4.流量数据可自定义灵活的检索方式，且检索速度极快。
实施例3
如图3所示，本实施例提供一种电子设备，该设备用于对流量数据进行检索的方法，所述电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：通过数据存储单元，用于根据预定义的模板，将数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；并通过数据检索单元，精准、且快速地从数据库中检索出与检索请求对应的流量数据。
实施例4
本公开实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的对流量数据进行检索的方法。
实施例5
下面参考图3，其示出了适于用来实现本公开实施例的电子设备300的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图3所示，电子设备300可以包括处理装置(例如中央处理器、图形处理器等)301，其可以根据存储在只读存储器(ROM)302中的程序或者从存储装置308加载到随机访问存储器(RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出(I/O)接口305也连接至总线304。
通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。
本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种流量深度解析数据的快速检索系统，其特征在于，包括：
数据收集与缓存单元，用于通过多个流量引擎采集并解析流量数据，并将解析后的流量数据缓存至本地缓存队列中；
数据过滤单元，用于根据预设流量数据的数据格式，对缓存至所述本地缓存队列中的所述流量数据进行过滤；
数据存储单元，用于根据预定义的模板，将所述数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；
数据检索单元，用于根据所述数据存储单元存储的所述检索索引，在所述数据库中检索出与检索请求对应的流量数据；
模板映射结构定义单元，用于对所述数据存储单元存储的各个预定义的模板类型的模板映射结构进行预先定义；获取单元，用于获取所述模板映射结构定义单元定义出的各个模板的模板映射结构信息；
其中，所述模板映射结构信息至少包括：
属性名信息、类型信息和对应的描述信息；
所述预定义的模板包括动态模板关键字dynamic_templates字段，通过配置该字段以支持自适应结构字段。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
添加数据单元，用于将待添加的流量数据，通过设置于所述数据存储单元上的添加接口添加至所述数据库中。
3.根据权利要求1所述的系统，其特征在于，所述系统还包括：
删除数据单元，用于通过设置于所述数据存储单元上的删除接口，将待删除的流量数据从所述数据库中删除。
4.根据权利要求1所述的系统，其特征在于，所述系统还包括：
修改数据单元，用于通过设置于所述数据存储单元上的修改接口，将待修改的流量数据修改成预设格式的流量数据，并将所述预设格式的流量数据添加至所述数据库中。
5.一种使用如权利要求1-4任一项所述的系统对流量数据进行深度解析的方法，其特征在于，包括：
根据预设流量数据的数据格式，对缓存至所述本地缓存队列中的所述流量数据进行过滤；
根据预定义的模板，将所述数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；
根据所述数据存储单元存储的所述检索索引，通过所述数据检索单元在所述数据库中检索出与检索请求对应的流量数据。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
对所述数据存储单元存储的各个预定义的模板类型的模板映射结构进行预先定义。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求5或6所述的方法。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求5或6所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910769694.8A CN110597856B (zh) | 2019-08-20 | 2019-08-20 | 一种流量深度解析数据的快速检索系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910769694.8A CN110597856B (zh) | 2019-08-20 | 2019-08-20 | 一种流量深度解析数据的快速检索系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110597856A CN110597856A (zh) | 2019-12-20 |
| CN110597856B true CN110597856B (zh) | 2022-08-05 |
Family
ID=68854835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910769694.8A Active CN110597856B (zh) | 2019-08-20 | 2019-08-20 | 一种流量深度解析数据的快速检索系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110597856B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112306019A (zh) * | 2020-10-28 | 2021-02-02 | 北京珞安科技有限责任公司 | 一种基于协议深度分析的工控安全审计系统及其应用 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976261A (zh) * | 2010-11-04 | 2011-02-16 | 上海银杏界信息科技有限公司 | 网页数据存储与搜索方法 |
| CN106777970A (zh) * | 2016-12-15 | 2017-05-31 | 北京锐软科技股份有限公司 | 一种医疗信息系统数据模板化的集成系统及方法 |
| CN113779132A (zh) * | 2021-09-15 | 2021-12-10 | 深圳我家云网络科技有限公司 | 一种数据导入的方法、装置、计算机设备和存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103957118A (zh) * | 2014-04-18 | 2014-07-30 | 国家电网公司 | 电力数据通信网网络流量实时智能分析方法及其系统 |
| CN104063267B (zh) * | 2014-07-11 | 2017-11-14 | 孙强强 | 一种虚拟机流量监控方法及系统 |
| US10019510B2 (en) * | 2014-07-29 | 2018-07-10 | Ca, Inc. | Indexing and searching log records using templates index and attributes index |
| US20160371368A1 (en) * | 2015-06-17 | 2016-12-22 | Qualcomm Incorporated | Facilitating searches in a semi-structured database |
| CN106682022A (zh) * | 2015-11-10 | 2017-05-17 | 中国电信股份有限公司 | 一种日志查询方法和装置 |
| CN106470143A (zh) * | 2016-08-26 | 2017-03-01 | 杭州迪普科技股份有限公司 | 一种mpls vpn流量过滤的方法和装置 |
| CN106452868B (zh) * | 2016-10-12 | 2019-04-05 | 中国电子科技集团公司第三十研究所 | 一种支持多维度聚合分类的网络流量统计实现方法 |
| CN106506266B (zh) * | 2016-11-01 | 2019-05-14 | 中国人民解放军91655部队 | 基于GPU、Hadoop/Spark混合计算框架的网络流量分析方法 |
-
2019
- 2019-08-20 CN CN201910769694.8A patent/CN110597856B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976261A (zh) * | 2010-11-04 | 2011-02-16 | 上海银杏界信息科技有限公司 | 网页数据存储与搜索方法 |
| CN106777970A (zh) * | 2016-12-15 | 2017-05-31 | 北京锐软科技股份有限公司 | 一种医疗信息系统数据模板化的集成系统及方法 |
| CN113779132A (zh) * | 2021-09-15 | 2021-12-10 | 深圳我家云网络科技有限公司 | 一种数据导入的方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| Exploring caching for efficient collection operations;Swetha Surapaneni 等;《 2011 26th IEEE/ACM International Conference on Automated Software Engineering (ASE 2011)》;20111211;468-471 * |
| 资源共享网络中语义信息管理与检索研究;武浩;《中国优秀博硕士学位论文全文数据库(博士) 信息科技辑》;20090515(第05期);I138-130 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110597856A (zh) | 2019-12-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10977328B2 (en) | Providing notifications based on geofencing search results | |
| EP2958033A1 (en) | Tile-based distribution of searchable geospatial data to client devices | |
| CN110083660A (zh) | 一种同步数据的方法、装置、介质和电子设备 | |
| US9442905B1 (en) | Detecting neighborhoods from geocoded web documents | |
| CN109271685A (zh) | 一种基于bim的城市更新改造数据存储方法及装置 | |
| CN104636464B (zh) | 访问文件的方法和装置 | |
| WO2019071894A1 (zh) | 动态展示关系拓展图方法及应用服务器 | |
| CN105612511B (zh) | 标识并结构化相关数据 | |
| CN110069459B (zh) | 文件监控方法、装置和电子设备 | |
| WO2017000613A1 (zh) | 在搜索结果页中生成提示信息的方法及装置 | |
| WO2021104175A1 (zh) | 信息的处理方法及装置 | |
| CN110635966B (zh) | 一种流量数据的可视化展示系统、方法、介质和电子设备 | |
| CN110597856B (zh) | 一种流量深度解析数据的快速检索系统和方法 | |
| CN111198861A (zh) | 逻辑日志的处理方法、装置及电子设备 | |
| US10775966B2 (en) | Customizable autocomplete option | |
| CN110717126A (zh) | 页面浏览方法、装置、电子设备及计算机可读存储介质 | |
| EP3916578A1 (en) | System for implementing sub-database replication | |
| CN111984600B (zh) | 一种文件聚合方法、装置、设备及可读存储介质 | |
| CN114969044A (zh) | 一种基于数据湖的物化列创建方法以及数据查询方法 | |
| CN111309988B (zh) | 基于编码的字符串检索方法、装置及电子设备 | |
| CN104731787A (zh) | 实现网页布局的方法、装置及终端 | |
| CN107180073B (zh) | Poi推荐方法、装置、设备及计算机可读存储介质 | |
| CN111161047A (zh) | 银行业务数据处理、查询方法及装置 | |
| CN110740074A (zh) | 网络地址的检测方法、装置及电子设备 | |
| CN110825478A (zh) | 一种主界面内容添加方法、装置、介质和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: Huaneng building, No.47, section 4, Renmin South Road, Wuhou District, Chengdu, Sichuan 610000 Patentee after: Huaneng Sichuan Energy Development Co.,Ltd. Address before: Huaneng building, No.47, section 4, Renmin South Road, Wuhou District, Chengdu, Sichuan 610000 Patentee before: Huaneng Sichuan Hydropower Co.,Ltd. |