CN113220684A - 数据包的存储及查询方法、装置、系统及存储介质 - Google Patents
数据包的存储及查询方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN113220684A CN113220684A CN202110509235.3A CN202110509235A CN113220684A CN 113220684 A CN113220684 A CN 113220684A CN 202110509235 A CN202110509235 A CN 202110509235A CN 113220684 A CN113220684 A CN 113220684A
- Authority
- CN
- China
- Prior art keywords
- data packet
- information
- query
- abstract
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2291—User-Defined Types; Storage management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2457—Query processing with adaptation to user needs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/248—Presentation of query results
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供一种数据包的存储及查询方法、装置、系统及存储介质,该方法包括:接收客户端发送的查询请求,所述查询请求包括用户的查询条件;根据所述查询请求从预设数据包摘要索引中查询符合所述查询条件的摘要信息,所述预设数据包摘要索引包括数据包摘要信息与存储信息的关联关系;实时或定时将当前查询到的第一摘要信息返回给所述客户端,以使所述客户端即时展示所述第一摘要信息。本发明通过在查询过程中实时或定时返回当前查询到的这部分结果,使得用户能快速查看到查询到的部分结果,而不必等待很长时间,且在后续结果的查询过程中,用户可以浏览已展示的部分结果是否是自己需要的,有效提高用户时间利用率,从而提高查询效率。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据包的存储及查询方法、装置、系统及存储介质。
背景技术
在网络运维、安全运维场景下,网络原始流量数据包的留存已经是大部分安全分析设备和网络流量分析设备所具备的基本能力。现有的网络流量数据包存储设备,通常是对数据包的存储,或者将数据包采用标准的PCAP格式的文件进行存储,再或者采用私有格式进行报文的存储,在后续需要对存储的数据包进行分析时,通常需要按照时间、IP地址、端口、协议、正则表达式等查询条件进行查询检索,现有技术中在查询时,通常要对符合查询时间范围的全部数据包进行遍历,将所有符合查询条件的数据包存储成临时文件,供用户下载分析使用或在线分析使用。
现有这种查询方式,当存储的数据包数量很大、查询涉及的数据包很多时,查询时间会很长,需要等查询完成后,用户才能看到查询到的结果文件,查询效率较低,导致用户体验较差。
发明内容
本发明实施例提供一种数据包的存储及查询方法、装置、系统及存储介质,以解决现有技术数据包查询效率低等问题。
第一个方面,本发明实施例提供一种数据包的查询方法,包括:
接收客户端发送的查询请求,所述查询请求包括用户的查询条件;
根据所述查询请求从预设数据包摘要索引中查询符合所述查询条件的摘要信息,所述预设数据包摘要索引包括数据包摘要信息与存储信息的关联关系;
实时或定时将当前查询到的第一摘要信息返回给所述客户端,以使所述客户端即时展示所述第一摘要信息。
第二个方面,本发明实施例提供一种数据包的查询方法,包括:
响应于用户的第一操作获取用户的查询条件;
根据所述查询条件生成查询请求;
将所述查询请求发送给服务器,以使所述服务器根据所述查询请求及预设数据包摘要索引进行查询并实时或定时返回当前查询到的第一摘要信息;
接收并展示所述服务器返回的第一摘要信息。
第三个方面,本发明实施例提供一种数据包的存储方法,包括:
获取待存储数据包的摘要信息及存储信息;
将所述待存储数据包存储到所述存储信息对应的第一存储区域,并根据所述待存储数据包的摘要信息和存储信息建立所述待存储数据包的数据包摘要索引;
将所述待存储数据包的数据包摘要索引进行存储,形成预设数据包摘要索引。
第四个方面,本发明实施例提供一种数据包的查询装置,包括:
第一接收模块,用于接收客户端发送的查询请求,所述查询请求包括用户的查询条件;
第一处理模块,用于根据所述查询请求从预设数据包摘要索引中查询符合所述查询条件的摘要信息,所述预设数据包摘要索引包括数据包摘要信息与存储信息的关联关系;
第一发送模块,用于实时或定时将当前查询到的第一摘要信息返回给所述客户端,以使所述客户端即时展示所述第一摘要信息。
第五个方面,本发明实施例提供一种数据包的查询装置,包括:
第一获取模块,用于响应于用户的第一操作获取用户的查询条件;
第二处理模块,用于根据所述查询条件生成查询请求;
第二发送模块,用于将所述查询请求发送给服务器,以使所述服务器根据所述查询请求及预设数据包摘要索引进行查询并实时或定时返回当前查询到的第一摘要信息;
第二接收模块,用于接收所述服务器返回的第一摘要信息;
显示模块,用于展示所述第一摘要信息。
第六个方面,本发明实施例提供一种数据包的存储装置,包括:
第二获取模块,用于获取待存储数据包的摘要信息及存储信息;
第三处理模块,用于将所述待存储数据包存储到所述存储信息对应的第一存储区域;
第四处理模块,用于根据所述待存储数据包的摘要信息和存储信息建立所述待存储数据包的数据包摘要索引,并将所述待存储数据包的数据包摘要索引进行存储,形成预设数据包摘要索引。
第七个方面,本发明实施例提供一种数据包的查询系统,包括:后端查询组件、前端呈现组件及存储设备;
所述前端呈现组件,用于响应于用户的第一操作获取用户的查询条件,根据所述查询条件生成查询请求,并将所述查询请求发送给所述后端查询组件;所述后端查询组件,用于接收所述前端呈现组件发送的查询请求,根据所述查询请求从预设数据包摘要索引中查询符合所述查询条件的摘要信息,实时或定时将当前查询到的第一摘要信息返回给所述前端呈现组件;所述前端呈现组件,还用于接收并展示所述后端查询组件返回的第一摘要信息;所述存储设备用于存储所述预设数据包摘要索引及数据包。
第八个方面,本发明实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一个方面以及第一个方面各种可能的设计所述的方法,或者实现如上第二个方面以及第二个方面各种可能的设计所述的方法,或者实现如上第三个方面以及第三个方面各种可能的设计所述的方法。
本发明实施例提供的数据包的存储及查询方法、装置、系统及存储介质,通过建立数据包摘要索引,在查询过程中可以基于数据包摘要索引查询符合查询条件的摘要信息,并实时或定时返回当前查询到的这部分结果,使得用户能快速查看到查询到的部分结果,而不必等待很长时间,在后续结果的查询过程中,用户可以浏览已展示的部分结果是否是自己需要的,有效提高用户时间利用率,从而提高查询效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的数据包的查询方法的流程示意图;
图2为本发明一实施例提供的查询页面的一种示例性示意图;
图3为本发明一实施例提供的数据包内容的一种示例性展示示意图;
图4为本发明一实施例提供的查询结果页面的一种示例性示意图;
图5为本发明一实施例提供的数据包的查询方法的一种示例性流程示意图;
图6为本发明一实施例提供的数据包的查询方法的另一种示例性流程示意图;
图7为本发明另一实施例提供的数据包的查询方法的流程示意图;
图8为本发明一实施例提供的数据包的存储方法的流程示意图;
图9为本发明一实施例提供的数据包的查询装置的结构示意图;
图10为本发明另一实施例提供的数据包的查询装置的结构示意图;
图11为本发明一实施例提供的数据包的存储装置的结构示意图;
图12为本发明一实施例提供的电子设备的结构示意图;
图13为本发明一实施例提供的终端的结构示意图;
图14为本发明一实施例提供的数据包的查询系统的一种示例性架构示意图;
图15为本发明一实施例提供的数据包的查询系统的另一种示例性架构示意图。
通过上述附图,已示出本发明明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
此外,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中,“多个”的含义是两个及两个以上,除非另有明确具体的限定。
下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
本发明一实施例提供一种数据包的查询方法,用于各种网络流量数据包的查询。本实施例的执行主体为数据包的查询装置,该装置可以设置在电子设备中,该电子设备可以是服务器或者其他可实现的计算机设备,服务器可以是单个服务器也可以是服务器集群,具体可以根据实际需求设置。
如图1所示,为本发明一实施例提供的数据包的查询方法的流程示意图,该方法包括:
步骤101,接收客户端发送的查询请求,查询请求包括用户的查询条件。
具体的,客户端可以是指浏览器也可以是指应用程序APP,用户通过客户端登录查询页面,查询页面提供有供用户输入查询条件的输入框和/或选择查询条件的选择框,用户可以在查询页面输入或选择查询条件,点击“查询”或“确定”等类似按钮触发客户端向服务器发送查询请求,客户端获取到用户的触发操作后,获取用户的查询条件,根据查询条件生成查询请求,发送给服务器,服务器则可以接收到客户端发送的查询请求,该查询请求即包括用户的查询条件。
用户可输入或选择的查询条件可以包括时间条件、会话ID、IP地址(包括源IP和目的IP)、端口(包括源端口和目的端口)、传输层协议、数据包长、应用类型、协议类型、IP归属地、TCP标识位、VLAN ID等条件中的一种或多种,具体可以根据实际需求设置。
查询页面还可以设置有供用户输入查询关键字的输入框,用户可以根据自己需求输入查询关键字,比如输入正则表达式,进行全包正则匹配查询,则用户输入的查询关键字作为用户的查询条件。
示例性的,如图2所示,为本发明一实施例提供的查询页面的一种示例性示意图。
查询条件还可以是用户通过日志关联查询来获取,比如用户在日志流量界面,想要查询某日志相关的数据包信息,可以在日志条目后面设置相应的查询入口,用户点击该查询入口,触发客户端获取该条日志的相关信息,比如会话ID、五元组信息、VLAN信息(比如VLAN ID)等,客户端获取到日志相关信息生成查询请求,该查询请求包括的查询条件即为会话ID、五元组信息、VLAN信息等日志相关信息中的至少一种。
对于查询页面的具体展示方式可以根据实际需求设置,本实施例不做限定。
步骤102,根据查询请求从预设数据包摘要索引中查询符合查询条件的摘要信息,预设数据包摘要索引包括数据包摘要信息与存储信息的关联关系。
具体的,接收到查询请求后,可以从查询请求中获取查询条件,从预设数据包摘要索引中查询符合查询条件的摘要信息;预设数据包摘要索引包括数据包摘要信息与存储信息的关联关系,预设数据包摘要索引是预先建立的数据包的摘要信息的索引,即建立各数据包的摘要信息与其存储信息的对应关系,便于查询时根据索引获取到数据包存储信息,从而快速获取数据包内容,数据包的摘要信息可以包括时间信息、会话ID、IP地址(包括源IP和目的IP)、端口(包括源端口和目的端口)、传输层协议、数据包长、应用类型、协议类型、IP归属地、TCP标识位、VLAN ID等信息中的至少一种;数据包的存储信息包括存储文件、偏移、数据包长及其他相关信息,具体可以根据实际需求设置,只要是能够根据存储信息找到数据包即可。
在查询时,可以将查询条件与预设数据包摘要索引中的摘要信息进行匹配,来获取符合查询条件的摘要信息。
步骤103,实时或定时将当前查询到的第一摘要信息返回给客户端,以使客户端即时展示第一摘要信息。
具体的,在查询时,可以实时或定时地将当前查询到的部分摘要信息(称为第一摘要信息)返回给客户端,以使客户端即时展示已查询到的第一摘要信息,而不必等到查询完再返回查询到的所有摘要信息;第一摘要信息可以包括条或多条,具体根据实际查询结果确定;客户端的具体展示方式可以根据实际需求设置,本实施例不做限定。
对于定时返回结果,可以根据实际需求设置返回周期,比如1秒、2秒;对于实时返回可以是查询到一条返回一条,客户端可以同样实时刷新展示也可以定时刷新展示,具体可以根据实际需求设置。
示例性的,预设数据包摘要索引中包括10000条索引,查询时,若从第一条开始匹配,遍历完索引需要较长时间,则可以设置定时返回规则,比如每1秒返回一批查询到的结果,则当前查询到的第一摘要信息即为当前之前这1秒内查询到的摘要信息,以此类推,一边查询一边返回结果给客户,查询到一部分则返回这一部分,客户端则在接收到后即时刷新展示出新收到的这部分结果,使用户能快速查看到查询到的部分结果,而不必等待很长时间,在后续结果的查询过程中,用户可以浏览已展示的部分结果,是否是自己需要的,有效提高用户时间利用率,从而提高查询效率;客户端在刷新展示页面时,可以是将新收到的这部分结果展示在之前已展示部分列表的后面,避免打乱用户已查看内容,提高用户体验。
可选地,也可以是将当前查询到的第一摘要信息及对应的存储信息,一起返回给客户端,客户端刷新展示第一摘要信息,并存储第一摘要信息与存储信息的对应关系,以便后续用户想要查看数据包内容时,可以快速获取数据包存储信息,以根据数据包存储信息快速向服务器请求数据包内容。
本实施例提供的数据包的查询方法,通过建立数据包摘要索引,在查询过程中可以基于数据包摘要索引查询符合查询条件的摘要信息,并实时或定时返回当前查询到的这部分结果,使得用户能快速查看到查询到的部分结果,而不必等待很长时间,在后续结果的查询过程中,用户可以浏览已展示的部分结果是否是自己需要的,有效提高用户时间利用率,从而提高查询效率。
为了使本发明的技术方案更加清楚,本发明另一实施例对上述实施例提供的方法做进一步补充说明。
作为一种可实施的方式,为了方便用户查看数据包内容,进一步提高用户体验,该方法还包括:
接收客户端发送的已展示的第二摘要信息对应的数据包的详情查看请求;根据详情查看请求返回第二摘要信息对应的数据包内容,以使客户端进行展示。
具体的,在客户端已展示部分查询结果的情况下,用户若想查看其中的一条或多条摘要信息(称为第二摘要信息)的数据包详情,则可以通过在查询结果页面相应的摘要信息对应的详情入口查看,比如在每条展示的摘要信息后面或下面展示“详情”按钮,用户点击“详情”按钮,即可触发客户端向服务器发送详情查看请求,具体来说,客户端获取到用户点击操作后,获取用户点击操作对应的第二摘要信息,可以根据第二摘要信息生成详情查看请求,发送给服务器,服务器接收到详情查看请求后,根据详情查看请求获取并返回第二摘要信息对应的数据包内容,客户端则可以将第二摘要信息对应的数据包内容展示给用户查看。
在即时展示摘要信息列表的情况下,还可以随时为用户提供数据包详情查看功能,现有技术中,用户需要等待查询任务结束才能下载查看数据包具体内容,本发明相对于现有技术,用户无需等待查询任务结束后查看,而是随时可以查看分析已查询到的数据包,进一步提高了用户体验。
在一种实施方式中,详情查看请求包括第二摘要信息,根据详情查看请求返回第二摘要信息对应的数据包内容,以使客户端进行展示,包括:根据第二摘要信息从预设数据包摘要索引中获取对应的第二数据包的存储信息;根据第二数据包的存储信息获取第二数据包内容;将第二数据包内容返回给客户端,以使客户端进行展示。
具体的,客户端将用户选择的第二摘要信息携带在详情查看请求中发送给服务器,服务器从详情查看请求中获取第二摘要信息,根据第二摘要信息及预设数据包摘要索引获取对应的数据包的存储信息,进而根据存储信息获取到对应的数据包内容,返回给客户端。
在另一种实施方式中,为了进一步提高查询效率,实时或定时将当前查询到的第一摘要信息返回给客户端,包括:实时或定时将当前查询到的第一摘要信息及对应的存储信息返回给客户端;相应的,详情查看请求包括第二摘要信息对应的第二数据包的存储信息;则根据详情查看请求返回第二摘要信息对应的数据包内容,包括:
根据第二数据包的存储信息获取第二数据包的内容;将第二数据包内容返回给客户端,以使客户端进行展示。
具体的,服务器在查询过程中返回给客户端的查询结果是查询到的摘要信息(第一摘要信息)及对应的存储信息,客户端可以存储摘要信息与存储信息的对应关系,展示摘要信息列表,当用户在已展示的摘要信息列表中想要查看某摘要信息(称为第二摘要信息)对应的数据包时,客户端可以直接根据第二摘要信息及存储的摘要信息与存储信息的对应关系获取对应的存储信息,根据第二摘要信息对应的存储信息来生成详情查看请求发送给服务器,这样服务器则可以直接根据第二摘要信息对应的存储信息到相应的存储区域获取对应的数据包(第二数据包)内容,无需再根据第二摘要信息从预设数据包摘要索引查询对应的存储信息,进一步提高查询效率。
对数据包内容的展示方式可以根据实际需求设置,本发明实施例不做限定。
示例性的,如图3所示,为本发明一实施例提供的数据包内容的一种示例性展示示意图。
在一种实施方式中,若查询条件在预设数据包摘要索引中不存在,则根据查询条件从数据包存储区域中查询符合查询条件的数据包;实时或定时返回当前查询到的第二数据包的摘要信息,以使客户端即时展示第二数据包的摘要信息。
具体的,对于用户通过关键词输入框输入关键词作为查询条件的查询方式,很可能会出现查询条件在预设数据包摘要索引中不存在的情况,为了能够为用户提供查询结果,这种情况下,服务器根据查询条件直接从数据包存储区域查询符合查询条件的数据包,在查询过程中仍可以实时或定时返回当前查询到的第二数据包的摘要信息,客户端则可以即时展示第二数据包的摘要信息。示例性的,服务器在查询到部分符合查询条件的数据包(第二数据包)后,可以获取这些第二数据包的摘要信息返回给客户端进行展示,还可以获取第二数据包的存储信息与摘要信息一起返回给客户端,客户端存储第二数据包摘要信息与存储信息的对应关系,展示第二数据包的摘要信息列表,当用户想要查看第二数据包详情时,可按照前述的方式进行查看,具体不再赘述。
可选地,在查询数据包时,若查询条件中包括时间条件,则可以只查询符合时间条件的数据包是否符合其他条件即可,无需遍历所有数据包。
作为另一种可实施的方式,为了进一步提高用户体验,该方法还可以包括:实时或定时将当前查询进度返回给客户端,以使客户端向用户展示当前查询进度。
具体的,当前查询进度可以是与每一次的查询结果一起返回给客户端,也可以单独发送给客户端,具体可以根据实际需求设置;当前查询进度是指当前已完成查询部分占总体需要查询的比例,当前查询进度可以根据时间来计算,也可以根据其他因素来计算;比如,以时间为例,对于预设数据包摘要索引可以是按照数据包的产生时间排序的,比如数据包时间范围为24小时,这24小时内的数据包的预设数据包摘要索引中各条索引按产生时间排序,查询时从头到尾进行遍历查询,若是定时返回结果,在第1周期(比如1秒)查询了0-5小时范围的索引则当前查询进度为5/24*100%=20.8%,在第2周期又查询了5-12小时范围的索引,则当前查询进度为12/24*100%=50%,以此类推;再比如,当前查询进度也可以是按索引条数计算,即已查询的索引条数占要查询的索引总条数的比例,比如索引总条数为1万,当前已查询2000,则当前查询进度为20%。
在客户端展示查询进度,并能实时或定时更新查询进度,使用户能够清楚地了解查询进展情况,有效提高用户体验。
作为另一种可实施的方式,为了进一步提高查询效率,还可以将预设数据包摘要索引按一定条件划分为多个组,在查询时可以先确定要查询的组,再从该组中查询摘要信息,而不必遍历所有索引;具体的,若查询条件包括第一查询条件和第二查询条件,则根据查询请求从预设数据包摘要索引中查询符合查询条件的摘要信息,包括:根据查询请求从预设数据包摘要索引中获取符合第一查询条件的组;从符合第一查询条件的组中查询符合第二查询条件的摘要信息。
具体的,第一查询条件可以是时间条件也可以是其他条件,比如IP归属地、应用类型等,具体可以根据实际需求设置,以时间条件为例,可以将预设数据包摘要索引按数据包产生时间划分为多个组,当用户的查询条件包括了时间条件和其他条件(即第二查询条件)时,可以首先按照时间条件从预设数据包摘要索引中选择符合时间条件的组,再根据查询条件中的第二查询条件从符合时间条件的组中来查询符合第二查询条件的摘要信息;第一查询条件再以IP归属地为例,可以将预设数据包摘要索引按IP归属地划分为多个组,当用户的查询条件包括了IP归属地条件和第二查询条件时,可以首先按照用户的IP归属地条件确定符合其需求的组,再从确定的组中查询符合第二查询条件的摘要信息;从而只需要从符合第一查询条件的这些组中查询即可,无需遍历所有索引,进一步提高查询效率。
作为另一种可实施的方式,为了进一步提高用户体验,该方法还可以包括:
接收客户端发送的查询终止请求;响应于查询终止请求,结束当前查询并向客户端返回当前新查询到的第三摘要信息及查询终止信息,以使客户端进行展示。
具体的,在查询结束前,用户随时可以取消查询,无需等待查询完成,比如用户在已展示结果中已经看到了自己需要的数据或者其他原因不想继续查询,则可以通过查询结果页面的“取消查询”、“结束查询”等类似按钮触发客户端向服务器发送查询终止请求,服务器接收到查询终止请求后,结束查询,并可以将最后新查询到的这批摘要信息(称为第三摘要信息)及查询终止信息发送给客户端,客户端则可以刷新展示页面,展示第三摘要信息,并通知用户查询结束;查询结果页面的具体展示方式可以根据实际需求设置,本实施例不做限定。
示例性的,如图4所示,为本发明一实施例提供的查询结果页面的一种示例性示意图。
本发明的数据包查询系统可以支持用户输入或选择查询条件情况下的即时返回结果,还能够支持日志关联查询情况下的即时返回结果,并且对于用户输入的查询条件在预设数据包摘要索引中不存在时,同样可以支持即时返回结果。
本发明中预设数据包摘要索引和数据包可以分开存储,比如分别存储在不同的存储设备中,也可以存储在同一存储设备中,具体可以根据实际需求设置,存储设备可以是存储器、数据库、磁盘等任意可实施的存储设备,本发明不做限定。
需要说明的是,本实施例中各可实施的方式可以单独实施,也可以在不冲突的情况下以任意组合方式结合实施本发明不做限定。
作为一种示例性的实施方式,如图5所示,为本发明一实施例提供的数据包的查询方法的一种示例性流程示意图,这里用户的查询条件是在索引中存在的条件。
作为另一种示例性的实施方式,如图6所示,为本发明一实施例提供的数据包的查询方法的另一种示例性流程示意图,这里用户的查询条件是在索引中不存在的条件。
本实施例提供的数据包的查询方法,在即时展示摘要信息列表的情况下,还可以随时为用户提供数据包详情查看功能,用户无需等待查询任务结束后查看,而是随时可以查看分析已查询到的数据包,进一步提高了用户查询效率,从而提高用户体验;还通过将数据包存储信息与摘要信息一起返回客户端,当用户查看数据包详情时,客户端可以将数据包存储信息发送给服务器,使服务器快速读取数据包详情返回给客户端,进一步提高查询效率;还通过即时展示当前查询进度,进一步提高用户体验;还通过将摘要索引按一定条件分组,在查询时只需从符合用户相应条件的分组中查询符合其他条件的结果即可,进一步提高查询效率;还通过为用户提供随时终止查询功能,进一步提高用户体验。
以上为服务端实现的数据包的查询方法,下面进一步对客户端实现的数据包的查询方法进行说明。
本发明再一实施例提供一种数据包的查询方法,本实施例的执行主体为数据包的查询装置,该数据包的查询装置为客户端,该装置可以设置在终端中,该终端可以是手机、个人PC、平板等终端,具体可以根据实际需求设置。
如图7所示,为本发明另一实施例提供的数据包的查询方法的流程示意图,该方法包括:
步骤301,响应于用户的第一操作获取用户的查询条件。
第一操作可以是用户在查询界面输入或选择查询条件后点击“查询”或“确定”等类似按钮的操作,响应于用户的该第一操作获取用户输入或选择的查询条件;第一操作也可以是日志关联查询情况下的用户在日志查看界面点击“查看”、“分析”等类似按钮的操作,响应于用户的该第一操作,获取用户要查看的日志的会话ID、五元组信息、VLAN信息等相关信息作为用户的查询条件。
步骤302,根据查询条件生成查询请求。
步骤303,将查询请求发送给服务器,以使服务器根据查询请求及预设数据包摘要索引进行查询并实时或定时返回当前查询到的第一摘要信息。
步骤304,接收并展示服务器返回的第一摘要信息。
需要说明的是,客户端的具体操作在上述实施例与服务器的交互过程中进行了详细说明(具体参见上述实施例),且能够达到相同的技术效果,在此不再赘述。
为了使本发明的技术方案更加清楚,本发明另一实施例对上述实施例提供的方法做进一步补充说明
作为一种可实施的方式,为了方便用户查看数据包内容,进一步提高用户体验,该方法还可以包括:
响应于用户的第二操作,获取用户选择的待查看的第二摘要信息;根据第二摘要信息生成详情查看请求;将详情查看请求发送给服务器,以使服务器根据详情查看请求返回第二摘要信息对应的数据包内容;接收并展示服务器返回的第二摘要信息对应的数据包内容。
用户的第二操作可以是用户在查询结果页面已展示的摘要信息中选择要查看详情的摘要信息后点击“查看”等类似按钮的操作,或者可以是用户点击要查看的摘要信息后面对应的“详情”入口的操作,具体页面展示方式及用户操作方式可以根据实际需求设置,本实施例不做限定。
进一步地,为了进一步提高查询效率,接收并展示服务器返回的第一摘要信息,包括:
接收服务器返回的第一摘要信息及对应的存储信息,并展示第一摘要信息;相应的,根据第二摘要信息生成详情查看请求,包括:
获取第二摘要信息对应的存储信息;根据第二摘要信息对应的存储信息生成详情查看请求。
作为另一种可实施的方式,为了进一步提高用户体验,该方法还包括:
接收并展示服务器发送的当前查询进度。
作为另一种可实施的方式,为了进一步提高用户体验,该方法还包括:
响应于用户的第三操作,向服务器发送查询终止请求;接收并展示服务器返回的当前新查询到的第三摘要信息及查询终止信息。
第三操作可以是用户在查询结果页面点击“结束查询”、“取消查询”等类似按钮的操作。
需要说明的是,本实施例各可实施的方式中,服务器的具体操作已在上述服务器侧方法实施例中进行了详细说明,在此不再赘述。
需要说明的是,本实施例中各可实施的方式可以单独实施,也可以在不冲突的情况下以任意组合方式结合实施本发明不做限定。
关于本实施例中的方法,其中各个步骤的具体操作已经在服务器侧方法的实施例中进行了详细描述,且能够达到相同的技术效果,此处将不做详细阐述说明。
为了能够支持上述实施例的数据包的查询方法,本发明再一实施例提供一种数据包的存储方法,用于网络流量数据包的存储,本实施例的执行主体为数据包的存储装置,该装置可以设置在电子设备中,该电子设备可以是服务器或其他可实现的计算机设备。
如图8所示,为本发明一实施例提供的数据包的存储方法的流程示意图,该方法包括:
步骤401,获取待存储数据包的摘要信息及存储信息;
具体的,待存储数据包可以是实时产生的数据包,在需要存储该待存储数据包时,可以获取该待存储数据包的摘要信息,并可以获取该待存储数据包将要存储到的存储区域的存储信息;待存储数据包的摘要信息可以根据预设摘要信息提取规则来获取,存储信息可以根据存储区域的分配规则来获取,具体为现有技术,在此不再赘述。
可选地,待存储数据包也可以是历史产生的数据包,为了提高查询效率,对历史产生的数据包进行整理。
步骤402,将待存储数据包存储到存储信息对应的第一存储区域。
具体的,在获取到待存储数据包的存储信息后,则可以将待存储数据包存储到其存储信息对应的第一存储区域。
可以理解地,对于历史产生已经存储的数据包,也可以直接获取其当前存储信息即可,无需再对其进行存储操作。
步骤403,根据待存储数据包的摘要信息和存储信息建立待存储数据包的数据包摘要索引。
具体的,为了方便查询,需要根据待存储数据包的摘要信息和存储信息建立待存储数据包的数据包摘要索引,待存储数据包的数据包摘要索引包括待存储数据包的摘要信息与存储信息的关联关系。
需要说明的是,步骤402和步骤403不分先后顺序。
步骤404,将待存储数据包的数据包摘要索引进行存储,形成预设数据包摘要索引。
具体的,预设数据包摘要索引包括已存储的数据包的摘要信息与存储信息的关联关系,可以根据实际需求选择以任意格式存储,比如列表形式,预设数据包摘要索引也可以是实时更新的,每产生一个数据包,可以将该数据包作为待存储数据包,将该待存储数据包的数据包摘要索引按照一定规则添加到当前的预设数据包摘要索引列表中形成新的数据包摘要索引作为当前的预设数据包摘要索引。
可选地,数据包与预设数据包摘要索引可以存储在同一存储设备的不同存储区域,也可以是分别存储在不同的存储设备,具体可以根据实际需求设置,即第一存储区域与第二存储区域可以是同一存储设备上的两个存储区域,也可以是不同存储设备上的存储区域。
进一步地,为了进一步提高数据包查询效率,摘要信息包括第一信息和第二信息;预设数据包摘要索引按照第一信息划分为多个组;相应的,根据待存储数据包的摘要信息和存储信息建立待存储数据包的数据包摘要索引,包括:建立待存储数据包的第二信息与存储信息的关联关系,作为待存储数据包的第二索引;根据第一信息确定待存储数据包的第二索引所属的组;相应的,将待存储数据包的数据包摘要索引进行存储,形成预设数据包摘要索引,包括:将待存储数据包的第二索引添加到其所属的组,形成预设数据包摘要索引。
具体的,为了进一步提高查询效率,预设数据包摘要索引还可以按照一定规则设置成两级索引,根据实际需求将摘要信息分为第一信息和第二信息,第一信息可以是时间、IP归属地等,相应的第二信息则可以是除第一信息外的其他信息,具体可以根据实际需求设置,对应于用户的查询条件,第一信息对应第一查询条件,第二信息对应第二查询条件,第一信息以时间为例,第二信息即为IP归属地、会话ID、端口、应用类型等中的一种或多种,对于每个数据包,可以建立数据包第二信息与存储信息的关联关系,进一步将各数据包按照产生时间进行分组,比如,对于24小时时间段(0点-24点)内产生的数据包,可以按照时间划分为4组,每组包括一个小时的数据包的第二索引,当用户的查询条件包括第一查询条件为0点-6点,第二查询条件IP归属地2时,可以先根据第一查询条件确定需要查询的组为分组1,然后只需要在分组1中查询符合第二查询条件IP归属地2的摘要信息即可,无需再遍历其他分组。
示例性的,如表1所示,为本实施例提供的预设数据包摘要索引的简单示例:
表1
本实施例提供的数据包的存储方法,通过建立数据包摘要信息与存储信息的关联关系形成预设数据包摘要索引,使得在查询时,能够基于预设数据包摘要索引进行查询,有效提高查询效率,并可以将预设数据包摘要索引按照一定条件进行分组,使得在查询时可以在一定分组中查询即可,无需遍历所有索引,进一步提高查询效率。
下面对服务器侧设置的数据包的查询装置进行说明。
本发明再一实施例提供一种数据包的查询装置,用于执行上述服务器侧实施例的方法。
如图9所示,为本发明一实施例提供的数据包的查询装置的结构示意图。该装置50包括:第一接收模块51、第一处理模块52和第一发送模块53。
其中,第一接收模块,用于接收客户端发送的查询请求,查询请求包括用户的查询条件;第一处理模块,用于根据查询请求从预设数据包摘要索引中查询符合查询条件的摘要信息,预设数据包摘要索引包括数据包摘要信息与存储信息的关联关系;第一发送模块,用于实时或定时将当前查询到的第一摘要信息返回给客户端,以使客户端即时展示第一摘要信息。
具体的,用户在客户端操作触发客户端向数据包的查询装置发送查询请求,数据包的查询装置的第一接收模块接收到查询请求后发送给第一处理模块,第一处理模块根据查询请求从预设数据包摘要索引中查询符合查询条件的摘要信息,并实时或定时将当前查询到的第一摘要信息发送给第一发送模块,第一发送模块将第一摘要信息返回给客户端,以使客户端即时展示第一摘要信息。
可选地,第一摘要信息发送给客户端的时机也可以是由第一发送模块控制,即第一处理模块查询到符合查询条件的摘要信息即发送给第一发送模块,第一发送模块实时或定时将当前查询到的第一摘要信息返回给客户端,具体可以根据实际需求设置。
关于本实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,且能够达到相同的技术效果,此处将不做详细阐述说明。
为了使本发明的装置更加清楚,本发明又一实施例对上述实施例提供的装置做进一步补充说明。
作为一种可实施的方式,为了方便用户查看数据包内容,进一步提高用户体验,第一接收模块,还用于接收客户端发送的已展示的第二摘要信息对应的数据包的详情查看请求;第一处理模块,还用于根据详情查看请求获取第二摘要信息对应的数据包内容;第一发送模块,还用于返回第二摘要信息对应的数据包内容,以使客户端进行展示。
具体的,用户在客户端操作触发客户端向数据包的查询装置发送详情查看请求,第一接收模块接收客户端发送的已展示的第二摘要信息对应的数据包的详情查看请求,发送给第一处理模块,第一处理模块根据详情查看请求获取第二摘要信息对应的数据包内容,并发送给第一发送模块,第一发送模块返回第二摘要信息对应的数据包内容,以使客户端进行展示。
在一种实施方式中,详情查看请求包括第二摘要信息;相应的,第一处理模块,包括第一子模块和第二子模块;第一子模块,用于根据第二摘要信息从预设数据包摘要索引中获取对应的第二数据包的存储信息;第二子模块,用于根据第二数据包的存储信息获取第二数据包内容;第一发送模块,具体用于将第二数据包内容返回给客户端,以使客户端进行展示。
具体的,客户端没有存储摘要信息对应的数据包存储信息情况下,客户端根据用户要查看的第二摘要信息生成详情查看请求,详情查看请求即包括第二摘要信息,服务器中该装置的第一处理模块接收到第一接收模块发送的详情查看请求,由第一子模块根据第二摘要信息从预设数据包摘要索引中获取对应的第二数据包的存储信息,并发送给第二子模块,第二子模块进一步根据第二数据包的存储信息从对应的存储区域获取第二数据包内容,发送给第一发送模块,第一发送模块将第二数据包内容返回给客户端,以使客户端进行展示。
在另一种实施方式中,为了进一步提高查询效率,第一发送模块,具体用于实时或定时将当前查询到的第一摘要信息及对应的存储信息返回给客户端;相应的,详情查看请求包括第二摘要信息对应的第二数据包的存储信息;第一处理模块,具体用于根据第二数据包的存储信息获取第二数据包的内容;第一发送模块,具体用于将第二数据包内容返回给客户端,以使客户端进行展示。
具体的,服务器在向客户端返回查询到的摘要信息时,同时将摘要信息对应的数据包存储信息发送给了客户端,客户端可以存储展示的摘要信息对应的存储信息,当用户想要查看第二摘要信息的数据包详情时,客户端则可以直接根据第二摘要信息获取对应的存储信息来生成详情查看请求,服务器中该装置接收到的详情查看请求即包括第二摘要信息对应的存储信息,第一处理模块则可以直接根据第二摘要信息对应的存储信息从相应的数据包存储区域获取第二数据包内容即可,无需再查询预设数据包摘要索引来获取存储信息,从而进一步提高查询效率。
作为另一种可实施的方式,为了能够为用户提供更为灵活的查询服务,第一处理模块,还用于若查询条件在预设数据包摘要索引中不存在,则根据查询条件从数据包存储区域中查询符合查询条件的数据包;第一发送模块,还用于实时或定时返回当前查询到的第二数据包的摘要信息,以使客户端即时展示第二数据包的摘要信息。
具体的,用户可以根据自己需求在查询页面输入关键词或正则表达式进行查询,即使用户输入的查询条件在预设数据包摘要索引中不存在,也可以为用户提供查询结果,第一处理模块可以根据查询条件直接从数据包存储区域中查询符合查询条件的数据包,并获取这些符合查询条件的第二数据包的摘要信息发送给第一发送模块,第一发送模块则可以实时或定时返回当前查询到的第二数据包的摘要信息,以使客户端即时展示第二数据包的摘要信息。
作为另一种可实施的方式,为了进一步提高用户体验,第一处理模块,还用于实时或定时获取当前查询进度;第一发送模块,还用于将当前查询进度返回给客户端,以使客户端向用户展示当前查询进度。
具体的,第一处理模块在完成一个周期的查询后可以根据当前周期完成进度及之前周期完成进度来确定当前查询进度,并发送给第一发送模块,第一发送模块则可以将当前查询进度返回给客户端,客户端则可以向用户展示当前查询进度,使用户能够及时掌握查询进展,从而提高用户体验。
其中,当前查询进度可以单独发送给客户端进行展示,或者,当前查询进度也可以是每次与当前周期的查询结果一起发送给客户端,使客户端能够同步刷新当前查询进度与查询结果,具体可以根据实际需求设置,本发明不做限定。
作为另一种可实施的方式,为了进一步提高查询效率,第一处理模块,还用于若查询条件包括第一查询条件和第二查询条件,则根据查询请求从预设数据包摘要索引中获取符合第一查询条件的组,从符合第一查询条件的组中查询符合第二查询条件的摘要信息。
作为另一种可实施的方式,为了进一步提高用户体验,第一接收模块,还用于接收客户端发送的查询终止请求;第一处理模块,还用于响应于查询终止请求,结束当前查询;第一发送模块,还用于向客户端返回当前新查询到的第三摘要信息及查询终止信息,以使客户端进行展示。
需要说明的是,本实施例中各可实施的方式可以单独实施,也可以在不冲突的情况下以任意组合方式结合实施本发明不做限定。
关于本实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,且能够达到相同的技术效果,此处将不做详细阐述说明。
上面对服务器侧数据包的查询装置进行了详细说明,下面进一步对终端侧数据包的查询装置进行说明。
本发明又一实施例提供一种数据包的查询装置,用于执行上述客户端侧实施例的方法,该装置可以设置在终端中。
如图10所示,为本发明另一实施例提供的数据包的查询装置的结构示意图。该装置70包括:第一获取模块71、第二处理模块72、第二发送模块73、第二接收模块74和显示模块75。
其中,第一获取模块,用于响应于用户的第一操作获取用户的查询条件;第二处理模块,用于根据查询条件生成查询请求;第二发送模块,用于将查询请求发送给服务器,以使服务器根据查询请求及预设数据包摘要索引进行查询并实时或定时返回当前查询到的第一摘要信息;第二接收模块,用于接收服务器返回的第一摘要信息;显示模块,用于展示第一摘要信息。
具体的,用户在客户端通过第一操作触发数据包的查询装置的第一获取模块获取用户的查询条件发送给第二处理模块,第二处理模块根据查询条件生成查询请求发送给第二发送模块,第二发送模块将查询请求发送给服务器,服务器根据查询请求及预设数据包摘要索引进行查询并实时或定时返回当前查询到的第一摘要信息,第二接收模块接收服务器返回的第一摘要信息,并发送给显示模块,显示模块展示第一摘要信息。
关于本实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,且能够达到相同的技术效果,此处将不做详细阐述说明。
为了使本发明的装置更加清楚,本发明又一实施例对上述实施例提供的装置做进一步补充说明。
作为一种可实施的方式,为了方便用户查看数据包具体内容,进一步提高用户体验,第一获取模块,还用于响应于用户的第二操作,获取用户选择的待查看的第二摘要信息;第二处理模块,还用于根据第二摘要信息生成详情查看请求;第二发送模块,还用于将详情查看请求发送给服务器,以使服务器根据详情查看请求返回第二摘要信息对应的数据包内容;第二接收模块,还用于接收服务器返回的第二摘要信息对应的数据包内容;显示模块,还用于展示第二摘要信息对应的数据包内容。
具体的,第一获取模块在用户第二操作的触发下获取用户待查看的第二摘要信息发送给第二处理模块,第二处理模块根据第二摘要信息生成详情查看请求发送给第二发送模块,第二发送模块将详情查看请求发送给服务器,服务器根据详情查看请求获取并返回第二摘要信息对应的数据包内容,第二接收模块接收服务器返回的第二摘要信息对应的数据包内容,并发送给显示模块,显示模块则展示第二摘要信息对应的数据包内容供用户查看。
作为另一种可实施的方式,为了进一步提高查询效率,第二接收模块,具体用于接收服务器返回的第一摘要信息及对应的存储信息;相应的,第二处理模块,具体用于获取第二摘要信息对应的存储信息,根据第二摘要信息对应的存储信息生成详情查看请求。
具体的,第二接收模块接收并存储服务器返回的第一摘要信息及对应的存储信息,当用户需要查看其中第二摘要信息的数据包详情时,第二处理模块则可以根据已存储的摘要信息与存储信息的对应关系获取第二摘要信息对应的存储信息,根据第二摘要信息对应的存储信息来生成详情查看请求,发送给第二发送模块,第二发送模块将携带第二摘要信息对应的存储信息的详情查看请求发送给服务器,服务器根据第二摘要信息对应的存储信息直接从相应的存储区域获取第二摘要信息对应的数据包内容返回给客户端,第二接收模块,接收服务器返回的第二摘要信息对应的数据包内容,并发送给显示模块,显示模块则展示第二摘要信息对应的数据包内容供用户查看。
需要说明的是,本实施例中各可实施的方式可以单独实施,也可以在不冲突的情况下以任意组合方式结合实施本发明不做限定。
关于本实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,且能够达到相同的技术效果,此处将不做详细阐述说明。
为了能够支持上述的数据包的查询方法,本发明再一实施例提供一种数据包的存储装置,用于执行上述数据包的存储方法。
如图11所示,为本发明一实施例提供的数据包的存储装置的结构示意图,该装置60包括:第二获取模块61、第三处理模块62和第四处理模块63。
其中,第二获取模块,用于获取待存储数据包的摘要信息及存储信息;第三处理模块,用于将待存储数据包存储到存储信息对应的第一存储区域;第四处理模块,用于根据待存储数据包的摘要信息和存储信息建立待存储数据包的数据包摘要索引,并将待存储数据包的数据包摘要索引进行存储,形成预设数据包摘要索引。
具体的,第二获取模块获取到待存储数据包的摘要信息及存储信息发送给第三处理模块和第四处理模块,或者将待存储数据包的存储信息发送给第三处理模块,将待存储数据包的摘要信息及存储信息发送给第四处理模块,第三处理模块将待存储数据包存储到存储信息对应的第一存储区域,第四处理模块根据待存储数据包的摘要信息和存储信息建立待存储数据包的数据包摘要索引,并将待存储数据包的数据包摘要索引进行存储,形成预设数据包摘要索引。
在实际应用中,第三处理模块可以在将待存储数据包存储到存储信息对应的第一存储区域后通知第四处理模块,第四处理模块再根据待存储数据包的摘要信息和存储信息建立待存储数据包的数据包摘要索引,以确保存储信息的准确性。
进一步地,为了进一步提高查询效率,摘要信息包括第一信息和第二信息;预设数据包摘要索引按照第一信息划分为多个组;第四处理模块,具体用于:建立待存储数据包的第二信息与存储信息的关联关系,作为待存储数据包的第二索引;根据第一信息确定待存储数据包的第二索引所属的组;将待存储数据包的第二索引添加到其所属的组,形成预设数据包摘要索引。
关于本实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,且能够达到相同的技术效果,此处将不做详细阐述说明。
在一些实施例中,各装置还可以按照其他方式来进行模块划分,具体划分方式可以根据实际需求设置。
本发明再一实施例提供一种电子设备,用于执行上述服务器侧实施例提供的方法。该电子设备可以是服务器或其他可实现的计算机设备。
如图12所示,为本发明一实施例提供的电子设备的结构示意图。该电子设备80包括:第一存储器81、第一收发器82及至少一个第一处理器83。
其中,第一处理器、第一存储器与第一收发器通过电路互联;第一存储器存储计算机执行指令;第一收发器,用于接收终端发送的查询请求;至少一个第一处理器执行第一存储器存储的计算机执行指令,使得至少一个第一处理器执行如上任一服务器侧实施例提供的方法。
具体的,用户通过终端登录客户端页面,在客户端页面触发客户端向电子设备发送查询请求,第一收发器接收终端发送的查询请求并发送给第一处理器,第一处理器读取并执行第一存储器存储的计算机执行指令,实现如上任一服务器侧实施例提供的方法。
本发明的电子设备可以应用于任意的网络流量数据包的查询应用场景,为用户提供通即时查询结果,使用户能够快速查看到部分查询结果,而无需等待查询任务结束,有效提高了用户查询效率,提升用户体验,并且还可以即时查看或分析已展示摘要信息的数据包详情,无需等待查询任务结束;还可以随时取消查询,进一步提高用户体验。
需要说明的是,本实施例的电子设备能够实现上述任一服务器侧实施例提供的方法,且能够达到相同的技术效果,在此不再赘述。
本发明又一实施例提供一种终端,用于执行上述客户端侧实施例提供的方法。
如图13所示,为本发明一实施例提供的终端的结构示意图。该终端90包括:第二存储器91、第二收发器92及至少一个第二处理器93。
其中,第二处理器、第二存储器与第二收发器通过电路互联;第二存储器存储计算机执行指令;第二收发器,用于向服务器发送查询请求;至少一个第二处理器执行第二存储器存储的计算机执行指令,使得至少一个第二处理器执行如上任一客户端侧实施例提供的方法。
需要说明的是,本实施例的终端能够实现上述任一客户端侧实施例提供的方法,且能够达到相同的技术效果,在此不再赘述。
本发明又一实施例提供一种数据包的查询系统,如图14所示,为本发明一实施例提供的数据包的查询系统的一种示例性架构示意图,该数据包的查询系统包括后端查询组件、前端呈现组件及存储设备。
其中,前端呈现组件,用于响应于用户的第一操作获取用户的查询条件,根据查询条件生成查询请求,并将查询请求发送给后端查询组件;后端查询组件,用于接收前端呈现组件发送的查询请求,根据查询请求从预设数据包摘要索引中查询符合查询条件的摘要信息,实时或定时将当前查询到的第一摘要信息返回给前端呈现组件;前端呈现组件,还用于接收并展示后端查询组件返回的第一摘要信息;存储设备用于存储预设数据包摘要索引及数据包。
作为一种可实施的方式,可选地,前端呈现组件可以是作为客户端设置在终端中,后端查询组件则作为服务端设置在服务器中;作为另一种可实施的方式,可选地,前端呈现组件和后端查询组件可以是设置在同一设备上,具体可以根据实际需求设置。
可选地,存储设备可以包括第一存储设备和第二存储设备,第一存储设备用于存储预设数据包摘要索引,第二存储设备用于存储数据包。
在一示例性的实施例中,如图15所示,为本发明一实施例提供的数据包的查询系统的另一种示例性架构示意图,该数据包的查询系统包括:服务器、至少一个客户端、第一存储设备和第二存储设备;第一存储设备用于存储预设数据包摘要索引,第二存储设备用于存储数据包。
本发明又一实施例提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当处理器执行计算机执行指令时,实现如上任一实施例提供的方法。需要说明的是,本实施例的计算机可读存储介质能够实现上述任一实施例提供的方法,且能够达到相同的技术效果,在此不再赘述。
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求书指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。
Claims (20)
1.一种数据包的查询方法,其特征在于,包括:
接收客户端发送的查询请求,所述查询请求包括用户的查询条件;
根据所述查询请求从预设数据包摘要索引中查询符合所述查询条件的摘要信息,所述预设数据包摘要索引包括数据包摘要信息与存储信息的关联关系;
实时或定时将当前查询到的第一摘要信息返回给所述客户端,以使所述客户端即时展示所述第一摘要信息。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
接收客户端发送的已展示的第二摘要信息对应的数据包的详情查看请求;
根据所述详情查看请求返回所述第二摘要信息对应的数据包内容,以使所述客户端进行展示。
3.根据权利要求2所述的方法,其特征在于,所述详情查看请求包括所述第二摘要信息;
所述根据所述详情查看请求返回所述第二摘要信息对应的数据包内容,以使所述客户端进行展示,包括:
根据所述第二摘要信息从所述预设数据包摘要索引中获取对应的第二数据包的存储信息;
根据所述第二数据包的存储信息获取第二数据包内容;
将所述第二数据包内容返回给所述客户端,以使所述客户端进行展示。
4.根据权利要求2所述的方法,其特征在于,实时或定时将当前查询到的第一摘要信息返回给所述客户端,包括:
实时或定时将当前查询到的第一摘要信息及对应的存储信息返回给所述客户端;
所述详情查看请求包括所述第二摘要信息对应的第二数据包的存储信息;
所述根据所述详情查看请求返回所述第二摘要信息对应的数据包内容,包括:
根据所述第二数据包的存储信息获取所述第二数据包的内容;
将所述第二数据包内容返回给所述客户端,以使所述客户端进行展示。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若所述查询条件在所述预设数据包摘要索引中不存在,则根据所述查询条件从数据包存储区域中查询符合查询条件的数据包;
实时或定时返回当前查询到的第二数据包的摘要信息,以使客户端即时展示第二数据包的摘要信息。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
实时或定时将当前查询进度返回给客户端,以使客户端向用户展示当前查询进度。
7.根据权利要求1所述的方法,其特征在于,若所述查询条件包括第一查询条件和第二查询条件,则所述根据所述查询请求从预设数据包摘要索引中查询符合所述查询条件的摘要信息,包括:
根据所述查询请求从所述预设数据包摘要索引中获取符合第一查询条件的组;
从符合第一查询条件的组中查询符合第二查询条件的摘要信息。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述方法还包括:
接收客户端发送的查询终止请求;
响应于所述查询终止请求,结束当前查询并向所述客户端返回当前新查询到的第三摘要信息及查询终止信息,以使所述客户端进行展示。
9.一种数据包的查询方法,其特征在于,包括:
响应于用户的第一操作获取用户的查询条件;
根据所述查询条件生成查询请求;
将所述查询请求发送给服务器,以使所述服务器根据所述查询请求及预设数据包摘要索引进行查询并实时或定时返回当前查询到的第一摘要信息;
接收并展示所述服务器返回的第一摘要信息。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
响应于用户的第二操作,获取用户选择的待查看的第二摘要信息;
根据所述第二摘要信息生成详情查看请求;
将所述详情查看请求发送给所述服务器,以使所述服务器根据所述详情查看请求返回所述第二摘要信息对应的数据包内容;
接收并展示所述服务器返回的第二摘要信息对应的数据包内容。
11.根据权利要求10所述的方法,其特征在于,所述接收并展示所述服务器返回的第一摘要信息,包括:
接收所述服务器返回的第一摘要信息及对应的存储信息,并展示所述第一摘要信息;
所述根据所述第二摘要信息生成详情查看请求,包括:
获取所述第二摘要信息对应的存储信息;
根据所述第二摘要信息对应的存储信息生成详情查看请求。
12.根据权利要求9所述的方法,其特征在于,所述方法还包括:
接收并展示服务器发送的当前查询进度。
13.根据权利要求9-12任一项所述的方法,其特征在于,所述方法还包括:
响应于用户的第三操作,向所述服务器发送查询终止请求;
接收并展示所述服务器返回的当前新查询到的第三摘要信息及查询终止信息。
14.一种数据包的存储方法,其特征在于,包括:
获取待存储数据包的摘要信息及存储信息;
将所述待存储数据包存储到所述存储信息对应的第一存储区域,并根据所述待存储数据包的摘要信息和存储信息建立所述待存储数据包的数据包摘要索引;
将所述待存储数据包的数据包摘要索引进行存储,形成预设数据包摘要索引。
15.根据权利要求14所述的方法,其特征在于,摘要信息包括第一信息和第二信息;所述预设数据包摘要索引按照第一信息划分为多个组;
所述根据所述待存储数据包的摘要信息和存储信息建立所述待存储数据包的数据包摘要索引,包括:
建立所述待存储数据包的第二信息与存储信息的关联关系,作为所述待存储数据包的第二索引;
根据所述第一信息确定所述待存储数据包的第二索引所属的组;
所述将所述待存储数据包的数据包摘要索引进行存储,形成预设数据包摘要索引,包括:
将所述待存储数据包的第二索引添加到其所属的组,形成所述预设数据包摘要索引。
16.一种数据包的查询装置,其特征在于,包括:
第一接收模块,用于接收客户端发送的查询请求,所述查询请求包括用户的查询条件;
第一处理模块,用于根据所述查询请求从预设数据包摘要索引中查询符合所述查询条件的摘要信息,所述预设数据包摘要索引包括数据包摘要信息与存储信息的关联关系;
第一发送模块,用于实时或定时将当前查询到的第一摘要信息返回给所述客户端,以使所述客户端即时展示所述第一摘要信息。
17.一种数据包的查询装置,其特征在于,包括:
第一获取模块,用于响应于用户的第一操作获取用户的查询条件;
第二处理模块,用于根据所述查询条件生成查询请求;
第二发送模块,用于将所述查询请求发送给服务器,以使所述服务器根据所述查询请求及预设数据包摘要索引进行查询并实时或定时返回当前查询到的第一摘要信息;
第二接收模块,用于接收所述服务器返回的第一摘要信息;
显示模块,用于展示所述第一摘要信息。
18.一种数据包的存储装置,其特征在于,包括:
第二获取模块,用于获取待存储数据包的摘要信息及存储信息;
第三处理模块,用于将所述待存储数据包存储到所述存储信息对应的第一存储区域;
第四处理模块,用于根据所述待存储数据包的摘要信息和存储信息建立所述待存储数据包的数据包摘要索引,并将所述待存储数据包的数据包摘要索引进行存储,形成预设数据包摘要索引。
19.一种数据包的查询系统,其特征在于,包括:后端查询组件、前端呈现组件及存储设备;
所述前端呈现组件,用于响应于用户的第一操作获取用户的查询条件,根据所述查询条件生成查询请求,并将所述查询请求发送给所述后端查询组件;
所述后端查询组件,用于接收所述前端呈现组件发送的查询请求,根据所述查询请求从预设数据包摘要索引中查询符合所述查询条件的摘要信息,实时或定时将当前查询到的第一摘要信息返回给所述前端呈现组件;
所述前端呈现组件,还用于接收并展示所述后端查询组件返回的第一摘要信息;
所述存储设备用于存储所述预设数据包摘要索引及数据包。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1-15任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110509235.3A CN113220684A (zh) | 2021-05-12 | 2021-05-12 | 数据包的存储及查询方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110509235.3A CN113220684A (zh) | 2021-05-12 | 2021-05-12 | 数据包的存储及查询方法、装置、系统及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113220684A true CN113220684A (zh) | 2021-08-06 |
Family
ID=77094479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110509235.3A Pending CN113220684A (zh) | 2021-05-12 | 2021-05-12 | 数据包的存储及查询方法、装置、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113220684A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113806504A (zh) * | 2021-08-27 | 2021-12-17 | 北京金蝶云基科技有限公司 | 一种多维度报表数据计算方法、装置和计算机设备 |
CN115617859A (zh) * | 2022-12-16 | 2023-01-17 | 安徽华云安科技有限公司 | 基于知识图谱集群的数据查询方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108984553A (zh) * | 2017-06-01 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 缓存方法和装置 |
CN109766366A (zh) * | 2019-01-07 | 2019-05-17 | 深圳市活力天汇科技股份有限公司 | 一种国际机票异步查询方法 |
-
2021
- 2021-05-12 CN CN202110509235.3A patent/CN113220684A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108984553A (zh) * | 2017-06-01 | 2018-12-11 | 北京京东尚科信息技术有限公司 | 缓存方法和装置 |
CN109766366A (zh) * | 2019-01-07 | 2019-05-17 | 深圳市活力天汇科技股份有限公司 | 一种国际机票异步查询方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113806504A (zh) * | 2021-08-27 | 2021-12-17 | 北京金蝶云基科技有限公司 | 一种多维度报表数据计算方法、装置和计算机设备 |
CN113806504B (zh) * | 2021-08-27 | 2024-04-02 | 北京金蝶云基科技有限公司 | 一种多维度报表数据计算方法、装置和计算机设备 |
CN115617859A (zh) * | 2022-12-16 | 2023-01-17 | 安徽华云安科技有限公司 | 基于知识图谱集群的数据查询方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10326715B2 (en) | System and method for updating information in an instant messaging application | |
TWI615792B (zh) | 會話內容合倂方法和系統 | |
EP2698730B1 (en) | Data acquisition method, device and system | |
CN113220684A (zh) | 数据包的存储及查询方法、装置、系统及存储介质 | |
US10873640B2 (en) | Information exchange method and server | |
CN107835132B (zh) | 一种流量来源跟踪的方法及装置 | |
CN111400482B (zh) | 一种建立问答对的方法及装置 | |
CN113391979A (zh) | 监控数据展示的处理方法、设备、系统及存储介质 | |
WO2021218218A1 (zh) | 数据处理方法、装置和计算机设备 | |
CN110457610A (zh) | 信息推荐方法、装置、终端、服务器及存储介质 | |
CN110311855B (zh) | 用户消息处理方法、装置、电子设备及存储介质 | |
CN107391764B (zh) | 业务数据查询方法 | |
EP4096224A1 (en) | Method and apparatus for displaying live clip | |
WO2019196225A1 (zh) | 一种反馈资源文件的方法和装置 | |
CN104917754A (zh) | 一种视频数据发送及接收的方法、服务器和客户端 | |
CN112770126A (zh) | 直播间的推送方法、装置、服务器及存储介质 | |
CN111400266B (zh) | 数据处理方法和系统、操作事件的诊断处理方法和装置 | |
CN109218272A (zh) | 媒体内容推送方法、装置、服务器、系统及存储介质 | |
CN108966034B (zh) | 虚拟物品显示方法、装置和存储介质 | |
CN103220327B (zh) | 用户信息存储方法及装置 | |
CN116028696A (zh) | 资源信息获取方法、装置、电子设备及存储介质 | |
CN113132928B (zh) | 视频短信业务的计费方法及装置 | |
EP2712162A1 (en) | Method and system for inputting information to mobile terminal as well as mobile terminal | |
CN113900764A (zh) | 页面数据获取方法、页面数据展示方法及装置 | |
CN110061907B (zh) | 用于领取资源、分配资源的方法和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |