CN112073420A

CN112073420A - 一种网络协议解析方法、装置及相关设备

Info

Publication number: CN112073420A
Application number: CN202010956203.3A
Authority: CN
Inventors: 郭晓; 范渊
Original assignee: Hangzhou Dbappsecurity Technology Co Ltd
Current assignee: Hangzhou Dbappsecurity Technology Co Ltd
Priority date: 2020-09-11
Filing date: 2020-09-11
Publication date: 2020-12-11
Anticipated expiration: 2040-09-11
Also published as: CN112073420B

Abstract

本申请公开了一种网络协议解析方法，包括根据解析指令确定目标网络协议，并获取配置信息；根据所述配置信息获得目标插件指令；获取所述目标插件指令对应的目标插件；利用所述目标插件构建协议解析器；通过所述协议解析器对所述目标网络协议进行解析；该网络协议解析方法可以有效提高网络协议解析器的适用性，保证用户体验。本申请还公开了一种网络协议解析装置、系统以及计算机可读存储介质，均具有上述有益效果。

Description

一种网络协议解析方法、装置及相关设备

技术领域

本申请涉及通信安全技术领域，特别涉及一种网络协议解析方法，还涉及一种网络协议解析装置、系统以及计算机可读存储介质。

背景技术

目前，已存在各种类型的开源http解析器，用以实现http网络协议解析。但是，现有的解析器存在不完全符合开发者需求的情况，例如，开发者选用的某个开源http解析器只能解析urlcode，不能解析json，则给开发者带来了局限性问题；或者，解析器包括了对json和xml的解析，但用户却不需要对xml进行解析，则可能会带来性能方面的影响，因此，用户应用场景的多样化决定了传统解析器都会有“顾此失彼”的问题存在，给用户带来了不好的体验。

因此，如何有效提高网络协议解析器的适用性，保证用户体验是本领域技术人员亟待解决的问题。

发明内容

本申请的目的是提供一种网络协议解析方法，该网络协议解析方法可以有效提高网络协议解析器的适用性，保证用户体验；本申请的另一目的是提供一种网络协议解析装置、系统以及计算机可读存储介质，也具有上述有益效果。

第一方面，本申请提供了一种网络协议解析方法，包括：

根据解析指令确定目标网络协议，并获取配置信息；

根据所述配置信息获得目标插件指令；

获取所述目标插件指令对应的目标插件；

利用所述目标插件构建协议解析器；

通过所述协议解析器对所述目标网络协议进行解析。

优选的，所述获取所述目标插件指令对应的目标插件，包括：

根据各所述目标插件指令构建树状结构指令集；

通过正序遍历对所述树状结构指令集中的各节点进行处理，获得各所述目标插件。

优选的，所述通过所述协议解析器对所述目标网络协议进行解析，包括：

确定所述目标网络协议的字段类型；

根据所述字段类型确定对应的偏移量；

结合所述偏移量对所述目标网络协议进行解析。

优选的，所述网络协议解析还包括：

记录解析信息和解析结果。

优选的，所述网络协议解析还包括：

按照预设时间间隔对所述协议解析器进行优化处理。

优选的，所述对所述协议解析器进行优化处理，包括：

对各所述目标插件进行多维度评估，获得目标插件使用信息；

根据各所述目标插件使用信息对所述协议解析器进行更新。

优选的，所述多维度评估对应的维度信息包括所述目标插件的命中密度，解析特性，离散值和方差值。

第二方面，本申请还公开了一种网络协议解析装置，包括：

信息确定模块，用于根据解析指令确定目标网络协议，并获取配置信息；

指令获取模块，用于根据所述配置信息获得目标插件指令；

插件获取模块，用于获取所述目标插件指令对应的目标插件；

解析器构建模块，用于利用所述目标插件构建协议解析器；

协议解析模块，用于通过所述协议解析器对所述目标网络协议进行解析。

第三方面，本申请还公开了一种网络协议解析系统，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如上所述的任一种网络协议解析方法的步骤。

第四方面，本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如上所述的任一种网络协议解析方法的步骤。

本申请所提供的一种网络协议解析方法，包括根据解析指令确定目标网络协议，并获取配置信息；根据所述配置信息获得目标插件指令；获取所述目标插件指令对应的目标插件；利用所述目标插件构建协议解析器；通过所述协议解析器对所述目标网络协议进行解析。

可见，本申请所提供的网络协议解析方法，将网络协议解析方法进行插件化，形成多个独立的插件，且每个插件对应生成一个插件指令，方便用户配置，由此，用户即可通过配置插件指令实现根据自身使用需求进行网络协议解析器的定制，进而完成网络协议解析，该种实现方法不仅操作简单，能够快速实现业务需求，还大大提高了网络协议解析器的可定制化、高性能化以及智能化，保证了较好的用户体验。

本申请所提供的一种网络协议解析装置、系统以及计算机可读存储介质，均具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明现有技术和本申请实施例中的技术方案，下面将对现有技术和本申请实施例描述中需要使用的附图作简要的介绍。当然，下面有关本申请实施例的附图描述的仅仅是本申请中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本申请的保护范围。

图1为本申请所提供的一种网络协议解析方法的流程示意图；

图2为本申请所提供的一种网络协议解析装置的结构示意图；

图3为本申请所提供的一种网络协议解析系统的结构示意图。

具体实施方式

本申请的核心是提供一种网络协议解析方法，该网络协议解析方法可以有效提高网络协议解析器的适用性，保证用户体验；本申请的另一核心是提供一种网络协议解析装置、系统以及计算机可读存储介质，也具有上述有益效果。

为了对本申请实施例中的技术方案进行更加清楚、完整地描述，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1为本申请所提供的一种网络协议解析方法的流程示意图，该网络协议解析方法可包括：

S101：根据解析指令确定目标网络协议，并获取配置信息；

本步骤旨在实现目标网络协议的确定以及配置信息的获取，其中，目标网络协议是指需要被进行解析的网络协议，配置信息则是用户根据自身需求配置的用于解析目标网络协议的相关配置信息，二者均可基于解析指令获得。具体而言，用户可根据自身需求在前端界面选定需要解析的目标网络协议，同时选择相应的配置信息，将二者一同添加至解析指令发送至系统后端，由此，系统即可根据接收到的解析指令获得目标网络协议以及配置信息，其中，配置信息可以以配置文件的形式进行发送。可以理解的是，本申请所提供的网络协议解析方法具有较高的适用性，可满足各种类型的网络协议的解析需求，因此，对于上述目标网络协议的具体类型，本申请不做具体限定。

S102：根据配置信息获得目标插件指令；

本步骤旨在实现目标插件指令的获取，具体的，预先将网络协议解析流程进行插件化，形成多个独立的插件，如请求方法的解析、请求行的解析、query解析、请求头解析、请求体解析，其中还有更加细化的解析插件，如json解析、xml解析、urlcode解析等；进一步，将每个插件对应生成一个插件指令，具体可采用c++/c实现，例如：请求方法解析(METHOD_PARSER)、请求行解析(URI_PARSER)、query解析(QUERY_PARSER)、请求头解析(HEADER_PARSER)、请求体解析(BODY_PARSER)、json解析(JSON_PARSER)、xml解析(XML_PARSER)、urlcode解析(URL_ENCODE)等，由此，用户即可通过配置插件指令实现相应插件的选择。因此，当获取到配置信息时，系统后端即可根据该配置信息获得各个目标插件指令，也即用户基于自身需求选定的插件对应的指令。

更进一步地，根据如上插件与插件指令对应的方案，对相应配置信息的具体实现进行说明。例如，现根据需求，需要构建一个协议解析器，要求如包括：请求方法、请求行、请求头、请求头内cookie字段，其他字段不进行解析(即只解析rfc标准头字段，其他字段及标准字段内字段值不进行解析)、请求体、请求体内解析json，不解析xml，则对应的配置信息设置为：

HTTP_PARSER_1＝METHOD_PARSER|URI_PARSER|HEADER_PARSER|(BODY_PARSER&JSON_PARSER)；

再如，构建一个网络协议解析器的要求包括：请求方法、请求行、query、请求头、请求头内cookie字段且字段进一步解析、请求体、请求体内解析json，解析xml，则对应的配置信息设置为：

HTTP_PARSER_2＝METHOD_PARSER|URI_PARSER|QUERY_PARSER|(HEADER_PARSER&COOKIE_PARSER)|(BODY_PARSER&JSON_PARSER&XML_PARSER)。

S103：获取目标插件指令对应的目标插件；

本步骤旨在实现目标插件的获取，具体而言，由于每个插件对应于唯一的插件指令，因此，在获得各个目标插件指令后，即可根据各个目标插件指令获得对应的目标插件。更为具体的，可将各个独立的解析插件存储于预先建立的存储空间中，当获得各个目标插件指令后，直接从预设存储空间中调取对应的目标插件即可。

作为一种优选实施例，上述获取目标插件指令对应的目标插件，可以包括：根据各目标插件指令构建树状结构指令集；通过正序遍历对树状结构指令集中的各节点进行处理，获得各目标插件。

本优选实施例提供了一种较为具体的目标插件的获取方法，即基于构建树形结构指令集实现，具体的，将各个目标插件指令构建为树状结构指令集，该树状结构中的每个节点对应于一个目标插件指令，由此，通过正序遍历该树状结构指令集对其中的各个节点依次进行处理，即可获得各个相应的目标插件，通过构建树形结构指令集实现目标插件的获取，可以有效提高协议解析器的构建效率，进一步提高网络协议解析效率。

S104：利用目标插件构建协议解析器；

本步骤旨在实现协议解析器的构建，直接利用获取到的各个目标插件进行构建即可，由于每个目标插件均是用户根据自身需求选择确定的，因此，基于各个目标插件进行构建所获得的协议解析器必然能够更好的满足用户需求，由此，实现了网络协议解析器的个性化定制。

S105：通过协议解析器对目标网络协议进行解析。

本步骤旨在实现网络协议解析，在完成协议解析器的构建后，直接利用该协议解析器对目标网络协议进行解析即可，由于该网络协议解析器是基于用户自身需求进行定制得到的，因此，通过该网络协议解析器对目标网络协议解析，可以直接得到用户所需求的解析结果。

作为一种优选实施例，上述通过协议解析器对目标网络协议进行解析，可以包括：确定目标网络协议的字段类型；根据字段类型确定对应的偏移量；结合偏移量对目标网络协议进行解析。

本优选实施例提供了一种较为具体的目标网络协议的解析方法，即结合字段类型偏移量实现。首先，确定目标网络协议的字段类型，具体可从目标网络协议的头部信息中提取获得，进一步，通过匹配各字段类型获得相应的偏移量，最后，结合偏移量实现目标网络协议的解析即可。

作为一种优选实施例，该网络协议解析方法还可以包括：记录解析信息和解析结果。

本优选实施例提供了一种较为具体的网络协议解析方法，即在完成对目标网络协议的解析获得相应的解析结果后，可对其进行记录存储，此外，还可以对整体的网络协议解析过程进行监控，记录并保存网络协议解析器构建过程以及目标网络协议解析过程中所产生的各类相关信息，即上述解析信息，如各目标插件指令的调用情况、各个目标插件对应的处理结果等。

作为一种优选实施例，该网络协议解析方法还可以包括：按照预设时间间隔对协议解析器进行优化处理。

本优选实施例提供了一种较为具体的网络协议解析方法，在完成网络协议解析器的构建后，还可按照一定的时间间隔对其进行优化处理，以实现对网络协议解析器的定时调整，进而有效满足用户需求。当然，优化协议解析器的具体实现方法并不影响本技术方案的实施，由技术人员根据实际需求进行设定即可，本申请对此不做限定。并且，对于上述预设时间间隔的具体取值，本申请同样不做限定。

此外，上述按照预设时间间隔进行协议解析器的优化仅为本优选实施实例所提供的一种实现方式，并不唯一，例如，还可以按照预设的数量周期进行协议解析器的更新，即设定解析完一定数量的网络协议后，对该协议解析器进行一次优化更新。

作为一种优选实施例，上述对协议解析器进行优化处理，可以包括：对各目标插件进行多维度评估，获得目标插件使用信息；根据各目标插件使用信息对协议解析器进行更新。

本优选实施例提供了一种较为具体的协议解析器的优化方法，即结合各个目标插件的使用情况实现，其中，目标插件的使用情况可通过多维度评估实现。具体的，可依次对各个目标插件进行多维度评估，获得相应的评估值，即上述目标插件使用信息，其中，用于进行多维度评估的维度信息的具体内容并不唯一，可以由技术人员根据实际情况进行设定；进一步，根据各目标插件使用信息即可实现协议解析器的更新，如删除某个目标插件进行协议解析器重组等。

作为一种优选实施例，上述多维度评估对应的维度信息可以包括目标插件的命中密度，解析特性，离散值和方差值。

在上述各实施例的基础上，本优选实施例以HTTP协议解析为例，提供了一种更为具体的网络协议解析方法，其具体实现流程如下：

(1)以C++/C语言实现网络协议解析的插件化。

(2)定制化配置格式定义，配置文件名http_parser.cfg，存放于默认配置的加载路径下，配置文件格式内容如下：

HTTP_PARSER_序号＝解析插件1|解析插件2|(解析插件3&解析子插件1&解析子插件2&…)|…；

例如：HTTP_PARSER_1＝METHOD_PARSER|URI_PARSER|(BODY_PARSER&JSON_PARSER)；

其中，若配置内解析器序号出现相同情况，则以最后一个为主，插件指令出现重复不存在影响。

(3)读取解析器配置，按照配置结果(配置信息)构建树形结构指令集，树形结构的根节点是树形结构指令集的起始点，为第一级，深度为n的叶子节点为第n+1级；采用正序遍历的方式对树形结构指令集的所有节点依次进行处理，获得各个插件，进而完成协议解析器的构建。在基于协议解析器的网络协议解析过程中，会根据树形结构伴随报文偏移量进行解析，具体根据每个网络协议报文组成字段类型确定偏移量；同时，记录解析情况以及调取指令的使用情况等。

(4)根据上述树形结构指令集，在预设的时间周期和/或数量周期范围内，从每个插件的命中密度、解析特性、离散和方差等维度进行评估，获得评估值，该评估值反映实际每个插件的使用情况，当达到预设统计阈值时会按照最终的评分等级动态给出更新建议信息，例如，删除未曾使用过的某指令；根据某些可解析但未解析的字段给出可解析的提示信息；当某解析器未使用过时，删除对应的插件指令。

可见，本申请实施例所提供的网络协议解析方法，将网络协议解析方法进行插件化，形成多个独立的插件，且每个插件对应生成一个插件指令，方便用户配置，由此，用户即可通过配置插件指令实现根据自身使用需求进行网络协议解析器的定制，进而完成网络协议解析，该种实现方法不仅操作简单，能够快速实现业务需求，还大大提高了网络协议解析器的可定制化、高性能化以及智能化，保证了较好的用户体验。

为解决上述技术问题，本申请还提供了一种网络协议解析装置，请参考图2，图2为本申请所提供的一种网络协议解析装置的结构示意图，该网络协议解析装置可包括：

信息确定模块1，用于根据解析指令确定目标网络协议，并获取配置信息；

指令获取模块2，用于根据配置信息获得目标插件指令；

插件获取模块3，用于获取目标插件指令对应的目标插件；

解析器构建模块4，用于利用目标插件构建协议解析器；

协议解析模块5，用于通过协议解析器对目标网络协议进行解析。

可见，本申请实施例所提供的网络协议解析装置，将网络协议解析方法进行插件化，形成多个独立的插件，且每个插件对应生成一个插件指令，方便用户配置，由此，用户即可通过配置插件指令实现根据自身使用需求进行网络协议解析器的定制，进而完成网络协议解析，该种实现方法不仅操作简单，能够快速实现业务需求，还大大提高了网络协议解析器的可定制化、高性能化以及智能化，保证了较好的用户体验。

作为一种优选实施例，上述插件获取模块3可具体用于根据各目标插件指令构建树状结构指令集；通过正序遍历对树状结构指令集中的各节点进行处理，获得各目标插件。

作为一种优选实施例，上述协议解析模块5可具体用于确定目标网络协议的字段类型；根据字段类型确定对应的偏移量；结合偏移量对目标网络协议进行解析。

作为一种优选实施例，该网络协议解析装置还可包括信息记录模块，用于记录解析信息和解析结果。

作为一种优选实施例，该网络协议解析装置还可包括解析器优化模块，用于按照预设时间间隔对协议解析器进行优化处理。

作为一种优选实施例，上述解析器优化模块可具体用于按照预设时间间隔对各目标插件进行多维度评估，获得目标插件使用信息；根据各目标插件使用信息对协议解析器进行更新。

对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述技术问题，本申请还提供了一种网络协议解析系统，请参考图3，图3为本申请所提供的一种网络协议解析系统的结构示意图，该网络协议解析系统可包括：

存储器10，用于存储计算机程序；

处理器20，用于执行计算机程序时可实现如上述任意一种网络协议解析方法的步骤。

对于本申请提供的系统的介绍请参照上述方法实施例，本申请在此不做赘述。

为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如上述任意一种网络协议解析方法的步骤。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM或技术领域内所公知的任意其它形式的存储介质中。

以上对本申请所提供的技术方案进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请的保护范围内。

Claims

1.一种网络协议解析方法，其特征在于，包括：

根据解析指令确定目标网络协议，并获取配置信息；

根据所述配置信息获得目标插件指令；

获取所述目标插件指令对应的目标插件；

利用所述目标插件构建协议解析器；

通过所述协议解析器对所述目标网络协议进行解析。

2.根据权利要求1所述的网络协议解析方法，其特征在于，所述获取所述目标插件指令对应的目标插件，包括：

根据各所述目标插件指令构建树状结构指令集；

3.根据权利要求1所述的网络协议解析方法，其特征在于，所述通过所述协议解析器对所述目标网络协议进行解析，包括：

确定所述目标网络协议的字段类型；

根据所述字段类型确定对应的偏移量；

结合所述偏移量对所述目标网络协议进行解析。

4.根据权利要求1所述的网络协议解析方法，其特征在于，还包括：

记录解析信息和解析结果。

5.根据权利要求1至4任意一项所述的网络协议解析方法，其特征在于，还包括：

按照预设时间间隔对所述协议解析器进行优化处理。

6.根据权利要求5所述的网络协议解析方法，其特征在于，所述对所述协议解析器进行优化处理，包括：

根据各所述目标插件使用信息对所述协议解析器进行更新。

7.根据权利要求6所述的网络协议解析方法，其特征在于，所述多维度评估对应的维度信息包括所述目标插件的命中密度，解析特性，离散值和方差值。

8.一种网络协议解析装置，其特征在于，包括：

指令获取模块，用于根据所述配置信息获得目标插件指令；

解析器构建模块，用于利用所述目标插件构建协议解析器；

9.一种网络协议解析系统，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的网络协议解析方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1至7任一项所述的网络协议解析方法的步骤。