CN107404486B

CN107404486B - 解析Http数据的方法、装置、终端设备及存储介质

Info

Publication number: CN107404486B
Application number: CN201710659259.0A
Authority: CN
Inventors: 李侠林; 李山; 吴鸿伟; 周成祖; 张永光; 王海滨
Original assignee: Xiamen Meiya Pico Information Co Ltd
Current assignee: Xiamen Meiya Pico Information Co Ltd
Priority date: 2017-08-04
Filing date: 2017-08-04
Publication date: 2020-05-22
Anticipated expiration: 2037-08-04
Also published as: CN107404486A

Abstract

本发明公开一种解析Http数据的方法，包括如下步骤，S1：Http报文数据分段，进入S2步骤；S2：Http特征库加载，进入S3步骤；S3：一级过滤：将Host和Url形成一个对应关系，通过Host匹配到Url所在的数据头数据段，若匹配不成功则进入S6步骤，若匹配成功则进入S4步骤；S4：二级过滤：设置包括数据头数据段和数据数据段信息的二级特征树，再根据一级过滤步骤中对应到的Url所在的数据头数据段，定位到对应的二级特征树，匹配二级特征树中的数据数据段的信息，若匹配不成功则进入S6步骤，若匹配成功则进入S5步骤；S5：数据入库，进入S6步骤；S6：结束数据过滤，丢弃不需要的数据段。

Description

解析Http数据的方法、装置、终端设备及存储介质

技术领域

本发明涉及大数据处理技术领域，具体是一种解析Http数据的方法、装置、终端设备及存储介质。

背景技术

随着互联网的快速普及，各种数据以几何级爆炸性增长，在大数据时代，如何在海量数据里面快速分析采集数据成为一大热门技术，而http数据仍然占据着网络流量的很大比重，因此如何减少http无效信息的过滤和提高http的协议分析能力将是一大需求。

传统http解析是将整个http报文各个字段解析好，再将整个报文根据不同的特征进行信息识别和采集，数据采集和解析效率较低。

发明内容

为了解决上述问题，本发明提供一种解析Http数据的方法、装置、终端设备及存储介质，通过将http分为几个数据段，快速分离原始数据块，根据特征库的所需的数据段对相应的数据段进行解析、采集，而不需要的数据段进行丢弃，进而提高数据采集和解析的效率。

本发明一种解析Http数据的方法，包括如下步骤：

S1：Http报文数据分段：基于Http报文特征，将Http报文数据分成若干个数据段，数据段包括数据头数据段和数据数据段，进入S2步骤；

S2：Http特征库加载：加载相应的Http特征库，以便进行后续数据过滤，进入S3步骤；

S3：一级过滤：根据Host快速定位到Url所在的数据头数据段，其中Host为网络域名：将Host和Url形成一个对应关系，通过Host匹配到Url所在的数据头数据段，进行数据解析和采集，若匹配不成功则进入S6步骤，若匹配成功则进入S4步骤；

S4：二级过滤：设置包括数据头数据段和数据数据段信息的二级特征树，再根据一级过滤步骤中对应到的Url所在的数据头数据段，定位到对应的二级特征树，匹配二级特征树中的数据数据段的信息，进行数据解析和采集，若匹配不成功则进入S6步骤，若匹配成功则进入S5步骤；

S5：数据入库：将采集到的需要的信息进行入库操作，进入S6步骤；

S6：结束数据过滤，丢弃不需要的数据段。

进一步的，S1步骤中，数据段包括但不限于：上行数据头、上行数据、下行数据头和下行数据，其中上行数据头和下行数据头为数据头数据段，上行数据和下行数据为数据数据段。

进一步的，S3步骤中，

将Host和Url形成一个对应关系具体为：

S31：将Host加载到AC自动机并对应不同的Host-ID，将每个Host下对应的Url单独形成一个Url的AC自动机并对应不同的Url-ID，进而将Host和Url形成一个对应关系，加载到HashMap里面；

通过Host匹配到Url所在的数据头数据段，进行数据解析和采集具体为：

S32：通过Host-ID查找对应的Url的AC自动机，快速定位到指定的Url-ID，进而匹配到Url所在的数据头数据段，进行数据解析和采集。

进一步的，S4步骤中，设置的二级特征树中，第一级特征对应Http报文数据的数据头数据段的信息，第二级特征对应Http报文数据的数据数据段的信息。

本发明一种解析Http数据的装置，包括

数据分段单元：用于Http报文数据分段；

特征库加载单元：用于Http特征库加载；

数据过滤单元：用于数据的一级过滤和二级过滤；

数据入库单元：用于采集到的数据的入库。

本发明一种解析Http数据的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现解析Http数据的方法的步骤。

本发明一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现解析Http数据的方法的步骤。

本发明的有益效果：

通过分段识别解析的方法，根据特征库的所需的数据段对相应的数据段进行解析、采集，而不需要的数据段进行丢弃，当我们进行数据的二级过滤后，过滤了很大比例的http数据，不仅减少了采集层的内存占用，也可以对http协议内容的有效内容进行快速配置提取，因而能有效提高数据采集和解析的效率。

附图说明

图1为本发明实施例一的方法流程图；

图2为本发明实施例一的Http的POST协议的报文分段示意图；

图3为本发明实施例一的Http的GET协议的报文分段示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。本发明适用于在海量数据、处理速度要求快的场景下。

实施例一：

请参阅图1所示，本发明提供了一种解析Http数据的方法，包括如下步骤：

S1：Http报文数据分段：基于Http报文特征，将Http报文数据分成若干个数据段，数据段包括数据头数据段和数据数据段，数据段包括但不限于：上行数据头、上行数据、下行数据头和下行数据，其中上行数据头和下行数据头为数据头数据段，上行数据和下行数据为数据数据段。

本实施例中，基于http报文特征，将http报文数据分段主要保留如图2和图3所示的几个数据段，其中Http的POST协议的报文分段有上行数据头、上行数据、下行数据头和下行数据，Http的GET协议的报文分段有上行数据头、下行数据头和下行数据。

报文数据分段的依据可以是：单个http请求我们可以根据\x0d\x0a\x0d\x0a快速划分四个数据区，见表一所示：

表一

进入S2步骤；

S2：Http特征库加载：加载相应的Http特征库(Http特征库可从现有技术获得)，以便进行后续数据过滤，

采用Http特征库加载后，再获取想采集的数据，只需要对所需的数据段进行解析，一级过滤是根据url和host快速过滤数据，当匹配规则后进入二级过滤，根据二级过滤所需的数据段，对相应的数据段进行协议解析和信息提取，这将最大限度的节省解析的数据信息，减少不必要的数据解析，从而达到提高效率的目的。

进入S3步骤；

S4：二级过滤：设置包括数据头数据段和数据数据段信息的二级特征树，其中设置的二级特征树中，第一级特征对应Http报文数据的数据头数据段的信息，第二级特征对应Http报文数据的数据数据段的信息。再根据一级过滤步骤中对应到的Url所在的数据头数据段，定位到对应的二级特征树，匹配二级特征树中的数据数据段的信息，进行数据解析和采集，若匹配不成功则进入S6步骤，若匹配成功则进入S5步骤；

S6：结束数据过滤，丢弃不需要的数据段。

本实施例中，S3步骤中，

将Host和Url形成一个对应关系具体为：

S3步骤中，一级过滤是采用Host、Url的AC自动机加载和映射，具体为：

将Host加载到AC自动机并对应不同的Host-ID，加速识别定位，将每个Host下对应的Url单独形成一个Url的AC自动机并对应不同的Url-ID，并将Host和Url形成一个对应关系加载到HashMap<Host-Id,UrlAC>里面。当Host命中，则通过Host-ID查找对应的Url的AC自动机，快速定位到指定的Url-ID，进而匹配到Url所在的数据头数据段，进行数据解析和采集。自此一级过滤完成。

S4步骤中，通过对常见的数据格式加载不同的解析器，对数据进行数据分析和采集。

几种常见数据格式见表二所示：

数据格式	解析器
		上行数据头、下行数据头	“:”和“\x0a”分割，建立HASHMAP
Urlencode、URL	“&”、“＝”分割，建立HASHMAP
		XML	RapidXml
JSON	RapidJson
		HTML	Jsoup

表二

本实施例以提取Http报文数据中的用户名为例进行二级过滤的说明：

设置二级特征树如表三所示：

表三

通过AC自动机定位到对应的二级特征树，根据配置只需要提取上行数据这个数据段，这样通过UrlEncode解析器获取key为username后，就可以采集到用户名字段，进行数据的入库操作。如此在采集层就可以对下行数据进行数据直接丢弃。在海量http数据的情况下，下行数据占http数据比例高达70％以上，而这部分数据大部分为了节省数据流一般采用gzip等压缩方式进行数据传输，当我们进行数据的二级过滤后，过滤了很大比例的http数据，不仅减少了采集层的内存占用，也提高对http协议内容的有效内容进行快速配置提取。

实施例二：

本发明还提供一种解析Http数据的装置，包括

数据分段单元：用于Http报文数据分段；

特征库加载单元：用于Http特征库加载；

数据过滤单元：用于数据的一级过滤和二级过滤；

数据入库单元：用于采集到的数据的入库。

本发明还提供一种解析Http数据的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述方法实施例中的步骤，例如图1所示的步骤的方法步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如实现上述数据分段单元、特征库加载单元、数据过滤单元和数据入库单元等单元的功能。

所述处理器执行所述计算机程序时实现本发明实施例上述方法实施例中的步骤，例如图1所示的步骤的方法步骤。或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能，例如实现上述数据分段单元、特征库加载单元、数据过滤单元和数据入库单元等单元的功能。

进一步地，作为一个可执行方案，所述解析Http数据的终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述解析Http数据的终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述解析Http数据的终端设备的组成结构仅仅是解析Http数据的终端设备的示例，并不构成对解析Http数据的终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述解析Http数据的终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述解析Http数据的终端设备的控制中心，利用各种接口和线路连接整个解析Http数据的终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述解析Http数据的终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述解析Http数据的终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本发明一种解析Http数据的方法，通过分段识别解析的方法，根据特征库的所需的数据段对相应的数据段进行解析、采集，而不需要的数据段进行丢弃，当我们进行数据的二级过滤后，过滤了很大比例的http数据，不仅减少了采集层的内存占用，也可以对http协议内容的有效内容进行快速配置提取，因而能有效提高数据采集和解析的效率。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims

1.一种解析Http数据的方法，其特征在于：包括如下步骤：

S6：结束数据过滤，丢弃不需要的数据段。

2.如权利要求1所述的解析Http数据的方法，其特征在于：S3步骤中，

将Host和Url形成一个对应关系具体为：

3.如权利要求1所述的解析Http数据的方法，其特征在于：S4步骤中，设置的二级特征树中，第一级特征对应Http报文数据的数据头数据段的信息，第二级特征对应Http报文数据的数据数据段的信息。

4.一种解析Http数据的终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时实现如权利要求1-3任一所述方法的步骤。

5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-3任一所述方法的步骤。