CN117793222A - 网络分析数据的提取方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种网络分析数据的提取方法、装置、电子设备及计算机可读存储介质，包括：响应于通过客户端进行的登录操作，展示订阅界面；响应于对所述订阅界面中目标运行事件的选取，并对所述目标运行事件的目标属性配置项进行配置，获得所述目标属性配置项的属性配置信息；根据所述目标运行事件的目标属性配置项的属性配置信息，生成事件注册表；在所述工业设备运行的过程中，在所述工业设备产生的事件信息的属性信息，符合事件注册表的事件推送条件的情况下，将所述事件信息展示在所述客户端。解决了相关技术中，由于运行事件的类型和属性复杂，造成难以进行有效的筛选和分类，导致监控信息或监控设备过多，难以及时响应的问题。

Description

网络分析数据的提取方法、装置、设备及存储介质

技术领域

本申请属于互联网领域，具体涉及一种网络数据的分析方法、装置、电子设备及计算机可读存储介质。

背景技术

被动监听是指在网络流量的传输过程中，对流量进行监视和捕获，但不对流量进行干预或修改，以获取流量的相关信息，例如流量、通信模式、应用程序使用、安全事件等。被动监听相比主动监听，具有不影响网络正常运行、不引起网络用户的反感、不违反网络合规性等优点。

被动监听的网络流量数据的提取方法，通常需要使用专门的抓包工具和数据包分析工具，以及专门的存储系统。抓包工具用于从网络的传输端口捕获数据包，数据包分析工具用于对数据包进行深度解析、协议识别和应用程序识别等，存储系统用于对数据包进行存储和管理。这些工具和系统的性能和效率，直接影响了网络流量数据的提取的质量和速度。。

然而，现有的被动监听的网络流量数据的提取方法，由于网络流量数据的规模和复杂较高，需要每次对不同数据包进行完全解析，消耗大量的计算资源和时间，导致数据解析的效率低下，无法快速地提取网络流量数据。

发明内容

本申请旨在提供一种网络数据的分析方法、装置、电子设备及计算机可读存储介质，至少解决在网络分析数据的提取过程中，数据解析负载大，用时长的问题。

第一方面，本申请实施例公开了一种网络数据的分析方法，包括：

从设备的端口抓取被检测数据包，并确定所述被检测数据包的网络协议类型；所述被检测数据包包含待检测内容，以及除待检测内容之外的其他内容；

从预设的第一对应关系中，根据所述被检测数据包的网络协议类型，确定所述被检测数据包的数据标识位；所述第一对应关系用以存储网络协议类型与数据标识位的对应关系；所述数据标识位用以表征所述被检测数据包中待检测内容的起始位置；

从预设的第二对应关系中，确定与所述被检测数据包的数据标识位对应的目标分析流程模版；所述第二对应关系中存储了所述数据标识位与分析流程模版的对应关系；所述分析流程模版用以记录在对应的网络协议类型下，从所述数据标识位开始，对所述被检测数据包的待检测内容分析的具体步骤；

按照所述目标分析流程模版中的步骤，从所述被检测数据包的数据标识位开始，对所述被检测数据包中的待检测内容进行分析。

第二方面，本申请实施例还公开了一种网络数据的分析装置，所述装置包括：

抓取模块，用于从设备的端口抓取被检测数据包，并确定所述被检测数据包的网络协议类型；所述被检测数据包包含待检测内容，以及除待检测内容之外的其他内容；

第一关系模块，用于从预设的第一对应关系中，根据所述被检测数据包的网络协议类型，确定所述被检测数据包的数据标识位；所述第一对应关系用以存储网络协议类型与数据标识位的对应关系；所述数据标识位用以表征所述被检测数据包中待检测内容的起始位置；

第二关系模块，用于从预设的第二对应关系中，确定与所述被检测数据包的数据标识位对应的目标分析流程模版；所述第二对应关系中存储了所述数据标识位与分析流程模版的对应关系；所述分析流程模版用以记录在对应的网络协议类型下，从所述数据标识位开始，对所述被检测数据包的待检测内容分析的具体步骤；

数据分析模块，用于按照所述目标分析流程模版中的步骤，从所述被检测数据包的数据标识位开始，对所述被检测数据包中的待检测内容进行分析。

第三方面，本申请实施例还公开了一种电子设备，包括处理器和存储器、所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例还公开了一种可读存储介质，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

综上，在本申请实施例中，通过从预设的第一对应关系中，根据被检测数据包的网络协议类型，确定被检测数据包的数据标识位，以及从预设的第二对应关系中，确定与被检测数据包的数据标识位对应的目标分析流程模版，可以快速地定位到被检测数据包中待检测内容的起始位置，并根据不同的网络协议类型，采用不同的分析流程模版，实现了对被检测数据包的待检测内容的定制化分析；基于目标分析流程模版，从被检测数据包的数据标识位开始，对被检测数据包中的待检测内容进行分析，在不影响网络正常运行的情况下，即可提取出所需的网络流量数据。由此，基于本申请实施例的方法，在进行网络数据的分析时，无需对每个数据包进行完全解析，解决了相关技术中，由于网络流量数据的规模和复杂较高，造成数据解析负载大，用时长，导致数据解析的效率低下，无法快速地提取网络流量数据的问题。

附图说明

在附图中：

图1是本实施例提供的一种网络数据的分析方法的步骤流程图；

图2为申请实施例提供的另一种网络数据的分析方法的步骤流程图；

图3是本申请实施例提供的一种网络数据的分析方法的架构图；

图4是本申请实施例提供的一种网络数据的分析方法的程序逻辑图；

图5是本申请实施例提供的一种网络数据的分析装置的框图；

图6是本申请实施例提供的一个实施例的电子设备的框图；

图7是本申请实施例提供的另一个实施例的电子设备的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

图1是本实施例提供的一种网络数据的分析方法。

方法可以包括如下步骤：

步骤101，从设备的端口抓取被检测数据包，并确定所述被检测数据包的网络协议类型；所述被检测数据包包含待检测内容，以及除待检测内容之外的其他内容。

在本申请的一个实施例中，从设备的端口抓取被检测数据包，并确定所述被检测数据包的网络协议类型。所述被检测数据包是指从网络中实时获取的数据包，用于进行网络数据的分析。所述网络协议类型是指数据包所遵循的网络通信规则，如传输控制协议/网际协议(Transmission Control Protocol/Internet Protocol，TCP/IP)、超文本传输协议(Hypertext Transfer Protocol，HTTP)、文件传输协议(File Transfer Protocol，FTP)等。

例如，在对一台服务器的流量监控过程中，监控的端口是1，网络协议类型是TCP/IP。从路由器的1端口，抓取1000个被检测数据包，每个数据包的大小为1KB。根据TCP/IP协议的规范，每个数据包的前20个字节是IP头部，后面的字节是TCP头部和数据。因此，网络协议类型是TCP/IP。

步骤102，从预设的第一对应关系中，根据所述被检测数据包的网络协议类型，确定所述被检测数据包的数据标识位；所述第一对应关系用以存储网络协议类型与数据标识位的对应关系；所述数据标识位用以表征所述被检测数据包中待检测内容的起始位置。

在本申请的一个实施例中，从预设的第一对应关系中，根据所述被检测数据包的网络协议类型，确定所述被检测数据包的数据标识位。所述第一对应关系是一个数据结构，用于存储不同的网络协议类型与数据标识位的对应关系。所述数据标识位是指在数据包中，用于标记待检测内容的起始位置的一组二进制位。

例如，在步骤101的实施例中。可以从预设的第一对应关系中，根据网络协议类型TCP/IP，查找对应的数据标识位。假设第一对应关系中，TCP/IP协议对应的数据标识位是01100010。则根据该数据标识位，可以确定被检测数据包中待检测内容的起始位置。

步骤103，从预设的第二对应关系中，确定与所述被检测数据包的数据标识位对应的目标分析流程模版；所述第二对应关系中存储了所述数据标识位与分析流程模版的对应关系；所述分析流程模版用以记录在对应的网络协议类型下，从所述数据标识位开始，对所述被检测数据包的待检测内容分析的具体步骤。

在本申请的一个实施例中，从预设的第二对应关系中，确定与所述被检测数据包的数据标识位对应的目标分析流程模版。所述第二对应关系是一个数据结构，用于存储不同的数据标识位与分析流程模版的对应关系。所述分析流程模版是一个算法或程序，用于记录在对应的网络协议类型下，从所述数据标识位开始，对所述被检测数据包的待检测内容分析的具体步骤。

例如，在步骤102的实施例中，从预设的第二对应关系中，根据数据标识位(01100010)，查找对应的目标分析流程模版。假设第二对应关系中，数据标识位01100010对应的分析流程模版是一个程序，并包括如下数据分析流程：输入：被检测数据包，并从数据标识位开始，读取TCP头部和数据，解析TCP头部，提取关键信息，如源端口、目的端口、序列号、确认号，解析TCP数据，提取关键信息，如应用层协议、应用层数据，根据应用层协议，选择合适的分析方法，分析应用层数据，得到原始数据，根据原始数据，进行进一步的处理，如统计、分类、过滤、加密、压缩，输出分析结果。

步骤104，按照所述目标分析流程模版中的步骤，从所述被检测数据包的数据标识位开始，对所述被检测数据包中的待检测内容进行分析。

在本申请的一个实施例中，按照所述目标分析流程模版中的步骤，从所述被检测数据包的数据标识位开始，对所述被检测数据包中的待检测内容进行分析。所述目标分析流程模版是一个算法或程序，用于记录在对应的网络协议类型下，从所述数据标识位开始，对所述被检测数据包的待检测内容分析的具体步骤。所述分析结果是指从所述被检测数据包中提取出的网络流量数据，如应用层协议、应用层数据、原始数据等。

例如，在步骤103的实施例中，已经获取了与标识位01100010对应的分析流程模版，则在本步骤中则通过此分析流程模版，从标识位的0110010位置开始对被检测数据包进行分析处理，以获得最终的分析结果。

综上，在本申请实施例中，通过从预设的第一对应关系中，根据被检测数据包的网络协议类型，确定被检测数据包的数据标识位，以及从预设的第二对应关系中，确定与被检测数据包的数据标识位对应的目标分析流程模版，可以快速地定位到被检测数据包中待检测内容的起始位置，并根据不同的网络协议类型，采用不同的分析流程模版，实现了对被检测数据包的待检测内容的定制化分析；基于目标分析流程模版，从被检测数据包的数据标识位开始，对被检测数据包中的待检测内容进行分析，在不影响网络正常运行的情况下，即可提取出所需的网络流量数据。由此，基于本申请实施例的方法，在进行网络数据的分析时，无需对每个数据包进行完全解析，解决了相关技术中，由于网络流量数据的规模和复杂较高，造成数据解析负载大，用时长，导致数据解析的效率低下，无法快速地提取网络流量数据的问题。

图2为申请实施例提供的另一种网络数据的分析方法，参照图2，方法可以包括如下步骤：

步骤201，从设备的端口抓取采样数据包，并根据所述采样数据包，确定所述采样数据包的数据标识位和网络协议类型；所述采样数据包包含待检测内容，以及除待检测内容之外的其他内容。

在本申请的一个实施例中，从设备的端口抓取采样数据包，并根据所述采样数据包，确定所述采样数据包的数据标识位和网络协议类型。所述采样数据包是指从网络中随机选取的一部分数据包，用于建立第一对应关系和第二对应关系。所述数据标识位是指在数据包中，用于标记待检测内容的起始位置的一组二进制位。所述网络协议类型是指数据包所遵循的网络通信规则，如TCP/IP、HTTP、FTP等。

例如，在对一台服务器的流量监控过程中，端口是80，网络协议类型是HTTP。从服务器的80端口，抓取100个采样数据包，每个数据包的大小为1KB。根据HTTP协议的规范，每个数据包的前20个字节是TCP头部，后面的字节是HTTP头部和正文。因此，数据标识位是从第21个字节开始的一组二进制位，用于表征HTTP头部和正文的起始位置。根据采样数据包的内容，确定数据标识位的具体值，如01010101。将采样数据包的网络协议类型(HTTP)和数据标识位(01010101)存入第一对应关系中。

可选的，步骤201中，在根据所述采样数据包，确定所述采样数据包的数据标识位和网络协议类型之前，包括以下子步骤：

子步骤2011，提取所述采样数据包中的关键数据，以获得精简后的采样数据包；所述关键数据包括数据包中存储的命令的类型、命令的参数、响应的状态码、身份验证信息、重复信息中的一种或多种。

在本申请的一个实施例中，可以在数据处理之前，先提取所述采样数据包中的关键数据，以获得精简后的采样数据包。所述关键数据是指数据包中存储的命令的类型、命令的参数、响应的状态码、身份验证信息、重复信息中的一种或多种。所述精简后的采样数据包是指只包含关键数据的数据包，用于减少数据量和提高分析效率。

例如，在对一台服务器的流量监控过程中，端口是22，网络协议类型是安全外壳协议(Secure Shell，SSH)。从计算机的22端口，抓取100个采样数据包，每个数据包的大小为1KB。根据SSH协议的规范，每个数据包的前5个字节是数据包长度、填充长度和数据包类型，后面的字节是填充数据和有效载荷。因此，关键数据是数据包类型和有效载荷，它们包含了命令的类型、命令的参数、响应的状态码、身份验证信息、重复信息等信息。提取采样数据包中的关键数据，以获得精简后的采样数据包。精简后的采样数据包的大小为不超过100字节，只包含数据包类型和有效载荷的二进制串。

可选的，步骤201中，确定所述采样数据包的过程具体包括以下子步骤：

子步骤2012，获取所述采样数据包的偏移量；所述偏移量用以表征所述采样数据包在数据传输过程中的编号值。

在本申请的一个实施例中，首先获取所述采样数据包的偏移量。所述偏移量是指在数据传输过程中，每个数据包的编号值，用于表示数据包的顺序和位置。所述偏移量可以是一个整数、一个时间戳、一个序列号或其他形式的标识符。

例如，在对一台手机的流量监控过程中，端口是443，网络协议类型是HTTP。从手机的443端口，抓取100个采样数据包，每个数据包的大小为1KB。根据HTTP协议的规范，每个数据包的前5个字节是数据包长度、填充长度和数据包类型，后面的字节是填充数据和有效载荷。因此，偏移量是数据包类型的值，用于表示数据包的类型和顺序。获取采样数据包的偏移量，即读取每个数据包的第5个字节，得到一个0到255的整数，作为偏移量的值。

子步骤2013，将所述偏移量与所述采样数据包的数据组合，以获取所述采样数据包的偏移数据包，并根据所述偏移数据包，确定所述偏移数据包的特征编码。

在本申请的一个实施例中，将所述偏移量与所述采样数据包的数据组合，以获取所述采样数据包的偏移数据包，并根据所述偏移数据包，确定所述偏移数据包的特征编码。所述偏移量是指在数据传输过程中，每个数据包的编号值，用于表示数据包的顺序和位置。所述数据是指数据包中存储的命令的类型、命令的参数、响应的状态码、身份验证信息、重复信息等关键数据。所述偏移数据包是指由偏移量和数据组成的数据包，用于增加数据包的可识别性和可区分性。所述特征编码是指对偏移数据包进行编码的方法，用于生成一个唯一的标识符，表示偏移数据包的类型和内容。

例如，在对一台打印机的流量监控过程中，端口是9100，网络协议类型是互联网打印协议(Internet Printing Protocol，IPP)。从打印机的9100端口，抓取100个采样数据包，每个数据包的大小为1KB。根据IPP协议的规范，每个数据包的前8个字节是版本号、操作码、请求ID和状态码，后面的字节是属性组、数据和结束标记。因此，数据是数据包中存储的操作码、请求ID、状态码、属性组、数据和结束标记等关键数据。获取采样数据包的偏移量，即读取每个数据包的第9个字节，得到一个0到255的整数，作为偏移量的值。将偏移量与数据组合，以获取采样数据包的偏移数据包。偏移数据包的大小为不超过101字节，包含偏移量和数据的二进制串。根据偏移数据包，确定偏移数据包的特征编码。特征编码可以是一个哈希函数，对偏移数据包的二进制串进行编码，生成一个固定长度的十六进制字符串，作为特征编码的值。

可选的，子步骤2013包括以下子步骤：

子步骤20131，将所述偏移量与所述采样数据包的数据执行异或运算，并将异或运算后的所述采样数据包作为偏移数据包。

在本申请的一个实施例中，将所述偏移量与所述采样数据包的数据执行异或运算，并将异或运算后的所述采样数据包作为偏移数据包。所述偏移量是指在数据传输过程中，每个数据包的编号值，用于表示数据包的顺序和位置。所述数据是指数据包中存储的命令的类型、命令的参数、响应的状态码、身份验证信息、重复信息等关键数据。所述异或运算是指一种逻辑运算，用于比较两个二进制位，如果相同则输出0，如果不同则输出1。所述偏移数据包是指由偏移量和数据异或运算后的结果组成的数据包，用于增加数据包的随机性和安全性。

例如，在对一个摄像头的流量监控过程中，端口是554，网络协议类型是实时流传输协议(Real Time Streaming Protocol，RTSP)。从摄像头的554端口，抓取100个采样数据包，每个数据包的大小为1KB。根据RTSP协议的规范，每个数据包的前4个字节是版本号、数据包类型和数据包长度，后面的字节是数据包正文。因此，数据是数据包中存储的数据包类型、数据包长度和数据包正文等关键数据。获取采样数据包的偏移量，即读取每个数据包的第5个字节，得到一个0到255的整数，作为偏移量的值。将偏移量与数据执行异或运算，以获取采样数据包的偏移数据包。偏移数据包的大小为不超过101字节，包含偏移量和数据异或运算后的结果的二进制串。

可选的，子步骤2013包括以下子步骤：

子步骤20132，将所述偏移数据包的摘要数据作为所述偏移数据包的特征编码。

在本申请的一个实施例中，将所述偏移数据包的摘要数据作为所述偏移数据包的特征编码。所述偏移数据包是指由偏移量和数据组成的数据包，用于增加数据包的可识别性和可区分性。所述摘要数据是指对偏移数据包进行摘要算法的结果，用于生成一个简短的标识符，表示偏移数据包的内容和特征。所述特征编码是指对偏移数据包进行编码的方法，用于生成一个唯一的标识符，表示偏移数据包的类型和内容。

例如，在步骤20131的实施例中，将偏移数据包的摘要数据作为偏移数据包的特征编码。摘要数据可以是一个摘要算法，对偏移数据包的二进制串进行摘要，生成一个固定长度的十六进制字符串，作为摘要数据的值。

子步骤2014，根据所述特征编码，在预设的第三对应关系中查找，以确定所述采样数据包的数据标识位；所述第三对应关系中存储了特征编码与数据标识位的对应关系。

在本申请的一个实施例中，根据所述特征编码，在预设的第三对应关系中查找，以确定所述采样数据包的数据标识位。所述特征编码是指对偏移数据包进行编码的方法，用于生成一个唯一的标识符，表示偏移数据包的类型和内容。所述第三对应关系是一个数据结构，用于存储不同的特征编码与数据标识位的对应关系。所述数据标识位是指在数据包中，用于标记待检测内容的起始位置的一组二进制位。

例如，在步骤2013的实施例之后。可以根据特征编码，在预设的第三对应关系中查找，以确定采样数据包的数据标识位。假设第三对应关系中，特征编码与数据标识位的对应关系为：5a3f2b(特征编码)-01001100(数据标识位)，7c8d9e(特征编码)-00100110(数据标识位)。则根据特征编码的值，可以在第三对应关系中，找到对应的数据标识位的值，作为采样数据包的数据标识位。

步骤202，将所述采样数据包的网络协议类型以及所述采样数据包的数据标识位，存入所述第一对应关系中。

在本申请的一个实施例中，将所述采样数据包的网络协议类型以及所述采样数据包的数据标识位，存入所述第一对应关系中。所述第一对应关系是一个数据结构，用于存储不同的网络协议类型与数据标识位的对应关系。所述第一对应关系可以是一个数组、一个哈希表、一个字典或其他形式的数据结构。

例如，在步骤201的实施例之后，可以将采样数据包的网络协议类型(HTTP)和数据标识位(01010101)存入第一对应关系中。

步骤203，根据所述采样数据包的网络协议类型和数据标识位，生成用以分析所述采样数据包的分析流程模版；所述分析流程模版用以记录在对应的网络协议类型下，从所述数据标识位开始，对所述采样数据包的待检测内容分析的具体步骤。

在本申请的一个实施例中，根据所述采样数据包的网络协议类型和数据标识位，生成用以分析所述采样数据包的分析流程模版。所述分析流程模版是一个算法或程序，用于记录在对应的网络协议类型下，从所述数据标识位开始，对所述采样数据包的待检测内容分析的具体步骤。所述分析流程模版可以是一个可执行程序组。

例如，在步骤202的实施例之后，可以获取一个按照以下过程执行的程序：从数据标识位开始，读取HTTP头部和正文；解析HTTP头部，提取关键信息，如请求方法、请求统一资源定位符(Uniform Resource Locator，URL)、响应状态码等；解析HTTP正文，提取关键信息，如内容类型、内容长度、内容编码等。

步骤204，将所述采样数据包的数据标识位以及所述采样数据包的分析流程模版，存入所述第二对应关系中。

在本申请的一个实施例中，将所述采样数据包的数据标识位以及所述采样数据包的分析流程模版，存入所述第二对应关系中。所述第二对应关系是一个数据结构，用于存储不同的数据标识位与分析流程模版的对应关系。所述第二对应关系可以是一个数组、一个哈希表、一个字典或其他形式的数据结构。

例如，在步骤203的实施例之后，可以将采样数据包的数据标识位以及采样数据包的分析流程模版存入第二对应关系中。

步骤205，从设备的端口抓取被检测数据包，并确定所述被检测数据包的网络协议类型；所述被检测数据包包含待检测内容，以及除待检测内容之外的其他内容。

本步骤所示方法，在步骤101中已作说明，此处不再赘述。

步骤206，从预设的第一对应关系中，根据所述被检测数据包的网络协议类型，确定所述被检测数据包的数据标识位；所述第一对应关系用以存储网络协议类型与数据标识位的对应关系；所述数据标识位用以表征所述被检测数据包中待检测内容的起始位置。

本步骤所示方法，在步骤102中已作说明，此处不再赘述。

步骤207，从预设的第二对应关系中，确定与所述被检测数据包的数据标识位对应的目标分析流程模版；所述第二对应关系中存储了所述数据标识位与分析流程模版的对应关系；所述分析流程模版用以记录在对应的网络协议类型下，从所述数据标识位开始，对所述被检测数据包的待检测内容分析的具体步骤。

本步骤所示方法，在步骤103中已作说明，此处不再赘述。

步骤208，按照所述目标分析流程模版中的步骤，从所述被检测数据包的数据标识位开始，对所述被检测数据包中的待检测内容进行分析。

本步骤所示方法，在步骤104中已作说明，此处不再赘述。

可选的，在标识位未获得与所述被检测数据包的数据特征对应的目标分析流程模版的情况下，本方法还包括步骤209：

步骤209，将所述被检测数据包作为采样数据包，并进入所述根据所述采样数据包，确定所述采样数据包的数据标识位和网络协议类型的步骤。

在本申请的一个实施例中，在标识位未获得与所述被检测数据包的数据特征对应的目标分析流程模版的情况下，则将所述被检测数据包作为采样数据包，以扩充第一对应关系和第二对应关系中的数据。

例如，第一对应关系中存储了FTP数据、HTTP数据对应的分析流程模版，在一次对被检测数据包的分析过程中获取到一个URL数据，此时则无法获取对应的分析流程模版，因此需要到此URL数据进行分析，并将其存入第一对应关系，和第二对应关系。

图3是本申请实施例提供的一种网络数据的分析方法的架构图，图4是本申请实施例提供的一种网络数据的分析方法的程序逻辑图，图3中监听模块通过分别与策略中心和工作组相关联，以进行网络流量的监控，其中解析器用于对抓取的数据进行解析处理，并传回监听模块和工作组，而处理器向策略中心提供在分析策略选择时的软硬件支持；在图3的架构下，可以按照图4中的具体步骤进行数据包的分析：

在本申请的一个实施例中，S1至S4步骤执行了本申请中步骤101至步骤104的具体过程，需要强调的是，此处不区分数据包的类型是采样数据包或是待分析数据包：

在S1步骤中，对数据包的协议类型进行具体的判断，当符合记录的协议类型中时则对数据包的进行数据处理；其后依次在步骤S2、S3、S4步骤中解析获得数据包的偏移量、状态参数最终获得数据包的标识位，当获取到标识位后，则可将数据包送入后续步骤以最终获得分析结果，并实现反馈。

综上，在本申请实施例中，通过从预设的第一对应关系中，根据被检测数据包的网络协议类型，确定被检测数据包的数据标识位，以及从预设的第二对应关系中，确定与被检测数据包的数据标识位对应的目标分析流程模版，可以快速地定位到被检测数据包中待检测内容的起始位置，并根据不同的网络协议类型，采用不同的分析流程模版，实现了对被检测数据包的待检测内容的定制化分析；基于目标分析流程模版，从被检测数据包的数据标识位开始，对被检测数据包中的待检测内容进行分析，在不影响网络正常运行的情况下，即可提取出所需的网络流量数据。由此，基于本申请实施例的方法，在进行网络数据的分析时，无需对每个数据包进行完全解析，解决了相关技术中，由于网络流量数据的规模和复杂较高，造成数据解析负载大，用时长，导致数据解析的效率低下，无法快速地提取网络流量数据的问题。

参考图5，其示出了本申请实施例提供的一种网络数据的分析装置30，所述装置30包括：

抓取模块301，用于从设备的端口抓取被检测数据包，并确定所述被检测数据包的网络协议类型；所述被检测数据包包含待检测内容，以及除待检测内容之外的其他内容；

第一关系模块302，用于从预设的第一对应关系中，根据所述被检测数据包的网络协议类型，确定所述被检测数据包的数据标识位；所述第一对应关系用以存储网络协议类型与数据标识位的对应关系；所述数据标识位用以表征所述被检测数据包中待检测内容的起始位置；

第二关系模块303，用于从预设的第二对应关系中，确定与所述被检测数据包的数据标识位对应的目标分析流程模版；所述第二对应关系中存储了所述数据标识位与分析流程模版的对应关系；所述分析流程模版用以记录在对应的网络协议类型下，从所述数据标识位开始，对所述被检测数据包的待检测内容分析的具体步骤；

数据分析模块304，用于按照所述目标分析流程模版中的步骤，从所述被检测数据包的数据标识位开始，对所述被检测数据包中的待检测内容进行分析。

可选的，网络数据的分析装置30还包括：

采样模块，用于从设备的端口抓取采样数据包，并根据所述采样数据包，确定所述采样数据包的数据标识位和网络协议类型；所述所述采样数据包包含待检测内容，以及除待检测内容之外的其他内容；

第一关系存储模块，用于将所述采样数据包的网络协议类型以及所述采样数据包的数据标识位，存入所述第一对应关系中；

分析模块，用于根据所述采样数据包的网络协议类型和数据标识位，生成用以分析所述采样数据包的分析流程模版；所述分析流程模版用以记录在对应的网络协议类型下，从所述数据标识位开始，对所述采样数据包的待检测内容分析的具体步骤；

第二关系存储模块，用于将所述采样数据包的数据标识位以及所述采样数据包的分析流程模版，存入所述第二对应关系中。

可选的，采样模块包括：

偏移量子模块，用于获取所述采样数据包的偏移量；所述偏移量用以表征所述采样数据包在数据传输过程中的编号值；

特征编码子模块，用于将所述偏移量与所述采样数据包的数据组合，以获取所述采样数据包的偏移数据包，并根据所述偏移数据包，确定所述偏移数据包的特征编码；

标识位确认子模块，用于根据所述特征编码，在预设的第三对应关系中查找，以确定所述采样数据包的数据标识位；所述第三对应关系中存储了特征编码与数据标识位的对应关系。

可选的，特征编码子模块包括：

异或运算单元，用于将所述偏移量与所述采样数据包的数据执行异或运算，并将异或运算后的所述采样数据包作为偏移数据包。

可选的，特征编码子模块包括：

摘要数据单元，用于将所述偏移数据包的摘要数据作为所述偏移数据包的特征编码。

可选的，网络数据的分析装置30包括：

关键数据模块，用于提取所述采样数据包中的关键数据，以获得精简后的采样数据包；所述关键数据包括数据包中存储的命令的类型、命令的参数、响应的状态码、身份验证信息、重复信息中的一种或多种。

可选的，网络数据的分析装置30包括：

记录分析模块，用于在标识位未获得与所述被检测数据包的数据特征对应的目标分析流程模版的情况下，将所述被检测数据包作为采样数据包，并进入所述根据所述采样数据包，确定所述采样数据包的数据标识位和网络协议类型的步骤。

综上，在本申请实施例中，通过从预设的第一对应关系中，根据被检测数据包的网络协议类型，确定被检测数据包的数据标识位，以及从预设的第二对应关系中，确定与被检测数据包的数据标识位对应的目标分析流程模版，可以快速地定位到被检测数据包中待检测内容的起始位置，并根据不同的网络协议类型，采用不同的分析流程模版，实现了对被检测数据包的待检测内容的定制化分析；基于目标分析流程模版，从被检测数据包的数据标识位开始，对被检测数据包中的待检测内容进行分析，在不影响网络正常运行的情况下，即可提取出所需的网络流量数据。由此，基于本申请实施例的方法，在进行网络数据的分析时，无需对每个数据包进行完全解析，解决了相关技术中，由于网络流量数据的规模和复杂较高，造成数据解析负载大，用时长，导致数据解析的效率低下，无法快速地提取网络流量数据的问题_。

参照图6，电子设备500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(I/O)接口512，传感器组件514，以及通信组件516。

处理组件502通常控制电子设备500的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504用于存储各种类型的数据以支持在电子设备500的操作。这些数据的示例包括用于在电子设备500上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，多媒体等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件506为电子设备500的各种组件提供电力。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为电子设备500生成、管理和分配电力相关联的组件。

多媒体组件508包括在电子设备500和用户之间的提供一个输出接口的界面。在一些实施例中，界面可以包括液晶显示器(LCD)和触摸面板(TP)。如果界面包括触摸面板，界面可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的分界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508包括一个前置摄像头和/或后置摄像头。当电子设备500处于操作模式，如拍摄模式或多媒体模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510用于输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当电子设备500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

输入/输出I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为电子设备500提供各个方面的状态评估。例如，传感器组件515可以检测到电子设备500的打开/关闭状态，组件的相对定位，例如组件为电子设备500的显示器和小键盘，传感器组件514还可以检测电子设备500或电子设备500一个组件的位置改变，用户与电子设备500接触的存在或不存在，电子设备500方位或加速/减速和电子设备500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件515还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516用于便于电子设备500和其他设备之间有线或无线方式的通信。电子设备500可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于实现本申请实施例提供的方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器504，上述指令可由电子设备500的处理器520执行以完成上述方法。例如，非临时性存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

图7是本发明另一个实施例的电子设备600的框图。例如，电子设备600可以被提供为一服务器。参照图7，电子设备600包括处理组件622，其进一步包括一个或多个处理器，以及由存储器632所代表的存储器资源，用于存储可由处理组件622的执行的指令，例如应用程序。存储器632中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件622被配置为执行指令，以执行本申请实施例提供的方法。

电子设备600还可以包括一个电源组件626被配置为执行电子设备600的电源管理，一个有线或无线网络接口650被配置为将电子设备600连接到网络，和一个输入/输出(I/O)接口658。电子设备600可以操作基于存储在存储器632的操作系统，例如WindowsServerTM，MacOSXTM，UnixTM，LinuxTM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种网络数据的分析方法，其特征在于，包括：

从设备的端口抓取被检测数据包，并确定所述被检测数据包的网络协议类型；所述被检测数据包包含待检测内容，以及除待检测内容之外的其他内容；

从预设的第一对应关系中，根据所述被检测数据包的网络协议类型，确定所述被检测数据包的数据标识位；所述第一对应关系用以存储网络协议类型与数据标识位的对应关系；所述数据标识位用以表征所述被检测数据包中待检测内容的起始位置；

从预设的第二对应关系中，确定与所述被检测数据包的数据标识位对应的目标分析流程模版；所述第二对应关系中存储了所述数据标识位与分析流程模版的对应关系；所述分析流程模版用以记录在对应的网络协议类型下，从所述数据标识位开始，对所述被检测数据包的待检测内容分析的具体步骤；

按照所述目标分析流程模版中的步骤，从所述被检测数据包的数据标识位开始，对所述被检测数据包中的待检测内容进行分析。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

从设备的端口抓取采样数据包，并根据所述采样数据包，确定所述采样数据包的数据标识位和网络协议类型；所述采样数据包包含待检测内容，以及除待检测内容之外的其他内容；

将所述采样数据包的网络协议类型以及所述采样数据包的数据标识位，存入所述第一对应关系中；

根据所述采样数据包的网络协议类型和数据标识位，生成用以分析所述采样数据包的分析流程模版；所述分析流程模版用以记录在对应的网络协议类型下，从所述数据标识位开始，对所述采样数据包的待检测内容分析的具体步骤；

将所述采样数据包的数据标识位以及所述采样数据包的分析流程模版，存入所述第二对应关系中。

3.如权利要求2所述的方法，其特征在于，所述根据所述采样数据包，确定所述采样数据包的数据标识位，包括：

获取所述采样数据包的偏移量；所述偏移量用以表征所述采样数据包在数据传输过程中的编号值；

将所述偏移量与所述采样数据包的数据组合，以获取所述采样数据包的偏移数据包，并根据所述偏移数据包，确定所述偏移数据包的特征编码；

根据所述特征编码，在预设的第三对应关系中查找，以确定所述采样数据包的数据标识位；所述第三对应关系中存储了特征编码与数据标识位的对应关系。

4.如权利要求3所述的方法，其特征在于，所述将所述偏移量与所述采样数据包的数据组合，以获取所述采样数据包的偏移数据包，包括：

将所述偏移量与所述采样数据包的数据执行异或运算，并将异或运算后的所述采样数据包作为偏移数据包。

5.如权利要求3所述的方法，其特征在于，所述根据所述偏移数据包，确定所述偏移数据包的特征编码，包括：

将所述偏移数据包的摘要数据作为所述偏移数据包的特征编码。

6.如权利要求2所述的方法，其特征在于，在所述根据所述采样数据包，确定所述采样数据包的数据标识位和网络协议类型之前，所述方法还包括：

提取所述采样数据包中的关键数据，以获得精简后的采样数据包；所述关键数据包括数据包中存储的命令的类型、命令的参数、响应的状态码、身份验证信息、重复信息中的一种或多种。

7.如权利要求2所述的方法，其特征在于，所述方法还包括：

在标识位未获得与所述被检测数据包的数据特征对应的目标分析流程模版的情况下，将所述被检测数据包作为采样数据包，并进入所述根据所述采样数据包，确定所述采样数据包的数据标识位和网络协议类型的步骤。

8.一种网络数据的分析装置，其特征在于，所述装置包括：

抓取模块，用于从设备的端口抓取被检测数据包，并确定所述被检测数据包的网络协议类型；所述被检测数据包包含待检测内容，以及除待检测内容之外的其他内容；

第一关系模块，用于从预设的第一对应关系中，根据所述被检测数据包的网络协议类型，确定所述被检测数据包的数据标识位；所述第一对应关系用以存储网络协议类型与数据标识位的对应关系；所述数据标识位用以表征所述被检测数据包中待检测内容的起始位置；

第二关系模块，用于从预设的第二对应关系中，确定与所述被检测数据包的数据标识位对应的目标分析流程模版；所述第二对应关系中存储了所述数据标识位与分析流程模版的对应关系；所述分析流程模版用以记录在对应的网络协议类型下，从所述数据标识位开始，对所述被检测数据包的待检测内容分析的具体步骤；

数据分析模块，用于按照所述目标分析流程模版中的步骤，从所述被检测数据包的数据标识位开始，对所述被检测数据包中的待检测内容进行分析。

9.一种电子设备，其特征在于，包括：处理器、用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的方法。