CN110474912A - 监测方法、电子设备及存储介质 - Google Patents

Abstract

一种监测方法、电子设备及存储介质，应用于互联网技术领域，通过提取数据包的方式，对比用户HTTP请求数据包中URL信息与DNS解析的DNS信息是否匹配来判断是否属于正常访问行为。若匹配成功则视为正常访问行为，若匹配失败则确定为异常网流量穿透行为。系统通过这种方法，极大地提高异常网流量穿透的识别准确率。

Description

监测方法、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种监测方法、电子设备及存储介质。

背景技术

不同地域的用户所使用的网络环境不同，基于黑名单过滤的方案，只能识别连接已知恶意网站时的恶意外连流量，对于域名变化没有任何感知。而基于特征检测的方案，需要安全从业人员逐一分析样本，会消耗较大的人力，并且难以检测变种的恶意外连流量。通过基于HTTP、HTTPS通用封装子协议的监测方法根据网络协议规范分析数据包，通过确认数据包是否符合规范来监测，提高基于HTTP Web监测的效率。

发明内容

本申请的主要目的在于提供一种监测方法、电子设备及存储介质。

本申请实施例第一方面提供一种监测方法，包括：

接收到客户端发起HTTP请求后，对所述HTTP请求进行DNS解析；

按照预置的探测策略提取数据包，所述数据包包括HTTP请求的数据包和DNS解析的数据包；

提取所述HTTP请求的数据包中的URL信息，以及，所述DNS解析的数据包中的域名地址；

判断所述HTTP请求数据包中URL信息和所述DNS解析的数据包中的域名地址是否匹配；

若匹配，则表明为正常访问；若不匹配，则表明为异网流量穿透。

进一步地，所述HTTP请求的数据包通过GET或POST方式进行封装。

进一步地，所述按照预置的探测策略提取数据包之后，包括：

将提取的数据包上传至数据库进行存储。

进一步地，所述HTTP请求的数据包包括url字段、url参数字段，user-agent字段、host字段、content-length字段。

进一步地，将提取到的数据包进行初始化；

通过ASCALL判码方式对十六进制数据信息进行还原，通过特殊字符判断数据包传送的文本信息和编码方式。

进一步地，将数据包中的数字部分、字母部分、字母数字混合部分、十六进制部分、base64部分分别用特殊字符替换。

进一步地，所述通过条件筛选的方式查询异常网流量穿透的具体信息。

本申请实施例第二方面提供了一种电子设备，包括：

存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现本申请实施例第一方面提供的监测方法。

本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例第一方面提供的监测方法。

从上述本申请实施例可知，本申请提供的监测方法、电子设备及存储介质，通过提取数据包的方式，对比用户HTTP请求数据包中URL信息与DNS解析的DNS信息是否匹配来判断是否属于正常访问行为。若匹配成功则视为正常访问行为，若匹配失败则确定为异常网流量穿透行为。系统通过这种判断规则，极大地提高异常网流量穿透的识别准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的监测方法的流程示意图；

图2示出了一种电子设备的硬件结构示意图。

具体实施方式

为使得本申请的申请目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本中请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1为本申请一实施例提供的监测方法的流程示意图，该方法主要包括以下步骤：

S101、接收到客户端发起HTTP请求后，对所述HTTP请求进行DNS解析；

S102、按照预置的探测策略提取数据包，所述数据包包括HTTP请求的数据包和DNS解析的数据包；

S103、提取所述HTTP请求的数据包中的URL信息，以及，所述DNS解析的数据包中的域名地址；

S104、判断所述HTTP请求数据包中URL信息和所述DNS解析的数据包中的域名地址是否匹配；

S105、若匹配，则表明为正常访问；若不匹配，则表明为异网流量穿透。

进一步地，所述HTTP请求的数据包通过GET或POST方式进行封装。

进一步地，所述按照预置的探测策略提取数据包之后，将提取的数据包上传至数据库进行存储。

进一步地，所述HTTP请求的数据包包括url字段、url参数字段，user-agent字段、host字段、content-length字段。

进一步地，将提取到的数据包进行初始化；

通过ASCALL判码方式对十六进制数据信息进行还原，通过特殊字符判断数据包传送的文本信息和编码方式。

进一步地，将数据包中的数字部分、字母部分、字母数字混合部分、十六进制部分、base64部分分别用特殊字符替换。

进一步地，所述通过条件筛选的方式查询异常网流量穿透的具体信息。

实施例一：

步骤一，由客户端发起HTTP协议请求并进行地址解析，把URL以及本机的一些信息封装成一个HTTP请求数据包，通过GET或POST方式封装；

步骤二，获取数据，提取请求字段头，划分结构化字段，方便后续处理；

步骤三，依据HTTP协议、IP协议和TCP协议对原始数据IP包进行重组分析。

步骤四，与恶意模板匹配进行对比判断，判断相似度是否超过阀值。

在步骤一中，HTTP协议由客户端发起请求，服务端给与响应，解析URL构成，通过URL后面携带的参数不同来响应不同的用户或者同一个用户的不同请求的，通过GET或POST方式封装协议，使用Get方式从服务器获取数据，打开和URL之间的连接并设置通用的请求属性，建立实际的连接，定义BufferReader输入流来读取URL的响应，POST封装将数据向服务器提交并进行更新。

所述的封装协议，把上面写的URL以及本机的一些信息封装成一个HTTP请求数据包；

所述步骤二具体包括：

步骤2.1，所述策略生效版块负责给不同的探针端分配策略并启动生效；

步骤2.2，所述探针端按照设置好的探测策略提取符合要求的数据包；所述数据包包括HTTP的请求包和DNS解析的数据包信息；

步骤2.3，所述探针端提取好数据后将相关数据上传至数据库存储。

所述步骤三具体包括：

步骤3.1，首先对将数据库中原始数据进行预处理，将HTTP请求包的若干数据项拆分提取出URL路径；

步骤3.2，其次，分析HTTP请求包中URL信息与DNS信息是否匹配，若匹配成功则表明为正常访问行为；若匹配失败，则表明为异常网流量穿透方式；

步骤3.3，通过条件筛选的方式查询异常网流量穿透的具体信息，便于管理者了解详情和决策。

异常网流量穿透检测，包括探测模块、数据统计分析模块、配置模块和设备管理模块；

所述探测模块设置在某待测运营商的网关处设置探测模块，称带有所述探测模块的设备为探针端；

所述数据统计分析模块对将数据库中原始数据进行预处理，将HTTP请求包的若干数据项拆分提取出URL路径；分析HTTP请求包中URL信息与DNS信息是否匹配，若匹配成功则表明为正常访问行为；若匹配失败，则表明为异网流量穿透方式；并且通过条件筛选的方式查询异常网流量穿透的具体信息，便于管理者了解详情和决策；

所述配置模块对所述探针端进行配置；

所述设备管理模块对所述探针端设备性能和业务运行状态实时监测反馈的记录。

所述配置模块包括探测策略版块、策略生效版块；

所述探测策略版块负责设置配置，配置的内容包括：

提取时间、提取频率、数据包大小、数据包过滤要求；

所述策略生效版块负责给不同的探针端分配策略并启动生效。

所述性能状态包括CPU、内存、存储参数进行周期性信息采集；

所述业务运行状态包括位置拓扑结构图、运行状态、执行的探针策略信息。

该系统具有灵活的配置策略，可以支持全天不断监测也可以针对流量数据包较多的时间段抽样检测。采用全天模式可以最大程度发现存在的异常网流量穿透行为；采用重点时间段抽样的形式，可以节省存储空间并提升处理效率。

实施例二：

首先，封装HTTP请求数据包，包括GET封装和POST封装，使用Get方式从服务器获取数据，打开和URL之间的连接并设置通用的请求属性，建立实际的连接，定义Buffer Reader输入流来读取URL的响应，POST封装将数据向服务器提交并进行更新。

然后，获取数据，提取请求字段头，划分结构化字段，方便后续处理。将http流量划分为url、url参数，user-agent、host、content-length等结构化字段。把捕获到的数据包进行初始化，通过ASCALL判码方式对十六进制数据信息进行还原，通过“Content-Type”“charseft”等特殊字符判断数据包传送的文本信息和编码方式。

然后，HTTP数据包重组分析，将http流量中的数字部分、字母部分、字母数字混合部分、十六进制部分、base64部分分别用特殊字符替换，取消它们的差异性部分。

对流量的url部分泛化，将字母转换为*，十六进制部分转换为@，数字部分转换为$，通过泛化，两个url的结构特征得以保留。

计算流量间的相似度，便于后续提取恶意流量模板，在计算相似度的过程中，恶意流量中不同字段的重要性是不同的。在计算流量的相似度时，url应该有更大的权重，即url相似时表明它们更有可能来自同一恶意家族。而Accept，User-Agent等字段则应该分配较小的权重，因为难以通过这些字段内容区分恶意流量和白流量。

评估每个字段的特异性，字段内容特异性越高，则其恶意特征越明显，相应的就应该赋予更高权重。

最后，与恶意模板匹配进行对比判断，生成恶意流量模板。

URL路径特异性：根据url路径复杂度定义。恶意流量中的url路径越复杂越难以与白流量重叠。

Url参数特异性：根据参数数量定义，恶意流量中的参数数量越多，特征越明显。

其他常见请求字段特异性：如User-Agent，Connection，Cache-Control等字段。统计所有恶意流量和白流量中出现过的字段信息集合以及对应的出现次数。如果字段内容出现频率低，则认为特异性高。

特殊字段特异性：如的Content-Key字段。统计所有流量中出现过的字段信息。将出现频率低的字段标记为特殊字段。对于有特殊字段的流量，认为其特异性高。

生成恶意流量模板，对聚类后的每一类，都是结构和内容相似的恶意流量。对其中的每一个请求头字段，获取聚类中该字段内容的并集作为该字段在模板中的值。相当于把训练集中重复的部分做了去重处理。

进一步的，该电子装置包括：存储器、处理器及存储在所存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如前述图1所示实施例中描述的监测方法。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是上述各实施例中设置在主控芯片和数据采集芯片中的存储单元。该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现前述图1至图2所示实施例中描述的监测方法。

示例性的，电子装置可以为移动或便携式并执行无线通信的各种类型的计算机系统设备中的任何一种。具体的，电子装置可以为移动电话或智能电话(例如，基于iPhoneTM，基于Android TM的电话)，便携式游戏设备(例如Nintendo DS TM，PlayStationPortable TM，Gameboy Advance TM，iPhone TM)、膝上型电脑、PDA、便携式互联网设备、音乐播放器以及数据存储设备，其他手持设备以及诸如手表、耳机、吊坠、耳机等，电子装置还可以为其他的可穿戴设备(例如，诸如电子眼镜、电子衣服、电子手镯、电子项链、电子纹身、电子设备或智能手表的头戴式设备(HMD))。

电子装置还可以是多个电子设备中的任何一个，多个电子设备包括但不限于蜂窝电话、智能电话、其他无线通信设备、个人数字助理、音频播放器、其他媒体播放器、音乐记录器、录像机、照相机、其他媒体记录器、收音机、医疗设备、车辆运输仪器、计算器、可编程遥控器、寻呼机、膝上型计算机、台式计算机、打印机、上网本电脑、个人数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组(MPEG-1或MPEG-2)音频层3(MP3)播放器，便携式医疗设备以及数码相机及其组合。

在一些情况下，电子装置可以执行多种功能(例如，播放音乐，显示视频，存储图片以及接收和发送电话呼叫)。如果需要，电子装置可以是诸如蜂窝电话、媒体播放器、其他手持设备、腕表设备、吊坠设备、听筒设备或其他紧凑型便携式设备的便携式设备。

如图2所示，电子设备10可以包括控制电路，该控制电路可以包括存储和处理电路30。该存储和处理电路30可以包括存储器，例如硬盘驱动存储器，非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程限制删除的存储器等)，易失性存储器(例如静态或动态随机存取存储器等)等，本申请实施例不作限制。存储和处理电路30中的处理电路可以用于控制电子设备10的运转。该处理电路可以基于一个或多个微处理器，微控制器，数字信号处理器，基带处理器，功率管理单元，音频编解码器芯片，专用集成电路，显示驱动器集成电路等来实现。

存储和处理电路30可用于运行电子设备10中的软件，例如互联网浏览应用程序，互联网协议语音(Voice over Internet Protocol，VOIP)电话呼叫应用程序，电子邮件应用程序，媒体播放应用程序，操作系统功能等。这些软件可以用于执行一些控制操作，例如，基于照相机的图像采集，基于环境光传感器的环境光测量，基于接近传感器的接近传感器测量，基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能，基于触摸传感器的触摸事件检测，与在多个(例如分层的)显示器上显示信息相关联的功能，与执行无线通信功能相关联的操作，与收集和产生音频信号相关联的操作，与收集和处理按钮按压事件数据相关联的控制操作，以及电子设备10中的其它功能等，本申请实施例不作限制。

电子设备10还可以包括输入-输出电路42。输入-输出电路42可用于使电子设备10实现数据的输入和输出，即允许电子设备10从外部设备接收数据和也允许电子设备10将数据从电子设备10输出至外部设备。输入-输出电路42可以进一步包括传感器32。传感器32可以包括环境光传感器，基于光和电容的接近传感器，触摸传感器(例如，基于光触摸传感器和/或电容式触摸传感器，其中，触摸传感器可以是触控显示屏的一部分，也可以作为一个触摸传感器结构独立使用)，加速度传感器，和其它传感器等。

输入-输出电路42还可以包括一个或多个显示器，例如显示器14。显示器14可以包括液晶显示器，有机发光二极管显示器，电子墨水显示器，等离子显示器，使用其它显示技术的显示器中一种或者几种的组合。显示器14可以包括触摸传感器阵列(即，显示器14可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器，或者可以是使用其它触摸技术形成的触摸传感器，例如音波触控，压敏触摸，电阻触摸，光学触摸等，本申请实施例不作限制。

电子设备10还可以包括音频组件36。音频组件36可以用于为电子设备10提供音频输入和输出功能。电子设备10中的音频组件36可以包括扬声器，麦克风，蜂鸣器，音调发生器以及其它用于产生和检测声音的组件。

通信电路38可以用于为电子设备10提供与外部设备通信的能力。通信电路38可以包括模拟和数字输入-输出接口电路，和基于射频信号和/或光信号的无线通信电路。通信电路38中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说，通信电路38中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication，NFC)的电路。例如，通信电路38可以包括近场通信天线和近场通信收发器。通信电路38还可以包括蜂窝电话收发器和天线，无线局域网收发器电路和天线等。

电子设备10还可以进一步包括电池，电力管理电路和其它输入-输出单元40。输入-输出单元40可以包括按钮，操纵杆，点击轮，滚动轮，触摸板，小键盘，键盘，照相机，发光二极管和其它状态指示器等。

用户可以通过输入-输出电路42输入命令来控制电子设备10的操作，并且可以使用输入-输出电路42的输出数据以实现接收来自电子设备10的状态信息和其它输出。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本申请所提供的监测方法、电子设备及存储介质的描述，对于本领域的技术人员，依据本申请实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种监测方法，其特征在于，包括：

接收到客户端发起HTTP请求后，对所述HTTP请求进行DNS解析；

按照预置的探测策略提取数据包，所述数据包包括HTTP请求的数据包和DNS解析的数据包；

提取所述HTTP请求的数据包中的URL信息，以及，所述DNS解析的数据包中的域名地址；

判断所述HTTP请求数据包中URL信息和所述DNS解析的数据包中的域名地址是否匹配；

若匹配，则表明为正常访问；若不匹配，则表明为异网流量穿透。

2.根据权利要求1所述的监测方法，其特征在于，所述HTTP请求的数据包通过GET或POST方式进行封装。

3.根据权利要求1所述的监测方法，其特征在于，所述按照预置的探测策略提取数据包之后，包括：

将提取的数据包上传至数据库进行存储。

4.根据权利要求1所述的监测方法，其特征在于，所述HTTP请求的数据包包括url字段、url参数字段，user-agent字段、host字段、content-length字段。

5.根据权利要求1所述的监测方法，其特征在于，将提取到的数据包进行初始化；

通过ASCALL判码方式对十六进制数据信息进行还原，通过特殊字符判断数据包传送的文本信息和编码方式。

6.根据权利要求5所述的监测方法，其特征在于，将数据包中的数字部分、字母部分、字母数字混合部分、十六进制部分、base64部分分别用特殊字符替换。

7.根据权利要求1所述的监测方法，其特征在于，所述通过条件筛选的方式查询异常网流量穿透的具体信息。

8.一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7中的任一项所述的监测方法中的各个步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任一项所述的监测方法中的各个步骤。