CN111193734A

CN111193734A - 基于http流量态势的用户行为分析方法

Info

Publication number: CN111193734A
Application number: CN201911382044.4A
Authority: CN
Inventors: 查超; 范渊; 刘博�
Original assignee: DBAPPSecurity Co Ltd
Current assignee: DBAPPSecurity Co Ltd
Priority date: 2019-12-27
Filing date: 2019-12-27
Publication date: 2020-05-22

Abstract

本发明公开了基于http流量态势的用户行为分析方法，包括下述步骤：1）采用picohttpparser库进行用户流量解析，在进行用户流量解析时，以C++/C语言实现网站http流量数据的解析；2）将步骤1）解析好的数据存储到数据库内；3）构建态势图：以一小时为间隔进行数据库内的数据判断，且以12小时为一周期进行态势图的建立；4）根据态势图进行用户行为分析；给web防护增加了一道有力的保障，通过机器学习的方案从科学的角度去统计分析整个web的流量态势，进一步的对用户行为进行分析判断。

Description

基于http流量态势的用户行为分析方法

技术领域

本发明涉及网络安全技术、机器学习技术等领域，具体地说，是基于http流量态势的用户行为分析方法。

背景技术

网络安全，通常指计算机网络的安全，实际上也可以指计算机通信网络的安全。计算机通信网络是将若干台具有独立功能的计算机通过通信设备及传输媒体互连起来，在通信软件的支持下，实现计算机间的信息传输与交换的系统。而计算机网络是指以共享资源为目的，利用通信手段把地域上相对分散的若干独立的计算机系统、终端设备和数据设备连接起来，并在协议的控制下进行数据交换的系统。计算机网络的根本目的在于资源共享，通信网络是实现网络资源共享的途径，因此，计算机网络是安全的，相应的计算机通信网络也必须是安全的，应该能为网络用户实现信息交换与资源共享。

安全的基本含义：客观上不存在威胁，主观上不存在恐惧。即客体不担心其正常状态受到影响。可以把网络安全定义为：一个网络系统不受任何威胁与侵害，能正常地实现资源共享功能。要使网络能正常地实现资源共享功能，首先要保证网络的硬件、软件能正常运行，然后要保证数据信息交换的安全。

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。

机器学习有下面几种定义：“机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。 “机器学习是对能通过经验自动改进的计算机算法的研究”。 “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 一种经常引用的英文定义是：A computer program is said to learnfrom experience E with respect to some class of tasks T and performancemeasure P, if its performance at tasks in T, as measured by P, improves withexperience E.

机器的能力是否能超过人的，很多持否定意见的人的一个主要论据是：机器是人造的，其性能和动作完全是由设计者规定的，因此无论如何其能力也不会超过设计者本人。这种意见对不具备学习能力的机器来说的确是对的，可是对具备学习能力的机器就值得考虑了，因为这种机器的能力在应用中不断地提高，过一段时间之后，设计者本人也不知它的能力到了何种水平。

开发过程中需要的测试训练数据集、参数的调优、欠拟合与过拟合的调优等，机器学习一直难以解决的问题就是训练数据集的构建，没有大量的且高质量的数据集，机器学习的算法难以验证，所谓高质量的概念即需要全面的正常流量进行覆盖训练集；只有保障了大量的高质量训练集，才能进行参数的调优以及拟合状态的调优，并且调优工作本身也是一个复杂且繁琐的过程，需要时间与空间的支持，以上皆是方案执行过程需要解决的技术问题。

发明内容

本发明的目的在于设计出基于http流量态势的用户行为分析方法，给web防护增加了一道有力的保障，通过机器学习的方案从科学的角度去统计分析整个web的流量态势，进一步的对用户行为进行分析判断。

本发明通过下述技术方案实现：基于http流量态势的用户行为分析方法，包括下述步骤：

1）采用picohttpparser库进行用户流量解析，在进行用户流量解析时，以C++/C语言实现网站http流量数据的解析，在进行网站http流量数据时，主要引用picohttpparser，来对该系统的流量解析工作提供技术方案，流量解析完成后，定时进行入库，具体时间间隔为1分钟不等（可配置），入库接口采用mysql提供的C/C++官方接口，入库数据主要为后续构建流量态势提供训练数据集，解析工作主要关注点集中于原宿ip、原宿ip、源端口、宿端口、请求url、请求参数的入库；

2）将步骤1）解析好的数据存储到数据库内；

3）构建态势图：以一小时为间隔进行数据库内的数据判断，且以12小时为一周期进行态势图的建立；

4）根据态势图进行用户行为分析。

进一步的为更好地实现本发明，特别采用下述设置方式：所述步骤1）中，在进行用户流量解析时，解析所得数据包括原宿ip、原宿port、请求url与请求参数。

进一步的为更好地实现本发明，特别采用下述设置方式：所述步骤2）中，在进行数据的存储时，以单个用户与url设置索引，进行用户信息与url信息关联。

进一步的为更好地实现本发明，特别采用下述设置方式：以具有相同的原宿ip、原宿port、请求url与请求参数定义为一个所述用户。

进一步的为更好地实现本发明，特别采用下述设置方式：所述步骤2）在进行数据的存储时，每一个数据的首次入库时间皆被记录。

进一步的为更好地实现本发明，特别采用下述设置方式：所述以12小时为一周期进行态势图的建立具体为：

当前数据记录的时间距离首次入库记录的时间到12小时，进行构建态势图，之后每间隔12小时进行新的态势图构建，且新的态势图将前一周期的态势图替换。

进一步的为更好地实现本发明，特别采用下述设置方式：所述态势图包括横向态势图和纵向态势图，横向态势图为基于某个用户的流量态势，纵向态势图为基于某个网站的流量态势。

进一步的为更好地实现本发明，特别采用下述设置方式：所述步骤4）具体为，根据纵向态势图找到某个用户的异常行为，进行该用户的行为分析。

本发明与现有技术相比，具有以下优点及有益效果：

（1）本发明给web防护增加了一道有力的保障，通过机器学习的方案从科学的角度去统计分析整个web的流量态势，并且通过分析纵向态势和横向态势的设计去保障分析的周密性，以及合理的分配整个分析工作的工作量。

（2）本发明通过分析纵向态势，可以得出位置的一些web威胁，对web威胁进行横向分析，不仅可以进行防御攻击，还可以举一反三，预测其他类攻击，对web进行更好的防护。

（3）基于本发明的实施，可以根据需要给网站工作人员提供了本网站页面访问的热图，可以得出哪些页面会被大量访问的结果。

附图说明

图1为采用态势感知系统的结构图。

具体实施方式

下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

值得注意的是：在本申请中，某些需要应用到本领域的公知技术或常规技术手段时，申请人可能存在没有在文中具体的阐述该公知技术或/和常规技术手段是一种什么样的技术手段，但不能以文中没有具体公布该技术手段，而认为本申请不符合专利法第二十六条第三款的情况。

名词解释：

Picohttpparser：http协议解析。

Mysql：数据库。

实施例1：

本发明提出了基于http流量态势的用户行为分析方法，其原理是通过统计在单位时间内对某个站点的所有URL进行请求的次数，以及对每个URL请求的用户信息统计，由上述的统计信息生成纵向态势感知图（纵向态势图），对呈现上升态势过猛的URL进行用户行为态势分析，得出横向态势感知图（横向态势图），在该URL下的高请求用户进行分析以及阻断；包括下述步骤：

1）以C++/C语言实现网站http流量数据的解析，解析工作主要引用picohttpparser，来对该系统的流量解析工作提供技术方案，流量解析完成后，定时进行入库，具体时间间隔为1分钟不等（可配置），入库接口采用mysql提供的C/C++官方接口，入库数据主要为后续构建流量态势提供训练数据集，解析工作主要关注点集中于原宿ip、原宿ip、源端口、宿端口、请求url、请求参数的入库。

2）封装以C++/C实现的读取训练数据集的python接口，数据库的读取还是采用C/C++的mysql官方接口封装so文件，供流量态势感知系统进行调用。

3）流量态势感知系统以机器学习的算法采用python语言实现对数据流量态势的构建，主要机器学习的算法可以采用K近邻法，其技术方案的核心是聚类思想，对于本系统而言，即对流量趋势的一种聚类，关注我们某个用户（横向）或所有用户（纵向）的访问流量趋势，如果单个用户的聚类结果是聚焦于某个url，我们可以通过分析他的请求参数，给出该用户请求某个url的参数的长度，参数值类型，字符等进行建模。并给出相应算法的风险误差函数、损失函数（具体函数见K近邻法相关函数）以及可视化的流量态势感知图（借助于前端网页可视化相关库，可选项）。基于聚类思想的具体运用，比如下聚类的现象：在某次办公室订下午茶的时间，全部门40人，有35人订购了咖啡，2人订购了奶茶，剩余3人订购了乌龙茶，那么我们可以根据这些数据（训练集）构成一个部门人员对于下午茶的喜好趋势，绝大多数人喜欢咖啡（聚类），极少数人喜欢奶茶，这就是一个最简单的聚类情况，在网络数据中正是通过长时间的学习和总结归纳借助这种思想来进行构建态势。

4）构建预测系统与检测系统，预测系统预测流量的未来态势，即预测系统是根据第三步分析出的聚类结果进行预测，某个用户（横向）或所有用户（纵向）在未来的12小时内的浏览访问的页面在哪些url，即对用户行为的预测；检测可用于对流量访问的检测，即利用用户关于url的参数模型（参数值类型，长度，字符等）进行检测，对不符合模型的可进行阻断等操作。

实施例2：

本实施例是在上述实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述步骤1）中，在进行用户流量解析时，解析所得数据包括原宿ip、原宿port、请求url与请求参数。

实施例3：

本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述步骤2）中，在进行数据的存储时，以单个用户与url设置索引，进行用户信息与url信息关联。

实施例4：

本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：以具有相同的原宿ip、原宿port、请求url与请求参数定义为一个所述用户。

实施例5：

本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述步骤2）在进行数据的存储时，每一个数据的首次入库时间皆被记录。

实施例6：

本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述以12小时为一周期进行态势图的建立具体为：

实施例7：

本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述态势图包括横向态势图和纵向态势图，横向态势图为基于某个用户的流量态势，纵向态势图为基于某个网站的流量态势。

实施例8：

本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，进一步的为更好地实现本发明，特别采用下述设置方式：所述步骤4）具体为，根据纵向态势图找到某个用户的异常行为，进行该用户的行为分析。

实施例9：

本实施例是在上述任一实施例的基础上进一步优化，与前述技术方案相同部分在此将不再赘述，基于http流量态势的用户行为分析方法，如图1所示，包括下述步骤：

a.开始，

b.构建训练数据集：对于某个站点而言，存在url个数总数为10个，则可以通过统计出一天内的各个url的访问量统计，例如10个url分别为/web/s1.asp、/web/s2.asp、/web/s3.asp、/web/s4.asp、/web/s5.asp、/web/s6.asp、/web/s7.asp、/web/s8.asp、/web/s9.asp、/web/s10.asp，其各个url的访问量统计分别为：100/10008/10020/10001/10111/900/10000/10003/10983/10003，以及每个url相关的请求参数情况，可以为后面的态势构建提供训练集。

c.构建纵向态势：在b步骤中，除去/web/s1.asp和/web/s6.asp，其他url的访问量都聚集在10000次左右，则形成了一种流量访问聚类现象，得出该站点的访问纵向态势，以上为最简单的聚类现象。

d.给出损失函数，误差函数、态势感知图，

其中，误差函数L(x)= 1/k∑xi∈Nk(x)I{yi≠cj}=1−1/k∑xi∈Nk(x)I{yi=cj}，式中，k为分类的维度，即总的类数，Cj为理想点，Yj为实际点，Nk为定义域；

e.构建横向态势：通过纵向态势可以分析热门url的所有的用户访问态势图，即通过统计某个用户的访问统计，不仅可以得出以上相同的流量态势（聚类现象）；还可以分析出所有用户对于某个url的访问参数建模，例如，访问了该url100次，有99次都带了参数id，一次带了参数tp，则觉得每次一定会带上参数id，并可以通过正则化得出该参数的参数值类型，以及长度分布（期望/方差等），即流量访问模型，得出以上流量访问模型后，对于新来的请求，可以对其中的参数进行检查，通过加权/减权/分布概率等算法可以得出匹配率，根据匹配率进行判断是否异常等。

f.结束：得出以上流量访问模型后，对于新来的请求，可以对其中的参数进行检查，通过加权/减权/分布概率等算法可以得出匹配率，根据匹配率进行判断是否异常等。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims

1.基于http流量态势的用户行为分析方法，其特征在于：包括下述步骤：

1）采用picohttpparser库进行用户流量解析；

2）将步骤1）解析好的数据存储到数据库内；

4）根据态势图进行用户行为分析。

2.根据权利要求1所述的基于http流量态势的用户行为分析方法，其特征在于：所述步骤1）中，在进行用户流量解析时，解析所得数据包括原宿ip、原宿port、请求url与请求参数。

3.根据权利要求2所述的基于http流量态势的用户行为分析方法，其特征在于：所述步骤2）中，在进行数据的存储时，以单个用户与url设置索引，进行用户信息与url信息关联。

4.根据权利要求3所述的基于http流量态势的用户行为分析方法，其特征在于：以具有相同的原宿ip、原宿port、请求url与请求参数定义为一个所述用户。

5.根据权利要求1~4任一项所述的基于http流量态势的用户行为分析方法，其特征在于：所述步骤2）在进行数据的存储时，每一个数据的首次入库时间皆被记录。

6.根据权利要求1~4任一项所述的基于http流量态势的用户行为分析方法，其特征在于：所述以12小时为一周期进行态势图的建立具体为：

7.根据权利要求1~4任一项所述的基于http流量态势的用户行为分析方法，其特征在于：所述态势图包括横向态势图和纵向态势图，横向态势图为基于某个用户的流量态势，纵向态势图为基于某个网站的流量态势。

8.根据权利要求7所述的基于http流量态势的用户行为分析方法，其特征在于：所述步骤4）具体为，根据纵向态势图找到某个用户的异常行为，进行该用户的行为分析。