CN108038155A - 一种网络url异常的检测方法 - Google Patents

一种网络url异常的检测方法 Download PDF

Info

Publication number
CN108038155A
CN108038155A CN201711267059.7A CN201711267059A CN108038155A CN 108038155 A CN108038155 A CN 108038155A CN 201711267059 A CN201711267059 A CN 201711267059A CN 108038155 A CN108038155 A CN 108038155A
Authority
CN
China
Prior art keywords
url
vector
network
network url
detection method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711267059.7A
Other languages
English (en)
Inventor
滕建桓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bao Mu Science And Technology (tianjin) Co Ltd
Original Assignee
Bao Mu Science And Technology (tianjin) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bao Mu Science And Technology (tianjin) Co Ltd filed Critical Bao Mu Science And Technology (tianjin) Co Ltd
Priority to CN201711267059.7A priority Critical patent/CN108038155A/zh
Publication of CN108038155A publication Critical patent/CN108038155A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links

Abstract

本发明提供一种网络URL异常的检测方法，配合使用value字段提取、向量长度计算、机器学习数据建模及网络URL异常判断等步骤，解决了传统的基于规则的URL检测方法所面临的维护成本高昂，技术门槛高，需要实时更新的问题。

Description

一种网络URL异常的检测方法
技术领域
本发明属于网络安全领域，尤其是涉及一种网络URL异常的检测方法。
背景技术
传统web入侵检测技术通过维护规则集对入侵访问的URL进行拦截。一方面，硬编码规则在灵活的黑客面前，很容易被绕过，且基于以往知识的规则集难以应对0day攻击；另一方面，攻防对抗水涨船高，防守方规则的构造和维护门槛高、成本大。市场急需一种网络URL异常的检测方法，可以解决传统的基于规则的URL检测方法所面临的维护成本高昂，技术门槛高，需要实时更新的问题。
发明内容
有鉴于此，本发明旨在提出一种一种网络URL异常的检测方法，配合使用value字段提取、向量长度计算、机器学习数据建模及网络URL异常判断等步骤，解决了传统的基于规则的URL检测方法所面临的维护成本高昂，技术门槛高，需要实时更新的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种网络URL异常的检测方法，包括：
步骤1：将URL中的value字段提取出来，即示例中”＝”和”&”符号之间的部分,组成该URL的1Xn特征向量
步骤2：计算向量的各个成员长度，组成新的1Xn向量
步骤3：计算向量的方差σ2：
其中μ为向量的均值，进一步取得为向量的标准差σ；
步骤4：根据切比雪夫不等式，取k＝10，则不等式简化为：
即向量的任意一个成员Li与均值μ的绝对值大于等于10*σ的概率小于等于1％，若向量各成员|Li-μ|-10*σ<0，表示特征向量所对应的URL正常合法，反则判断网络URL异常。
本发明采用无监督式机器学习的方法，针对大量正常的URL访问日志建立模型(Profile)，而与正常流量不符的则被识别为异常。这个思路与传统的拦截规则的构造恰恰相反。拦截规则意在识别入侵行为，因而需要在对抗中“随机应变”；而基于机器学习模型的方法旨在建模正常流量，在对抗中“以不变应万变”，且更难被绕过。
相对于现有技术，本发明所述的一种网络URL异常的检测方法，具有以下优势：
本发明所述的一种网络URL异常的检测方法，配合使用value字段提取、向量长度计算、机器学习数据建模及网络URL异常判断等步骤，解决了传统的基于规则的URL检测方法所面临的维护成本高昂，技术门槛高，需要实时更新的问题。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
在附图中：
图1为本发明实施例所述的一种网络URL异常的检测方法流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
如图1所示，一种网络URL异常的检测方法，包括：
步骤1：将URL中的value字段提取出来，即示例中”＝”和”&”符号之间的部分,组成该URL的1Xn特征向量
步骤2：计算向量的各个成员长度，组成新的1Xn向量
步骤3：计算向量的方差σ2：
其中μ为向量的均值，进一步取得为向量的标准差σ；
步骤4：根据切比雪夫不等式，取k＝10，则不等式简化为：
即向量的任意一个成员Li与均值μ的绝对值大于等于10*σ的概率小于等于1％，若向量各成员|Li-μ|-10*σ<0，表示特征向量所对应的URL正常合法，反则判断网络URL异常。
如图1所示，本发明采用无监督式机器学习的方法，针对大量正常的URL访问日志建立模型(Profile)，而与正常流量不符的则被识别为异常。这个思路与传统的拦截规则的构造恰恰相反。拦截规则意在识别入侵行为，因而需要在对抗中“随机应变”；而基于机器学习模型的方法旨在建模正常流量，在对抗中“以不变应万变”，且更难被绕过。
如图1所示，本发明的实施例1：
在防火墙拦截所有WEB访问请求并提取出URL字段,一个简单的URL示例如下：
http://817.dopa.com/？dm＝sougo.com&acc＝BEA689A7-2E0F-44CD-BF95-23C778D9BFDE&poprequest＝145
将URL中的各个value字段提取出来，即＝和&之间的部分，并形成URL特征向量和对应的长度向量：
向量长度n＝3；
计算向量均值
计算向量的方差
进一步标准差
取k＝10，则切比雪夫不等式简化为：
表示向量的各个成员Li与均值μ(μ＝16)的差值绝对值大于143.5的概率小于1％。即向量L的各个成员数据Li在99％的情况下：
|Li-16|-143.5<0
因为向量所有成员Li最后值均小于0，我们认为特征向量对应的URL:http://817.dopa.com/？dm＝sougo.com&acc＝BEA689A7-2E0F-44CD-BF95-23C778D9BFDE&poprequest＝145合法。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种网络URL异常的检测方法，其特征在于：包括：
步骤1：将URL中的value字段提取出来，即示例中”＝”和”&”符号之间的部分,组成该URL的1Xn特征向量
步骤2：计算向量的各个成员长度，组成新的1Xn向量
步骤3：计算向量的方差σ2：
<mrow> <mi>&amp;mu;</mi> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msub> <mi>L</mi> <mi>i</mi> </msub> </mrow> <mi>n</mi> </mfrac> </mrow>
<mrow> <msup> <mi>&amp;sigma;</mi> <mn>2</mn> </msup> <mo>=</mo> <mfrac> <mrow> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <msup> <mrow> <mo>(</mo> <msub> <mi>L</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&amp;mu;</mi> <mo>)</mo> </mrow> <mn>2</mn> </msup> </mrow> <mi>n</mi> </mfrac> </mrow>
其中μ为向量的均值，进一步取得为向量的标准差σ；
步骤4：根据切比雪夫不等式，取k＝10，则不等式简化为：
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <mo>|</mo> <msub> <mi>L</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&amp;mu;</mi> <mo>|</mo> <mo>&amp;GreaterEqual;</mo> <mn>10</mn> <mo>*</mo> <mi>&amp;sigma;</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <mfrac> <mn>1</mn> <mn>100</mn> </mfrac> </mrow>
即向量的任意一个成员Li与均值μ的绝对值大于等于10*σ的概率小于等于1％，若向量各成员|Li-μ|-10*σ<0，表示特征向量所对应的URL正常合法，反则判断网络URL异常。
CN201711267059.7A 2017-12-02 2017-12-02 一种网络url异常的检测方法 Pending CN108038155A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711267059.7A CN108038155A (zh) 2017-12-02 2017-12-02 一种网络url异常的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711267059.7A CN108038155A (zh) 2017-12-02 2017-12-02 一种网络url异常的检测方法

Publications (1)

Publication Number Publication Date
CN108038155A true CN108038155A (zh) 2018-05-15

Family

ID=62095004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711267059.7A Pending CN108038155A (zh) 2017-12-02 2017-12-02 一种网络url异常的检测方法

Country Status (1)

Country Link
CN (1) CN108038155A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104869126A (zh) * 2015-06-19 2015-08-26 中国人民解放军61599部队计算所 一种网络入侵异常检测方法
US20160142435A1 (en) * 2014-11-13 2016-05-19 Cyber-Ark Software Ltd. Systems and methods for detection of anomalous network behavior
US20170279831A1 (en) * 2016-03-25 2017-09-28 Cisco Technology, Inc. Use of url reputation scores in distributed behavioral analytics systems
CN107294993A (zh) * 2017-07-05 2017-10-24 重庆邮电大学 一种基于集成学习的web异常流量监测方法
CN107332848A (zh) * 2017-07-05 2017-11-07 重庆邮电大学 一种基于大数据的网络流量异常实时监测系统
CN107426199A (zh) * 2017-07-05 2017-12-01 浙江鹏信信息科技股份有限公司 一种网络异常行为检测与分析的方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160142435A1 (en) * 2014-11-13 2016-05-19 Cyber-Ark Software Ltd. Systems and methods for detection of anomalous network behavior
CN104869126A (zh) * 2015-06-19 2015-08-26 中国人民解放军61599部队计算所 一种网络入侵异常检测方法
US20170279831A1 (en) * 2016-03-25 2017-09-28 Cisco Technology, Inc. Use of url reputation scores in distributed behavioral analytics systems
CN107294993A (zh) * 2017-07-05 2017-10-24 重庆邮电大学 一种基于集成学习的web异常流量监测方法
CN107332848A (zh) * 2017-07-05 2017-11-07 重庆邮电大学 一种基于大数据的网络流量异常实时监测系统
CN107426199A (zh) * 2017-07-05 2017-12-01 浙江鹏信信息科技股份有限公司 一种网络异常行为检测与分析的方法及系统

Similar Documents

Publication Publication Date Title
Radford et al. Network traffic anomaly detection using recurrent neural networks
Vartouni et al. An anomaly detection method to detect web attacks using stacked auto-encoder
CN108616498A (zh) 一种web访问异常检测方法和装置
CN106131071A (zh) 一种Web异常检测方法和装置
CN108881250B (zh) 电力通信网络安全态势预测方法、装置、设备及存储介质
CN109005145A (zh) 一种基于自动特征抽取的恶意url检测系统及其方法
CN113269389A (zh) 基于深度信念网的网络安全态势评估和态势预测建模方法
CN109347807A (zh) 一种基于信任度的差异化入侵防御方法
CN109660518A (zh) 网络的通信数据检测方法、装置以及机器可读存储介质
Daneshgadeh et al. Detection of DDoS attacks and flash events using Shannon entropy, KOAD and Mahalanobis distance
CN110768946A (zh) 一种基于布隆过滤器的工控网络入侵检测系统及方法
CN114666162A (zh) 一种流量检测方法、装置、设备及存储介质
CN110298170B (zh) 一种考虑盲目攻击因子的电力scada系统安全性评估方法
CN110351291A (zh) 基于多尺度卷积神经网络的DDoS攻击检测方法及装置
CN109688112A (zh) 工业物联网异常行为检测装置
CN111131309A (zh) 分布式拒绝服务检测方法、装置及模型创建方法、装置
CN110809009A (zh) 一种应用于工控网络的两级入侵检测系统
Hong et al. Abnormal access behavior detection of ideological and political MOOCs in colleges and universities
CN116823233B (zh) 一种基于全周期运维的用户数据处理方法及系统
CN110086829A (zh) 一种基于机器学习技术进行物联网异常行为检测的方法
CN108038155A (zh) 一种网络url异常的检测方法
CN110022313A (zh) 基于机器学习的多态蠕虫特征提取及多态蠕虫辨识方法
CN107995193B (zh) 一种网络异常攻击的检测方法
CN108366053B (zh) 一种基于朴素贝叶斯的mqtt异常流量检测方法
Oh et al. Attack Classification Based on Data Mining Technique and Its Application for Reliable Medical Sensor Communication.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180515