CN112118259B - 一种基于提升树的分类模型的越权漏洞检测方法 - Google Patents

一种基于提升树的分类模型的越权漏洞检测方法 Download PDF

Info

Publication number
CN112118259B
CN112118259B CN202010982414.4A CN202010982414A CN112118259B CN 112118259 B CN112118259 B CN 112118259B CN 202010982414 A CN202010982414 A CN 202010982414A CN 112118259 B CN112118259 B CN 112118259B
Authority
CN
China
Prior art keywords
request
tree
value
decision tree
decision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010982414.4A
Other languages
English (en)
Other versions
CN112118259A (zh
Inventor
李逸萧
张攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Changhong Electric Co Ltd
Original Assignee
Sichuan Changhong Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Changhong Electric Co Ltd filed Critical Sichuan Changhong Electric Co Ltd
Priority to CN202010982414.4A priority Critical patent/CN112118259B/zh
Publication of CN112118259A publication Critical patent/CN112118259A/zh
Application granted granted Critical
Publication of CN112118259B publication Critical patent/CN112118259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Algebra (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于提升树的分类模型的越权漏洞检测方法，属于网络安全技术领域。该基于提升树的分类模型的越权漏洞检测方法，包括以下步骤：通过被动扫描获取目标系统流量；对目标网站进行收集特征,根据提升树的分类模型计算得出模型函数FM(x)；遍历获取的请求,把样本特征值值代入模型函数FM(x)中,查看返回结果是否为1来判断该请求是否合规。按照上述实现步骤得到的越权漏洞检测结果会比传统的流量未经清洗直接进行越权判断的结果更加精准。

Description

一种基于提升树的分类模型的越权漏洞检测方法
技术领域
本发明涉及网络安全技术领域，更具体的说是涉及一种基于提升树的分类模型的越权漏洞检测方法。
背景技术
在网络安全领域，越权漏洞是web应用常见的业务逻辑漏洞之一。它的形成原因是由于服务器端对客户端提出的数据访问请求过分信任，忽略了对该用户访问权限的判定。传统的人工越权漏洞检测方法耗费时间较长，检测人员需要进行大量的重复性工作，导致了检测效率极为低下。一些web应用漏洞检测商业工具如IBM的AppScan、Acunetix WebVulnerability Scanner、HP的WebInspect等针对一些常规漏洞如XSS，SQL注入等有很完备的漏洞发现以及解决办法。
又比如公开的专利申请文件“201510728727.6”，名为“web访问的越权漏洞检测方法及装置”中，给出了类似解决方案，但是它们对于某些由于Web应用业务逻辑上处理不当而产生的安全问题如越权问题欠缺发现能力或者是产生大量误报信息。
发明内容
本发明的目的在于提供一种基于提升树的分类模型的越权漏洞检测方法，以期解决越权漏洞检测的问题，该问题缺陷的技术实质是进行越权漏洞扫描的流量没有进行清洗，因此导致漏测或者误报。
为了实现上述目的，本发明采用以下技术方案：
一种基于提升树的分类模型的越权漏洞检测方法，包括以下步骤：
通过被动扫描获取目标系统流量；
对目标网站进行收集特征,根据提升树的分类模型计算得出模型函数FM(x)；
遍历获取的请求,把样本特征值值代入模型函数FM(x)中,查看返回结果是否为1来判断该请求是否合规。
进一步的，所述通过被动扫描获取目标系统流量，包括：通过被动扫描的方式，搜集访问目标系统的所有http请求，将获取的所有请求存储在数据库中。
进一步的，所述特征包括：访问量，访问行为，参数类型，返回类型，敏感信息占比，特定信息占比，请求成功率。
进一步的，所述FM(x)的计算方法如下:
根据请求特征构建决策树Tree1；
根据构建的Tree1预测结果计算残差；
根据计算得到的残差构建决策树Tree2；
以此类推，最后对所有决策树Tree进行线性加法运算，得到最终的模型：
Figure GDA0003528755670000021
其中，x为被动扫描获取的请求根据权重计算方式得到的值；
θm为决策树的参数；
T(x；θm)表示决策树。
进一步的，所述残差的计算方式如下：
rmi＝yi-rm-1(i) 式2
其中，rmi表示残差；
Yi表示被动扫描获取的请求根据权重计算方式得到的值；
rm-1(i)表示上一轮残差。
本发明与现有技术相比具有的有益效果是：
本发明是一种基于提升树的分类模型的越权漏洞检测方法，该专利申请解决问题的方法技术本质是采用一种提升树的分类(GBDT)模型对流量进行清洗，与现在技术相比,所独有的技术特征是通过被动扫描获取到流量后,按照提升树的分类(GBDT)模型对流量请求进行清洗再进行是否越权判断。按照本发明提供的技术方案得到的越权漏洞检测结果会比传统的流量未经清洗直接进行越权判断的结果更加精准。
附图说明
图1是本发明的Tree1的一个示例。
具体实施方式
下面结合实施例对本发明作进一步的描述，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域的普通技术人员在没有做出创造性劳动前提下所获得的其他所用实施例，都属于本发明的保护范围。
实施例1:
根据图1所示，一种基于提升树的分类模型的越权漏洞检测方法，包括以下步骤：
S1:通过被动扫描获取目标系统流量；通过被动扫描的方式，搜集访问目标系统的所有http请求，将获取的所有请求存储在数据库中。
S2:对目标网站进行收集特征,根据提升树的分类模型计算得出模型函数FM(x)；根据需求从http请求业务中提取特征，大致可以分为{访问量，访问行为，参数类型，返回类型，敏感信息(手机号、身份证号等，通过正则表达式比对)占比，特定信息占比，请求成功率}用于分类器的学习。
训练过程先构建一个回归决策树，然后用提升的思想拟合上一个模型的残差，结果由训练出来的多棵决策树的结果累加起来产生。
所述FM(x)的计算方法如下:
首先根据http请求特征构建决策树Tree1
根据构建的Tree1预测结果计算残差，这里，只有决策树Tree1的残差是＝真实值-预测值，
(残差＝真实值-预测值，此模型是通过不断拟合实际值消除残差计算出的最终模型，所以初始值在0到1之间任意选择即可)。
所述残差的计算方式如下：
rmi＝yi-rm-1(i)
其中，rmi表示残差；i＝1,2,…,M
Yi表示被动扫描获取的请求根据权重计算方式得到的值,即真实值；权重的分配主要根据业务进行业务权重设置。
rm-1(i)表示上一轮残差。
后面的决策树Tree2一直到决策树TreeN的残差是＝真实值-上一轮决策树Tree(M-1)的残差。
根据决策树Tree1预测结果计算残差生成下一个残差表，然后根据此残差表构建决策树Tree2。以此类推，最后对所有决策树进行线性加法运算：
f(x)＝T1(x)+T2(x)+T3(x)+…T3(M)
即可得到最终的模型，再将所有请求基于此模型进行匹配；匹配成功即返回label为1；匹配失败即返回label为0；
将上述f(x)求和即得最终的模型：
Figure GDA0003528755670000041
其中，x为被动扫描获取的请求根据权重计算方式得到的值；
θm为决策树的参数；决策树的参数即为设特征值(如访问量，访问行为等)根据权重系数计算出的值减去残差的值。举个例子，比如访问量为5，他的权重为0.1，计算出的残差＝0.2；就根据5*0.1-0.2得到最新的树参数。
T(x；θm)表示决策树；T函数就是把所有树参数组合成决策树的一个过程函数；M表示树的个数。
S3:遍历获取的http请求,把样本特征值代入模型函数FM(x)中,查看返回结果是否为1来判断该请求是否合规。将清洗后的请求，通过替换、删除之前预设的用户权限校验值(比如cookie、token等业务系统使用的权限判断头)，通过比对response与改变之前是否有变化进行越权漏洞的检测。
下面结合具体的实施例进一步阐述本发明的技术方案：
1)假设有个目标网站http://test.com，首先根据被动扫描进行业务系统的访问，将获取到的请求流量包保存在数据库中；同时设定目标网站的用户权限校验头为token头。
2)根据需求从业务中提取多个特征，大致分为{访问量，访问行为，参数类型，返回类型，敏感信息占比，特定信息占比，请求成功率}共用于分类器的学习。
通过特征我们建立第一个Tree：
Figure GDA0003528755670000051
Figure GDA0003528755670000061
Tree1如图1所示，再根据第一个tree预测结果计算残差：初始化Tree1
的预测值取0.6，通过残差计算公式：
rmi＝yi-rm-1(i),i＝1,2,…,M(yi为通过访问量以及信息占比进行权重加法计算出来的值)
可得最新残差为0.45，然后根据残差构建下一个tree；
以此类推，最后将得到的所有tree进行线性加法计算：最后得到的fM(x)函数即为特征模型。
3)将所有被动扫描获取的请求与fM(x)函数模型进行匹配，匹配成功即将请求标记label为1；将匹配成功的请求的通过替换预设的用户权限校验头token值发起请求，比对返回response的值与改变token返回之前返回response是否相同，如果相似率达到95％以上，就将该条请求标记为具有越权漏洞的请求，等待人工进行复查。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于提升树的分类模型的越权漏洞检测方法，其特征在于，包括以下步骤：
通过被动扫描获取目标系统流量；通过被动扫描的方式，搜集访问目标系统的所有http请求，将获取的所有请求存储在数据库中；
收集目标网站特征,根据需求从http请求业务中提取特征，用于分类器的学习，根据提升树的分类模型计算得出模型函数FM(x)；
遍历获取的http请求,把样本特征值代入模型函数FM(x)中,查看返回结果是否为1来判断该请求是否合规；将清洗后的请求，通过替换、删除之前预设的用户权限校验值，通过比对response与改变之前是否有变化进行越权漏洞的检测；
所述FM(x)的计算方法如下:
根据http请求特征构建决策树Tree1；
根据构建的Tree1预测结果计算残差，决策树Tree1的残差＝真实值-预测值；
根据上述计算得到的残差构建决策树Tree2；
决策树Tree2一直到决策树Tree m的残差＝真实值-上一轮决策树Tree(m-1)的残差；m表示树的个数；
所述残差的计算方式如下：
rmi＝yi-r(m-1)i
其中，rmi表示残差；i＝1,2,…,m；
Yi表示被动扫描获取的请求根据权重计算方式得到的值,即真实值；权重的分配根据业务进行业务权重设置；
rm-1(i)表示上一轮残差；
以此类推，最后对所有决策树Tree进行线性加法运算，得到最终的模型：
Figure FDA0003535069520000011
其中，x为被动扫描获取的请求根据权重计算方式得到的值；
θm为决策树的参数；决策树的参数即为特征值根据权重系数计算出的值减去残差的值；
T(x；θm)表示决策树，T函数就是把所有树参数组合成决策树的一个过程函数。
2.根据权利要求1所述的一种基于提升树的分类模型的越权漏洞检测方法，其特征在于，从http请求业务中提取的特征包括：访问量，访问行为，参数类型，返回类型，敏感信息占比，特定信息占比，请求成功率。
CN202010982414.4A 2020-09-17 2020-09-17 一种基于提升树的分类模型的越权漏洞检测方法 Active CN112118259B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010982414.4A CN112118259B (zh) 2020-09-17 2020-09-17 一种基于提升树的分类模型的越权漏洞检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010982414.4A CN112118259B (zh) 2020-09-17 2020-09-17 一种基于提升树的分类模型的越权漏洞检测方法

Publications (2)

Publication Number Publication Date
CN112118259A CN112118259A (zh) 2020-12-22
CN112118259B true CN112118259B (zh) 2022-04-15

Family

ID=73799879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010982414.4A Active CN112118259B (zh) 2020-09-17 2020-09-17 一种基于提升树的分类模型的越权漏洞检测方法

Country Status (1)

Country Link
CN (1) CN112118259B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113127885B (zh) * 2021-05-18 2024-02-23 中国银行股份有限公司 权限漏洞检测方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035698A (zh) * 2011-01-06 2011-04-27 西北工业大学 基于决策树分类算法的http隧道检测方法
CN105357195A (zh) * 2015-10-30 2016-02-24 深圳市深信服电子科技有限公司 web访问的越权漏洞检测方法及装置
CN106447383A (zh) * 2016-08-30 2017-02-22 杭州启冠网络技术有限公司 跨时间、多维度异常数据监测的方法和系统
CN107577949A (zh) * 2017-09-05 2018-01-12 郑州云海信息技术有限公司 一种Web越权漏洞检测方法与系统
CN108876019A (zh) * 2018-05-31 2018-11-23 中国电力科学研究院有限公司 一种基于大数据的用电负荷预测方法及系统
CN109063745A (zh) * 2018-07-11 2018-12-21 南京邮电大学 一种基于决策树的网络设备类型识别方法及系统
CN110138786A (zh) * 2019-05-20 2019-08-16 福州大学 基于SMOTETomek和LightGBM的Web异常检测方法及系统
WO2020129031A1 (en) * 2018-12-21 2020-06-25 Element Ai Inc. Method and system for generating investigation cases in the context of cybersecurity
CN111598179A (zh) * 2020-05-21 2020-08-28 国网电力科学研究院有限公司 电力监控系统用户异常行为分析方法、存储介质和设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992211B1 (en) * 2015-08-27 2018-06-05 Symantec Corporation Systems and methods for improving the classification accuracy of trustworthiness classifiers
CN107025154B (zh) * 2016-01-29 2020-12-01 阿里巴巴集团控股有限公司 磁盘的故障预测方法和装置
CN106446964B (zh) * 2016-10-21 2018-04-03 河南大学 一种增量式的梯度提升决策树更新方法
CN107634945B (zh) * 2017-09-11 2018-06-22 平安科技（深圳）有限公司 网站漏洞扫描方法、装置、计算机设备及存储介质
CN108269012A (zh) * 2018-01-12 2018-07-10 中国平安人寿保险股份有限公司 风险评分模型的构建方法、装置、存储介质及终端
CN109472296A (zh) * 2018-10-17 2019-03-15 阿里巴巴集团控股有限公司 一种基于梯度提升决策树的模型训练方法及装置
CN109617715A (zh) * 2018-11-27 2019-04-12 中盈优创资讯科技有限公司 网络故障诊断方法、系统
CN110351301B (zh) * 2019-07-26 2021-09-28 长沙市智为信息技术有限公司 一种http请求双层递进式异常检测方法
CN110880014B (zh) * 2019-10-11 2023-09-05 中国平安财产保险股份有限公司 数据处理方法、装置、计算机设备及存储介质
CN111464510B (zh) * 2020-03-18 2021-06-08 华南理工大学 基于快速梯度提升树分类模型的网络实时入侵检测方法
CN111447224A (zh) * 2020-03-26 2020-07-24 江苏亨通工控安全研究院有限公司 web漏洞扫描方法及漏洞扫描器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102035698A (zh) * 2011-01-06 2011-04-27 西北工业大学 基于决策树分类算法的http隧道检测方法
CN105357195A (zh) * 2015-10-30 2016-02-24 深圳市深信服电子科技有限公司 web访问的越权漏洞检测方法及装置
CN106447383A (zh) * 2016-08-30 2017-02-22 杭州启冠网络技术有限公司 跨时间、多维度异常数据监测的方法和系统
CN107577949A (zh) * 2017-09-05 2018-01-12 郑州云海信息技术有限公司 一种Web越权漏洞检测方法与系统
CN108876019A (zh) * 2018-05-31 2018-11-23 中国电力科学研究院有限公司 一种基于大数据的用电负荷预测方法及系统
CN109063745A (zh) * 2018-07-11 2018-12-21 南京邮电大学 一种基于决策树的网络设备类型识别方法及系统
WO2020129031A1 (en) * 2018-12-21 2020-06-25 Element Ai Inc. Method and system for generating investigation cases in the context of cybersecurity
CN110138786A (zh) * 2019-05-20 2019-08-16 福州大学 基于SMOTETomek和LightGBM的Web异常检测方法及系统
CN111598179A (zh) * 2020-05-21 2020-08-28 国网电力科学研究院有限公司 电力监控系统用户异常行为分析方法、存储介质和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于GBDT-Ridge的短期电力负荷预测;余登武，罗永平;《新型工业化》;20190630(第6期);第23-26页 *
深度学习模型下多分类器的入侵检测方法;陈虹，陈建虎，肖成龙，万广雪，肖振久;《计算机科学与探索》;20180717;第1124-1133页 *

Also Published As

Publication number Publication date
CN112118259A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
US10686829B2 (en) Identifying changes in use of user credentials
CN103297435B (zh) 一种基于web日志的异常访问行为检测方法与系统
CN105072089B (zh) 一种web恶意扫描行为异常检测方法与系统
CN108881265B (zh) 一种基于人工智能的网络攻击检测方法及系统
CN111291015B (zh) 一种用户行为异常检测方法及装置
CN106295349A (zh) 账号被盗的风险识别方法、识别装置及防控系统
CN116305168B (zh) 一种多维度信息安全风险评估方法、系统及存储介质
CN111614690A (zh) 一种异常行为检测方法及装置
CN110708339B (zh) 一种基于web日志的关联分析方法
CN112003846B (zh) 一种信用阈值的训练、ip地址的检测方法及相关装置
CN107392022A (zh) 爬虫识别、处理方法及相关装置
CN107592305A (zh) 一种基于elk和redis的防刷方法及系统
CN114357190A (zh) 一种数据检测方法、装置、电子设备及存储介质
CN112839014A (zh) 建立识别异常访问者模型的方法、系统、设备及介质
CN112118259B (zh) 一种基于提升树的分类模型的越权漏洞检测方法
CN113159750A (zh) 基于区块链的设备确定方法
CN111988327B (zh) 威胁行为检测和模型建立方法、装置、电子设备及存储介质
CN116383786B (zh) 一种基于物联网的大数据信息监管系统及方法
CN115883152A (zh) 基于联邦学习的网络流量攻击检测方法、系统及存储介质
CN110445790A (zh) 一种基于用户登录行为的账号异常检测方法
CN111800409B (zh) 接口攻击检测方法及装置
CN110990810B (zh) 一种用户操作数据处理方法、装置、设备及存储介质
CN113972994B (zh) 基于工控蜜罐的流量分析方法、装置、计算机设备和可读存储介质
Tan et al. Efficient intrusion detection method based on Conditional Random Fields
CN117240548A (zh) 一种网络身份的信息溯源方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant