CN111756709A - 一种降低交互式应用检测中漏洞重复检测的方法 - Google Patents

一种降低交互式应用检测中漏洞重复检测的方法 Download PDF

Info

Publication number
CN111756709A
CN111756709A CN202010518783.8A CN202010518783A CN111756709A CN 111756709 A CN111756709 A CN 111756709A CN 202010518783 A CN202010518783 A CN 202010518783A CN 111756709 A CN111756709 A CN 111756709A
Authority
CN
China
Prior art keywords
vulnerability
hash
hash value
hash table
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010518783.8A
Other languages
English (en)
Inventor
范丙华
徐锋
熊奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xiaodao Technology Co ltd
Original Assignee
Hangzhou Xiaodao Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xiaodao Technology Co ltd filed Critical Hangzhou Xiaodao Technology Co ltd
Priority to CN202010518783.8A priority Critical patent/CN111756709A/zh
Publication of CN111756709A publication Critical patent/CN111756709A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1433—Vulnerability analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials
    • H04L9/3236—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions
    • H04L9/3239—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials using cryptographic hash functions involving non-keyed hash functions, e.g. modification detection codes [MDCs], MD5, SHA or RIPEMD

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了涉及网络安全技术领域的一种降低交互式应用检测中漏洞重复检测的方法，该方法包括在系统程序中建立线程安全的哈希表；查找系统中漏洞的字段数据，以提取其特征向量；对取得的特征向量进行哈希算法得到哈希值，并将结果录入哈希表；于哈希表中查找每次计算得到的哈希值，发送漏洞检索报告。本发明对所有漏洞的特征向量进行哈希计算，利用哈希表构建去重模型，重复运用子样本进行训练和验证，减少检测程序对已经检测过的漏洞的计算次数，进而提高漏洞去重的效率及准确度；同时减少了设备的计算量，在性能消耗方面有助于提升检测程序的测试能力。

Description

一种降低交互式应用检测中漏洞重复检测的方法
技术领域
本发明属于网络安全技术领域，尤其是涉及一种降低交互式应用检测中漏洞重复检测的方法。
背景技术
在当今信息化大潮中，网络安全对于每个企业或单位的业务发展起到了越来越关键的支撑作用。漏洞扫描技术是一类重要的网络安全技术，它和防火墙、入侵检测系统互相配合，能够有效提高网络的安全性。通过对网络的扫描，网络管理员能了解网络的安全设置和运行的应用服务，及时发现安全漏洞，客观评估网络风险等级，并根据扫描的结果更正网络安全漏洞和系统中的错误设置，在黑客攻击前进行防范。安全扫描作为一种主动的防范措施，能有效避免黑客攻击行为，做到防患于未然。
在交互式应用安全漏洞检测技术中，检测程序会对每个用户请求进行处理，而用户的请求大多的情况下都是重复，检测到的漏洞也是重复的，而程序在处理以及报告这些漏洞时，势必会造成大量不必要性能消耗，限制测试程序的测试能力。
发明内容
为了上述技术问题，本发明基于交互式应用安全漏洞检测技术的漏洞原理，提供一种降低交互式应用检测中漏洞重复检测的方法，以解决现有技术中漏洞去重工作量大、效率低的问题。
本发明解决其技术问题所采用的技术方法是：一种降低交互式应用检测中漏洞重复检测的方法，实现过程包括以下步骤：
S1：在系统程序中建立哈希表；哈希表作为一个可用于快速查找的数据结构，当其存储的数据呈指数形式增加时，其性能消耗只会增加一次查找的消耗，在此处应用哈希表有利于提升去重的性能。
S2：查找系统中漏洞的字段数据，以提取其特征向量。
S3：对取得的特征向量进行哈希算法得到哈希值，并将结果录入哈希表；哈希值作为漏洞的唯一标示，不同的漏洞通过计算都会得到不同的哈希值，将这些哈希值存入哈希表内，逐步建立起数据筛选模型，进而提高漏洞去重的效率及准确度。
S4：于哈希表中查找每次计算得到的哈希值，发送漏洞检索报告；在哈希表中查找该哈希值，如果找得到，则说明该漏洞上报过，不存在则说明漏洞是首次上报。
本发明对所有漏洞的特征向量进行哈希计算，利用哈希表构建去重模型，重复运用子样本进行训练和验证，减少检测程序对已经检测过的漏洞的计算次数，进而提高漏洞去重的效率及准确度；同时减少了设备的计算量，在性能消耗方面有助于提升检测程序的测试能力。
作为本发明的进一步方案，所述执行步骤S1中哈希表基于线程安全建立；在拥有共享数据的多条线程并行执行的程序中，线程安全的代码会通过同步机制保证各个线程都可以正常且正确的执行，不会出现数据污染等意外情况。
作为本发明的进一步方案，所述执行步骤S2和S3中漏洞特征向量包括：
漏洞的请求标示，即用户的一个操作或一次交互在应用程序中的处理单元的标示，假如被检测的应用是一个web应用，则其请求标示就是Http请求的URI。
污染数据在请求中的位置标示，即在请求的报文中的偏移、或者其他能标示其唯一性的属性，比如Httpheader里的key值。污染数据代指一切可以被用户或系统外部控制的数据，比如一个web应用，用户可以登陆，那么登陆的用户名和密码就会被传入系统，用户名和密码就是可以被用户控制的数据，即污染数据
漏洞执行方法的位置，即这个漏洞执行的调用栈中，最后一个属于用户编写的代码，比如Java语言中执行命令注入漏洞的方法是Runtime.exec()。
作为本发明的进一步方案，所述执行步骤S3中哈希算法的流程包括：
S3.1：对漏洞的特征向量进行拼接，形成字符串。
S3.2：通过哈希算法对字符串进行计算得到的哈希值，将数据结果录入哈希表存储。
作为本发明的进一步方案，所述哈希算法为MD5算法。
作为本发明的进一步方案，所述哈希算法为SHA-256算法。
作为本发明的进一步方案，所述执行步骤S4中，所述发送漏洞检索报告流程包括：
S4.1：每次计算得到的哈希值在录入哈希表前做检索处理，判断该哈希值是否存在于哈希表。
S4.2：若该哈希值存在于哈希表中，则做去重处理。
S4.3：若该哈希值不存在于哈希表中，则将该哈希值录入，并上报漏洞数据。
作为本发明的进一步方案，所述执行步骤S4.2中，对于重复出现过哈希值，表明该漏洞上报过，可以不再报告，或者报告这个漏洞的哈希值以及其所对应的发生时间；这样做将有助于减少检测程序对已经检测过的漏洞的计算次数，从而有助于提升检测程序的测试能力。
与现有技术相比本发明具有以下优点和突出性效果：本发明对所有漏洞的特征向量进行哈希计算，利用哈希表构建去重筛选模型，重复运用子样本进行训练和验证，减少检测程序对已经检测过的漏洞的计算次数，进而提高漏洞去重的效率及准确度；同时减少了设备的计算量，在性能消耗方面有助于提升检测程序的测试能力。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的方法流程示意图之一。
图2为本发明实施例提供的方法流程示意图之二。
具体实施方式
为了能更好地对本发明的技术方案进行理解，下面结合附图对实施例进行详细地说明。
请参阅图1和图2所示的实施例：一种降低交互式应用检测中漏洞重复检测的方法，实现过程包括以下步骤：
S1：在系统程序中建立线程安全的哈希表。
哈希表是一种数据结构，是根据关键码值(Keyvalue)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。哈希表作为一个可用于快速查找的数据结构，当其存储的数据呈指数形式增加时，其性能消耗只会增加一次查找的消耗，在此处应用哈希表有利于提升去重的性能。在拥有共享数据的多条线程并行执行的程序中，线程安全的代码会通过同步机制保证各个线程都可以正常且正确的执行，不会出现数据污染等意外情况。因此，基于线程安全建立的哈希表，数据结构稳定，不会被外界数据污染，从根本上保证了数据来源的唯一性。
S2：查找系统中漏洞的字段数据，以提取其特征向量。每次有新的漏洞检测出来，就提取这个漏洞的请求标示、污染数据在请求中的位置标示和漏洞执行方法的位置作为其特征向量。
漏洞的请求标示，即用户的一个操作或一次交互在应用程序中的处理单元的标示，假如被检测的应用是一个web应用，则其请求标示就是Http请求的URI。污染数据在请求中的位置标示，即在请求的报文中的偏移、或者其他能标示其唯一性的属性，比如Httpheader里的key值。污染数据代指一切可以被用户或系统外部控制的数据，比如一个web应用，用户可以登陆，那么登陆的用户名和密码就会被传入系统，用户名和密码就是可以被用户控制的数据，即污染数据。漏洞执行方法的位置，即这个漏洞执行的调用栈中，最后一个属于用户编写的代码，比如Java语言中执行命令注入漏洞的方法是Runtime.exec()。
S3：对取得的特征向量进行哈希算法得到哈希值，并将结果录入哈希表。所述执行步骤S3中哈希算法的流程包括：
S3.1：对漏洞的特征向量进行拼接，形成字符串。
S3.2：通过哈希算法对字符串进行计算得到的哈希值，将数据结果录入哈希表存储。
哈希值是使用哈希算法对一段字符串进行哈希计算得到的一个值，哈希算法有很多种，比如MD5算法、SHA-256算法等。哈希值作为漏洞的唯一标示，不同的漏洞通过计算都会得到不同的哈希值，将这些哈希值存入哈希表内，逐步建立起数据筛选模型，进而提高漏洞去重的效率及准确度。
S4：于哈希表中查找每次计算得到的哈希值，发送漏洞检索报告。所述执行步骤S4中，所述发送漏洞检索报告流程包括：
S4.1：每次计算得到的哈希值在录入哈希表前做检索处理，判断该哈希值是否存在于哈希表。将第N+1次漏洞的计算结果与哈希表中的数据模型作对比参照，如果第N+1次漏洞数据计算结果存在于哈希表中，则去重处理；反之，则录入哈希表并发送漏洞报告；其中，所述N为大于或等于1的整数。
S4.2：若该哈希值存在于哈希表中，则做去重处理。
S4.3：若该哈希值不存在于哈希表中，则将该哈希值录入，并上报漏洞数据。
作为本发明的进一步方案，所述执行步骤S4.2中，对于重复出现过哈希值，表明该漏洞上报过，可以不再报告，或者报告这个漏洞的哈希值以及其所对应的发生时间；这样做将有助于减少检测程序对已经检测过的漏洞的计算次数，从而有助于提升检测程序的测试能力。
本发明对所有漏洞的特征向量进行哈希计算，利用哈希表构建去重模型，重复运用子样本进行训练和验证，减少检测程序对已经检测过的漏洞的计算次数，进而提高漏洞去重的效率及准确度；同时减少了设备的计算量，在性能消耗方面有助于提升检测程序的测试能力。
以上实施例仅为本发明的示例性实施例，不用于限制本发明，本发明的保护范围由权利要求书限定。本领域技术人员可以在本发明的实质和保护范围内，对本发明做出各种修改或等同替换，这种修改或等同替换也应视为落在本发明的保护范围内。

Claims (8)

1.一种降低交互式应用检测中漏洞重复检测的方法，其特征在于，所述方法包括以下步骤：
S1：在系统程序中建立哈希表；
S2：查找系统中漏洞的字段数据，提取其特征向量；
S3：对取得的特征向量进行哈希算法得到哈希值，并将结果录入哈希表；
S4：于哈希表中查找每次计算得到的哈希值，发送漏洞检索报告。
2.如权利要求1所述的方法，其特征在于，所述执行步骤S1中哈希表基于线程安全建立。
3.如权利要求1所述的方法，其特征在于，所述执行步骤S2和S2中漏洞的特征向量包括：
漏洞的请求标示，即用户的一个操作或一次交互在应用程序中的处理单元的标示；
污染数据在请求中的位置标示，即在请求的报文中的偏移、或者其他能标示其唯一性的属性；
漏洞执行方法的位置，即这个漏洞执行的调用栈中，最后一个属于用户编写的代码。
4.如权利要求1所述的方法，其特征在于，所述执行步骤S3中哈希算法的流程包括：
S3.1：对漏洞的特征向量进行拼接，形成字符串；
S3.2：运用哈希算法对字符串进行计算得到哈希值，将数据结果录入哈希表存储。
5.如权利要求1或4所述的方法，其特征在于，所述哈希算法为MD5算法。
6.如权利要求1或4所述的方法，其特征在于，所述哈希算法为SHA-256算法。
7.如权利要求1所述的方法，其特征在于，所述执行步骤S4中，所述发送漏洞检索报告流程包括：
S4.1：每次计算得到的哈希值在录入哈希表前做检索处理，判断该哈希值是否存在于哈希表；
S4.2：若该哈希值存在于哈希表中，则做去重处理；
S4.3：若该哈希值不存在于哈希表中，则将该哈希值录入，并上报漏洞数据。
8.如权利要求7所述的方法，其特征在于，所述执行步骤S4.2中重复出现过哈希值，表明该漏洞上报过，可以不再报告，或者报告这个漏洞的哈希值以及其所对应的发生时间。
CN202010518783.8A 2020-06-09 2020-06-09 一种降低交互式应用检测中漏洞重复检测的方法 Pending CN111756709A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010518783.8A CN111756709A (zh) 2020-06-09 2020-06-09 一种降低交互式应用检测中漏洞重复检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010518783.8A CN111756709A (zh) 2020-06-09 2020-06-09 一种降低交互式应用检测中漏洞重复检测的方法

Publications (1)

Publication Number Publication Date
CN111756709A true CN111756709A (zh) 2020-10-09

Family

ID=72675022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010518783.8A Pending CN111756709A (zh) 2020-06-09 2020-06-09 一种降低交互式应用检测中漏洞重复检测的方法

Country Status (1)

Country Link
CN (1) CN111756709A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114329485A (zh) * 2021-12-24 2022-04-12 中电信数智科技有限公司 基于深度学习的漏洞去重方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516114A (zh) * 2015-12-01 2016-04-20 珠海市君天电子科技有限公司 一种基于网页哈希值扫描漏洞的方法、装置及电子设备
CN107070897A (zh) * 2017-03-16 2017-08-18 杭州安恒信息技术有限公司 入侵检测系统中基于多属性哈希去重的网络日志存储方法
US20170318045A1 (en) * 2016-04-27 2017-11-02 Sap Se End-to-End Taint Tracking for Detection and Mitigation of Injection Vulnerabilities in Web Applications
WO2018099107A1 (zh) * 2016-12-02 2018-06-07 深圳市中兴微电子技术有限公司 一种哈希表管理的方法和装置、计算机存储介质
CN110955898A (zh) * 2019-12-12 2020-04-03 杭州安恒信息技术股份有限公司 一种建站系统的漏洞审计方法、系统及相关装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105516114A (zh) * 2015-12-01 2016-04-20 珠海市君天电子科技有限公司 一种基于网页哈希值扫描漏洞的方法、装置及电子设备
US20170318045A1 (en) * 2016-04-27 2017-11-02 Sap Se End-to-End Taint Tracking for Detection and Mitigation of Injection Vulnerabilities in Web Applications
WO2018099107A1 (zh) * 2016-12-02 2018-06-07 深圳市中兴微电子技术有限公司 一种哈希表管理的方法和装置、计算机存储介质
CN107070897A (zh) * 2017-03-16 2017-08-18 杭州安恒信息技术有限公司 入侵检测系统中基于多属性哈希去重的网络日志存储方法
CN110955898A (zh) * 2019-12-12 2020-04-03 杭州安恒信息技术股份有限公司 一种建站系统的漏洞审计方法、系统及相关装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
程飞: "REST的安全性分析与策略研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 *
胡倩等: "一种基于属性哈希的告警日志去重方法", 《计算机科学》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114329485A (zh) * 2021-12-24 2022-04-12 中电信数智科技有限公司 基于深度学习的漏洞去重方法及装置
CN114329485B (zh) * 2021-12-24 2023-01-10 中电信数智科技有限公司 基于深度学习的漏洞去重方法及装置

Similar Documents

Publication Publication Date Title
US8051486B2 (en) Indicating SQL injection attack vulnerability with a stored value
US11716349B2 (en) Machine learning detection of database injection attacks
US20130160131A1 (en) Application security testing
CN110225029B (zh) 注入攻击检测方法、装置、服务器及存储介质
US10467081B2 (en) Enabling symptom verification
CN111967044B (zh) 一种适用于云环境的被泄漏隐私数据的追踪方法及系统
WO2019144548A1 (zh) 安全测试方法、装置、计算机设备和存储介质
US11533323B2 (en) Computer security system for ingesting and analyzing network traffic
CN114780398B (zh) 面向Cisco IOS-XE的Web命令注入漏洞检测方法
CN116340943A (zh) 应用程序保护方法、装置、设备、存储介质和程序产品
JP2016099857A (ja) 不正プログラム対策システムおよび不正プログラム対策方法
CN111756709A (zh) 一种降低交互式应用检测中漏洞重复检测的方法
Deng et al. {NAUTILUS}: Automated {RESTful}{API} Vulnerability Detection
Alidoosti et al. Evaluating the web‐application resiliency to business‐layer DoS attacks
US11250139B2 (en) Greybox fuzzing for web applications
CN117692200A (zh) 基于自适应异常行为分析的互联网威胁检测与回溯方法
CN112199668A (zh) 一种检测容器中应用层消耗CPU的DoS攻击的方法和装置
US11599637B1 (en) Systems and methods for blocking malicious script execution
CN115828256A (zh) 一种越权与未授权逻辑漏洞检测方法
US20230153436A1 (en) Systems and methods for blocking malicious script execution based on generalized rules
RU2825975C1 (ru) Способ комбинирования большой языковой модели и агента безопасности
US12032689B2 (en) Systems and methods for preventing zero-day attacks
US9769191B2 (en) Measuring robustness of web services to denial of service attacks
CN113037724B (zh) 一种检测非法访问的方法及装置
CN116702146B (zh) 一种Web服务器的注入漏洞扫描方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201009