CN111200590A - 多个周期统计数据一致性校验的算法 - Google Patents
多个周期统计数据一致性校验的算法 Download PDFInfo
- Publication number
- CN111200590A CN111200590A CN201911246962.4A CN201911246962A CN111200590A CN 111200590 A CN111200590 A CN 111200590A CN 201911246962 A CN201911246962 A CN 201911246962A CN 111200590 A CN111200590 A CN 111200590A
- Authority
- CN
- China
- Prior art keywords
- consistency
- periods
- request
- statistical data
- occurrence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/12—Applying verification of the received information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种多个周期统计数据一致性校验的算法,包括以下步骤:1)、确定需要统计的请求方法的类型;2)、设置一致性阈值;3)、接受用户对网站URL访问的请求;4)、记录多个周期内用户对某个URL的请求中,各种请求方法出现的次数;5)、根据步骤4得到的各种请求方法出现的次数,利用kappa原理计算多个周期内的最终的请求方法的一致性;6)、根据步骤5得到的最终的请求方法的一致性和步骤2得到的一致性阈值,判定数据的综合一致性。本发明以多个周期内统计数据为基础,借用kappa系数的计算方法,将统计到的数据进行两两比较,计算得到两个周期内统计数据的一致性。
Description
技术领域
本发明涉及一种网络安全技术,具体涉及一种多个周期统计数据一致性校验的算法。
背景技术
传统的网络安全中,自学习功能作为web业务系统中的一种防护手段,只是单纯的对web请求从各个因素进行统计,然后直接直接基于这些统计数据进行建模,并没有考虑到统计数据有可能不可信这一因素。用于建模的统计数据中有可能掺杂了攻击数据,使得建立的模型并不符合实际的流量情况。
万维网应用防火墙(Web Application Firewall,简称WAF)是设置在网站WEB业务系统前端的一种包特征检测与阻断系统,用于保护后端WEB业务系统不受非法攻击者的恶意扫描和漏洞攻击。传统的自学习功能,作为特征检测与阻断系统的一种辅助手段,建立请求中各种因子的模型的方式过于武断,一味地信任统计到的数据,并没有考虑到统计数据中可能存在不可信数据。传统的自学习功能中建模的实现可能因为忽略了统计数据的不可信,导致最终建立的模型不匹配实际的业务流量,导致误报漏报的发生。
现有的传统的网络安全中,自学习功能作为web业务系统中的一种防护手段,只是单纯的对web请求从各个因素进行统计,然后直接直接基于这些统计数据进行建模,并没有考虑到统计数据有可能不可信这一因素。统计数据中可能存在攻击数据,并不符合实际的流量状况。
因此,需要对现有技术进行改进。
发明内容
本发明要解决的技术问题是提供一种高效的多个周期统计数据一致性校验的算法。
为解决上述技术问题,本发明提供一种多个周期统计数据一致性校验的算法,包括以下步骤:
1)、确定需要统计的请求方法的类型;
2)、设置一致性阈值;
3)、接受用户对网站URL访问的请求;
4)、记录多个周期内用户对某个URL的请求中,各种请求方法出现的次数;
5)、根据步骤4得到的各种请求方法出现的次数,利用kappa原理计算多个周期内的最终的请求方法的一致性;
6)、根据步骤5得到的最终的请求方法的一致性和步骤2得到的一致性阈值,判定数据的综合一致性。
作为对本发明多个周期统计数据一致性校验的算法的改进:
在步骤4中,以周期为单位记录用户请求使用的请求方法出现的次数,将请求方法出现的次数更新(加1)或插入到请求方法出现频次记录表中。
作为对本发明多个周期统计数据一致性校验的算法的进一步改进:
步骤5包括:
5.1)、计算两两周期内请求方法出现频次的一致性;
计算公式为:
k:两个周期内数据的一致性程度,位于0~1之间;
pe:所有请求方法对应的“第一个周期与第二个周期频次的乘积”,之总和,除以“频次总数的平方”;
p0是每一类正确分类的样本数量之和除以总样本数;
5.2)、计算n个周期构成的n-1个k的均值得到最终的K,最终的K作为多个周期内请求方法的一致性。
作为对本发明多个周期统计数据一致性校验的算法的进一步改进:
在步骤6中,若多个周期内请求方法的一致性超过一致性阈值,则判定多个周期内请求方法的具备一致性;否则判定所有周期内的数据不具备一致性。
作为对本发明多个周期统计数据一致性校验的算法的进一步改进:
步骤1中、确定需要统计的请求方法的类型为GET、POST、PUT、HEAD等。
本发明多个周期统计数据一致性校验的算法的技术优势为:
本发明的目的是基于统计数据,以时间为维度,借鉴Kappa系数原理,对统计数据的一致性进行校验,当统计数据的一致性较高时,可以认为统计数据是值得信任的,继而可以基于统计数据对各请求因子进行建模;否则统计数据不可信任,从而不能基于统计数据对请求因子进行建模。
本发明以多个周期内统计数据为基础,借用kappa系数的计算方法,将统计到的数据进行两两比较,计算得到两个周期内统计数据的一致性。将两两比较的结果记录下来,求均值得到多个周期内统计数据的一致性。与预设的“一致性阈值”进行比较,从而可以判定统计数据是否有效。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明多个周期统计数据一致性校验系统的模块示意图;
图2为本发明多个周期统计数据一致性校验系统的算法的流程示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述,但本发明的保护范围并不仅限于此。
实施例1、多个周期统计数据一致性校验的算法,如图1-2所示,包括相互连接的统计数据记录装置、一致性计算装置和一致性判定装置。
统计数据记录装置(以请求方法为例)包括请求方法出现频次记录表。表中存放的数据包括请求周期、请求方法以及请求方法在相应请求周期内出现的频次。当用户发起请求时,记录下请求方法以及该请求方法在本周期内出现的次数。若本周期内,该请求方法已经存在,则将请求方法出现的频次加1,更新到请求方法出现频次表中;否则将周期数、请求方法和1插入到请求方法出现频次表中。
一致性计算装置用于根据请求方法出现频次记录表中的数据计算多个周期中请求方法出现频次的一致性。
一致性判定装置用于判定统计数据有效或者无效。根据计算得到的多个周期内统计数据的一致性以及预先设定好的“一致性阈值”将统计数据判定为有效数据或无效数据。其中,有效数据指一致性大于或等于“一致性阈值”的统计数据,无效数据指一致性小于“一致性阈值”的统计数据。
本发明的工作原理:以多个周期内统计数据为基础,借用kappa系数的计算方法,将统计到的数据进行两两比较,计算得到两个周期内统计数据的一致性。将两两比较的结果记录下来,求均值得到多个周期内统计数据的一致性。将该一致性同预设的“一致性阈值”作比较,若一致性大于“一致性阈值”,则判定数据具备一致性,认定统计数据有效,否则判定统计数据不具备一致性,认定统计数据无效。
本发明的技术方案在用户发起请求时,利用对用户使用的请求方法出现频次的统计与分析以及预先设定的统计数据的“一致性阈值”判定统计数据的性质,即判定统计数据是有效的还是无效的。
以多个周期内统计数据为基础,借鉴kappa系数的计算方法,将统计到的数据进行两两比较,计算得到两个周期内统计数据的一致性。将两两比较的结果记录下来,求均值得到多个周期内统计数据的一致性。为方便阐述,以计算两个周期内统计得到的请求方法的数据一致性为例。
具体包括如下步骤:
(1)确定参与比较的对象,即确定需要统计的请求方法的类型,如:GET、POST、PUT、HEAD等;
(2)确定“一致性阈值”(人为设置),即判决多个周期内请求方法的统计数据一致的阈值;例如阈值可以设置为70%。
(3)接受用户对网站URL访问的请求;
(4)记录多个周期内用户对某个URL的请求中,各种请求方法出现的次数。将这些统计数据更新或插入到请求方法出现频次记录表中;
以周期为单位记录用户请求使用的请求方法出现的次数,将请求方法出现的次数更新(加1)或插入到请求方法出现频次记录表中;
(5)利用kappa原理计算多个周期内的请求方法出现频次的一致性;
①计算两两周期内请求方法出现频次的一致性;
计算公式为:
k:两个周期内数据的一致性程度,位于0~1之间。
pe:所有请求方法对应的“第一个周期与第二个周期频次的乘积”,之总和,除以“频次总数的平方”。
其中,p0是每一类正确分类的样本数量之和除以总样本数。假设请求方法有POST、GET、HEAD,第一个周期(T1)内,这三种请求方法出现的频次分别为15、25、20;第二个周期(T2)内,这三种请求方法出现的频次分别为13、28、19。得到混合矩阵如下:
②计算n个周期构成的n-1个k的均值得到最终的K,最终的K作为多个周期内请求方法的一致性。
(6)根据步骤(5)得到的最终的请求方法的一致性,依据步骤(2)预设的“一致性阈值”判定多个周期内请求方法出现的次数是否具有一致性。
若多个周期内请求方法的一致性超过一致性阈值(70%),则判定请求方法具备一致性。
下面的实例可以使本专业的专业技术人员更全面地理解本发明,但不以任何方式限制本发明。
如图2所示,本实例的业务安全防护方法的实施步骤如下:
步骤S01:接收请求。
步骤S02:从请求中得到请求方法。
步骤S03:判断本周期内该请求方法在请求方法出现频次记录表中是否存在,若存在,则计数加一;否则,本周期内该请求方法出现频次为1。将本周期内该请求方法出现的频次记录到请求方法记录表中。
步骤S04:将所有(n个)周期内的统计数据,两两周期进行一致性计算,得到n-1个一致性。
步骤S05:根据S04的计算结果,计算n-1个一致性值的均值,得到最终n个周期的统计数据的综合一致性。
步骤S06:将综合一致性与预设的“一致性阈值”进行比较。若综合一致性大于或等于“一致性阈值”,判定所有周期内的统计数据具备一致性,统计数据可信;否则判定所有周期内的数据不具备一致性,统计数据不可信。
最后,还需要注意的是,以上列举的仅是本发明的若干个具体实施例。显然,本发明不限于以上实施例,还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形,均应认为是本发明的保护范围。
Claims (5)
1.多个周期统计数据一致性校验的算法,其特征在于:包括以下步骤:
1)、确定需要统计的请求方法的类型;
2)、设置一致性阈值;
3)、接受用户对网站URL访问的请求;
4)、记录多个周期内用户对某个URL的请求中,各种请求方法出现的次数;
5)、根据步骤4得到的各种请求方法出现的次数,利用kappa原理计算多个周期内的最终的请求方法的一致性;
6)、根据步骤5得到的最终的请求方法的一致性和步骤2得到的一致性阈值,判定数据的综合一致性。
2.根据权利要求1所述的多个周期统计数据一致性校验的算法,其特征在于:
在步骤4中,以周期为单位记录用户请求使用的请求方法出现的次数,将请求方法出现的次数更新(加1)或插入到请求方法出现频次记录表中。
4.根据权利要求3所述的多个周期统计数据一致性校验的算法,其特征在于:
在步骤6中,若多个周期内请求方法的一致性超过一致性阈值,则判定多个周期内请求方法的具备一致性;否则判定所有周期内的数据不具备一致性。
5.根据权利要求4所述的多个周期统计数据一致性校验的算法,其特征在于:
步骤1中、确定需要统计的请求方法的类型为GET、POST、PUT、HEAD等。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911246962.4A CN111200590B (zh) | 2019-12-09 | 2019-12-09 | 多个周期统计数据一致性校验的算法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911246962.4A CN111200590B (zh) | 2019-12-09 | 2019-12-09 | 多个周期统计数据一致性校验的算法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111200590A true CN111200590A (zh) | 2020-05-26 |
CN111200590B CN111200590B (zh) | 2022-08-19 |
Family
ID=70746927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911246962.4A Active CN111200590B (zh) | 2019-12-09 | 2019-12-09 | 多个周期统计数据一致性校验的算法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111200590B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092699A (zh) * | 2013-01-10 | 2013-05-08 | 中国南方电网有限责任公司超高压输电公司 | 一种云计算资源预分配实现方法 |
US20140279761A1 (en) * | 2013-03-15 | 2014-09-18 | Konstantinos (Constantin) F. Aliferis | Document Coding Computer System and Method With Integrated Quality Assurance |
CN104268134A (zh) * | 2014-09-28 | 2015-01-07 | 苏州大学 | 一种主客观分类器构建方法和系统 |
CN105721301A (zh) * | 2016-02-25 | 2016-06-29 | 清华大学 | 支持可信度分级的路由计算方法 |
CN105956015A (zh) * | 2016-04-22 | 2016-09-21 | 四川中软科技有限公司 | 一种基于大数据的服务平台整合方法 |
CN107404473A (zh) * | 2017-06-06 | 2017-11-28 | 西安电子科技大学 | 基于Mshield机器学习多模式Web应用防护方法 |
CN108573007A (zh) * | 2017-06-08 | 2018-09-25 | 北京金山云网络技术有限公司 | 检测数据一致性的方法、装置、电子设备及存储介质 |
CN109802960A (zh) * | 2019-01-08 | 2019-05-24 | 深圳中兴网信科技有限公司 | 防火墙策略处理方法及装置、计算机设备和存储介质 |
-
2019
- 2019-12-09 CN CN201911246962.4A patent/CN111200590B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103092699A (zh) * | 2013-01-10 | 2013-05-08 | 中国南方电网有限责任公司超高压输电公司 | 一种云计算资源预分配实现方法 |
US20140279761A1 (en) * | 2013-03-15 | 2014-09-18 | Konstantinos (Constantin) F. Aliferis | Document Coding Computer System and Method With Integrated Quality Assurance |
CN104268134A (zh) * | 2014-09-28 | 2015-01-07 | 苏州大学 | 一种主客观分类器构建方法和系统 |
CN105721301A (zh) * | 2016-02-25 | 2016-06-29 | 清华大学 | 支持可信度分级的路由计算方法 |
CN105956015A (zh) * | 2016-04-22 | 2016-09-21 | 四川中软科技有限公司 | 一种基于大数据的服务平台整合方法 |
CN107404473A (zh) * | 2017-06-06 | 2017-11-28 | 西安电子科技大学 | 基于Mshield机器学习多模式Web应用防护方法 |
CN108573007A (zh) * | 2017-06-08 | 2018-09-25 | 北京金山云网络技术有限公司 | 检测数据一致性的方法、装置、电子设备及存储介质 |
CN109802960A (zh) * | 2019-01-08 | 2019-05-24 | 深圳中兴网信科技有限公司 | 防火墙策略处理方法及装置、计算机设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
牛琨: "《纵观大数据建模、分析及应用》", 30 November 2017 * |
陈华毅: "《实用精神疾病数理诊断方法》", 31 December 2017 * |
Also Published As
Publication number | Publication date |
---|---|
CN111200590B (zh) | 2022-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107646190B (zh) | 恶意加密流量检测器、识别方法以及计算机程序元件 | |
CN104113519B (zh) | 网络攻击检测方法及其装置 | |
KR100745044B1 (ko) | 피싱 사이트 접속 방지 장치 및 방법 | |
CN110519208B (zh) | 异常检测方法、装置及计算机可读介质 | |
CN104620225B (zh) | 用于服务器安全验证的方法和系统 | |
US20160234230A1 (en) | System and method for preventing dos attacks utilizing invalid transaction statistics | |
US20070199054A1 (en) | Client side attack resistant phishing detection | |
CN103929440A (zh) | 基于web服务器缓存匹配的网页防篡改装置及其方法 | |
CN109257393A (zh) | 基于机器学习的xss攻击防御方法及装置 | |
CN111756728B (zh) | 一种漏洞攻击检测的方法、装置、计算设备及存储介质 | |
CN110858831B (zh) | 安全防护方法、装置以及安全防护设备 | |
CN109743325A (zh) | 一种暴力破解攻击检测方法、系统、设备及存储介质 | |
CN109561097B (zh) | 结构化查询语言注入安全漏洞检测方法、装置、设备及存储介质 | |
Groza et al. | Formal modelling and automatic detection of resource exhaustion attacks | |
Eian et al. | The modeling and comparison of wireless network denial of service attacks | |
CN114826946B (zh) | 未授权访问接口的检测方法、装置、设备及存储介质 | |
CN114363091B (zh) | 一种基于apisix实现平台应用统一登录的方法及系统 | |
CN107968765A (zh) | 一种网络入侵检测方法及服务器 | |
CN111200590B (zh) | 多个周期统计数据一致性校验的算法 | |
CN108322454B (zh) | 一种网络安全检测方法及装置 | |
CN116684202B (zh) | 一种物联网信息安全传输方法 | |
Dini et al. | On simulative analysis of attack impact in Wireless Sensor Networks | |
JP2002041468A (ja) | 不正アクセス防止サービスシステム | |
CN105577706A (zh) | 一种网络安全防御系统和方法 | |
CN112702417A (zh) | 一种边缘计算报文防重放方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |