CN111200590B - 多个周期统计数据一致性校验的算法 - Google Patents

多个周期统计数据一致性校验的算法 Download PDF

Info

Publication number
CN111200590B
CN111200590B CN201911246962.4A CN201911246962A CN111200590B CN 111200590 B CN111200590 B CN 111200590B CN 201911246962 A CN201911246962 A CN 201911246962A CN 111200590 B CN111200590 B CN 111200590B
Authority
CN
China
Prior art keywords
consistency
request
periods
statistical data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911246962.4A
Other languages
English (en)
Other versions
CN111200590A (zh
Inventor
郭晓
范渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DBAPPSecurity Co Ltd
Original Assignee
DBAPPSecurity Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DBAPPSecurity Co Ltd filed Critical DBAPPSecurity Co Ltd
Priority to CN201911246962.4A priority Critical patent/CN111200590B/zh
Publication of CN111200590A publication Critical patent/CN111200590A/zh
Application granted granted Critical
Publication of CN111200590B publication Critical patent/CN111200590B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种多个周期统计数据一致性校验的算法，包括以下步骤：1)、确定需要统计的请求方法的类型；2)、设置一致性阈值；3)、接受用户对网站URL访问的请求；4)、记录多个周期内用户对某个URL的请求中，各种请求方法出现的次数；5)、根据步骤4得到的各种请求方法出现的次数，利用kappa原理计算多个周期内的最终的请求方法的一致性；6)、根据步骤5得到的最终的请求方法的一致性和步骤2得到的一致性阈值，判定数据的综合一致性。本发明以多个周期内统计数据为基础，借用kappa系数的计算方法，将统计到的数据进行两两比较，计算得到两个周期内统计数据的一致性。

Description

多个周期统计数据一致性校验的算法
技术领域
本发明涉及一种网络安全技术，具体涉及一种多个周期统计数据一致性校验的算法。
背景技术
传统的网络安全中，自学习功能作为web业务系统中的一种防护手段，只是单纯的对web请求从各个因素进行统计，然后直接直接基于这些统计数据进行建模，并没有考虑到统计数据有可能不可信这一因素。用于建模的统计数据中有可能掺杂了攻击数据，使得建立的模型并不符合实际的流量情况。
万维网应用防火墙(Web Application Firewall，简称WAF)是设置在网站WEB业务系统前端的一种包特征检测与阻断系统，用于保护后端WEB业务系统不受非法攻击者的恶意扫描和漏洞攻击。传统的自学习功能，作为特征检测与阻断系统的一种辅助手段，建立请求中各种因子的模型的方式过于武断，一味地信任统计到的数据，并没有考虑到统计数据中可能存在不可信数据。传统的自学习功能中建模的实现可能因为忽略了统计数据的不可信，导致最终建立的模型不匹配实际的业务流量，导致误报漏报的发生。
现有的传统的网络安全中，自学习功能作为web业务系统中的一种防护手段，只是单纯的对web请求从各个因素进行统计，然后直接直接基于这些统计数据进行建模，并没有考虑到统计数据有可能不可信这一因素。统计数据中可能存在攻击数据，并不符合实际的流量状况。
因此，需要对现有技术进行改进。
发明内容
本发明要解决的技术问题是提供一种高效的多个周期统计数据一致性校验的算法。
为解决上述技术问题，本发明提供一种多个周期统计数据一致性校验的算法，包括以下步骤：
1)、确定需要统计的请求方法的类型；
2)、设置一致性阈值；
3)、接受用户对网站URL访问的请求；
4)、记录多个周期内用户对某个URL的请求中，各种请求方法出现的次数；
5)、根据步骤4得到的各种请求方法出现的次数，利用kappa原理计算多个周期内的最终的请求方法的一致性；
6)、根据步骤5得到的最终的请求方法的一致性和步骤2得到的一致性阈值，判定数据的综合一致性。
作为对本发明多个周期统计数据一致性校验的算法的改进：
在步骤4中，以周期为单位记录用户请求使用的请求方法出现的次数，将请求方法出现的次数更新(加1)或插入到请求方法出现频次记录表中。
作为对本发明多个周期统计数据一致性校验的算法的进一步改进：
步骤5包括：
5.1)、计算两两周期内请求方法出现频次的一致性；
计算公式为：
Figure BDA0002307946400000021
k：两个周期内数据的一致性程度，位于0～1之间；
pe：所有请求方法对应的“第一个周期与第二个周期频次的乘积”，之总和，除以“频次总数的平方”；
p0是每一类正确分类的样本数量之和除以总样本数；
5.2)、计算n个周期构成的n-1个k的均值得到最终的K，最终的K作为多个周期内请求方法的一致性。
作为对本发明多个周期统计数据一致性校验的算法的进一步改进：
在步骤6中，若多个周期内请求方法的一致性超过一致性阈值，则判定多个周期内请求方法的具备一致性；否则判定所有周期内的数据不具备一致性。
作为对本发明多个周期统计数据一致性校验的算法的进一步改进：
步骤1中、确定需要统计的请求方法的类型为GET、POST、PUT、HEAD等。
本发明多个周期统计数据一致性校验的算法的技术优势为：
本发明的目的是基于统计数据，以时间为维度，借鉴Kappa系数原理，对统计数据的一致性进行校验，当统计数据的一致性较高时，可以认为统计数据是值得信任的，继而可以基于统计数据对各请求因子进行建模；否则统计数据不可信任，从而不能基于统计数据对请求因子进行建模。
本发明以多个周期内统计数据为基础，借用kappa系数的计算方法，将统计到的数据进行两两比较，计算得到两个周期内统计数据的一致性。将两两比较的结果记录下来，求均值得到多个周期内统计数据的一致性。与预设的“一致性阈值”进行比较，从而可以判定统计数据是否有效。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细说明。
图1为本发明多个周期统计数据一致性校验系统的模块示意图；
图2为本发明多个周期统计数据一致性校验系统的算法的流程示意图。
具体实施方式
下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此。
实施例1、多个周期统计数据一致性校验的算法，如图1-2所示，包括相互连接的统计数据记录装置、一致性计算装置和一致性判定装置。
统计数据记录装置(以请求方法为例)包括请求方法出现频次记录表。表中存放的数据包括请求周期、请求方法以及请求方法在相应请求周期内出现的频次。当用户发起请求时，记录下请求方法以及该请求方法在本周期内出现的次数。若本周期内，该请求方法已经存在，则将请求方法出现的频次加1，更新到请求方法出现频次表中；否则将周期数、请求方法和1插入到请求方法出现频次表中。
一致性计算装置用于根据请求方法出现频次记录表中的数据计算多个周期中请求方法出现频次的一致性。
一致性判定装置用于判定统计数据有效或者无效。根据计算得到的多个周期内统计数据的一致性以及预先设定好的“一致性阈值”将统计数据判定为有效数据或无效数据。其中，有效数据指一致性大于或等于“一致性阈值”的统计数据，无效数据指一致性小于“一致性阈值”的统计数据。
本发明的工作原理：以多个周期内统计数据为基础，借用kappa系数的计算方法，将统计到的数据进行两两比较，计算得到两个周期内统计数据的一致性。将两两比较的结果记录下来，求均值得到多个周期内统计数据的一致性。将该一致性同预设的“一致性阈值”作比较，若一致性大于“一致性阈值”，则判定数据具备一致性，认定统计数据有效，否则判定统计数据不具备一致性，认定统计数据无效。
本发明的技术方案在用户发起请求时，利用对用户使用的请求方法出现频次的统计与分析以及预先设定的统计数据的“一致性阈值”判定统计数据的性质，即判定统计数据是有效的还是无效的。
以多个周期内统计数据为基础，借鉴kappa系数的计算方法，将统计到的数据进行两两比较，计算得到两个周期内统计数据的一致性。将两两比较的结果记录下来，求均值得到多个周期内统计数据的一致性。为方便阐述，以计算两个周期内统计得到的请求方法的数据一致性为例。
具体包括如下步骤：
(1)确定参与比较的对象，即确定需要统计的请求方法的类型，如：GET、POST、PUT、HEAD等；
(2)确定“一致性阈值”(人为设置)，即判决多个周期内请求方法的统计数据一致的阈值；例如阈值可以设置为70％。
(3)接受用户对网站URL访问的请求；
(4)记录多个周期内用户对某个URL的请求中，各种请求方法出现的次数。将这些统计数据更新或插入到请求方法出现频次记录表中；
以周期为单位记录用户请求使用的请求方法出现的次数，将请求方法出现的次数更新(加1)或插入到请求方法出现频次记录表中；
(5)利用kappa原理计算多个周期内的请求方法出现频次的一致性；
①计算两两周期内请求方法出现频次的一致性；
计算公式为：
Figure BDA0002307946400000041
k：两个周期内数据的一致性程度，位于0～1之间。
pe：所有请求方法对应的“第一个周期与第二个周期频次的乘积”，之总和，除以“频次总数的平方”。
其中，p0是每一类正确分类的样本数量之和除以总样本数。假设请求方法有POST、GET、HEAD，第一个周期(T1)内，这三种请求方法出现的频次分别为15、25、20；第二个周期(T2)内，这三种请求方法出现的频次分别为13、28、19。得到混合矩阵如下：
Figure BDA0002307946400000042
Figure BDA0002307946400000051
Figure BDA0002307946400000052
Figure BDA0002307946400000053
Figure BDA0002307946400000054
②计算n个周期构成的n-1个k的均值得到最终的K，最终的K作为多个周期内请求方法的一致性。
(6)根据步骤(5)得到的最终的请求方法的一致性，依据步骤(2)预设的“一致性阈值”判定多个周期内请求方法出现的次数是否具有一致性。
若多个周期内请求方法的一致性超过一致性阈值(70％)，则判定请求方法具备一致性。
下面的实例可以使本专业的专业技术人员更全面地理解本发明，但不以任何方式限制本发明。
如图2所示，本实例的业务安全防护方法的实施步骤如下：
步骤S01:接收请求。
步骤S02:从请求中得到请求方法。
步骤S03:判断本周期内该请求方法在请求方法出现频次记录表中是否存在，若存在，则计数加一；否则，本周期内该请求方法出现频次为1。将本周期内该请求方法出现的频次记录到请求方法记录表中。
步骤S04:将所有(n个)周期内的统计数据，两两周期进行一致性计算，得到n-1个一致性。
步骤S05:根据S04的计算结果，计算n-1个一致性值的均值，得到最终n个周期的统计数据的综合一致性。
步骤S06：将综合一致性与预设的“一致性阈值”进行比较。若综合一致性大于或等于“一致性阈值”，判定所有周期内的统计数据具备一致性，统计数据可信；否则判定所有周期内的数据不具备一致性，统计数据不可信。
最后，还需要注意的是，以上列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (2)

1.多个周期统计数据一致性校验的方法，其特征在于：包括以下步骤：
1)、确定需要统计的请求方法的类型；
2)、设置一致性阈值；
3)、接受用户对网站URL访问的请求；
4)、记录多个周期内用户对某个URL的请求中，各种请求方法出现的次数；
5)、根据步骤4)得到的各种请求方法出现的次数，利用kappa原理计算多个周期内的最终的请求方法的一致性；
包括：
①计算两两周期内请求方法出现频次的一致性；
计算公式为：
Figure FDA0003668077400000011
k：两个周期内数据的一致性程度，位于0～1之间；
pe：所有请求方法对应的“第一个周期与第二个周期频次的乘积”，之总和，除以“频次总数的平方”；
其中，p0是每一类正确分类的样本数量之和除以总样本数；
②计算n个周期构成的n-1个k的均值得到最终的K，最终的K作为多个周期内请求方法的一致性；
6)、根据步骤5)得到的最终的请求方法的一致性和步骤2)得到的一致性阈值，判定数据的综合一致性；
若多个周期内请求方法的一致性超过一致性阈值，则判定多个周期内请求方法的具备一致性；否则判定所有周期内的数据不具备一致性。
2.根据权利要求1所述的多个周期统计数据一致性校验的方法，其特征在于：
在步骤4)中，以周期为单位记录用户请求使用的请求方法出现的次数，将请求方法出现的次数更新或插入到请求方法出现频次记录表中。
CN201911246962.4A 2019-12-09 2019-12-09 多个周期统计数据一致性校验的算法 Active CN111200590B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911246962.4A CN111200590B (zh) 2019-12-09 2019-12-09 多个周期统计数据一致性校验的算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911246962.4A CN111200590B (zh) 2019-12-09 2019-12-09 多个周期统计数据一致性校验的算法

Publications (2)

Publication Number Publication Date
CN111200590A CN111200590A (zh) 2020-05-26
CN111200590B true CN111200590B (zh) 2022-08-19

Family

ID=70746927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911246962.4A Active CN111200590B (zh) 2019-12-09 2019-12-09 多个周期统计数据一致性校验的算法

Country Status (1)

Country Link
CN (1) CN111200590B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092699A (zh) * 2013-01-10 2013-05-08 中国南方电网有限责任公司超高压输电公司 一种云计算资源预分配实现方法
CN104268134A (zh) * 2014-09-28 2015-01-07 苏州大学 一种主客观分类器构建方法和系统
CN105721301A (zh) * 2016-02-25 2016-06-29 清华大学 支持可信度分级的路由计算方法
CN105956015A (zh) * 2016-04-22 2016-09-21 四川中软科技有限公司 一种基于大数据的服务平台整合方法
CN107404473A (zh) * 2017-06-06 2017-11-28 西安电子科技大学 基于Mshield机器学习多模式Web应用防护方法
CN108573007A (zh) * 2017-06-08 2018-09-25 北京金山云网络技术有限公司 检测数据一致性的方法、装置、电子设备及存储介质
CN109802960A (zh) * 2019-01-08 2019-05-24 深圳中兴网信科技有限公司 防火墙策略处理方法及装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10296850B2 (en) * 2013-03-15 2019-05-21 Konstantinos (Constantin) F. Aliferis Document coding computer system and method with integrated quality assurance

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103092699A (zh) * 2013-01-10 2013-05-08 中国南方电网有限责任公司超高压输电公司 一种云计算资源预分配实现方法
CN104268134A (zh) * 2014-09-28 2015-01-07 苏州大学 一种主客观分类器构建方法和系统
CN105721301A (zh) * 2016-02-25 2016-06-29 清华大学 支持可信度分级的路由计算方法
CN105956015A (zh) * 2016-04-22 2016-09-21 四川中软科技有限公司 一种基于大数据的服务平台整合方法
CN107404473A (zh) * 2017-06-06 2017-11-28 西安电子科技大学 基于Mshield机器学习多模式Web应用防护方法
CN108573007A (zh) * 2017-06-08 2018-09-25 北京金山云网络技术有限公司 检测数据一致性的方法、装置、电子设备及存储介质
CN109802960A (zh) * 2019-01-08 2019-05-24 深圳中兴网信科技有限公司 防火墙策略处理方法及装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111200590A (zh) 2020-05-26

Similar Documents

Publication Publication Date Title
Lee et al. OTIDS: A novel intrusion detection system for in-vehicle network by using remote frame
CN101009607B (zh) 用于检测并防止网络环境中的洪流攻击的系统和方法
EP1999609B1 (en) Client side attack resistant phishing detection
US9282116B1 (en) System and method for preventing DOS attacks utilizing invalid transaction statistics
CN104620225B (zh) 用于服务器安全验证的方法和系统
CN103929440B (zh) 基于web服务器缓存匹配的网页防篡改装置及其方法
CN110519208B (zh) 异常检测方法、装置及计算机可读介质
KR100745044B1 (ko) 피싱 사이트 접속 방지 장치 및 방법
CN108337219B (zh) 一种物联网防入侵的方法和存储介质
WO2010030581A1 (en) Method for securely communicating information about the location of a compromised computing device
CN109257393A (zh) 基于机器学习的xss攻击防御方法及装置
CN110858831B (zh) 安全防护方法、装置以及安全防护设备
CN109561097B (zh) 结构化查询语言注入安全漏洞检测方法、装置、设备及存储介质
CN109743325A (zh) 一种暴力破解攻击检测方法、系统、设备及存储介质
Groza et al. Formal modelling and automatic detection of resource exhaustion attacks
CN114363091B (zh) 一种基于apisix实现平台应用统一登录的方法及系统
CN107968765A (zh) 一种网络入侵检测方法及服务器
CN112235306A (zh) 一种基于云安全的电子商务账户验证方法
CN111200590B (zh) 多个周期统计数据一致性校验的算法
CN107220545A (zh) 一种硬件加密系统、方法及服务器
Lahrouni et al. Using mathematical methods against denial of service (DoS) attacks in VANET
CN116684202B (zh) 一种物联网信息安全传输方法
CN111541790B (zh) 一种基于区块链的大数据处理方法和系统
CN105577706A (zh) 一种网络安全防御系统和方法
CN112702417A (zh) 一种边缘计算报文防重放方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant