CN114499917A - Cc攻击检测方法及cc攻击检测装置 - Google Patents
Cc攻击检测方法及cc攻击检测装置 Download PDFInfo
- Publication number
- CN114499917A CN114499917A CN202111240736.2A CN202111240736A CN114499917A CN 114499917 A CN114499917 A CN 114499917A CN 202111240736 A CN202111240736 A CN 202111240736A CN 114499917 A CN114499917 A CN 114499917A
- Authority
- CN
- China
- Prior art keywords
- request frequency
- time
- single uri
- attack detection
- uri
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000012360 testing method Methods 0.000 claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 57
- 238000010801 machine learning Methods 0.000 claims abstract description 38
- 238000004891 communication Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 21
- 238000004140 cleaning Methods 0.000 claims description 15
- 238000012417 linear regression Methods 0.000 claims description 14
- 238000005206 flow analysis Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 8
- 238000003066 decision tree Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000000750 progressive effect Effects 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 238000011002 quantification Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims 2
- 238000000034 method Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1416—Event detection, e.g. attack signature detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种CC攻击检测方法以及CC攻击检测装置。该方法包括：对于历史流量通信日志中的HTTP协议进行解析提取字段并从中提取单个URI的请求频次；从单个URI的请求频次中提取规定时间内的单个URI的请求频次的时序特征作为训练集和测试集；基于所述训练集和测试集利用机器学习算法生成预测模型；以及将根据当前时刻的单个URI的请求频次利用所述预测模型预测得到的下一时刻的单个URI的请求频次与预先设置的告警阈值进行比较，基于比较结果判断是否发出告警。根据本发明，能够实时并且准确地检测到CC攻击，由此，能够提高网络安全威胁识别和检测能力。
Description
技术领域
本发明涉及计算机网络技术，具体地涉及一种用于检测CC攻击的CC攻击检测方法以及CC攻击检测装置。
背景技术
CC攻击是指击者借助代理服务器生成指向受害主机的合法请求，实现DDOS和伪装。图1表示通过多个代理服务器向目标服务器发起CC攻击的示意图。如图1所示，攻击者使用多个服务器(图1中示出代理服务器1～代理服务器4)向目标服务器发送大量合法的请求，造成服务器资源耗尽，无法正常地提供服务。
目前对CC攻击的检测存在以下几种方法：
(1)白名单判定方法：根据IP非攻击请求次数建立三级白名单模块，判断是否为CC攻击。
(2)固定阈值判断方法：接收目标服务器的实时运行数据，将所述实时运行数据与设定阈值进行比较，当所述实时运行数据超过设定阈值时，判断是否为CC攻击。
(3)基于统计学方法：计算访问次数过多ip的平均访问阈值，通过比较访问次数过多ip的当前时间段的访问次数与平均访问阈值，判断是否为CC攻击。
然而，在上述现有技术中，当固定阈值或黑白名单设置不当时，普遍存在误报率较高的问题，阈值设置过高会导致有遗漏的告警，阈值设置过低会导致大量误报；利用统计平均值和标准差进行预测时，在业务流量变化时的响应速度和准确性上存在一定局限性，无法及时、灵活地对在CC攻击发生时进行告警。
发明内容
鉴于上述问题，本发明旨在提出一种能够实时并且准确地检测到CC攻击风险的CC攻击检测方法以及CC攻击检测装置。
本发明的一方面的CC攻击检测方法，其特征在于，
流量解析步骤，对于历史流量通信日志中的HTTP协议进行解析，提取单个URI的请求频次；
特征处理步骤，从所述流量解析步骤输出的单个URI的请求频次中提取规定时间内的单个URI的请求频次的时序特征作为训练集和测试集；
机器学习步骤，基于所述训练集和测试集利用机器学习算法生成预测模型，所述预测模型用于根据当前时刻的单个URI的请求频次预测下一时刻的单个URI的请求频次；以及
实时告警步骤，将根据当前时刻的单个URI的请求频次利用所述预测模型预测得到的下一时刻的单个URI的请求频次与预先设置的告警阈值进行比较，基于比较结果判断是否发出告警。
可选地，所述流量解析步骤包括：
汇聚子步骤，汇聚历史流量通信日志；
解析子步骤，从流量通信日志中解析HTTP协议的各个字段；以及
提取子步骤，从解析出的各个字段提取单个URI的请求频次并进行汇聚。
可选地，在所述提取子步骤中，以分钟级将提取的单个URI的请求频次进行汇聚。
可选地，所述特征处理步骤包括：
获取子步骤，获取所述流量解析步骤输出的单个URI的请求频次；
第一提取子步骤，提取规定时间内的单个URI的请求频次的时序特征作为训练集和测试集；
清洗子步骤，对于训练集和测试集中的数据进行数据清洗；以及
第二提取子步骤，对于清洗后的数据提取单个URI的请求频次的时序特征。
可选地，在所述第一提取子步骤中，按时序将所提取的规定时间内的单个URI的请求频次的时序特征分为训练集和测试集。
可选地，在所述第二提取子步骤中，按照滑动窗口提取此时刻的单个URI的请求频次的时序特征。
可选地，在所述第二提取子步骤中，所提取的此时刻的单个URI的请求频次的时序特征包括以下的一项或多项：
前n天同一分钟请求次数；
前n天该小时请求次数均值；以及
该时刻前24小时的请求次数均值，其中，n为正整数。
可选地，所述机器学习步骤包括：
获取子步骤，获取单个URI的请求频次的时序特征构成的训练集和测试集；
模型建立子步骤，基于所述训练集和测试集利用机器学习算法建立预测模型；以及
优化子步骤，选取URI的真实值来验证所述模型建立子步骤建立的预测模型，当利用预测模型得到的测试值与所述真实值的拟合优度不满足规定条件的情况下，优化预测模型参数直至拟合优度满足规定条件。
可选地，在所述模型建立子步骤中，按照以下公式建立多元线性回归模型：
其中，xi为时序特征，αi为回归系数，y为因变量，k为提取的时序特征的个数。
可选地，在所述第二提取子步骤中，所提取的此时刻的单个URI的请求频次的时序特征包括以下：
前n天同一分钟请求次数；
前n天该小时请求次数均值；
该时刻前24小时的请求次数均值；
节假日的权重量化；以及
营销活动的权重量化，
其中，n为正整数。
可选地，所述述机器学习算法为以下的任意一种：线性回归算法、迭代决策树算法以及渐进梯度回归算法。
本发明一方面的CC攻击检测装置，其特征在于，
流量解析模块，用于对于历史流量通信日志中的HTTP协议进行解析，提取单个URI的请求频次；
特征处理模块，用于从所述流量解析模块输出的单个URI的请求频次中提取规定时间内的单个URI的请求频次的时序特征作为训练集和测试集；
机器学习模块，用于基于所述训练集和测试集利用机器学习算法生成预测模型，所述预测模型用于根据当前时刻的单个URI的请求频次预测下一时刻的单个URI的请求频次；以及
实时告警模块，用于将根据当前时刻的单个URI的请求频次利用所述预测模型预测得到的下一时刻的单个URI的请求频次与预先设置的告警阈值进行比较，基于比较结果判断是否发出告警。
可选地，所述流量解析模块包括：
汇聚子模块，用于汇聚历史流量通信日志；
解析子模块，用于从流量通信日志中解析HTTP协议的各个字段；以及
提取子模块，用于从解析出的各个字段提取单个URI的请求频次并进行汇聚。
可选地，在所述提取子模块中，以分钟级将提取的单个URI的请求频次进行汇聚。
可选地，所述特征处理模块包括：
获取子模块，用于获取所述流量解析模块输出的单个URI的请求频次；
第一提取子模块，用于提取规定时间内的单个URI的请求频次的时序特征作为训练集和测试集；
清洗子模块，用于对于训练集和测试集中的数据进行数据清洗；以及
第二提取子模块，用于对于清洗后的数据提取单个URI的请求频次的时序特征。
可选地，在所述第一提取子模块中，按时序将所提取的规定时间内的单个URI的请求频次的时序特征分为训练集和测试集。
可选地，在所述第二提取子模块中，按照滑动窗口提取此时刻的单个URI的请求频次的时序特征。
可选地，在所述第二提取子模块中，所提取的此时刻的单个URI的请求频次的时序特征包括以下的一项或多项：
前n天同一分钟请求次数；
前n天该小时请求次数均值；以及
该时刻前24小时的请求次数均值，其中，n为正整数。
可选地，所述机器学习模块包括：
获取子模块，用于获取单个URI的请求频次的时序特征构成的训练集和测试集；
模型建立子模块，用于基于所述训练集和测试集利用机器学习算法建立预测模型；以及
优化子模块，用于选取URI的真实值来验证所述模型建立子模块建立的预测模型，当利用预测模型得到的测试值与所述真实值的拟合优度不满足规定条件的情况下，优化预测模型参数直至拟合优度满足规定条件。
可选地，在所述模型建立子模块中，按照以下公式建立多元线性回归模型：
其中，xi为时序特征，αi为回归系数，y为因变量，k为提取的时序特征的个数。
可选地，所述述机器学习算法为以下的任意一种：线性回归算法、迭代决策树算法以及渐进梯度回归算法。
本发明一方面的计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时上述的CC攻击检测方法。
本发明一方面的计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述的CC攻击检测方法。
根据本发明的CC攻击检测方法以及CC攻击检测装置，能够根据历史流量通信日志中的单个URI请求频次，通过机器学习算法得到预测模型，利用预测模型能够对于下一时刻的URI请求频次进行预测。
进一步还能够对预测模型进行优化，这样，利用优化的预测模型能够更加准确地根据实时单个URI请求频次预测出下一时间段的URI请求频次。
再者，还能够进一步结合实际业务及流量变化而实时动态地调整预测模型的阈值，能够实现更加灵活的预测。
附图说明
图1表示通过多个代理服务器向目标服务器发起CC攻击的示意图。
图2是表示本发明的CC攻击检测方法的流程的流程图。
图3是表示本发明的CC攻击检测装置的结构框图。
图4是表示本发明一实施方式的CC攻击检测方法中的流量解析步骤的具体流程的流程图。
图5是表示本发明一实施方式的CC攻击检测方法中的特征处理步骤的具体流程的流程图。
图6是表示本发明一实施方式的CC攻击检测方法中的机器学习步骤的具体流程的流程图。
图7是表示本发明一实施方式的CC攻击检测方法中的实时告警步骤的具体流程的流程图。
具体实施方式
下面介绍的是本发明的多个实施例中的一些，旨在提供对本发明的基本了解。并不旨在确认本发明的关键或决定性的要素或限定所要保护的范围。
出于简洁和说明性目的，本文主要参考其示范实施例来描述本发明的原理。但是，本领域技术人员将容易地认识到，相同的原理可等效地应用于所有类型的CC攻击检测方法以及CC攻击检测装置，并且可以在其中实施这些相同的原理，以及任何此类变化不背离本专利申请的真实精神和范围。
而且，在下文描述中，参考了附图，这些附图图示特定的示范实施例。在不背离本发明的精神和范围的前提下可以对这些实施例进行电、机械、逻辑和结构上的更改。此外，虽然本发明的特征是结合若干实施/实施例的仅其中之一来公开的，但是如针对任何给定或可识别的功能可能是期望和/或有利的，可以将此特征与其他实施/实施例的一个或多个其他特征进行组合。因此，下文描述不应视为在限制意义上的，并且本发明的范围由所附权利要求及其等效物来定义。
诸如“具备”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表述的单元(模块)和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元(模块)和步骤的情形。
在说明本发明的CC攻击检测方法之前先对于几个名词进行解释。
DDoS(Distributed Denial of Service，分布式拒绝服务)：一种分布的、协同的大规模攻击方式。
CC(Challenge Collapsar，挑战黑洞)：攻击者借助代理服务器生成指向受害主机的合法请求，实现DDOS。
URI(Uniform Resource Identifier,通一资源标志符)：用于标识某一互联网资源名称的字符串。
HTTP(Hyper Text Transfer Protocol，超文本传输协议)是一个简单的请求-响应协议。
图2是表示本发明的CC攻击检测方法的流程的流程图。
图2所示，本发明的CC攻击检测方法包括：
流量解析步骤S100：对于历史流量日志中的HTTP协议进行解析，提取各个字段并从中提取单个URI的请求频次；
特征处理步骤S200：从所述流量解析步骤S100输出的单个URI的请求频次中提取规定时间内的单个URI的请求频次的时序特征作为训练集和测试集；
机器学习步骤S300：基于所述训练集和测试集利用机器学习算法生成预测模型，所述预测模型用于根据当前时刻的单个URI的请求频次预测下一时刻的单个URI的请求频次；以及
实时告警步骤S400：将根据当前时刻的单个URI的请求频次利用所述预测模型预测得到的下一时刻的单个URI的请求频次与预先设置的告警阈值进行比较，基于比较结果判断是否发出告警。
其中，流量解析步骤S100包括(未图示)：
汇聚子步骤S110：汇聚历史流量日志，作为一个示例，例如可以汇聚历史的全量的流量日志，由此以包含全部的URI的请求频次；
解析子步骤S120：从流量日志中解析HTTP协议字段并送入消息队列；以及
提取子步骤S130：从消息队列中提取单个URI的请求频次并进行汇聚。
其中，特征处理步骤S200包括(未图示)：
获取子步骤S210：获取所述流量解析步骤S100输出的单个URI的请求频次；
第一提取子步骤S220：提取规定时间内的单个URI的请求频次的时序特征作为训练集和测试集；
清洗子步骤S230：对于训练集和测试集中的数据进行数据清洗；以及
第二提取子步骤S240：对于清洗后的数据提取单个URI的请求频次的时序特征。
其中，在第一提取子步骤S210中，按时序将所提取的规定时间内的单个URI的请求频次的时序特征分为训练集和测试集。在第二提取子步骤S240中，按照滑动窗口提取此时刻的单个URI的请求频次的时序特征。
其中，机器学习步骤S300包括(未图示)：
获取子步骤S310，获取单个URI的请求频次的时序特征构成的训练集和测试集；
模型建立子步骤S320，基于所述训练集和测试集利用机器学习算法建立预测模型；以及
优化子步骤S330，选取某一URI一段时间内的真实值来验证所述模型建立子步骤建立的预测模型，当利用预测模型建得到的测试值与所述真实值的拟合优度满足规定条件的情况下，则生成预测模型，否则优化预测模型参数直至拟合优度满足规定条件。
其中，在本发明中，机器学习算法为以下的任意一种：线性回归算法、迭代决策树算法以及渐进梯度回归算法。
图3是表示本发明的CC攻击检测装置的结构框图。
如图3所示，本发明的CC攻击检测装置包括：
流量解析模块100，用于对于历史流量通信日志中的HTTP协议进行解析，提取各个字段并从中提取单个URI的请求频次；
特征处理模块200，用于从所述流量解析模块100输出的单个URI的请求频次中提取规定时间内的单个URI的请求频次的时序特征作为训练集和测试集；
机器学习模块300，用于基于所述训练集和测试集利用机器学习算法生成预测模型，所述预测模型用于根据当前时刻的单个URI的请求频次预测下一时刻的单个URI的请求频次；以及
实时告警模块400，用于将根据当前时刻的单个URI的请求频次利用所述预测模型预测得到的下一时刻的单个URI的请求频次与预先设置的告警阈值进行比较，基于比较结果判断是否发出告警。
其中，流量解析模块100包括：
汇聚子模块110，用于汇聚历史流量通信日志；
解析子模块120，用于从流量通信日志中解析HTTP协议字段并送入消息队列；以及
提取子模块130，用于从消息队列中提取单个URI的请求频次并进行汇聚。
其中，特征处理模块200包括：
获取子模块210，用于获取所述流量解析模块100输出的单个URI的请求频次；
第一提取子模块220，用于提取规定时间内的单个URI的请求频次的时序特征作为训练集和测试集；
清洗子模块230，用于对于训练集和测试集中的数据进行数据清洗；以及
第二提取子模块240，用于对于清洗后的数据提取单个URI的请求频次的时序特征。
其中，在第一提取子模块S10中，按时序将所提取的规定时间内的单个URI的请求频次的时序特征分为训练集和测试集。在第二提取子模块240中，按照滑动窗口提取此时刻的单个URI的请求频次的时序特征。
其中，机器学习模块300包括：
获取子模块310，用于获取单个URI的请求频次的时序特征构成的训练集和测试集；
模型建立子模块320，用于基于所述训练集和测试集利用机器学习算法建立预测模型；以及
优化子模块330，用于选取某一URI一段时间内的真实值来验证所述模型建立子模块建立的预测模型，当利用预测模型建得到的测试值与所述真实值的拟合优度满足规定条件的情况下，则生成预测模型，否则优化预测模型参数直至拟合优度满足规定条件。
如上所述，根据本发明的CC攻击检测方法及其装置，能够根据历史流量通信日志中的单个URI请求频次，通过机器学习算法得到预测模型，并能够对预测模型进行优化，利用优化的预测模型能够准确地根据实时单个URI请求频次预测出下一时间段的URI请求频次。
接着，对于本发明的一个实施方式的CC攻击检测方法进行说明。
本发明一个实施方式的CC攻击检测方法的主要包括：
流量解析步骤，对流量互联网边界网络通信流量进行汇聚及解析；
特征处理步骤，实时统计单个URI分钟级汇聚请求频次作为数据源，通过特征工程对历史时序数据进行清洗及处理；
机器学习步骤，利用一种连续型数值变量预测和建模的监督学习算法对提取的特征进行训练并优化模型参数；以及
实时告警步骤，根据最新流量日志持续更新预测模型对后续请求次数进行预测，将实际请求频次与得到的动态阈值进行比较产生告警信息。
另外，上述步骤可以异步松耦合进行。
图4是表示本发明一实施方式的CC攻击检测方法中的流量解析步骤的具体流程的流程图。
如图4所示，流量解析步骤主要包括：
步骤S101：对企业互联网边界的流量网络通信流量进行汇聚；
步骤S102：对HTTP协议中每个请求解析出各字段内容(包括时间、源目IP、源目端口、请求的URL、URI、域名等)并进行提取；
步骤S103：将提取的各字段内容送入消息队列；
步骤S104：从提取的各字段内容中提取单个URI的请求频次；
步骤S105：将提取的单个URI的请求频次送入消息队列；以及
步骤S106：对提取的单个URI的请求频次进行分钟级汇聚后存入数据库。
图5是表示本发明一实施方式的CC攻击检测方法中的特征处理步骤的具体流程的流程图。
如图5所示，特征处理步骤主要包括：
步骤S2O1：从上述流量解析步骤获取单个URI的请求频次数据；
步骤S202：按照时序对于获取的单个URI的请求频次数据区分训练集和测试集；
步骤S203：对训练集和测试集的数据进行清洗；
步骤S2O4：通过滑动窗口提取单个URI的请求频次数据的时序特征；
步骤S205：将提取的单个URI的请求频次数据的时序特征存入数据库。
作为一个示例，在特征处理步骤中，获取到前2n天的单个URI的分钟级汇聚请求频次，为确保后续模型的准确性，需要尽可能多的特征用于训练，优选地为n＞7。
然后，按照时序对数据集进行分组，前n天分为训练集，后n天分为测试集。对训练集和测试集中的数据进行清洗，处理其中的无效值和缺失值。按照滑动窗口提取此时刻单个URI的下列时序特征并存入数据库中用于后续模型训练及验证，作为时序特征可以举例如下：
(1)前n天同一分钟请求次数(n项)
x1、x2......xn
(2)前n天该小时请求次数均值(n项)
xn+1、xn+2......x2n
(3)该时刻前24小时的请求次数均值(24项)
x2n+1、x2n+2......x2n+24
综上，总计k项特征值，此处k＝2n+24
x1、xx......xk
其中，k表示提取特征的项数。
图6是表示本发明一实施方式的CC攻击检测方法中的机器学习步骤的具体流程的流程图。
如图6所示，机器学习步骤主要包括：
步骤S301：获取单个URI训练集的特征数据；
步骤S302：建立线性回归模型；
步骤S303：优化模型参数；
步骤S304：利用测试集验证模型；
步骤S305：判断拟合优度高低，若低则返回步骤S303继续优化模型参数，若高则继续步骤S306；
步骤S306：生成预测模型。
作为机器算法，可以采用线性回归算法、迭代决策树算法以及渐进梯度回归算法等。以下以线性回归算法为例进行说明。
线性回归算法作为一种连续型数值变量预测和建模的监督学习算法，在本发明中采用它来对URI请求频次进行预测。
获取特征处理步骤中提供的训练集中的单个URI时序特征，建立多元线性回归模型以生成动态阈值，其公式如下：
其中，xi为特征变量，αi为回归系数，y为因变量，k为获取特征处理步骤中提取特征的项数。
使用训练集中的实际数据y1、y2......yj利用上述公式进行模型训练，其中
为Y的预估值。
预测模型的训练过程即为根据测试数据算出使得损失函数g(α)值最小的时候的α。
损失函数g(α)
当g(α)导数为0时，值最小，根据矩阵求导公式，
令
YTX＝XTXα
计算得：
d＝(XTX)-1YTX
通过测试集的数据对模型进行验证，当拟合优度低时需要持续优化模型参数，直至拟合程度满足期望，由此得到适合的预测模型以供后续步骤使用。
图7是表示本发明一实施方式的CC攻击检测方法中的实时告警步骤的具体流程的流程图。
如图7所示，实时告警步骤主要包括：
步骤S4O1：获取训练后的预测模型；
步骤S402：将实时的URI频次特征输入到预测模型；
步骤S403：利用预测模型获取该URI的下一分钟的预测频次；
步骤S404：将测试值的特定倍数设置为告警阈值；
步骤S405：判断是否连续多次大于告警阈值，若是，则继续步骤S406，否则返回步骤S402；
步骤S406：发送告警日志。
作为一个示例，机器学习预测模型完成训练后，将单个URI的实时频次特征代入到预测模型中计算得出下一分钟的预测值
可以根据实际情况将特定倍数的预测值
作为CC攻击的告警阈值。
该告警阈值能够根据实际情况实时调整。将每个时刻的单个URI实际请求频次y与设置的告警阈值进行对比，如下式所示，例如，当实际频次在一段时间内多次大于告警阈值时，即可认为发生了CC攻击行为。
θ可为一个常量，根据实际情况配置。
此时，作为告警消息，将会发送包含时间、URI、实际请求频次、预测值等具体信息的告警日志至例如安全平台。
日志格式示例如下：
time＝year-mouth-day hour:minute:second,
URI＝https://xxx.yyy/zzz,is alert＝True,
接着，对于本发明的CC攻击检测方法的变形例进行说明。
在上述的CC攻击检测方法中，可以进一步提炼相关时序特征点，考虑到在节假日、营销期间对应用的请求数与平日会有提升，也可以将节假日和营销量化作为数值加入特征中用于训练模型，变形例如下：
将节假日的权重量化，如平日权重设为p，周末权重值设为2p、小长假权重值设为3p，长假权重值设为4p；
将营销活动的权重量化，如平日权重设为q，小型营销活动权重值设为2a，大型营销活动权重值设为3q；
特征向量可更新为
x＝[x1 x2 ......xk β p γ q]
其中，β、γ可根据节假日和营销实际情况代入。
根据本发明的CC攻击检测方法以及CC攻击检测装置，能够根据历史流量通信日志中的单个URI请求频次，通过机器学习算法得到预测模型，利用预测模型能够对于下一时刻的URI请求频次进行预测。进一步还能够对预测模型进行优化，这样，利用优化的预测模型能够更加准确地根据实时单个URI请求频次预测出下一时间段的URI请求频次。再者，还能够进一步结合实际业务及流量变化而实时动态地调整预测模型的阈值，能够实现更加灵活的预测。
以上例子主要说明了本发明的CC攻击检测方法以及CC攻击检测装置。尽管只对其中一些本发明的具体实施方式进行了描述，但是本领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的，在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能涵盖各种的修改与替换。
Claims (23)
1.一种CC攻击检测方法，其特征在于，
流量解析步骤，对于历史流量日志中的HTTP协议进行解析，提取单个URI的请求频次；
特征处理步骤，从所述流量解析步骤输出的单个URI的请求频次中提取规定时间内的单个URI的请求频次的时序特征作为训练集和测试集；
机器学习步骤，基于所述训练集和测试集利用机器学习算法生成预测模型，所述预测模型用于根据当前时刻的单个URI的请求频次预测下一时刻的单个URI的请求频次；以及
实时告警步骤，将根据当前时刻的单个URI的请求频次利用所述预测模型预测得到的下一时刻的单个URI的请求频次与预先设置的告警阈值进行比较，基于比较结果判断是否发出告警。
2.如权利要求1所述的CC攻击检测方法，其特征在于，所述流量解析步骤包括：
汇聚子步骤，汇聚历史流量通信日志；
解析子步骤，从流量通信日志中解析HTTP协议的各个字段；以及
提取子步骤，从解析出的各个字段提取单个URI的请求频次并进行汇聚。
3.如权利要求1所述的CC攻击检测方法，其特征在于，
在所述提取子步骤中，以分钟级将提取的单个URI的请求频次进行汇聚。
4.如权利要求1所述的CC攻击检测方法，其特征在于，所述特征处理步骤包括：
获取子步骤，获取所述流量解析步骤输出的单个URI的请求频次；
第一提取子步骤，提取规定时间内的单个URI的请求频次的时序特征作为训练集和测试集；
清洗子步骤，对于训练集和测试集中的数据进行数据清洗；以及
第二提取子步骤，对于清洗后的数据提取单个URI的请求频次的时序特征。
5.如权利要求4所述的CC攻击检测方法，其特征在于，
在所述第一提取子步骤中，按时序将所提取的规定时间内的单个URI的请求频次的时序特征分为训练集和测试集。
6.如权利要求4所述的CC攻击检测方法，其特征在于，
在所述第二提取子步骤中，提取特定时刻的单个URI的请求频次的时序特征。
7.如权利要求4所述的CC攻击检测方法，其特征在于，
在所述第二提取子步骤中，所提取的此时刻的单个URI的请求频次的时序特征包括以下的一项或多项：
前n天同一分钟请求次数；
前n天该小时请求次数均值；以及
该时刻前24小时的请求次数均值，其中，n为正整数。
8.如权利要求7所述的CC攻击检测方法，其特征在于，所述机器学习步骤包括：
获取子步骤，获取单个URI的请求频次的时序特征构成的训练集和测试集；
模型建立子步骤，基于所述训练集和测试集利用机器学习算法建立预测模型；以及
优化子步骤，选取URI的真实值来验证所述模型建立子步骤建立的预测模型，当利用预测模型得到的测试值与所述真实值的拟合优度不满足规定条件的情况下，优化预测模型参数直至拟合优度满足规定条件。
9.如权利要求8所述的CC攻击检测方法，其特征在于，
在所述模型建立子步骤中，按照以下公式建立多元线性回归模型：
其中，
为时序特征，
为回归系数，y为因变量，k为提取的时序特征的个数。
10.如权利要求7所述的CC攻击检测方法，其特征在于，
在所述第二提取子步骤中，所提取的此时刻的单个URI的请求频次的时序特征包括以下：
前n天同一分钟请求次数；
前n天该小时请求次数均值；
该时刻前24小时的请求次数均值；
节假日的权重量化；以及
营销活动的权重量化，
其中，n为正整数。
11.如权利要求1所述的CC攻击检测方法，其特征在于，
所述述机器学习算法为以下的任意一种：线性回归算法、迭代决策树算法以及渐进梯度回归算法。
12.一种CC攻击检测装置，其特征在于，
流量解析模块，用于对于历史流量通信日志中的HTTP协议进行解析，提取单个URI的请求频次；
特征处理模块，用于从所述流量解析模块输出的单个URI的请求频次中提取规定时间内的单个URI的请求频次的时序特征作为训练集和测试集；
机器学习模块，用于基于所述训练集和测试集利用机器学习算法生成预测模型，所述预测模型用于根据当前时刻的单个URI的请求频次预测下一时刻的单个URI的请求频次；以及
实时告警模块，用于将根据当前时刻的单个URI的请求频次利用所述预测模型预测得到的下一时刻的单个URI的请求频次与预先设置的告警阈值进行比较，基于比较结果判断是否发出告警。
13.如权利要求12所述的CC攻击检测装置，其特征在于，所述流量解析模块包括：
汇聚子模块，用于汇聚历史流量通信日志；
解析子模块，用于从流量通信日志中解析HTTP协议的各个字段；以及
提取子模块，用于从解析出的各个字段提取单个URI的请求频次并进行汇聚。
14.如权利要求13所述的CC攻击检测装置，其特征在于，
在所述提取子模块中，以分钟级将提取的单个URI的请求频次进行汇聚。
15.如权利要求13所述的CC攻击检测装置，其特征在于，所述特征处理模块包括：
获取子模块，用于获取所述流量解析模块输出的单个URI的请求频次；
第一提取子模块，用于提取规定时间内的单个URI的请求频次的时序特征作为训练集和测试集；
清洗子模块，用于对于训练集和测试集中的数据进行数据清洗；以及
第二提取子模块，用于对于清洗后的数据提取单个URI的请求频次的时序特征。
16.如权利要求15所述的CC攻击检测装置，其特征在于，
在所述第一提取子模块中，按时序将所提取的规定时间内的单个URI的请求频次的时序特征分为训练集和测试集。
17.如权利要求15所述的CC攻击检测装置，其特征在于，
在所述第二提取子模块中，按照滑动窗口提取此时刻的单个URI的请求频次的时序特征。
18.如权利要求15所述的CC攻击检测装置，其特征在于，
在所述第二提取子模块中，所提取的此时刻的单个URI的请求频次的时序特征包括以下的一项或多项：
前n天同一分钟请求次数；
前n天该小时请求次数均值；以及
该时刻前24小时的请求次数均值，其中，n为正整数。
19.如权利要求15所述的CC攻击检测装置，其特征在于，所述机器学习模块包括：
获取子模块，用于获取单个URI的请求频次的时序特征构成的训练集和测试集；
模型建立子模块，用于基于所述训练集和测试集利用机器学习算法建立预测模型；以及
优化子模块，用于选取URI的真实值来验证所述模型建立子模块建立的预测模型，当利用预测模型得到的测试值与所述真实值的拟合优度不满足规定条件的情况下，优化预测模型参数直至拟合优度满足规定条件。
20.如权利要求19所述的CC攻击检测装置，其特征在于，
在所述模型建立子模块中，按照以下公式建立多元线性回归模型：
其中，
为时序特征，
为回归系数，y为因变量，k为提取的时序特征的个数。
21.如权利要求12所述的CC攻击检测装置，其特征在于，
所述述机器学习算法为以下的任意一种：线性回归算法、迭代决策树算法以及渐进梯度回归算法。
22.一种计算机可读介质，其上存储有计算机程序，其特征在于，
该计算机程序被处理器执行时实现权利要求1~11任意一项所述的CC攻击检测方法。
23.一种计算机设备，包括存储模块、处理器以及存储在存储模块上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1~11任意一项所述的CC攻击检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111240736.2A CN114499917B (zh) | 2021-10-25 | 2021-10-25 | Cc攻击检测方法及cc攻击检测装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111240736.2A CN114499917B (zh) | 2021-10-25 | 2021-10-25 | Cc攻击检测方法及cc攻击检测装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114499917A true CN114499917A (zh) | 2022-05-13 |
| CN114499917B CN114499917B (zh) | 2024-01-09 |
Family
ID=81492933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111240736.2A Active CN114499917B (zh) | 2021-10-25 | 2021-10-25 | Cc攻击检测方法及cc攻击检测装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114499917B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117792794A (zh) * | 2024-02-23 | 2024-03-29 | 贵州华谊联盛科技有限公司 | 一种网络威胁情报分析方法、设备及系统 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110006565A (ko) * | 2009-07-14 | 2011-01-20 | 한국전자통신연구원 | 분산서비스거부 공격 탐지장치 및 방법 |
| US20110099622A1 (en) * | 2009-10-22 | 2011-04-28 | Tai Jin Lee | Apparatus for detecting and filtering application layer ddos attack of web service |
| US20110107412A1 (en) * | 2009-11-02 | 2011-05-05 | Tai Jin Lee | Apparatus for detecting and filtering ddos attack based on request uri type |
| US20130042319A1 (en) * | 2011-08-10 | 2013-02-14 | Sangfor Networks Company Limited | Method and apparatus for detecting and defending against cc attack |
| US20130104230A1 (en) * | 2011-10-21 | 2013-04-25 | Mcafee, Inc. | System and Method for Detection of Denial of Service Attacks |
| CN103744928A (zh) * | 2013-12-30 | 2014-04-23 | 北京理工大学 | 一种基于历史访问记录的网络视频分类方法 |
| US8744988B1 (en) * | 2011-07-15 | 2014-06-03 | Google Inc. | Predicting user navigation events in an internet browser |
| CN103905439A (zh) * | 2014-03-25 | 2014-07-02 | 重庆邮电大学 | 一种基于家庭网关的加速网页浏览方法 |
| CN104967629A (zh) * | 2015-07-16 | 2015-10-07 | 网宿科技股份有限公司 | 网络攻击检测方法及装置 |
| CN106789849A (zh) * | 2015-11-24 | 2017-05-31 | 阿里巴巴集团控股有限公司 | Cc攻击识别方法、节点及系统 |
| CN109257390A (zh) * | 2018-11-27 | 2019-01-22 | 杭州安恒信息技术股份有限公司 | Cc攻击的检测方法、装置及电子设备 |
| CN109525551A (zh) * | 2018-10-07 | 2019-03-26 | 杭州安恒信息技术股份有限公司 | 一种基于统计机器学习的cc攻击防护的方法 |
| WO2019128529A1 (zh) * | 2017-12-28 | 2019-07-04 | 阿里巴巴集团控股有限公司 | Url攻击检测方法、装置以及电子设备 |
| US20190215330A1 (en) * | 2018-01-07 | 2019-07-11 | Microsoft Technology Licensing, Llc | Detecting attacks on web applications using server logs |
| CN110602137A (zh) * | 2019-09-25 | 2019-12-20 | 光通天下网络科技股份有限公司 | 恶意ip和恶意url拦截方法、装置、设备及介质 |
| CN110784460A (zh) * | 2019-10-23 | 2020-02-11 | 国家计算机网络与信息安全管理中心 | 一种通话攻击检测方法、装置及可读存储介质 |
| CN111600894A (zh) * | 2020-05-20 | 2020-08-28 | 新华三信息安全技术有限公司 | 一种网络攻击检测方法及装置 |
| CN112350974A (zh) * | 2019-08-07 | 2021-02-09 | 中国移动通信集团广东有限公司 | 物联网的安全监测方法、装置及电子设备 |
| CN112866281A (zh) * | 2021-02-07 | 2021-05-28 | 辽宁科技大学 | 一种分布式实时DDoS攻击防护系统及方法 |
-
2021
- 2021-10-25 CN CN202111240736.2A patent/CN114499917B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110006565A (ko) * | 2009-07-14 | 2011-01-20 | 한국전자통신연구원 | 분산서비스거부 공격 탐지장치 및 방법 |
| US20110099622A1 (en) * | 2009-10-22 | 2011-04-28 | Tai Jin Lee | Apparatus for detecting and filtering application layer ddos attack of web service |
| US20110107412A1 (en) * | 2009-11-02 | 2011-05-05 | Tai Jin Lee | Apparatus for detecting and filtering ddos attack based on request uri type |
| KR20110048112A (ko) * | 2009-11-02 | 2011-05-11 | 한국인터넷진흥원 | Ｕｒｉ 타입 기반 디도스 공격 탐지 및 대응 장치 |
| US8744988B1 (en) * | 2011-07-15 | 2014-06-03 | Google Inc. | Predicting user navigation events in an internet browser |
| US20130042319A1 (en) * | 2011-08-10 | 2013-02-14 | Sangfor Networks Company Limited | Method and apparatus for detecting and defending against cc attack |
| US20130104230A1 (en) * | 2011-10-21 | 2013-04-25 | Mcafee, Inc. | System and Method for Detection of Denial of Service Attacks |
| CN103744928A (zh) * | 2013-12-30 | 2014-04-23 | 北京理工大学 | 一种基于历史访问记录的网络视频分类方法 |
| CN103905439A (zh) * | 2014-03-25 | 2014-07-02 | 重庆邮电大学 | 一种基于家庭网关的加速网页浏览方法 |
| CN104967629A (zh) * | 2015-07-16 | 2015-10-07 | 网宿科技股份有限公司 | 网络攻击检测方法及装置 |
| CN106789849A (zh) * | 2015-11-24 | 2017-05-31 | 阿里巴巴集团控股有限公司 | Cc攻击识别方法、节点及系统 |
| WO2019128529A1 (zh) * | 2017-12-28 | 2019-07-04 | 阿里巴巴集团控股有限公司 | Url攻击检测方法、装置以及电子设备 |
| US20190215330A1 (en) * | 2018-01-07 | 2019-07-11 | Microsoft Technology Licensing, Llc | Detecting attacks on web applications using server logs |
| CN109525551A (zh) * | 2018-10-07 | 2019-03-26 | 杭州安恒信息技术股份有限公司 | 一种基于统计机器学习的cc攻击防护的方法 |
| CN109257390A (zh) * | 2018-11-27 | 2019-01-22 | 杭州安恒信息技术股份有限公司 | Cc攻击的检测方法、装置及电子设备 |
| CN112350974A (zh) * | 2019-08-07 | 2021-02-09 | 中国移动通信集团广东有限公司 | 物联网的安全监测方法、装置及电子设备 |
| CN110602137A (zh) * | 2019-09-25 | 2019-12-20 | 光通天下网络科技股份有限公司 | 恶意ip和恶意url拦截方法、装置、设备及介质 |
| CN110784460A (zh) * | 2019-10-23 | 2020-02-11 | 国家计算机网络与信息安全管理中心 | 一种通话攻击检测方法、装置及可读存储介质 |
| CN111600894A (zh) * | 2020-05-20 | 2020-08-28 | 新华三信息安全技术有限公司 | 一种网络攻击检测方法及装置 |
| CN112866281A (zh) * | 2021-02-07 | 2021-05-28 | 辽宁科技大学 | 一种分布式实时DDoS攻击防护系统及方法 |
Non-Patent Citations (5)
| Title |
|---|
| AMIT PRASEED; P. SANTHI THILAGAM: "DDoS Attacks at the Application Layer: Challenges and Research Perspectives for Safeguarding Web Applications", 《IEEE》, vol. 21, no. 1, pages 661, XP011711818, DOI: 10.1109/COMST.2018.2870658 * |
| MUHUI JIANG; CHENXU WANG; XIAPU LUO; MIUTUNG MIU: "Characterizing the Impacts of Application Layer DDoS Attacks", 《IEEE》 * |
| 刘书林: "基于网络行为分析的DDoS攻击检测技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 景泓斐，张琨，蔡冰，余龙华: "基于BP神经网络的应用层DDoS检测方法", 《计算机工程与应用》, vol. 55, no. 20 * |
| 景泓斐: "应用层拒绝服务攻击检测方法的研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117792794A (zh) * | 2024-02-23 | 2024-03-29 | 贵州华谊联盛科技有限公司 | 一种网络威胁情报分析方法、设备及系统 |
| CN117792794B (zh) * | 2024-02-23 | 2024-04-26 | 贵州华谊联盛科技有限公司 | 一种网络威胁情报分析方法、设备及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114499917B (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11463457B2 (en) | Artificial intelligence (AI) based cyber threat analyst to support a cyber security appliance | |
| CN109951500B (zh) | 网络攻击检测方法及装置 | |
| EP3652914B1 (en) | Cyberanalysis workflow acceleration | |
| US11425148B2 (en) | Identifying malicious network devices | |
| CN109600363B (zh) | 一种物联网终端网络画像及异常网络访问行为检测方法 | |
| US20110261710A1 (en) | Analysis apparatus and method for abnormal network traffic | |
| Marchetti et al. | Identification of correlated network intrusion alerts | |
| CN113704328B (zh) | 基于人工智能的用户行为大数据挖掘方法及系统 | |
| Alashhab et al. | Low-rate DDoS attack detection using deep learning for SDN-enabled IoT networks | |
| KR100950079B1 (ko) | 은닉마코프 모델을 이용한 확률적인 네트워크 이상징후탐지 장치 및 그 방법 | |
| CN114499917B (zh) | Cc攻击检测方法及cc攻击检测装置 | |
| US11050771B2 (en) | Information processing apparatus, communication inspecting method and medium | |
| CN115296904A (zh) | 域名反射攻击检测方法及装置、电子设备、存储介质 | |
| CN112287252B (zh) | 网站域名劫持检测方法、装置、设备及存储介质 | |
| CN110784483B (zh) | 一种基于dga异常域名的事件检测系统及方法 | |
| CN114338189B (zh) | 基于节点拓扑关系链的态势感知防御方法、装置及系统 | |
| CN114513369B (zh) | 基于深度报文检测的物联网行为分析方法及系统 | |
| CN113596051B (zh) | 检测方法、检测装置、电子设备、介质和计算机程序 | |
| CN117749493A (zh) | 基于DDoS的网络流量预测方法、装置、设备和介质 | |
| Onishchenko et al. | Investigation of associative rule search method for detection of cyber incidents in information management systems and security events using CICIDS2018 test data set | |
| CN117897702A (zh) | 用于自动评估网络流量签名的质量的系统和方法 | |
| WO2024115310A1 (en) | Monitoring system | |
| CN117978450A (zh) | 一种安全检测方法、装置、设备及存储介质 | |
| CN117955729A (zh) | 一种基于流量的恶意软件检测方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |