CN113949527A - 异常访问的检测方法、装置、电子设备及可读存储介质 - Google Patents
异常访问的检测方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN113949527A CN113949527A CN202111045826.6A CN202111045826A CN113949527A CN 113949527 A CN113949527 A CN 113949527A CN 202111045826 A CN202111045826 A CN 202111045826A CN 113949527 A CN113949527 A CN 113949527A
- Authority
- CN
- China
- Prior art keywords
- access
- target application
- data
- logic
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims abstract description 87
- 238000012549 training Methods 0.000 claims abstract description 69
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 230000004044 response Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 238000004458 analytical method Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000002547 anomalous effect Effects 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000006399 behavior Effects 0.000 abstract description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1433—Vulnerability analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1441—Countermeasures against malicious traffic
Abstract
本申请公开了一种异常访问的检测方法、装置、电子设备及可读存储介质，其方法包括：获取目标应用的训练用数据流量；对所述训练用数据流量进行特征提取，得到流量数据特征；基于监督学习与无监督学习的结合，对所述流量数据特征进行特征转换，以学习所述目标应用的底层逻辑、访问逻辑和业务逻辑，得到所述目标应用的安全防护模型；基于所述安全防护模型，对目标应用的异常访问进行识别。本申请基于人工智能方法，能够高效、准确的对攻击行为进行智能识别，尤其是对0‑day漏洞的攻击行为；显著提高了互联网应用系统的安全性，适用性广，准确度高。
Description
技术领域
本申请涉及互联网技术领域，具体涉及一种异常访问的检测方法、装置、电子设备及可读存储介质。
背景技术
随着互联网技术的高速发展，越来越多的用户通过Web应用访问互联网中的服务器或其他终端，但是在访问中存在很多攻击行为，如SQL注入，高危可持续威胁攻击(Advanced Persistent Threat，APT)等等，这对连接于互联网的服务器或其他终端造成很大的安全隐患。在现有技术中，对于异常访问的拦截通常基于异常访问的IP，或者通过设置一些简单的拦截规则，根据访问的特征进行拦截，但这些方法非常容易被规避，尤其对于攻击者掌握，而未被系统未修复的漏洞(0-day漏洞)的攻击，现有方法识别效率低下，准确度低。
发明内容
本申请实施例提供了一种异常访问的检测方法、装置、电子设备及可读存储介质，以克服或者至少部分克服现有技术的不足。
第一方面，提供了一种异常访问的检测方法，由安全服务器执行，所述方法包括：
获取目标应用的训练用数据流量；
对所述训练用数据流量进行特征提取，得到流量数据特征；
基于监督学习与无监督学习的结合，对所述流量数据特征进行特征转换，以学习所述目标应用的底层逻辑、访问逻辑和业务逻辑，得到所述目标应用的安全防护模型；
基于所述安全防护模型，对目标应用的异常访问进行检测。
可选的，上述方法还包括：
对识别出的异常访问，按照源、目的、攻击类型、概念验证内容进行分类和汇总，形成攻击情报文件。
可选的，在上述方法中，所述获取目标应用的训练用数据流量包括：
在用户终端提供安全应用程序；
将基于目标协议的，对目标应用的访问流量引入所述安全应用程序；
通过所述安全应用程序获取对目标应用的访问流量；
对所述访问流量进行参数化处理及分析，以得到对目标应用的正常访问流量和风险访问流量；
将所述正常访问流量和风险访问流量作为所述训练用数据流量。
可选的，在上述方法中，所述训练用数据流量为基于http或https协议的应用请求和应用响应；
所述对所述训练用数据流量进行特征提取，得到流量数据特征包括：
分别获取所述应用请求和所述应用响应的包头参数和参数值、时间、事件分类、上下文信息、源以及目的，作为所述流量数据特征。
可选的，在上述方法中，所述基于监督学习与无监督学习的结合，对所述流量数据特征进行特征转换，以学习所述目标应用的底层逻辑、访问逻辑和业务逻辑，得到所述目标应用的安全防护模型包括：
基于无监督学习方法，对所述流量数据特征进行升维，对升维后的数据建立关联，得到表征目标应用的底层逻辑、访问逻辑和业务逻辑的第一高维度数据，将所述第一高维度数据投影为第一低维度数据，以建立安全防护初级模型；
基于监督学习方法，对所述训练用数据流量进行分类学习，将表征所述训练用数据流量的流量数据特征的第二高维度数据，投影为第二低维度数据，根据所述第二低维度数据对所述安全防护初级模型的参数进行优化，得到安全防护模型。
可选的，在上述方法中，所述对升维后的数据建立关联，得到表征目标应用的底层逻辑、访问逻辑和业务逻辑的第一高维度数据包括：
使用矩阵表示所述升维后的数据在不同维度的关联性，得到目标应用的底层逻辑，所述底层逻辑包括目标应用的基本架构、目录结构和资源；
确定所述训练用数据流量与所述目录结构的关联性，得到目标应用的业务逻辑；
确定不同来源的训练用数据流量基于所述业务逻辑的关联性，得到目标应用的访问逻辑；
将表征目标应用的底层逻辑、访问逻辑和业务逻辑的数据作为第一高维度数据。
可选的，在上述方法中，所述基于所述安全防护模型，对目标应用的异常访问进行识别包括：
将对目标应用的访问输入所述安全防护模型，以使所述安全防护模型对所述访问的底层逻辑、访问逻辑和业务逻辑进行识别，从而实现对异常访问的检测。
第二方面，提供了一种异常访问的检测装置，应用于安全服务器，该装置包括：
获取单元，用于获取目标应用的训练用数据流量；
特征提取单元，用于对所述训练用数据流量进行特征提取，得到流量数据特征；
模型训练单元，用于基于监督学习与无监督学习的结合，对所述流量数据特征进行特征转换，以学习所述目标应用的底层逻辑、访问逻辑和业务逻辑，得到所述目标应用的安全防护模型；
识别单元，用于基于所述安全防护模型，对目标应用的异常访问进行检测。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行上述任一的方法。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行上述任一的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：
本申请通过监督学习与无监督学习的结合的方式，对目标应用的访问流量数据的特征进行学习，从而实现对目标应用的底层逻辑、访问逻辑和业务逻辑的三重逻辑的学习，得到为目标应用“量身裁定”的安全防护模型，该安全防护模型能对访问实现高效的识别，从而区分正常访问和异常访问，达到对攻击行为实现拦截的目的。本申请基于人工智能方法，能够高效、准确的对攻击行为进行智能识别，尤其是对0-day漏洞的攻击行为；显著提高了互联网应用系统的安全性，适用性广，准确度高。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1示出根据本申请的一个实施例的异常访问的检测方法的流程示意图；
图2示出根据本申请的一个实施例的异常访问的检测装置的结构示意图；
图3为本申请实施例中一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
以下结合附图，详细说明本申请各实施例提供的技术方案。
在人们通过Web应用访问互联网的过程中，经常遭受攻击行为，如高级可持续威胁攻击，简称APT，也称为定向威胁攻击，是指某组织对特定对象展开的持续有效的攻击活动。这种攻击活动具有极强的隐蔽性和针对性,通常会运用受感染的各种介质、供应链和社会工程学等多种手段实施先进的、持久的且有效的威胁和攻击。又如SQL注入，指web应用程序对用户输入数据的合法性没有判断或过滤不严，攻击者可以在web应用程序中事先定义好的查询语句的结尾上添加额外的SQL语句，在管理员不知情的情况下实现非法操作，以此来实现欺骗数据库服务器执行非授权的任意查询，从而进一步得到相应的数据信息。除此之外，还包括分布式拒绝服务攻击(Distributed denial of service attack，DDos)等。
现有技术，对于攻击行为的识别存在效率低下、准确度低等缺陷，针对这种现状，本申请提出了一种异常访问的检测方法，利用人工智能的方式，快速、高效的对攻击行为进行识别。
图1示出根据本申请的一个实施例的异常访问的检测方法的流程示意图，该方法可由安全服务器执行，从图1可以看出，本申请至少包括步骤S110～步骤S140：
步骤S110：获取目标应用的训练用数据流量。
本申请中的应用包括但不限于Web应用，如留言板、聊天室、论坛等，都属于Web应用。Web应用的主要表现形式有超文本、超媒体，以及超文本传输协议等。
在训练的过程中，首先获取对目标应用的训练用数据流量，这里的训练用数据流量可以是，一段时间内，对目标应用全部的访问数据流量，包括正常访问和异常访问；且需要说明的是，这个数据流量指的是广义的流量，包括对目标应用的请求，也包括目标应用对请求的响应，还包括函数调用等。
需要注意的是，在现有技术中，对目标应用的访问数据流量是直接到达目标应用，在本申请中，不同于现有技术之处在于，需要将这部分流量“拦截”到执行本申请的安全服务器中，具体的，可以通过旁路反向代理的方式将目标应用的访问流量切换到安全服务器中来，以此，确保安全服务器可以和应用建立正常访问。
步骤S120：对训练用数据流量进行特征提取，得到流量数据特征。
然后对训练用数据流量进行特征提取，特征提取的对象包括但不限于对请求和响应的头部(header)信息，以及请求和响应的载荷(payload)信息；具体的，包含头部信息的多个字段，以及载荷信息的多个字段，其中，头部信息的字段包含但不限于字段类型，值的组成，值内容的分布等等，载荷信息的字段包含但不限于字符类型、数据、字符分布等等。
在本申请的一些实施例中，训练用数据流量为基于http或https协议的应用请求和应用响应；对训练用数据流量进行特征提取，得到流量数据特征包括：分别获取应用请求和应用响应的包头参数和参数值、时间、事件分类、上下文信息、源以及目的，作为流量数据特征。
步骤S130：基于监督学习与无监督学习的结合，对流量数据特征进行特征转换，以学习目标应用的底层逻辑、访问逻辑和业务逻辑，得到目标应用的安全防护模型。
在训练的过程中，通过对目标应用的数据流量的特征，基于监督学习和无监督学习结合算法，采用算法内部的安全爬虫实现对应用的底层逻辑学习、访问逻辑学习和业务逻辑的学习，从而做到对目标应用的完全掌握，形成对目标应用的“量体裁衣”式的安全防护模型。
访问目标应用的请求、目标应用对于请求的响应，以及函数调用指令这些流量产生的数据流量特征中，都会包含有目标应用的信息，通过对这些特征进行特征转换，即可以学习到目标应用的三重逻辑，这三重逻辑分别为底层逻辑、访问逻辑和业务逻辑，从而建立起目标应用的个性化安全防护模型。
对于特征转换的过程，可以监督学习与无监督学习的结合的方式实现，监督学习，是指数据集中样本都有相应的“正确答案”，即标签。按照结果是否连续分为回归和分类两种，回归问题：即通过回归来推出一个连续的输出；分类问题：其目标是推出一组离散值。无监督学习，是指数据样本没有任何的标签或者是有相同的标签或者就是没标签，从数据中找到某种结构，无监督学习就能判断出数据有两个不同的聚集簇，这是一个，那是另一个，二者不同。无监督学习算法可能会把这些数据分成两个不同的簇。所以叫做聚类算法，没有给算法正确答案来回应数据集中的数据，所以这就是无监督学习，结果是不确定的。
在本申请的一些实施例中，可以先基于无监督学习方法，对所有的访问流量的特征进行学习，生成一个安全防护初始模型；然后基于监督的方法，对含有标签的访问流量的特征进行学习，以优化安全防护初始模型的参数，得到识别准确度更高的安全防护模型。
步骤S140：基于安全防护模型，对目标应用的异常访问进行检测。
在测试过程中，通过建立的安全防护模型对目标应用的用户请求进行识别，以区分正常访问和异常访问。
由于本申请的方法学习到了目标应用的业务框架和业务逻辑，相对于现有技术中根据访问流量的IP地址等方法做出的拦截，更加具有针对性，做到对已知攻击和未知攻击请求的实时无延迟威胁阻断防御，真正做到对目标应用的主动防护。且本申请仅对目标应用的有限的业务特征进行学习，训练规模小，计算量小，硬件投入成本低。
由图1所示的方法可以看出，本申请通过监督学习与无监督学习的结合的方式，对目标应用的访问流量数据的特征进行学习，从而实现对目标应用的底层逻辑、访问逻辑和业务逻辑的三重逻辑的学习，得到为目标应用“量身裁定”的安全防护模型，该安全防护模型能对访问实现高效的识别，从而区分正常访问和异常访问，达到对攻击行为实现拦截的目的。本申请基于人工智能方法，能够高效、准确的对攻击行为进行智能识别，尤其是对0-day漏洞的攻击行为；显著提高了互联网应用系统的安全性，适用性广，准确度高。
在本申请的一些实施例中，还能够自动生成安全情报，如将对识别出的异常访问，按照源、目的、攻击类型、概念验证内容(Proof Of Concept，POC)等多个维度进行分类、分析和汇总，形成标准化的或定制化的攻击情报文件，以便运维人员参考。
在本申请的一些实施例中，对于训练用数据流量可以先进行分类个标注，以便后续训练使用，如采用下述方式获取目标应用的训练用数据流量，具体可包括但不限于：在用户终端提供安全应用程序；将基于目标协议的，对目标应用的访问流量引入所述安全应用程序；通过所述安全应用程序获取对目标应用的访问流量；对所述访问流量进行参数化处理及分析，以得到对目标应用的正常访问流量和风险访问流量；将所述正常访问流量和风险访问流量作为所述训练用数据流量。
为了获取流量，可以在用户终端提供安全应用程序，该安全应用程序与服务器端的安全服务器连接，安全应用程序负责对流量进行“拦截”，并引入至服务器端的安全服务器中。
Web应用通常是基于http或者https通讯协议的，将这俩中协议设为目标协议，安全应用程序将基于目标协议的对于目标应用的访问流量进行“拦截”，并引入至安全服务器中。
对目标应用初次访问流量都是认为不可信的，安全服务器可以将这些流量做一个初级的分类，具体的，可以对这些流量进行参数化处理及分析，以得到对目标应用的正常访问流量和风险访问流量；将正常访问流量和风险访问流量作为训练用数据流量。
在本申请的一些实施例中，将所有流量保存在安全服务器的缓存里，通过算法针对请求、响应、函数调用等一系列的状态参数化，然后这些参数在神经网络里做卷积，将卷积的结果再做分析，可以识别出一部分正常的访问；另一部分分析后认为有风险的会告警，然后根据再次学习结果分析，从有风险的访问流量中，在获取一部分正常的访问，将剩余的访问流量作为风险访问流量。
进一步的，可以通过这个初级的分类，对访问流量作出标签，以作为训练用数据流量。
在本申请的一些实施例中，在训练过程中，正常访问流量和风险访问流量均需要用到。首先可以，基于无监督学习方法，对不含有标签的所有的流量数据进行聚类计算和学习，具体的，对训练用数据流量的流量数据特征进行升维，对升维后的数据建立关联，这个关联就是表征目标应用的底层逻辑、访问逻辑和业务逻辑的第一高维度数据，然后通过线性变换、消除噪声以及冗余数据后，将第一高维度数据投影为第一低维度数据，通过机器学习自动调整模型参数，生成安全防护初级模型。
其中，底层逻辑、访问逻辑和业务逻辑这三重逻辑的学习，首先是底层逻辑的学习，具体的，使用矩阵表示升维后的数据在不同维度的关联性，这个关联性就是目标应用的底层逻辑，底层逻辑主要包括目标应用的基本架构、目录结构和资源等等；进一步的，确定训练用数据流量与目录结构的关联性，这个关联性就是目标应用的业务逻辑；最后，训练用数据流量中不同来源的访问流量基于业务逻辑的关联性，就是目标应用的访问逻辑；从而一步步得到了表征目标应用的底层逻辑、访问逻辑和业务逻辑的数据作为第一高维度数据。
也就是说，在进行无监督学习时，仅需要将被保护的目标应用的流量牵引过来，通过算法规则对已经通过请求和响应的包头参数和参数值、时间、事件分类、请求和响应上下文、源和目的这些信息升维后的数据进行数据分类，再通过线性变换，消除噪声和冗余数据后，将高纬数据投影到低维空间，通过机器自动调整参数，生成安全防护初级模型。
在本申请的一些实施例中，无监督学习方主成分分析法(principal componentsanalysis，PCA)法可以为但不限于常用于高维数据的降维，可用于提取数据的主要特征分量。
然后基于监督学习的方法，对上述安全防护初级模型的参数作出进一步的调整，以提高安全防护初级模型的准确性。具体的，基于监督学习方法，对带有标签的训练用数据流量进行分类学习，将表征训练用数据流量的流量数据特征的第二高维度数据，投影为第二低维度数据，根据第二低维度数据对安全防护初级模型的参数进行优化，得到安全防护模型。
也就是说，在监督学习中，采用正负样本的形式进行了学习，将这两类数据样本进行多层处理后降维，得到降维后的特征分布，通过机器自动的调整和优化参数，从对通过无监督学习方法得到的安全防护初级模型进行了优化，得到针对目标应用的个性化安全防护模型，通过安全防护模型的识别完全可以区分出正常的业务访问和攻击访问。
在本申请的一些实施例中，监督学习方法可以但不限于线性判别分析(LDA算法)，在这种方法中，同一类别的尽量接近，不同类别的类别中心之间的距离尽可能远；不仅可以用于将为还可以用于分类。在本申请的一些实施例中，通过LDA和PCA算法将请求和响应的参数，进行分类后，从二维数据投影到一维，进行降维处理，从而区分出正常访问和攻击访问。LDA和PCA算法对数据的具体处理过程可参考现有技术。
需要说明的是，对于目标应用，在一次训练中，可以为一个，也可以为具有共性的多个，以提高训练效率。
在测试过程中，同训练过程一致，是对于应用请求的三重逻辑进行识别，具体的，将对目标应用的访问输入安全防护模型，以使安全防护模型对目标应用的访问的底层逻辑、访问逻辑和业务逻辑进行识别，从而实现对异常访问的检测。测试过程中，三重逻辑的确定方法与训练过程一致，这里不再赘述。
图2示出根据本申请的一个实施例的异常访问的检测装置的结构示意图，该装置可部署在安全服务器中，从图2可以看出，该异常访问的检测装置200，包括：
获取单元210，用于获取目标应用的训练用数据流量；
特征提取单元220，用于对所述训练用数据流量进行特征提取，得到流量数据特征；
模型训练单元230，用于基于监督学习与无监督学习的结合，对所述流量数据特征进行特征转换，以学习所述目标应用的底层逻辑、访问逻辑和业务逻辑，得到所述目标应用的安全防护模型；
识别单元240，用于基于所述安全防护模型，对目标应用的异常访问进行检测。
在本申请的一些实施例中，上述装置还包括：情报生成装置，用于对识别出的异常访问，按照源、目的、攻击类型、概念验证内容进行分类和汇总，形成攻击情报文件。
在本申请的一些实施例中，在上述装置中，获取单元210，用于在用户终端提供安全应用程序；将基于目标协议的，对目标应用的访问流量引入所述安全应用程序；通过所述安全应用程序获取对目标应用的访问流量；对所述访问流量进行参数化处理及分析，以得到对目标应用的正常访问流量和风险访问流量；将所述正常访问流量和风险访问流量作为所述训练用数据流量。
在本申请的一些实施例中，在上述装置中，所述训练用数据流量为基于http或https协议的应用请求和应用响应；特征提取单元220，用于分别获取所述应用请求和所述应用响应的包头参数和参数值、时间、事件分类、上下文信息、源以及目的，作为所述流量数据特征。
在本申请的一些实施例中，在上述装置中，模型训练单元230，用于基于无监督学习方法，对所述流量数据特征进行升维，对升维后的数据建立关联，得到表征目标应用的底层逻辑、访问逻辑和业务逻辑的第一高维度数据，将所述第一高维度数据投影为第一低维度数据，以建立安全防护初级模型；以及用于基于监督学习方法，对所述训练用数据流量进行分类学习，将表征所述训练用数据流量的流量数据特征的第二高维度数据，投影为第二低维度数据，根据所述第二低维度数据对所述安全防护初级模型的参数进行优化，得到安全防护模型。
在本申请的一些实施例中，在上述装置中，模型训练单元230，用于使用矩阵表示所述升维后的数据在不同维度的关联性，得到目标应用的底层逻辑，所述底层逻辑包括目标应用的基本架构、目录结构和资源；确定所述正常访问流量与所述目录结构的关联性，得到目标应用的业务逻辑；确定不同来源的正常访问流量，基于所述业务逻辑的关联性，得到目标应用的访问逻辑；将表征目标应用的底层逻辑、访问逻辑和业务逻辑的数据作为第一高维度数据。
在本申请的一些实施例中，在上述装置中，识别单元240，用于将对目标应用的访问输入所述安全防护模型，以使所述目标应用的访问的底层逻辑、访问逻辑和业务逻辑进行识别，从而实现对异常访问的检测。
需要说明的是，上述异常访问的检测装置可一一实现前述的异常访问的检测方法，不再赘述。
图3是本申请的一个实施例电子设备的结构示意图。请参考图3，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成异常访问的检测装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取目标应用的训练用数据流量；
对所述训练用数据流量进行特征提取，得到流量数据特征；
基于监督学习与无监督学习的结合，对所述流量数据特征进行特征转换，以学习所述目标应用的底层逻辑、访问逻辑和业务逻辑，得到所述目标应用的安全防护模型；
基于所述安全防护模型，对目标应用的异常访问进行检测。
上述如本申请图2所示实施例揭示的异常访问的检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
该电子设备还可执行图2中异常访问的检测装置执行的方法，并实现异常访问的检测装置在图2所示实施例的功能，本申请实施例在此不再赘述。
本申请实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图2所示实施例中异常访问的检测装置执行的方法，并具体用于执行：
获取目标应用的训练用数据流量；
对所述训练用数据流量进行特征提取，得到流量数据特征；
基于监督学习与无监督学习的结合，对所述流量数据特征进行特征转换，以学习所述目标应用的底层逻辑、访问逻辑和业务逻辑，得到所述目标应用的安全防护模型；
基于所述安全防护模型，对目标应用的异常访问进行检测。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种异常访问的检测方法，其特征在于，由安全服务器执行，所述方法包括：
获取目标应用的训练用数据流量；
对所述训练用数据流量进行特征提取，得到流量数据特征；
基于监督学习与无监督学习的结合，对所述流量数据特征进行特征转换，以学习所述目标应用的底层逻辑、访问逻辑和业务逻辑，得到所述目标应用的安全防护模型；
基于所述安全防护模型，对目标应用的异常访问进行检测。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对识别出的异常访问，按照源、目的、攻击类型、概念验证内容进行分类和汇总，形成攻击情报文件。
3.根据权利要求1所述的方法，其特征在于，所述获取目标应用的训练用数据流量包括：
在用户终端提供安全应用程序；
将基于目标协议的，对目标应用的访问流量引入所述安全应用程序；
通过所述安全应用程序获取对目标应用的访问流量；
对所述访问流量进行参数化处理及分析，以得到对目标应用的正常访问流量和风险访问流量；
将所述正常访问流量和风险访问流量作为所述训练用数据流量。
4.根据权利要求1所述的方法，其特征在于，所述训练用数据流量为基于http或https协议的应用请求和应用响应；
所述对所述训练用数据流量进行特征提取，得到流量数据特征包括：
分别获取所述应用请求和所述应用响应的包头参数和参数值、时间、事件分类、上下文信息、源以及目的，作为所述流量数据特征。
5.根据权利要求1所述的方法，其特征在于，所述基于监督学习与无监督学习的结合，对所述流量数据特征进行特征转换，以学习所述目标应用的底层逻辑、访问逻辑和业务逻辑，得到所述目标应用的安全防护模型包括：
基于无监督学习方法，对所述流量数据特征进行升维，对升维后的数据建立关联，得到表征目标应用的底层逻辑、访问逻辑和业务逻辑的第一高维度数据，将所述第一高维度数据投影为第一低维度数据，以建立安全防护初级模型；
基于监督学习方法，对所述训练用数据流量进行分类学习，将表征所述训练用数据流量的流量数据特征的第二高维度数据，投影为第二低维度数据，根据所述第二低维度数据对所述安全防护初级模型的参数进行优化，得到安全防护模型。
6.根据权利要求5所述的方法，其特征在于，所述对升维后的数据建立关联，得到表征目标应用的底层逻辑、访问逻辑和业务逻辑的第一高维度数据包括：
使用矩阵表示所述升维后的数据在不同维度的关联性，得到目标应用的底层逻辑，所述底层逻辑包括目标应用的基本架构、目录结构和资源；
确定所述训练用数据流量与所述目录结构的关联性，得到目标应用的业务逻辑；
确定不同来源的训练用数据流量基于所述业务逻辑的关联性，得到目标应用的访问逻辑；
将表征目标应用的底层逻辑、访问逻辑和业务逻辑的数据作为第一高维度数据。
7.根据权利要求1所述的方法，其特征在于，所述基于所述安全防护模型，对目标应用的异常访问进行检测包括：
将对目标应用的访问输入所述安全防护模型，以使所述安全防护模型对目所述访问的底层逻辑、访问逻辑和业务逻辑进行识别，从而实现对异常访问的检测。
8.一种异常访问的检测装置，应用于安全服务器，其特征在于，所述装置包括：
获取单元，用于获取目标应用的训练用数据流量；
特征提取单元，用于对所述训练用数据流量进行特征提取，得到流量数据特征；
模型训练单元，用于基于监督学习与无监督学习的结合，对所述流量数据特征进行特征转换，以学习所述目标应用的底层逻辑、访问逻辑和业务逻辑，得到所述目标应用的安全防护模型；
识别单元，用于基于所述安全防护模型，对目标应用的异常访问进行检测。
9.一种电子设备，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～7所述方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行所述权利要求1～7所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111045826.6A CN113949527A (zh) | 2021-09-07 | 2021-09-07 | 异常访问的检测方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111045826.6A CN113949527A (zh) | 2021-09-07 | 2021-09-07 | 异常访问的检测方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113949527A true CN113949527A (zh) | 2022-01-18 |
Family
ID=79328141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111045826.6A Pending CN113949527A (zh) | 2021-09-07 | 2021-09-07 | 异常访问的检测方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113949527A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114615053A (zh) * | 2022-03-09 | 2022-06-10 | 杭州安恒信息技术股份有限公司 | 一种反向代理识别方法、装置、设备及介质 |
| CN114679320A (zh) * | 2022-03-29 | 2022-06-28 | 杭州安恒信息技术股份有限公司 | 一种服务器防护方法、装置及可读存储介质 |
| CN115174192A (zh) * | 2022-06-29 | 2022-10-11 | 中国电信股份有限公司 | 应用安全防护方法及装置、电子设备和存储介质 |
| CN115599312A (zh) * | 2022-12-02 | 2023-01-13 | 王丹亮（Cn） | 基于存储集群的大数据处理方法及ai系统 |
| WO2023207548A1 (zh) * | 2022-04-29 | 2023-11-02 | 北京火山引擎科技有限公司 | 一种流量检测方法、装置、设备及存储介质 |
| CN117692207A (zh) * | 2023-12-12 | 2024-03-12 | 国网湖北省电力有限公司鄂州供电公司 | 一种基于加权相似度匹配的指令级电力系统业务防护方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108829715A (zh) * | 2018-05-04 | 2018-11-16 | 慧安金科（北京）科技有限公司 | 用于检测异常数据的方法、设备和计算机可读存储介质 |
| CN109922013A (zh) * | 2019-01-28 | 2019-06-21 | 世纪龙信息网络有限责任公司 | 服务访问流量控制方法、装置、服务器和存储介质 |
| CN112367292A (zh) * | 2020-10-10 | 2021-02-12 | 浙江大学 | 一种基于深度字典学习的加密流量异常检测方法 |
| US20210243226A1 (en) * | 2020-02-03 | 2021-08-05 | Purdue Research Foundation | Lifelong learning based intelligent, diverse, agile, and robust system for network attack detection |
-
2021
- 2021-09-07 CN CN202111045826.6A patent/CN113949527A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108829715A (zh) * | 2018-05-04 | 2018-11-16 | 慧安金科（北京）科技有限公司 | 用于检测异常数据的方法、设备和计算机可读存储介质 |
| CN109922013A (zh) * | 2019-01-28 | 2019-06-21 | 世纪龙信息网络有限责任公司 | 服务访问流量控制方法、装置、服务器和存储介质 |
| US20210243226A1 (en) * | 2020-02-03 | 2021-08-05 | Purdue Research Foundation | Lifelong learning based intelligent, diverse, agile, and robust system for network attack detection |
| CN112367292A (zh) * | 2020-10-10 | 2021-02-12 | 浙江大学 | 一种基于深度字典学习的加密流量异常检测方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114615053A (zh) * | 2022-03-09 | 2022-06-10 | 杭州安恒信息技术股份有限公司 | 一种反向代理识别方法、装置、设备及介质 |
| CN114679320A (zh) * | 2022-03-29 | 2022-06-28 | 杭州安恒信息技术股份有限公司 | 一种服务器防护方法、装置及可读存储介质 |
| WO2023207548A1 (zh) * | 2022-04-29 | 2023-11-02 | 北京火山引擎科技有限公司 | 一种流量检测方法、装置、设备及存储介质 |
| CN115174192A (zh) * | 2022-06-29 | 2022-10-11 | 中国电信股份有限公司 | 应用安全防护方法及装置、电子设备和存储介质 |
| CN115599312A (zh) * | 2022-12-02 | 2023-01-13 | 王丹亮（Cn） | 基于存储集群的大数据处理方法及ai系统 |
| CN115599312B (zh) * | 2022-12-02 | 2023-10-27 | 北京国联视讯信息技术股份有限公司 | 基于存储集群的大数据处理方法及ai系统 |
| CN117692207A (zh) * | 2023-12-12 | 2024-03-12 | 国网湖北省电力有限公司鄂州供电公司 | 一种基于加权相似度匹配的指令级电力系统业务防护方法 |
| CN117692207B (zh) * | 2023-12-12 | 2024-05-03 | 国网湖北省电力有限公司鄂州供电公司 | 一种基于加权相似度匹配的指令级电力系统业务防护方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113949527A (zh) | 异常访问的检测方法、装置、电子设备及可读存储介质 | |
| Vinayakumar et al. | Scalable framework for cyber threat situational awareness based on domain name systems data analysis | |
| CN110177108B (zh) | 一种异常行为检测方法、装置及验证系统 | |
| US20200389495A1 (en) | Secure policy-controlled processing and auditing on regulated data sets | |
| CN108932426B (zh) | 越权漏洞检测方法和装置 | |
| CN109862003B (zh) | 本地威胁情报库的生成方法、装置、系统及存储介质 | |
| US11463459B2 (en) | Network security intrusion detection | |
| CN107888571A (zh) | 一种基于HTTP日志的多维度webshell入侵检测方法及检测系统 | |
| CN110035075A (zh) | 钓鱼网站的检测方法、装置、计算机设备及存储介质 | |
| CN112115468B (zh) | 基于大数据和云计算的业务信息检测方法及云计算中心 | |
| US20210203693A1 (en) | Phishing detection based on modeling of web page content | |
| CN113934611A (zh) | 访问信息的统计方法、装置、电子设备及可读存储介质 | |
| CN113111359A (zh) | 基于信息安防的大数据资源共享方法及资源共享系统 | |
| WO2020082763A1 (zh) | 基于决策树的钓鱼网站检测方法、装置及计算机设备 | |
| CN111143654A (zh) | 辅助识别爬虫的、爬虫识别方法、装置及电子设备 | |
| CN113313479A (zh) | 基于人工智能的支付业务大数据处理方法及系统 | |
| CN111404937B (zh) | 一种服务器漏洞的检测方法和装置 | |
| Fallah et al. | Android malware detection using network traffic based on sequential deep learning models | |
| RU2659482C1 (ru) | Способ защиты веб-приложений при помощи интеллектуального сетевого экрана с использованием автоматического построения моделей приложений | |
| Wang et al. | An unknown protocol syntax analysis method based on convolutional neural network | |
| CN114024761B (zh) | 网络威胁数据的检测方法、装置、存储介质及电子设备 | |
| Li et al. | Deep learning algorithms for cyber security applications: A survey | |
| KR20200066428A (ko) | 행위 기반 룰 처리 장치 및 그 처리 방법 | |
| Kasim | Automatic detection of phishing pages with event-based request processing, deep-hybrid feature extraction and light gradient boosted machine model | |
| CN115442159B (zh) | 一种基于家用路由的风险管控方法、系统和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 101100 No. 9-2074, Liangli Third Street, East District, economic development zone, Tongzhou District, Beijing Applicant after: Zhongyun Wangan Technology Co.,Ltd. Address before: 705, floor 7, block D, floor 6, building 1, No. 6, Jianguomenwai street, Chaoyang District, Beijing 100022 (inner 1) Applicant before: Zhongyun Wangan Technology Co.,Ltd. |