CN106982196B - 一种异常访问检测方法及设备 - Google Patents

一种异常访问检测方法及设备 Download PDF

Info

Publication number
CN106982196B
CN106982196B CN201610035487.6A CN201610035487A CN106982196B CN 106982196 B CN106982196 B CN 106982196B CN 201610035487 A CN201610035487 A CN 201610035487A CN 106982196 B CN106982196 B CN 106982196B
Authority
CN
China
Prior art keywords
access request
abnormal
sample
sample access
detection parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610035487.6A
Other languages
English (en)
Other versions
CN106982196A (zh
Inventor
付子豪
张凯
蔡宁
杨旭
褚崴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Damo Institute Hangzhou Technology Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201610035487.6A priority Critical patent/CN106982196B/zh
Priority to PCT/CN2017/070798 priority patent/WO2017124942A1/zh
Priority to TW106101584A priority patent/TW201730766A/zh
Publication of CN106982196A publication Critical patent/CN106982196A/zh
Application granted granted Critical
Publication of CN106982196B publication Critical patent/CN106982196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Debugging And Monitoring (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种异常访问检测方法,通过基于各个样本访问请求对应的时序数据特征的提取,获取对应的标签的取值,然后根据各个样本访问请求对应的标签的取值以及属性数据生成检测参数,故在获取待检测的访问请求的属性数据之后,根据属性数据以及检测参数生成与访问请求对应的异常概率,在判断异常概率是否大于预设的异常阈值之后,即可基于二者的大小确认访问请求是否为异常访问请求。从而能够在海量的访问请求中准确地针对异常访问请求进行识别处理,保证了网络的稳定性与安全性。

Description

一种异常访问检测方法及设备
技术领域
本申请涉及互联网技术领域,特别涉及一种异常访问检测方法。本申请同时还涉及一种异常访问检测设备。
背景技术
数据挖掘是从大规模的数据集中提取潜在的、隐含的、有价值的知识、模式或规则的过程。从大规模的数据集中挖掘的模式一般可以分为五类:关联规则、分类和预测、聚类、演变分析以及异常点检测等。异常点数据的挖掘包括异常点数据检测和异常点数据分析两个部分。异常点数据是与数据的一般行为或模型不一致的数据,它们是数据集中与众不同的数据,这些数据并非随机偏差,而是产生于完全不同的机制。异常点数据挖掘有着广泛的应用,如欺诈检测,用异常点检测来探测不寻常的信用卡使用或者电信服务;预测市场动向;在市场分析中分析客户的流失等异常行为;或者在医疗分析中发现对多种治疗方式的不寻常的反应等等;通过对这些数据进行研究,发现不正常的行为和模式,实现异常数据挖掘功能。
如图1所示,为现有的异常点监测技术手段解决服务响应问题的示意图,异常点监测技术手段目前有着广泛的应用。在该问题中,多个用户会向服务器提交相应的服务申请,在这些申请中,有的申请是正常申请,有的申请是异常申请。如果服务器接受了异常申请,那么将会严重影响服务器工作,也会对其他正常的申请造成一定的影响。
为解决上述技术问题,现有技术中使系统根据用户的请求以及用户的信息记录决定是否响应用户请求。在判定过程中,会引入一些机器学习的算法进行学习,现在常用的方法包括根据用户属性构造马氏距离挖掘处于离群点的用户、以及根据用户提交请求的频率进行异常点判别等方法,具体判别过程如下:
(1)在根据马氏距离进行异常点判别的过程中,首先计算用户属性间的协方差矩阵,其定义如下:
Σ=E{(X-E[X])(X-E[X])T}
随后根据该协方差矩阵计算马氏距离,其定义如下:
Ma=(X-μ)TΣ-1(X-μ)
最后根据该距离的大小进行判别,一些距离过大的点将被判定为离群点。
(2)在根据用户提交请求的频率进行异常点判别的方法中,用户单位时间提交请求的次数超过一定阈值之后,将会直接被判定为异常点。
因此如何利用已有的访问数据和用户信息,更加准确地鉴别出异常请求,并采取相应措施,切实关系到服务资源分配的稳定性和经济性,是服务响应策略中的一个非常重要的问题。
然而,发明人在实现本申请的过程中发现,现有带时序数据的异常点检测算法或者只利用了访问用户本身的特征数据,进行聚类,只能反映访问用户属性上的特征;或者只利用了访问的时序数据,手动设置阈值来发现一些异常点(即确认当前的访问为异常)。这两种方式都没有充分发挥数据的价值,得出的结果往往并不十分的准确以及有效。
发明内容
本申请提供了一种异常方法检测方法,用以提高针对异常访问的检测效率以及准确性。该方法包括以下步骤:
获取待检测的访问请求的属性数据;
根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率,所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成;
判断所述异常概率是否大于预设的异常阈值;
若是,确认所述访问请求为异常访问请求;
若否,确认所述访问请求为正常访问请求。
优选地,在获取待检测的访问请求的属性数据之前,还包括:
根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常;
分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签;
根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数;
根据所述原始检测参数生成所述检测参数。
优选地,所述访问频次信息包括所述样本访问请求对应的用户标识以及访问时间,根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常,具体为:
根据所述用户标识获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量,以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量;
判断所述第一数量与所述第二数量之和是否大于预设的次数阈值;
若是,确认所述样本访问请求为异常样本访问请求;
若否,确认所述样本访问请求为正常样本访问请求。
优选地,具体根据以下公式生成原始检测参数:
Figure BDA0000909869940000031
其中,为所述原始检测参数的取值函数,w为所述原始检测参数,且w为求和项对应的最小值,N为所述样本访问请求的个数,为各所述样本访问请求的标签的取值。
优选地,所述异常阈值具体通过以下方式生成:
获取异常样本访问请求占所有样本访问请求的百分比;
根据所述检测参数获取与各所述样本访问请求对应的异常概率;
将各所述样本访问请求对应的异常概率从小至大进行排序处理;
根据所述排序结果确定与所述百分比对应的异常概率,并将所述异常概率作为所述异常阈值。
相应地,本申请还提出了一种异常访问检测设备,其特征在于,包括:
获取模块,获取待检测的访问请求的属性数据;
第一生成模块,根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率,所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成;
判断模块,判断所述异常概率是否大于预设的异常阈值;
若是,所述判断模块确认所述访问请求为异常访问请求;
若否,所述判断模块确认所述访问请求为正常访问请求。
优选地,还包括:
确定模块,根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常;
分配模块,分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签;
第二生成模块,根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数;
第三生成模块,根据所述原始检测参数生成所述检测参数。
优选地,所述访问频次信息包括所述样本访问请求对应的用户标识ID以及访问时间,所述确定模块具体用于:
根据所述用户ID获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量,以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量;
判断所述第一数量与所述第二数量之和是否大于预设的次数阈值;
若是,确认所述样本访问请求为异常样本访问请求;
若否,确认所述样本访问请求为正常样本访问请求。
优选地,具体根据以下公式生成原始检测参数:
Figure BDA0000909869940000051
其中,argminw为所述原始检测参数的取值函数,w为所述原始检测参数,且w为求和项对应的最小值,N为所述样本访问请求的个数,Vi为各所述样本访问请求的标签的取值。
优选地,所述异常阈值具体通过以下方式生成:
获取异常样本访问请求占所有样本访问请求的百分比;
根据所述检测参数获取与各所述样本访问请求对应的异常概率;
将各所述样本访问请求对应的异常概率从小至大进行排序处理;
根据所述排序结果确定与所述百分比对应的异常概率,并将所述异常概率作为所述异常阈值。
由此可见,通过应用本申请的技术方案,在获取待检测的访问请求的属性数据之后,根据属性数据以及检测参数生成与访问请求对应的异常概率,由于检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成,因此在判断异常概率是否大于预设的异常阈值之后,即可基于二者的大小确认访问请求是否为异常访问请求。从而能够在海量的访问请求中准确地针对异常访问请求进行识别处理,保证了网络的稳定性与安全性。
附图说明
图1为现有技术中异常检测在服务响应上的应用示意图;
图2为本申请提出的一种异常访问检测方法的流程示意图;
图3为本申请具体实施例中基于时序特征提取的异常点检测流程图;
图4为本申请具体实施例中时序数据的特征提取示意图;
图5为本申请具体实施例中阈值计算流程示意图;
图6为本申请提出的一种异常访问检测设备的结构示意图。
具体实施方式
如背景技术所述,针对含时序申请数据的特点,进一步提高异常点检测的准确性以及有效性,是关系到系统准确有效运行的一个关键问题,也是本申请所要解决的技术问题。
为解决上述技术问题,本申请提出了一种异常点检测方法,将用户统计数据和时序访问数据结合起来,通过时序数据按规则给出一个初步的标签并采用逻辑回归的方法对初步标签和用户属性进行训练来得出最终结果,从而使异常点判定的结果得以进一步提高。
如图2所示,为本申请提出的一种异常点检测方法的流程示意图,包括以下步骤:
S201获取待检测的访问请求的属性数据。
在本申请的实施方式中,在模型以及检测参数生成之后,对于每一次新访问请求预测的过程中,即在判断访问请求是否异常的过程中,仅由该次访问请求的属性决定,异常检测问题转化成为分类问题,对于该分类问题,仅需获取待检测的访问请求的属性数据得到全部属性向量即可,也就是说,在此步骤中不需要再获取新访问请求的时序数据。
因此本申请的实施方式在进行新访问请求异常预测之前,还需要通过对各所述样本访问请求对应的初步标签和用户属性进行逻辑回归训练,来获得分类模型并得到检测参数,进而可以实现将用户数据和时序访问数据结合起来的目的。本申请逻辑回归训练以及检测参数获取的方式具体如下:
a)根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常;
b)分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签;
c)根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数;
d)根据所述原始检测参数生成所述检测参数。
另外,通过上述步骤可以看出,如何准确判断样本访问请求是否异常是决定分类模型以及检测参数精度的重要参数,故本申请具体实施方式提出了确定各所述样本访问请求是否异常的具体步骤:
a)根据所述用户标识获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量,以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量;
b)判断所述第一数量与所述第二数量之和是否大于预设的次数阈值;
c)若是,确认所述样本访问请求为异常样本访问请求;
d)若否,确认所述样本访问请求为正常样本访问请求。
在本申请的实施方式中,所述访问频次信息包括所述样本访问请求对应的用户标识以及访问时间。其中,用户标识是作为区分不同用户的凭证,只要保证不同用户对应有不同的用户标识即可,故可能会出现多种形式和内容。举例来说,用户标识可以为用户对应终端的MAC地址,也可以为用户在服务终端的注册ID。访问时间为由服务器记录的该访问请求的访问时间点。
需要说明的是,以上用户标识的具体实例仅为本申请优选实施例提出的示例,在此基础上还可以选择其他类型的用户标识,以使本申请适用于更多的应用领域,这些改进都属于本发明的保护范围。
需要说明的是,以上确定样本访问请求是否异常的方法仅为本申请具体实施例提出的一种优选方案,在保证具有一定确定精度的前提下,本领域技术人员也可以采用其他方式进行确定,这些都属于本申请的保护范围。
S202根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率,所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成。
在本申请的实施方式中,异常阈值应该根据长期的经验进行调整,以达到一个合适的数值范围。如果异常阈值的取值较大,则会将部分异常点其判断为正常访问,故可能会漏掉很多异常点;相反的,如果异常阈值的取值过小,则会将部分正常点判断为异常点,影响正常用户的使用。因此如何通调整获得合适的异常阈值对以提高异常点检测的精度是至关重要的,故本申请通过以下方式来生成异常阈值:
a)获取异常样本访问请求占所有样本访问请求的百分比;
b)根据所述检测参数获取与各所述样本访问请求对应的异常概率;
c)将各所述样本访问请求对应的异常概率从小至大进行排序处理;
d)根据所述排序结果确定与所述百分比对应的异常概率,并将所述异常概率作为所述异常阈值。
在本申请的具体实施例中,生成原始检测参数一个参考公式如下:
Figure BDA0000909869940000081
其中,argminw为所述原始检测参数的取值函数,w为所述原始检测参数,且w为求和项对应的最小值,N为所述样本访问请求的个数,Vi为各所述样本访问请求的标签的取值。
通过上述生成原始检测参数的参考公式,计算结果是参数w就是所述原始检测参数。在后续过程中即可利用原始检测参数w对所有新访问请求进行计算,通过对计算结果与异常阈值进行判断,进而实现对新访问请求是否异常进行预测。
需要说明的是,以上公式仅为本申请具体实施例提出的一种优选方案,然而,在保证计算结果能够作为原始检测参数的前提下,本领域技术人员也可以对该公式进行修改或者变形,这些都属于本申请的保护范围。
S203判断所述异常概率是否大于预设的异常阈值。
在本申请的实施方式中,在新访问请求到达时,通过分类模型来预测新访问请求是否为异常访问请求。具体的,首先通过将新访问请求的属性数据代入分类模型,可以得到该次访问为异常访问请求的概率,即异常概率,通过将该常访问请求的异常概率与预设的异常阈值进行比较,判断所述异常概率是否大于预设的异常阈值。若该新访问请求的异常概率大于异常阈值时,则判定为异常访问请求,即执行S204;若该新访问请求的异常概率小于异常阈值时,则判定为正常访问请求,即执行S205。
S204若是,确认所述访问请求为异常访问请求。
S205若否,确认所述访问请求为正常访问请求。
由此可见,通过应用以上技术方案,在获取待检测的访问请求的属性数据之后,根据属性数据以及检测参数生成与访问请求对应的异常概率,由于检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成,因此在判断异常概率是否大于预设的异常阈值之后,即可基于二者的大小确认访问请求是否为异常访问请求。从而能够在海量的访问请求中准确地针对异常访问请求进行识别处理,保证了网络的稳定性与安全性。
为了进一步阐述本申请的技术思想,现结合如图2所示的具体的应用场景,对本申请的技术方案进行说明。该基于时序特征提取的异常点检测流程通过时序序列分析、线性分类器训练和预测三个步骤实现了异常点的检测,这三个不同步骤的具体介绍如下:
(1)通过时序序列生成标签
根据时序序列的特点,在训练集中,首先将所有用户访问数据按照时间顺序进行排序,排序完成之后,我们对比每次一访问的用户ID,设定一个滑动窗口向后移动,按序遍历每一次访问。对于每一次访问,如果在它的前半个窗口和后半个窗口中由相同用户提交的访问次数大于一定阈值则标记为异常点。那么异常点的标签的集合可记作:
Figure BDA0000909869940000101
其中,Vi表示第i个访问的标签,
Figure BDA0000909869940000102
w为窗口大小参数,
Figure BDA0000909869940000103
th是阈值参数,其示意图如图3所示。
(2)线性分类器训练
在所有访问标签生成完毕之后,对于每一次访问,我们认为该次访问是否是异常的,完全由该次访问的属性所决定,问题转化为一个分类问题,对于该分类问题来讲,不需要在使用时序的数据。根据每次访问的其他属性特征和标签,进行逻辑回归训练,得到一个分类模型。该模型的结果是参数w,满足:
Figure BDA0000909869940000111
其中,argminw是一个参数w的取值函数,w的值使得右边求和项取最小值。N代表总的学习样本个数,Vi表示上一步的异常点标签。wT表示w的转置。在实际进行逻辑回归训练的时候,采用L-BFGS算法对其进行加速。
(3)新访问预测
当有新的访问到达时,能通过分类模型来预测新的访问是否是异常点。将新的访问数据代入分类模型后,能得到该次访问是异常点的概率,设定一个阈值,当该访问为异常的概率大于该阈值时,则判定为异常点,所有异常新访问的集合表示为:
{Vi|wTxi>pt}
其中Vi表示第i次访问,xi表示该次访问的所有属性向量,pt为判断异常点的阈值。在这里,阈值应该根据长期的经验进行调整,直到一个合适的数字。如果该阈值取值太大,则会漏掉很多异常点,将其判为正常访问;如果该阈值取值太小,则会将很多正常点判定为异常点,影响正常用户使用。因此调节一个合适的阈值是非常必要的,在这里可以根据百分比的方式来设置,首先找到异常点占总体训练数据的百分比,然后将训练数据带入模型按模型计算出概率,接着对该概率进行排序,找到在异常点占总体百分比位置的概率,将其设为阈值。具体示意图如图5所示。
上述应用场景的技术方案,通过样本数据的时序特征为分类模型提供训练标签,再根据各个样本访问请求对应的标签的取值以及属性数据生成检测参数;在获取待检测的访问请求的属性数据之后,根据属性数据以及检测参数生成与访问请求对应的异常概率,因此在判断异常概率是否大于预设的异常阈值之后,即可基于二者的大小确认访问请求是否为异常访问请求。从而能够在海量的访问请求中准确地针对异常访问请求进行识别处理,保证了网络的稳定性与安全性。
为达到以上技术目的,本申请还提出了一种异常访问检测设备,如图6所示,包括以下模块:
获取模块610,获取待检测的访问请求的属性数据;
第一生成模块620,根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率,所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成;
判断模块630,判断所述异常概率是否大于预设的异常阈值;
若是,所述判断模块630确认所述访问请求为异常访问请求;
若否,所述判断模块630确认所述访问请求为正常访问请求。
在具体的应用场景中,还包括:
确定模块,根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常;
分配模块,分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签;
第二生成模块,根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数;
第三生成模块,根据所述原始检测参数生成所述检测参数。
在具体的应用场景中,所述访问频次信息包括所述样本访问请求对应的用户标识ID以及访问时间,所述确定模块具体用于:
根据所述用户ID获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量,以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量;
判断所述第一数量与所述第二数量之和是否大于预设的次数阈值;
若是,确认所述样本访问请求为异常样本访问请求;
若否,确认所述样本访问请求为正常样本访问请求。
在具体的应用场景中,具体根据以下公式生成原始检测参数:
Figure BDA0000909869940000131
其中,argminw为所述原始检测参数的取值函数,w为所述原始检测参数,且w为求和项对应的最小值,N为所述样本访问请求的个数,Vi为各所述样本访问请求的标签的取值。
在具体的应用场景中,所述异常阈值具体通过以下方式生成:
获取异常样本访问请求占所有样本访问请求的百分比;
根据所述检测参数获取与各所述样本访问请求对应的异常概率;
将各所述样本访问请求对应的异常概率从小至大进行排序处理;
根据所述排序结果确定与所述百分比对应的异常概率,并将所述异常概率作为所述异常阈值。
通过应用本申请的技术方案,在获取待检测的访问请求的属性数据之后,根据属性数据以及检测参数生成与访问请求对应的异常概率,由于检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成,因此在判断异常概率是否大于预设的异常阈值之后,即可基于二者的大小确认确认访问请求是否为异常访问请求。从而能够在海量的访问请求中准确地针对异常访问请求进行识别处理,保证了网络的稳定性与安全性。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以通过硬件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景所述的方法。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。
本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。
以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。

Claims (8)

1.一种异常访问检测方法,其特征在于,包括:
获取待检测的访问请求的属性数据;
根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率,所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成;
判断所述异常概率是否大于预设的异常阈值;
若是,确认所述访问请求为异常访问请求;
若否,确认所述访问请求为正常访问请求;
其中,所述样本访问请求具体包括正常样本访问请求和异常样本访问请求;
其中,所述异常阈值具体通过以下方式生成:
获取异常样本访问请求占所有样本访问请求的百分比;
根据所述检测参数获取与各所述样本访问请求对应的异常概率;
将各所述样本访问请求对应的异常概率从小至大进行排序处理;
根据所述排序结果确定与所述百分比对应的异常概率,并将所述异常概率作为所述异常阈值。
2.如权利要求1所述的方法,其特征在于,在获取待检测的访问请求的属性数据之前,还包括:
根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常;
分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签;
根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数;
根据所述原始检测参数生成所述检测参数。
3.如权利要求2所述的方法,其特征在于,所述访问频次信息包括所述样本访问请求对应的用户标识以及访问时间,根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常,具体为:
根据所述用户标识获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量,以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量;
判断所述第一数量与所述第二数量之和是否大于预设的次数阈值;
若是,确认所述样本访问请求为异常样本访问请求;
若否,确认所述样本访问请求为正常样本访问请求。
4.如权利要求2所述的方法,其特征在于,具体根据以下公式生成原始检测参数:
Figure FDA0002525646440000021
其中,argminw为所述原始检测参数的取值函数,w为所述原始检测参数,且w为求和项对应的最小值,N为所述样本访问请求的个数,Vi为各所述样本访问请求的标签的取值,WT表示w的转置,x表示所述样本访问请求的属性数据。
5.一种异常访问检测设备,其特征在于,包括:
获取模块,获取待检测的访问请求的属性数据;
第一生成模块,根据所述属性数据以及检测参数生成与所述访问请求对应的异常概率,所述检测参数根据各个样本访问请求对应的标签的取值以及属性数据生成;
判断模块,判断所述异常概率是否大于预设的异常阈值;
若是,所述判断模块确认所述访问请求为异常访问请求;
若否,所述判断模块确认所述访问请求为正常访问请求;
其中,所述样本访问请求具体包括正常样本访问请求和异常样本访问请求;
其中,所述异常阈值具体通过以下方式生成:
获取异常样本访问请求占所有样本访问请求的百分比;
根据所述检测参数获取与各所述样本访问请求对应的异常概率;
将各所述样本访问请求对应的异常概率从小至大进行排序处理;
根据所述排序结果确定与所述百分比对应的异常概率,并将所述异常概率作为所述异常阈值。
6.如权利要求5所述的设备,其特征在于,还包括:
确定模块,根据各所述样本访问请求的访问频次信息确定各所述样本访问请求是否异常;
分配模块,分别为正常样本访问请求以及异常样本访问请求赋予不同取值的标签;
第二生成模块,根据各个样本访问请求对应的标签的取值以及属性数据生成原始检测参数;
第三生成模块,根据所述原始检测参数生成所述检测参数。
7.如权利要求6所述的设备,其特征在于,所述访问频次信息包括所述样本访问请求对应的用户标识ID以及访问时间,所述确定模块具体用于:
根据所述用户ID获取在所述访问时间之前的时间窗口内由相同用户提交的样本访问请求的第一数量,以及获取在所述访问时间之后的所述时间窗口内由相同用户提交的样本访问请求的第二数量;
判断所述第一数量与所述第二数量之和是否大于预设的次数阈值;
若是,确认所述样本访问请求为异常样本访问请求;
若否,确认所述样本访问请求为正常样本访问请求。
8.如权利要求6所述的设备,其特征在于,具体根据以下公式生成原始检测参数:
Figure FDA0002525646440000041
其中,argminw为所述原始检测参数的取值函数,w为所述原始检测参数,且w为求和项对应的最小值,N为所述样本访问请求的个数,Vi为各所述样本访问请求的标签的取值,WT表示w的转置,x表示所述样本访问请求的属性数据。
CN201610035487.6A 2016-01-19 2016-01-19 一种异常访问检测方法及设备 Active CN106982196B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201610035487.6A CN106982196B (zh) 2016-01-19 2016-01-19 一种异常访问检测方法及设备
PCT/CN2017/070798 WO2017124942A1 (zh) 2016-01-19 2017-01-10 一种异常访问检测方法及设备
TW106101584A TW201730766A (zh) 2016-01-19 2017-01-17 異常訪問檢測方法及設備

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610035487.6A CN106982196B (zh) 2016-01-19 2016-01-19 一种异常访问检测方法及设备

Publications (2)

Publication Number Publication Date
CN106982196A CN106982196A (zh) 2017-07-25
CN106982196B true CN106982196B (zh) 2020-07-31

Family

ID=59341062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610035487.6A Active CN106982196B (zh) 2016-01-19 2016-01-19 一种异常访问检测方法及设备

Country Status (3)

Country Link
CN (1) CN106982196B (zh)
TW (1) TW201730766A (zh)
WO (1) WO2017124942A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107659566B (zh) * 2017-09-20 2021-01-19 深圳市创梦天地科技股份有限公司 对服务器异常访问的识别频率确定方法、装置及服务器
US11797668B2 (en) * 2017-10-11 2023-10-24 Mitsubishi Electric Corporation Sample data generation apparatus, sample data generation method, and computer readable medium
CN107678928B (zh) * 2017-10-31 2021-06-01 聚好看科技股份有限公司 应用程序的处理方法及服务器
CN107819631B (zh) * 2017-11-23 2021-03-02 东软集团股份有限公司 一种设备异常检测方法、装置及设备
CN108200008A (zh) * 2017-12-05 2018-06-22 阿里巴巴集团控股有限公司 异常数据访问的识别方法和装置
CN108268632A (zh) * 2018-01-16 2018-07-10 中国人民解放军海军航空大学 异常情报数据识别机器学习方法
CN108681542A (zh) * 2018-02-12 2018-10-19 阿里巴巴集团控股有限公司 一种异常检测的方法及装置
CN108449342B (zh) * 2018-03-20 2020-11-27 北京云站科技有限公司 恶意请求检测方法及装置
CN109145030B (zh) * 2018-06-26 2022-07-22 创新先进技术有限公司 一种异常数据访问的检测方法和装置
CN110516170B (zh) * 2018-07-06 2020-04-28 北京白山耘科技有限公司 一种检查异常web访问的方法及装置
CN108667855B (zh) * 2018-07-19 2021-12-03 百度在线网络技术(北京)有限公司 网络流量异常监测方法、装置、电子设备及存储介质
CN109194539B (zh) * 2018-08-13 2022-01-28 中国平安人寿保险股份有限公司 数据管控方法、装置、计算机设备及存储介质
CN109543404B (zh) * 2018-12-03 2019-10-25 北京芯盾时代科技有限公司 一种访问行为的风险评估方法和装置
CN109766244A (zh) * 2019-01-04 2019-05-17 中国银行股份有限公司 一种分布式系统cpu异常检测方法、装置和存储介质
CN109873812B (zh) * 2019-01-28 2020-06-23 腾讯科技(深圳)有限公司 异常检测方法、装置及计算机设备
CN111835696B (zh) * 2019-04-23 2023-05-09 阿里巴巴集团控股有限公司 一种检测异常请求个体的方法及装置
CN110417744B (zh) * 2019-06-28 2021-12-24 平安科技(深圳)有限公司 网络访问的安全判定方法和装置
CN112148763A (zh) * 2019-06-28 2020-12-29 京东数字科技控股有限公司 无监督数据异常检测方法、装置及存储介质
CN110351299B (zh) * 2019-07-25 2022-04-22 新华三信息安全技术有限公司 一种网络连接检测方法和装置
CN110515796B (zh) * 2019-07-30 2022-07-01 平安科技(深圳)有限公司 一种基于皮质学习的异常检测方法、装置及终端设备
CN110675228B (zh) * 2019-09-27 2021-05-28 支付宝(杭州)信息技术有限公司 用户购票行为检测方法以及装置
CN111177513B (zh) * 2019-12-31 2023-10-31 北京百度网讯科技有限公司 异常访问地址的确定方法、装置、电子设备及存储介质
CN113076349B (zh) * 2020-01-06 2024-06-11 阿里巴巴集团控股有限公司 数据异常检测方法、装置、系统及电子设备
CN111476610B (zh) * 2020-04-16 2023-06-09 腾讯科技(深圳)有限公司 一种信息检测方法、装置及计算机可读存储介质
CN112001596B (zh) * 2020-07-27 2023-10-31 北京科技大学 一种时间序列数据异常点检测方法及系统
CN112511538B (zh) * 2020-11-30 2022-10-18 杭州安恒信息技术股份有限公司 一种基于时间序列的网络安全检测方法及相关组件
CN115277439B (zh) * 2021-04-30 2023-09-19 中国移动通信集团有限公司 网络服务的检测方法、装置、电子设备及存储介质
CN113282433B (zh) * 2021-06-10 2023-04-28 天翼云科技有限公司 集群异常检测方法、装置和相关设备
CN113360348B (zh) * 2021-06-30 2022-09-09 北京字节跳动网络技术有限公司 异常请求处理方法、装置、电子设备和存储介质
TWI789075B (zh) * 2021-10-26 2023-01-01 中華電信股份有限公司 偵測應用程式的異常執行的電子裝置及方法
CN114500004A (zh) * 2022-01-05 2022-05-13 北京理工大学 一种基于条件扩散概率生成模型的异常检测方法
CN116016274B (zh) * 2022-12-29 2023-11-24 天航长鹰(江苏)科技有限公司 一种异常通讯检测方法和系统
CN117424764B (zh) * 2023-12-19 2024-02-23 中关村科学城城市大脑股份有限公司 系统资源访问请求信息处理方法、装置、电子设备和介质
CN117579400B (zh) * 2024-01-17 2024-03-29 国网四川省电力公司电力科学研究院 一种基于神经网络的工控系统网络安全监测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211725A (ja) * 2009-06-18 2009-09-17 Toshiba Corp 異常データ検出装置、異常データ検出方法及び異常データ検出プログラム
CN105187242A (zh) * 2015-08-20 2015-12-23 中国人民解放军国防科学技术大学 一种基于变长序列模式挖掘的用户异常行为检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8683591B2 (en) * 2010-11-18 2014-03-25 Nant Holdings Ip, Llc Vector-based anomaly detection
CN103198711B (zh) * 2013-03-21 2014-12-17 东南大学 一种降低不同严重程度交通事故概率的车辆调控方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009211725A (ja) * 2009-06-18 2009-09-17 Toshiba Corp 異常データ検出装置、異常データ検出方法及び異常データ検出プログラム
CN105187242A (zh) * 2015-08-20 2015-12-23 中国人民解放军国防科学技术大学 一种基于变长序列模式挖掘的用户异常行为检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种大数据异常检测系统的研究与实现;丁洁等;《海南大学学报自然科学版》;20150331;第33卷(第1期);全文 *

Also Published As

Publication number Publication date
WO2017124942A1 (zh) 2017-07-27
CN106982196A (zh) 2017-07-25
TW201730766A (zh) 2017-09-01

Similar Documents

Publication Publication Date Title
CN106982196B (zh) 一种异常访问检测方法及设备
CN109829628B (zh) 基于大数据的风险预警方法、装置和计算机设备
CN111767707B (zh) 雷同病例检测方法、装置、设备及存储介质
Shafeeq et al. Dynamic clustering of data with modified k-means algorithm
CN111177714A (zh) 异常行为检测方法、装置、计算机设备和存储介质
CN112528025A (zh) 基于密度的文本聚类方法、装置、设备及存储介质
US10178108B1 (en) System, method, and computer program for automatically classifying user accounts in a computer network based on account behavior
EP3256978B1 (en) Method and apparatus for assigning device fingerprints to internet devices
US20200177633A1 (en) Cluster detection and elimination in security environments
CN109274677B (zh) 基于机器学习的ip分类方法及系统
CN109801151B (zh) 财务造假风险监控方法、装置、计算机设备和存储介质
CN112926045B (zh) 一种基于逻辑回归模型的群控设备识别方法
CN111090807A (zh) 一种基于知识图谱的用户识别方法及装置
Powell et al. A cross-comparison of feature selection algorithms on multiple cyber security data-sets.
CN112632609A (zh) 异常检测方法、装置、电子设备及存储介质
CN113139025A (zh) 一种威胁情报的评价方法、装置、设备及存储介质
CN113723555A (zh) 异常数据的检测方法及装置、存储介质、终端
CN114493255A (zh) 基于知识图谱的企业异常监控方法及其相关设备
CN110097120B (zh) 网络流量数据分类方法、设备及计算机存储介质
Tahmoresnezhad et al. Transductive transfer learning via maximum margin criterion
CN111784360B (zh) 一种基于网络链接回溯的反欺诈预测方法及系统
CN112434651A (zh) 一种基于图像识别的信息分析方法、装置及计算机设备
CN110414621B (zh) 基于多示例学习的分类器构建方法及装置
CN116796140A (zh) 基于人工智能的异常分析方法、装置、设备及存储介质
Sureka Kernel based sequential data anomaly detection in business process event logs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1239978

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230921

Address after: Room 516, floor 5, building 3, No. 969, Wenyi West Road, Wuchang Street, Yuhang District, Hangzhou City, Zhejiang Province

Patentee after: Alibaba Dharma Institute (Hangzhou) Technology Co.,Ltd.

Address before: Box 847, four, Grand Cayman capital, Cayman Islands, UK

Patentee before: ALIBABA GROUP HOLDING Ltd.