CN113901441A - 一种用户异常请求检测方法、装置、设备及存储介质 - Google Patents

一种用户异常请求检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113901441A
CN113901441A CN202111277187.6A CN202111277187A CN113901441A CN 113901441 A CN113901441 A CN 113901441A CN 202111277187 A CN202111277187 A CN 202111277187A CN 113901441 A CN113901441 A CN 113901441A
Authority
CN
China
Prior art keywords
user
users
time sequence
request
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111277187.6A
Other languages
English (en)
Inventor
禹庆华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weimeng Enterprise Development Co ltd
Original Assignee
Shanghai Weimeng Enterprise Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weimeng Enterprise Development Co ltd filed Critical Shanghai Weimeng Enterprise Development Co ltd
Priority to CN202111277187.6A priority Critical patent/CN113901441A/zh
Publication of CN113901441A publication Critical patent/CN113901441A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种用户异常请求检测方法、装置、设备及存储介质,包括:获取预设时段内不同用户的请求频次数据,将每个用户的所述请求频次数据按照时间顺序进行排列生成时序序列;利用改进后的能够度量时序数据之间相似度的无监督算法对不同用户的所述时序序列进行处理,得到第一聚类结果;根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户。本申请仅需获取请求频次的时序数据无需其他特殊属性数据,保障用户隐私,进而利用改进后的能够度量时序数据之间相似度的无监督算法从时序维度进行特征工程分析,避免因单次异常行为产生误判从而提高异常请求检测精度,同时也能够识别出具有相同异常行为的用户群体。

Description

一种用户异常请求检测方法、装置、设备及存储介质
技术领域
本发明涉及网络安全技术领域,特别涉及一种用户异常请求检测方法、装置、设备及存储介质。
背景技术
在当前互联网世界,电商平台或其他一些有价值网站经常遭到一些不法分子(黑产)通过技术手段薅羊毛(优惠券等)、刷投票以及爬取网站有价值数据,甚至恶意攻击网站。现有技术中主要通过请求日志和前端界面打点日志,包括抓取用户的点击行为、电池属性、陀螺仪、屏幕分辨率、设备指纹、cookie等数据来进行数据分析。一方面,这些数据需要额外耗费人力物力去获取,使得成本偏高。另一方面,获取的数据过多意味着用户的隐私数据暴露的也越多,存在隐私泄露的风险。
因此,如何安全、准确地对用户的异常请求进行检测是本领域技术人员亟待解决的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种用户异常请求检测方法、装置、设备及存储介质,避免因单次异常行为产生误判从而提高异常请求检测精度,同时也能够识别出具有相同异常行为的用户群体。其具体方案如下:
本申请的第一方面提供了一种用户异常请求检测方法,包括:
获取预设时段内不同用户的请求频次数据,并将每个用户的所述请求频次数据按照时间顺序进行排列生成与每个用户对应的时序序列;
利用改进后的能够度量时序数据之间相似度的无监督算法对不同用户的所述时序序列进行处理,以得到第一聚类结果;
根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户。
可选的,所述用户异常请求检测方法,还包括:
获取不同用户的请求日志;
根据所述请求日志确定不同用户对应的每秒查询率QPS,并将所述每秒查询率QPS存储至预设数据库中;
相应的,所述获取预设时段内不同用户的请求频次数据,包括:
从所述预设数据库中提取所述预设时段内不同用户反映请求频次的所述每秒查询率QPS。
可选的,所述将每个用户的所述请求频次数据按照时间顺序进行排列生成与每个用户对应的时序序列之后,还包括:
将每个用户的所述时序序列进行组合生成对应的特征矩阵,以便基于所述特征矩阵进行聚类分析。
可选的,所述利用改进后的能够度量时序数据之间相似度的无监督算法对不同用户的所述时序序列进行处理,以得到第一聚类结果,包括:
将动态时间规整DTW作为相似度度量算法集成至Kmeans算法模型中,以得到改进后的Kmeans算法模型;
利用改进后的Kmeans算法模型对所述特征矩阵进行处理,以得到所述第一聚类结果。
可选的,所述根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户之前,还包括:
利用DBSCAN聚类算法对所述特征矩阵进行处理得到第二聚类结果,以便根据所述第一聚类结果和所述第二聚类结果确定在所述预设时段内存在异常请求的用户。
可选的,所述利用DBSCAN聚类算法对所述特征矩阵进行处理得到第二聚类结果,包括:
根据目标需求利用主成分分析算法对所述特征矩阵进行降维操作;
利用DBSCAN聚类算法对降维操作后的所述特征矩阵进行处理得到所述第二聚类结果。
可选的,所述根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户,包括:
将所述第一聚类结果中包含用户数量小于预设阈值的簇对应的用户确定为在所述预设时段内存在异常请求的用户。
本申请的第二方面提供了一种用户异常请求检测装置,包括:
获取模块,用于获取预设时段内不同用户的请求频次数据,并将每个用户的所述请求频次数据按照时间顺序进行排列生成与每个用户对应的时序序列;
第一聚类模块,用于利用改进后的能够度量时序数据之间相似度的无监督算法对不同用户的所述时序序列进行处理,以得到第一聚类结果;
确定模块,用于根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户。
本申请的第三方面提供了一种电子设备,所述电子设备包括处理器和存储器;其中所述存储器用于存储计算机程序,所述计算机程序由所述处理器加载并执行以实现前述用户异常请求检测方法。
本申请的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现前述用户异常请求检测方法。
本申请中,先获取预设时段内不同用户的请求频次数据,并将每个用户的所述请求频次数据按照时间顺序进行排列生成与每个用户对应的时序序列;然后利用改进后的能够度量时序数据之间相似度的无监督算法对不同用户的所述时序序列进行处理,以得到第一聚类结果;最后根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户。可见,本申请仅需获取请求频次的时序数据无需其他特殊属性数据,保障用户隐私,进而利用改进后的能够度量时序数据之间相似度的无监督算法从时序维度进行特征工程分析,避免因单次异常行为产生误判,从而提高异常请求检测精度,同时也能够识别出具有相同异常行为的用户群体。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种用户异常请求检测方法流程图;
图2为本申请提供的一种具体的用户异常请求检测方法示意图;
图3为本申请提供的一种两小时内用户每秒查询率QPS示例图;
图4为本申请提供的一种用户异常请求检测装置结构示意图;
图5为本申请提供的一种用户异常请求检测电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有技术中主要通过请求日志和前端界面打点日志,包括抓取用户的点击行为、电池属性、陀螺仪、屏幕分辨率、设备指纹、cookie等数据来进行数据分析。一方面,这些数据需要额外耗费人力物力去获取,使得成本偏高。另一方面,获取的数据过多意味着用户的隐私数据暴露的也越多,存在隐私泄露的风险。针对上述技术缺陷,本申请提供一种用户异常请求检测方案,仅需获取请求频次的时序数据无需其他特殊属性数据,保障用户隐私,进而利用改进后的能够度量时序数据之间相似度的无监督算法从时序维度进行特征工程分析,避免因单次异常行为产生误判,从而提高异常请求检测精度,同时也能够识别出具有相同异常行为的用户群体。
图1为本申请实施例提供的一种用户异常请求检测方法流程图。参见图1所示,该用户异常请求检测方法包括:
S11:获取预设时段内不同用户的请求频次数据,并将每个用户的所述请求频次数据按照时间顺序进行排列生成与每个用户对应的时序序列。
本实施例中,首先获取预设时段内不同用户的请求频次数据,然后将每个用户的所述请求频次数据按照时间顺序进行排列生成与每个用户对应的时序序列。该过程为获取用户的时序数据的过程,所述请求频次数据可以为每秒查询率QPS,也即一秒内的请求次数。其中,所述每秒查询率QPS可通过请求日志统计得到,为了对数据进行统一有效管理,在此之前可以先获取不同用户的请求日志,然后根据所述请求日志确定不同用户对应的每秒查询率QPS,并将所述每秒查询率QPS存储至预设数据库中。在分析时,直接从所述预设数据库中提取所述预设时段内不同用户反映请求频次的所述每秒查询率QPS。当然,也可以根据请求日志统计在单位时间(比如1秒)的请求量,在落盘时直接将这些数据按照时间顺序存入数据库。
另外,在后续聚类分析中一般是对向量矩阵进行处理,因此,在生成所述时序序列后,可以进一步将每个用户的所述时序序列进行组合生成对应的特征矩阵,以便基于所述特征矩阵进行聚类分析。例如,需要获取24小时内的QPS数据,24小时共计24*60*60=86400秒,因此能得到一个86400维的特征向量,如[3,45,56,76,34,45,100,……],该特征向量也即该用户对应的所述时序序列,从左到右就是按照时间的先后顺序排列的。如果有N个用户,则得到N*86400的特征矩阵,具体可参照图2所示流程。
S12:利用改进后的能够度量时序数据之间相似度的无监督算法对不同用户的所述时序序列进行处理,以得到第一聚类结果。
本实施例中,利用改进后的能够度量时序数据之间相似度的无监督算法对不同用户的所述时序序列进行处理,以得到第一聚类结果。其中,常用的所述无监督算法有K最邻近分类算法(KNN,K-NearestNeighbor)、K均值聚类算法(k-means clusteringalgorithm)、密度聚类算法(DBSCAN,Density-Based Spatial Clustering ofApplications with Noise)等。鉴于Kmeans算法的简洁性,本实施例在Kmeans算法的基础上进行改进,将动态时间规整DTW作为相似度度量算法集成至Kmeans算法模型中,以得到改进后的Kmeans算法模型。在此基础上,利用改进后的Kmeans算法模型对所述特征矩阵进行处理,以得到所述第一聚类结果。在Kmeans中,把计算相似度的算法替换成DTW算法,对获取的特征数据进行聚类,实现了按照时序数据的相似性进行聚类。
一般来说,Kmeans算法中采用欧氏距离等相似度测量方法,无法度量时序数据形状相似性(指时间序列中具有共同的形状)、时间序列点的增减变化等,不适用于时序数据。本实施例针对时序数据采用动态时间规整距离(DTW),动态时间规整距离是一种动态规划方法,通过寻找最小的对齐匹配路径使两序列之间距离最小,因而DTW可计算不同长度序列的距离,对时间序列偏移不敏感。
S13:根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户。
本实施例中,根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户。具体来说,将所述第一聚类结果中包含用户数量小于预设阈值的簇对应的用户确定为在所述预设时段内存在异常请求的用户。请求异常的用户毕竟是少数,所以成员数量很多的簇属于正常用户,成员数量很小的簇属于有异常行为的用户簇。这些有异常行为的成员,就可能存在非法行为,需要被重点关注。
在算法领域,模型叠加分析出的数据准确度更高,因此,在上述确定异常行为用户时,可以进一步从空间维度进行分析以结合时序维度分析结果进行综合考量。本实施例中,可以利用DBSCAN聚类算法对所述特征矩阵进行处理得到第二聚类结果,以便根据所述第一聚类结果和所述第二聚类结果确定在所述预设时段内存在异常请求的用户。DBSCAN聚类算法是一个的基于密度的聚类算法,它将簇定义为密度相连的点的最大集合,能够把具有足够高密度的区域划分为簇,并可在噪声的空间数据库中发现任意形状的聚类。相似特征的用户会被聚集在同一个簇。
可以理解的是,在所述特征矩阵中的特征向量维度较高的情况下,为了后续计算方便,需要进行降维,通常使用的方法是主成分分析算法(PCA,Principal componentsanalysis),降到多少维度可以自行设定,也即根据目标需求利用主成分分析算法对所述特征矩阵进行降维操作。然后再利用DBSCAN聚类算法对降维操作后的所述特征矩阵进行处理得到所述第二聚类结果。假设将上述例子中86400维的特征向量降至m维,使用DBSCAN聚类算法对N*m维的特征矩阵进行异常分析识别异常行为用户。
可见,本申请实施例先获取预设时段内不同用户的请求频次数据,并将每个用户的所述请求频次数据按照时间顺序进行排列生成与每个用户对应的时序序列;然后利用改进后的能够度量时序数据之间相似度的无监督算法对不同用户的所述时序序列进行处理,以得到第一聚类结果;最后根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户。本申请实施例仅需获取请求频次的时序数据无需其他特殊属性数据,保障用户隐私,进而利用改进后的能够度量时序数据之间相似度的无监督算法从时序维度进行特征工程分析,避免因单次异常行为产生误判,从而提高异常请求检测精度,同时也能够识别出具有相同异常行为的用户群体。
下面以一个具体用户异常请求检测过程为例,对本申请中的技术方案进行说明。
首先,获取用户的请求日志,统计在用户在1s的请求量QPS,并按照时间顺序存储到数据库中。提取某一天内的两小时用户请求数据,2小时共计2*60*60=7200秒,因此,每个用户的访问行为,对应一个7200维的特征向量。比如[3,45,56,76,34,45,100,……]。N个用户,则生成一个N*7200的特征矩阵。图3展示了抽样两个用户的特征数据,横轴是时间,纵轴是QPS。两条线分别代表两个用户的特征数据,每一个点代表该用户在当前时间的QPS。可以看到,其中一个用户的QPS在某些时候超过了6000。
接着为空间维度分析。由于获取的特征向量维度太高,采用PCA算法,将维度降为500。则特征向量变为N*500。然后对N*500的特征矩阵使用DBSCAN或Kmeans等聚类算法,将N个用户聚类为m(m可由算法自动计算得到)个簇。分析每一个簇中的成员个数,筛选个数特别少的簇。例如,共计10个簇,9个簇的成员个数超过500,只有一个簇的成员个数为3。则个数极少的簇中成员就是有异常访问行为的用户,需要重点监控或拦截。
其次为时序维度分析。获取到用户的特征数据后,把kmeans中计算相似度的算法替换为DTW算法。例如,用户A和图中一个用户访问行为相似,则DTW计算值表较小,这两个用户很大可能被分到同一个簇中。用户A与图中另一个用户的DTW值则很大,所以两者是不会被分到同一个簇。经过Kmeans聚类后,筛选成员较少的簇,其中的成员有异常行为的可能性较大。比如图中的发起6000次请求的用户,正常人是不可能在1s内发起6000多次请求的。
上述过程成本低,应用范围广,只需要获取用户在一个时期内的请求频次,不需要额外获取各种特殊属性,且用时序数据来描述用户行为更加具体和形象,而且观察时间范围长,避免因单次异常行为的误杀,从空间维度和时序维度综合分析异常行为用户有利于识别具有相似行为的用户团伙。
参见图4所示,本申请实施例还相应公开了一种用户异常请求检测装置,包括:
获取模块11,用于获取预设时段内不同用户的请求频次数据,并将每个用户的所述请求频次数据按照时间顺序进行排列生成与每个用户对应的时序序列;
第一聚类模块12,用于利用改进后的能够度量时序数据之间相似度的无监督算法对不同用户的所述时序序列进行处理,以得到第一聚类结果;
确定模块13,用于根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户。
可见,本申请实施例先获取预设时段内不同用户的请求频次数据,并将每个用户的所述请求频次数据按照时间顺序进行排列生成与每个用户对应的时序序列;然后利用改进后的能够度量时序数据之间相似度的无监督算法对不同用户的所述时序序列进行处理,以得到第一聚类结果;最后根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户。本申请实施例仅需获取请求频次的时序数据无需其他特殊属性数据,保障用户隐私,进而利用改进后的能够度量时序数据之间相似度的无监督算法从时序维度进行特征工程分析,避免因单次异常行为产生误判,从而提高异常请求检测精度,同时也能够识别出具有相同异常行为的用户群体。
在一些具体实施例中,所述用户异常请求检测装置还包括:
存储模块,用于获取不同用户的请求日志,并根据所述请求日志确定不同用户对应的每秒查询率QPS,及将所述每秒查询率QPS存储至预设数据库中;
生成模块,用于将每个用户的所述时序序列进行组合生成对应的特征矩阵,以便基于所述特征矩阵进行聚类分析;
第二聚类模块,用于利用DBSCAN聚类算法对所述特征矩阵进行处理得到第二聚类结果,以便根据所述第一聚类结果和所述第二聚类结果确定在所述预设时段内存在异常请求的用户。
在一些具体实施例中,所述第一聚类模块12,具体包括:
改进单元,用于将动态时间规整DTW作为相似度度量算法集成至Kmeans算法模型中,以得到改进后的Kmeans算法模型;
第一处理单元处理单元,用于利用改进后的Kmeans算法模型对所述特征矩阵进行处理,以得到所述第一聚类结果。
在一些具体实施例中,所述第二聚类模块,具体包括:
降维单元,用于根据目标需求利用主成分分析算法对所述特征矩阵进行降维操作;
第二处理单元,用于利用DBSCAN聚类算法对降维操作后的所述特征矩阵进行处理得到所述第二聚类结果。
在一些具体实施例中,所述确定模块13,具体用于将所述第一聚类结果中包含用户数量小于预设阈值的簇对应的用户确定为在所述预设时段内存在异常请求的用户。
进一步的,本申请实施例还提供了一种电子设备。图5是根据一示例性实施例示出的电子设备20结构图,图中的内容不能认为是对本申请的使用范围的任何限制。
图5为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20,具体可以包括:至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现前述任一实施例公开的用户异常请求检测方法中的相关步骤。
本实施例中,电源23用于为电子设备20上的各硬件设备提供工作电压;通信接口24能够为电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源可以包括操作系统221、计算机程序222及数据223等,存储方式可以是短暂存储或者永久存储。
其中,操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222,以实现处理器21对存储器22中海量数据223的运算与处理,其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的用户异常请求检测方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的请求频次数据。
进一步的,本申请实施例还公开了一种存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器加载并执行时,实现前述任一实施例公开的用户异常请求检测方法步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的用户异常请求检测方法、装置、设备及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种用户异常请求检测方法,其特征在于,包括:
获取预设时段内不同用户的请求频次数据,并将每个用户的所述请求频次数据按照时间顺序进行排列生成与每个用户对应的时序序列;
利用改进后的能够度量时序数据之间相似度的无监督算法对不同用户的所述时序序列进行处理,以得到第一聚类结果;
根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户。
2.根据权利要求1所述的用户异常请求检测方法,其特征在于,还包括:
获取不同用户的请求日志;
根据所述请求日志确定不同用户对应的每秒查询率QPS,并将所述每秒查询率QPS存储至预设数据库中;
相应的,所述获取预设时段内不同用户的请求频次数据,包括:
从所述预设数据库中提取所述预设时段内不同用户反映请求频次的所述每秒查询率QPS。
3.根据权利要求1所述的用户异常请求检测方法,其特征在于,所述将每个用户的所述请求频次数据按照时间顺序进行排列生成与每个用户对应的时序序列之后,还包括:
将每个用户的所述时序序列进行组合生成对应的特征矩阵,以便基于所述特征矩阵进行聚类分析。
4.根据权利要求3所述的用户异常请求检测方法,其特征在于,所述利用改进后的能够度量时序数据之间相似度的无监督算法对不同用户的所述时序序列进行处理,以得到第一聚类结果,包括:
将动态时间规整DTW作为相似度度量算法集成至Kmeans算法模型中,以得到改进后的Kmeans算法模型;
利用改进后的Kmeans算法模型对所述特征矩阵进行处理,以得到所述第一聚类结果。
5.根据权利要求4所述的用户异常请求检测方法,其特征在于,所述根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户之前,还包括:
利用DBSCAN聚类算法对所述特征矩阵进行处理得到第二聚类结果,以便根据所述第一聚类结果和所述第二聚类结果确定在所述预设时段内存在异常请求的用户。
6.根据权利要求5所述的用户异常请求检测方法,其特征在于,所述利用DBSCAN聚类算法对所述特征矩阵进行处理得到第二聚类结果,包括:
根据目标需求利用主成分分析算法对所述特征矩阵进行降维操作;
利用DBSCAN聚类算法对降维操作后的所述特征矩阵进行处理得到所述第二聚类结果。
7.根据权利要求1至6任一项所述的用户异常请求检测方法,其特征在于,所述根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户,包括:
将所述第一聚类结果中包含用户数量小于预设阈值的簇对应的用户确定为在所述预设时段内存在异常请求的用户。
8.一种用户异常请求检测装置,其特征在于,包括:
获取模块,用于获取预设时段内不同用户的请求频次数据,并将每个用户的所述请求频次数据按照时间顺序进行排列生成与每个用户对应的时序序列;
第一聚类模块,用于利用改进后的能够度量时序数据之间相似度的无监督算法对不同用户的所述时序序列进行处理,以得到第一聚类结果;
确定模块,用于根据所述第一聚类结果中各个簇的用户数量确定在所述预设时段内存在异常请求的用户。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器;其中所述存储器用于存储计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的用户异常请求检测方法。
10.一种计算机可读存储介质,其特征在于,用于存储计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如权利要求1至7任一项所述的用户异常请求检测方法。
CN202111277187.6A 2021-10-29 2021-10-29 一种用户异常请求检测方法、装置、设备及存储介质 Pending CN113901441A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111277187.6A CN113901441A (zh) 2021-10-29 2021-10-29 一种用户异常请求检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111277187.6A CN113901441A (zh) 2021-10-29 2021-10-29 一种用户异常请求检测方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113901441A true CN113901441A (zh) 2022-01-07

Family

ID=79027126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111277187.6A Pending CN113901441A (zh) 2021-10-29 2021-10-29 一种用户异常请求检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113901441A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114553565A (zh) * 2022-02-25 2022-05-27 国网山东省电力公司临沂供电公司 一种基于请求频率的安全态势感知方法和系统
CN117172796A (zh) * 2023-08-07 2023-12-05 北京智慧大王科技有限公司 一种大数据电子商务管理系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114553565A (zh) * 2022-02-25 2022-05-27 国网山东省电力公司临沂供电公司 一种基于请求频率的安全态势感知方法和系统
CN114553565B (zh) * 2022-02-25 2024-02-02 国网山东省电力公司临沂供电公司 一种基于请求频率的安全态势感知方法和系统
CN117172796A (zh) * 2023-08-07 2023-12-05 北京智慧大王科技有限公司 一种大数据电子商务管理系统

Similar Documents

Publication Publication Date Title
CN111092852B (zh) 基于大数据的网络安全监控方法、装置、设备及存储介质
US10686829B2 (en) Identifying changes in use of user credentials
US20200026594A1 (en) System and method for real-time detection of anomalies in database usage
US8707431B2 (en) Insider threat detection
CN108989150B (zh) 一种登录异常检测方法及装置
CN111355697B (zh) 僵尸网络域名家族的检测方法、装置、设备及存储介质
CN111614690B (zh) 一种异常行为检测方法及装置
US20110314549A1 (en) Method and apparatus for periodic context-aware authentication
US20110314558A1 (en) Method and apparatus for context-aware authentication
CN112491779B (zh) 一种异常行为检测方法及装置、电子设备
CN110933115B (zh) 基于动态session的分析对象行为异常检测方法及装置
CN113901441A (zh) 一种用户异常请求检测方法、装置、设备及存储介质
CN111400357A (zh) 一种识别异常登录的方法和装置
US8060577B1 (en) Method and system for employing user input for file classification and malware identification
CN114866296B (zh) 入侵检测方法、装置、设备及可读存储介质
EP3647982B1 (en) Cyber attack evaluation method and cyber attack evaluation device
CN113992340A (zh) 用户异常行为识别方法、装置、设备、存储介质和程序
RU148692U1 (ru) Система мониторинга событий компьютерной безопасности
CN113196265A (zh) 安全检测分析
RU180789U1 (ru) Устройство аудита информационной безопасности в автоматизированных системах
CN111314326B (zh) Http漏洞扫描主机的确认方法、装置、设备及介质
CN113792291B (zh) 一种受域生成算法恶意软件感染的主机识别方法及装置
CN115174205A (zh) 一种网络空间安全实时监测方法、系统及计算机存储介质
CN112929369B (zh) 一种分布式实时DDoS攻击检测方法
CN115952492A (zh) 一种电力工控系统入侵检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination