CN111416790A - 基于用户行为的网络异常访问智能识别方法、装置、存储介质及计算机设备 - Google Patents

基于用户行为的网络异常访问智能识别方法、装置、存储介质及计算机设备 Download PDF

Info

Publication number
CN111416790A
CN111416790A CN201910008751.0A CN201910008751A CN111416790A CN 111416790 A CN111416790 A CN 111416790A CN 201910008751 A CN201910008751 A CN 201910008751A CN 111416790 A CN111416790 A CN 111416790A
Authority
CN
China
Prior art keywords
detection
models
user
access
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910008751.0A
Other languages
English (en)
Other versions
CN111416790B (zh
Inventor
刘鑫琪
丛磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shuan Xinyun Information Technology Co ltd
Original Assignee
Beijing Shuan Xinyun Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shuan Xinyun Information Technology Co ltd filed Critical Beijing Shuan Xinyun Information Technology Co ltd
Priority to CN201910008751.0A priority Critical patent/CN111416790B/zh
Publication of CN111416790A publication Critical patent/CN111416790A/zh
Application granted granted Critical
Publication of CN111416790B publication Critical patent/CN111416790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H04L63/1425Traffic logging, e.g. anomaly detection

Abstract

本发明公开了基于用户行为的网络异常访问智能识别方法、装置、存储介质及计算机设备。所公开的方法包括:基于相同的训练数据,分别采用N种不同的检测方法,或者采用L种不同的检测方法,建立用于检测网络异常访问的N个备选检测模型;基于预定规则,从N个备选检测模型中选定用于在实际网络环境下检测用户网络异常访问的M个选定检测模型,其中,基于L种不同的检测方法中的一种或多种中的每一种、针对相同的训练数据的不同特征建立多个备选检测模型,N为大于2的整数,M为小于等于N的整数,L为小于N的整数。所公开的技术方案能够预先剔除无效的异常检测模型,保证了预测过程的效率,提高了检测准确率。

Description

基于用户行为的网络异常访问智能识别方法、装置、存储介质 及计算机设备
技术领域
本发明涉及计算机网络异常访问检测技术领域,尤其涉及基于用户行为的网络异常访问智能识别方法、装置、存储介质及计算机设备。
背景技术
网络攻击或网络非法使用等异常访问行为严重危害网络安全,因此,需要对其进行检测,进而采取相应的管制措施。
在现有技术中,对用户违反安全规则或正常使用原则的网络访问行为进行检测大体可以分为有监督和无监督两种模式。
有监督模式通常通过建立正常网络访问行为模式库或异常网络访问行为模式库,使用诸如模式匹配、专家系统、决策树等方法进行基于先验知识的识别,这种方式的优点是精确率较高,并且容易调整,但对于模式库中不存在的新的攻击行为检测能力不足,需要不断更新模式库,导致模式库的维护成本不断增高。
无监督模式一般假定用户的正常访问行为在所有用户行为中占比较高,通过基于统计学或机器学习的算法来检测有别于正常用户行为的异常行为。无监督模式的通用性较高,不严重依赖于网络服务的业务模式,对于新的网络攻击模式不需要进行调整或调整幅度较小。
例如,无监督模式通常使用下列两种方法:
1、单一特征或多特征使用单一异常检测算法/模型。
2、单一特征或多特征使用多异常检测算法/模型,算法/模型独立并行运行。
上述第一种方法,只能根据单一异常检测算法进行异常检测,只会检测出某种类型的异常,使检测准确率和召回率都偏低。上述第二种方法,能够使用多异常检测算法并行运行方式,虽克服了单一异常检测算法的单一异常性,但多并行算法无交互,检测准确率仍然较低。
因此,总体而言,无监督模式不容易调整,且检测准确率通常较低。
为了提高无监督模式的检测准确率,需要提出新的技术方案。
发明内容
根据本发明的基于用户行为的网络异常访问智能识别方法,包括:
基于相同的训练数据,分别采用N种不同的检测方法,或者采用L种不同的检测方法,建立用于检测网络异常访问的N个备选检测模型;
基于预定规则,从N个备选检测模型中选定用于在实际网络环境下检测用户网络异常访问的M个选定检测模型,
其中,基于L种不同的检测方法中的一种或多种中的每一种、针对相同的训练数据的不同特征建立多个备选检测模型,N为大于2的整数,M为小于等于N的整数,L为小于N的整数。
根据本发明的基于用户行为的网络异常访问智能识别方法,还包括:
采集实际网络环境下的用户访问数据;
基于M个选定检测模型,对用户访问数据进行检测,确定用户是否执行了网络异常访问。
根据本发明的基于用户行为的网络异常访问智能识别方法,其预定规则包括下列规则中的至少一种:
剔除检测出的异常结果与其它备选检测模型的第一重合度低于第一预定阈值的备选检测模型;
剔除检测出的正常结果与其它备选检测模型的第二重合度低于第二预定阈值的备选检测模型;
剔除模型分数低于第三预定阈值的备选检测模型;
剔除检测出的网络异常访问用户占比高于第四预定阈值的备选检测模型,
其中,每个备选检测模型检测出的网络异常访问用户为检测出的异常分数高于第五预定阈值的用户。
根据本发明的基于用户行为的网络异常访问智能识别方法,其N个备选检测模型包括数值型特征检测模型和/或字符型特征检测模型,数值型特征检测模型和/或字符型特征检测模型包括下列模型中的至少一种:分布型检测模型、聚类型异常检测模型、分类型异常检测模型、局部异常检测模型、树类异常检测模型。
根据本发明的基于用户行为的网络异常访问智能识别方法,其基于M个选定检测模型,对用户访问数据进行检测,确定用户是否执行了网络异常访问的步骤包括:
基于针对M个选定检测模型的M个检测结果的投票机制,确定用户是否执行了网络异常访问。
根据本发明的基于用户行为的网络异常访问智能识别装置,包括:
备选检测模型训练模块,用于基于相同的训练数据,分别采用N种不同的检测方法,或者采用L种不同的检测方法,建立用于检测网络异常访问的N个备选检测模型;
检测模型选择模块,用于基于预定规则,从N个备选检测模型中选定用于在实际网络环境下检测用户网络异常访问的M个选定检测模型,
其中,基于L种不同的检测方法中的一种或多种中的每一种、针对相同的训练数据的不同特征建立多个备选检测模型,N为大于2的整数,M为小于等于N的整数,L为小于N的整数。
根据本发明的基于用户行为的网络异常访问智能识别装置,还包括:
用户数据采集模块,用于采集实际网络环境下的用户访问数据;
综合检测模块,用于基于M个选定检测模型,对用户访问数据进行检测,确定用户是否执行了网络异常访问。
根据本发明的基于用户行为的网络异常访问智能识别装置,其预定规则包括下列规则中的至少一种:
剔除检测出的异常结果与其它备选检测模型的第一重合度低于第一预定阈值的备选检测模型;
剔除检测出的正常结果与其它备选检测模型的第二重合度低于第二预定阈值的备选检测模型;
剔除模型分数低于第三预定阈值的备选检测模型;
剔除检测出的网络异常访问用户占比高于第四预定阈值的备选检测模型,
其中,每个备选检测模型检测出的网络异常访问用户为检测出的异常分数高于第五预定阈值的用户。
根据本发明的基于用户行为的网络异常访问智能识别装置,其N个备选检测模型包括数值型特征检测模型和/或字符型特征检测模型,数值型特征检测模型和/或字符型特征检测模型包括下列模型中的至少一种:分布型检测模型、聚类型异常检测模型、分类型异常检测模型、局部异常检测模型、树类异常检测模型。
根据本发明的基于用户行为的网络异常访问智能识别装置,其综合检测模块还用于:
基于针对M个选定检测模型的M个检测结果的投票机制,确定用户是否执行了网络异常访问。
根据本发明的存储介质,该存储介质上存储有计算机程序,程序被处理器执行时实现如上文所述方法的步骤。
根据本发明的计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如上文所述的方法的步骤。
根据本发明的上述技术方案,能够预先剔除无效的异常检测模型,保证了预测过程的效率,提高了检测准确率。
附图说明
并入到说明书中并且构成说明书的一部分的附图示出了本发明的实施例,并且与相关的文字描述一起用于解释本发明的原理。在这些附图中,类似的附图标记用于表示类似的要素。下面描述中的附图是本发明的一些实施例,而不是全部实施例。对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,可以根据这些附图获得其他的附图。
图1示例性地示出了根据本发明的基于用户行为的网络异常访问智能识别方法的示意流程图。
图2示例性地示出了根据本发明的基于用户行为的网络异常访问智能识别装置的示意框图。
图3示例性地示出了根据本发明的基于用户行为的网络异常访问智能识别方法的一个具体实施例的示意流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
图1示例性地示出了根据本发明的基于用户行为的网络异常访问智能识别方法的示意流程图。
如图1的实线框所示,根据本发明的基于用户行为的网络异常访问智能识别方法包括:
步骤S102:基于相同的训练数据,分别采用N种不同的检测方法,或者采用L种不同的检测方法,建立用于检测网络异常访问的N个备选检测模型;
步骤S104:基于预定规则,从N个备选检测模型中选定用于在实际网络环境下检测用户网络异常访问的M个选定检测模型,
其中,基于L种不同的检测方法中的一种或多种中的每一种、针对相同的训练数据的不同特征建立多个备选检测模型,N为大于2的整数,M为小于等于N的整数,L为小于N的整数。
例如,训练数据可以是包含多个用户(分别对应唯一的用户ID、IP地址等,可以用户ID、IP地址等为主维度进行网络异常访问分析和识别)的web访问日志,web访问日志中包含关于这些用户的网络正常访问行为和网络异常访问行为的历史数据。
可选地,如图1的虚线框所示,根据本发明的基于用户行为的网络异常访问智能识别方法还包括:
步骤S106:采集实际网络环境下的用户访问数据;
步骤S108:基于M个选定检测模型,对用户访问数据进行检测,确定用户是否执行了网络异常访问。
可选地,预定规则包括下列规则中的至少一种:
剔除检测出的异常结果与其它备选检测模型的第一重合度低于第一预定阈值的备选检测模型;
剔除检测出的正常结果与其它备选检测模型的第二重合度低于第二预定阈值的备选检测模型;
剔除模型分数低于第三预定阈值的备选检测模型;
剔除检测出的网络异常访问用户占比高于第四预定阈值的备选检测模型,
其中,每个备选检测模型检测出的网络异常访问用户为检测出的异常分数高于第五预定阈值的用户。
可选地,为了防止个别异常检测模型所输出的异常分数偏高或偏低,从而影响最终结果,可以对所有异常检测模型的异常分数进行归一化。
例如,可以预先统计每个备选异常检测模型所输出的异常分数的值域和/或分布,然后通过归一化统一到相同的值域。还可以根据实际异常用户的归一化异常分数来确定上述第五预定阈值(即,上述第五预定阈值是归一化阈值)。从而基于归一化操作,确保步骤S108的汇总结果最终能够准确反映这M个选定检测模型的实际检测结果。
例如,可以通过以下具体操作(以伪代码的方式进行了描述)来获取上述第一重合度(即,异常重合度):
SET剩余分类器(即,上述备选检测模型)to全部剩余分类器
REPEAT
计算每个剩余分类器的异常重合度
剩余分类器剔除掉异常重合度最低且异常重合度低于指定阈值(即,上述第一预定阈值)的分类器
UNITIL(剩余分类器数量小于等于指定最少剩余的分类器数量(第六预定阈值)OR每个剩余分类器的异常重合度大于等于指定重合度阈值(即,上述第一预定阈值))
例如,可以通过以下具体操作(以伪代的方式进行了描述)来获取上述第二重合度(即,正常重合度):
SET剩余分类器(即,上述备选检测模型)to全部剩余分类器
REPEAT
计算每个剩余分类器的正常重合度
剩余分类器剔除掉正常重合度最低且正常重合度低于指定阈值(即,上述第二预定阈值)的分类器
UNITIL(剩余分类器数量小于等于指定最少剩余的分类器数量(即,上述第六预定阈值)OR每个剩余分类器的正常重合度大于等于指定重合度阈值(即,上述第二预定阈值))
例如,上述模型分数可以指示某个模型对输入特征的拟合程度的好坏。例如,某个字符型特征输入到对应的字符型异常检测模型(例如,经过下文所述的字符串特征预处理,并且获得了高维向量之后),通过以下步骤计算所获取到的该模型对应的该特征的分数:
基于所得到的该特征每个用户ID对应的上述高维向量,计算每个用户ID最邻近的指定k个最邻近的用户ID中该用户ID的排序,排序越高则分数越高,最终获取每个用户ID对应的分数的平均值作为该模型所对应的模型分数。
例如,上述第一预定阈值、第二预定阈值、第三预定阈值、第四预定阈值、以及第五预定阈值的数值可以根据需要调整。
当使用上述四种规则中的多种规则时,可以以任意顺序串行操作,如需调优可以更换顺序,以达到最优解。
例如,可以通过开发人员人工观察或者通过最终用户反馈所得到的实际检测结果进行调整(如误判率过高,则需进行阈值调整),以达到最优解。
例如,可以通过编写程序不断自动变换所使用的规则数量和/或规则顺序和/或调整阈值,以达到最优解。
使用上述规则的技术方案,能够剔除掉冗余的分类器,同时也能够剔除掉判定异常与其他分类器严重不一致的分类器,提高了检测准确率和预测效率。
可选地,N个备选检测模型包括数值型特征检测模型和/或字符型特征检测模型,数值型特征检测模型和/或字符型特征检测模型包括下列模型中的至少一种:分布型检测模型、聚类型异常检测模型、分类型异常检测模型、局部异常检测模型、树类异常检测模型。
例如,数值型特征检测模型可以对训练数据和在实际网络环境下所采集的用户访问数据进行下列操作:
一、预处理(可选地,该处理步骤也可以设置在数值型特征检测模型外部执行)
1、以用户ID为维度,聚合每个特征为数组。
例如,用户A按时间访问分别产生三条日志,其中每条日志的数值型特征1分别为“1”、“2”、“3”,则聚合后的结果为[1,2,3]。
例如,也可以对用户A的数值型特征执行包括求最大值、求最小值、求平均值、进行计数统计等的各种数据处理操作,得到对应的数据处理结果,将数据处理结果作为用户A的特征1的最终输出结果,例如,[3(最大值),1(最小值),2(平均值),3(计数)]。
2、特征增维。
对于数值型特征大于1个的日志,进行特征增维。例如,可以选择下列一种或多种方法:两个特征或多个特征之间交叉进行加、减、乘、除等计算;产生多项式特征。例如,特征(X1,X2)转化为(X1,X2,X1*X2,X1 2,X2 2)。
3、特征选择。
可以选择下列一种或多种方法进行特征选择:剔除方差较小的特征;去掉特征之间相关性较高的特征之一;应用正则化L1去掉冗余特征;其他方法等。
4、特征标准化。
将特征选择后已经维度下降的特征数组进行标准化,以防止在异常检测过程中计算距离时某个特征过于显著或者过于不显著。
二、异常检测
将多特征的数组分别输入到分布型检测模型、聚类型异常检测模型、分类型异常检测模型、局部异常检测模型、树类异常检测模型中的一种或多种模型中,分别进行训练,并保存各个模型的最终训练结果(即,获取最终的备选检测模型用于下述步骤S108进行实际检测的具体参数)。
例如,字符型特征检测模型可以对训练数据和在实际网络环境下所采集的用户访问数据进行下列操作:
一、预处理(可选地,该处理步骤也可以设置在字符型特征检测模型外部执行)
1、以用户ID为维度,聚合每个字符串特征的字符串。
例如,用户A按时间访问分别产生三条日志,其中每条日志的字符串特征1分别为“String1”、“String2”、“String3”,则聚合后的结果为“String1String2String3”。
2、字符串特征预处理。
按照指定分割符或分隔方法进行切词,并处理停用词。
3、输出为每个用户ID所对应的字符串。
4、将每个用户ID所对应的特征字符串输入诸如doc2vec、Latent DirichletAllocation等模型训练,获取每个用户ID对应的高维向量。
二、异常检测
将每个用户ID的字符串特征所对应的高维向量分别输入到分布型检测模型、聚类型异常检测模型、分类型异常检测模型、局部异常检测模型、树类异常检测模型中的一种或多种模型中,分别进行训练,并保存各个模型的最终训练结果(即,获取最终的备选检测模型的具体参数)。
例如,上述分布型检测模型包括下列模型:
采用3-sigma方法、Elliptic Envelope方法等传统异常检测方法的检测模型;采用传统多元高斯分布方法的检测模型。这些检测模型判断某个用户所对应的特征对应的概率是否低于预设阈值,如低于则判定为异常。
例如,上述聚类型异常检测模型包括下列模型:
传统高斯混合检测模型、使用传统聚类方法DBSCAN的检测模型。这些检测模型判断某个簇的规模是否低于指定阈值,如低于则判定此簇内所有用户为异常。
例如,上述分类型异常检测模型包括下列模型:
使用传统的异常检测算法的one-class SVM检测模型。
例如,上述局部异常检测模型包括下列模型:
使用传统的异常检测算法Local Outlier Factor的检测模型。
例如,上述树类异常检测模型包括下列模型:
使用传统的异常检测算法Isolation Forest的检测模型;基于ball tree的检测模型,该检测模型计算每个用户ID对应的高维向量对应的指定k个最邻近的距离平均值,如此平均值高于指定阈值则判定为异常。
可选地,步骤S108包括:
基于针对M个选定检测模型的M个检测结果的投票机制,确定用户是否执行了网络异常访问。
例如,可以通过以下操作步骤实现投票机制:
1、分别计算数值型特征异常检测(即,M个选定检测模型中的数值型特征检测模型的)投票结果,以及字符型特征每个分类器(即,M个选定检测模型中的字符型特征检测模型的)投票结果,最终投票出每个用户ID是否为网络异常访问。
2、最终投票方法可以为,如有一个字符串型特征为异常、或数值型特征为异常、或针对字符串型特征和数值型特征的检测结果的组合投票结果为异常则为异常等。
3、M个选定检测模型各自对应的指定投票权重可以进行调整。
在上述步骤S108中(对应于实际检测过程),尽管与训练过程不同,仅仅使用最终选定的M个选定检测模型进行识别/检测。然而,每个选定检测模型所采用的具体识别/检测过程与训练过程采用的识别/检测过程相同。即,也包括以下步骤:
1、预处理。
例如,与上述模型训练过程中的预处理步骤相同,可以对日志、实时抓取的数据报文等进行预处理。特征选择和特征标准化方法使用对应模型训练中的模型。
2、异常检测。
例如,与上述模型训练过程中的异常检测处理步骤相同,即,可以完全按照模型训练中的异常检测步骤进行实际异常检测。如上文所述,被(例如,下文所述的检测模型选择模块203)剔除的分类器不进行预测(即,仅仅使用选定的M个选定检测模型)。
3、根据M个选定检测模型的检测结果进行投票,以确定最终的识别结果。
可选地,M个选定检测模型所使用的投票权重可以预先在训练过程中调整好,保证最高的准确率。
图2示例性地示出了根据本发明的基于用户行为的网络异常访问智能识别装置的示意框图。
如图2的实线框所示,根据本发明的基于用户行为的网络异常访问智能识别装置200包括:
备选检测模型训练模块201,用于基于相同的训练数据,分别采用N种不同的检测方法,或者采用L种不同的检测方法,建立用于检测网络异常访问的N个备选检测模型;
检测模型选择模块203,用于基于预定规则,从N个备选检测模型中选定用于在实际网络环境下检测用户网络异常访问的M个选定检测模型,
其中,基于L种不同的检测方法中的一种或多种中的每一种、针对相同的训练数据的不同特征建立多个备选检测模型,N为大于2的整数,M为小于等于N的整数,L为小于N的整数。
可选地,如图2的虚线框所示,基于用户行为的网络异常访问智能识别装置200还包括:
用户数据采集模块205,用于采集实际网络环境下的用户访问数据;
综合检测模块207,用于基于M个选定检测模型,对用户访问数据进行检测,确定用户是否执行了网络异常访问。
可选地,预定规则包括下列规则中的至少一种:
剔除检测出的异常结果与其它备选检测模型的第一重合度低于第一预定阈值的备选检测模型;
剔除检测出的正常结果与其它备选检测模型的第二重合度低于第二预定阈值的备选检测模型;
剔除模型分数低于第三预定阈值的备选检测模型;
剔除检测出的网络异常访问用户占比高于第四预定阈值的备选检测模型,
其中,每个备选检测模型检测出的网络异常访问用户为检测出的异常分数高于第五预定阈值的用户。
可选地,N个备选检测模型包括数值型特征检测模型和/或字符型特征检测模型,数值型特征检测模型和/或字符型特征检测模型包括下列模型中的至少一种:分布型检测模型、聚类型异常检测模型、分类型异常检测模型、局部异常检测模型、树类异常检测模型。
可选地,综合检测模块207还用于:
基于针对M个选定检测模型的M个检测结果的投票机制,确定用户是否执行了网络异常访问。
基于根据本发明的上述技术方案,还提出了一种存储介质,该存储介质上存储有计算机程序,程序被处理器执行时实现如上文所述方法的步骤。
基于根据本发明的上述技术方案,还提出了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如上文所述的方法的步骤。
为了使本领域技术人员更清楚地理解根据本发明的上述技术方案,下面将结合一个具体实施例进行描述。
图3示例性地示出了根据本发明的基于用户行为的网络异常访问智能识别方法的一个具体实施例的示意流程图。
如图3所示,该具体实施例用于网络访问异常识别,如图3右侧的两列所示,包括训练过程(对应于上述步骤S102和S104)和预测过程(即,上述实际检测过程,对应于上述步骤S106和S108)两个部分。
训练过程和预测过程各自分别包括如上文结合各个具体步骤所述的日志预处理、异常检测、投票器(即,投票处理,如上文所述,对训练过程而言是可选的)操作。
如图3右侧平行向右的三个箭头所示,训练过程(包括在其不同处理步骤中)得到的模型参数要输出给预测过程(与训练过程的处理步骤对应一致)使用,即,需要保存训练模型的各个参数,用于实际的预测过程。
根据本发明的上述技术方案,具有下列优点:
1、能够(例如,在训练过程中)预先剔除无效的异常检测模型,保证了预测过程(即,实际检测过程)的效率,提高了检测准确率。
2、基于无监督模式,通过多特征维度、多分类器(即,上述检测模型)的组合而非单一异常检测分类器,进行网络攻击或非法使用等网络异常访问行为的检测,相对于有监督模式的维护成本低、通用性更好。
3、可以(对应于上述预定规则)结合一种或多种可调阈值进行简单操作调整或结构调整,能够进一步提高检测准确率。
4、能够准实时地进行模型训练,实时地进行预测。
5、除了能够使用多种不同的异常检测算法之外,还能够将多种不同的异常检测算法并行应用于数值型和字符型特征,保证了异常检测的异常类型完整性。
6、还能够结合投票权重自动计算最终的检测结果,保证了检测结果的准确性。即,投票机制保证有效的异常检测算法互相配合投票出异常访问用户。
7、还能够调整投票机制的参数(例如,在训练前调整),进一步保证了上述技术方案调整的灵活性,进一步提高检测准确率。
8、检测模型可以结合基于传统的机器学习算法或统计型算法转换而来的异常检测算法。
9、可以对各异常检测模型进行异常分数归一化,保证异常分数的值域和/或分布相同,使每个异常检测模型的输出结果具有通用性,表示相同意义,方便判断,进一步提高了检测准确率。同时方便使用其他异常检测模型进行替换。
上面描述的内容可以单独地或者以各种方式组合起来实施,而这些变型方式都在本发明的保护范围之内。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器,如数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制。尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例的技术方案的精神和范围。

Claims (12)

1.一种基于用户行为的网络异常访问智能识别方法,其特征在于,包括:
基于相同的训练数据,分别采用N种不同的检测方法,或者采用L种不同的检测方法,建立用于检测网络异常访问的N个备选检测模型;
基于预定规则,从所述N个备选检测模型中选定用于在实际网络环境下检测用户网络异常访问的M个选定检测模型,
其中,基于L种不同的检测方法中的一种或多种中的每一种、针对相同的训练数据的不同特征建立多个备选检测模型,N为大于2的整数,M为小于等于N的整数,L为小于N的整数。
2.如权利要求1所述的基于用户行为的网络异常访问智能识别方法,其特征在于,还包括:
采集实际网络环境下的用户访问数据;
基于所述M个选定检测模型,对所述用户访问数据进行检测,确定用户是否执行了网络异常访问。
3.如权利要求1所述的基于用户行为的网络异常访问智能识别方法,其特征在于,所述预定规则包括下列规则中的至少一种:
剔除检测出的异常结果与其它备选检测模型的第一重合度低于第一预定阈值的备选检测模型;
剔除检测出的正常结果与其它备选检测模型的第二重合度低于第二预定阈值的备选检测模型;
剔除模型分数低于第三预定阈值的备选检测模型;
剔除检测出的网络异常访问用户占比高于第四预定阈值的备选检测模型,
其中,每个备选检测模型检测出的网络异常访问用户为检测出的异常分数高于第五预定阈值的用户。
4.如权利要求1所述的基于用户行为的网络异常访问智能识别方法,其特征在于,所述N个备选检测模型包括数值型特征检测模型和/或字符型特征检测模型,所述数值型特征检测模型和/或字符型特征检测模型包括下列模型中的至少一种:分布型检测模型、聚类型异常检测模型、分类型异常检测模型、局部异常检测模型、树类异常检测模型。
5.如权利要求2所述的基于用户行为的网络异常访问智能识别方法,其特征在于,所述基于所述M个选定检测模型,对所述用户访问数据进行检测,确定用户是否执行了网络异常访问的步骤包括:
基于针对所述M个选定检测模型的M个检测结果的投票机制,确定用户是否执行了网络异常访问。
6.一种基于用户行为的网络异常访问智能识别装置,其特征在于,包括:
备选检测模型训练模块,用于基于相同的训练数据,分别采用N种不同的检测方法,或者采用L种不同的检测方法,建立用于检测网络异常访问的N个备选检测模型;
检测模型选择模块,用于基于预定规则,从所述N个备选检测模型中选定用于在实际网络环境下检测用户网络异常访问的M个选定检测模型,
其中,基于L种不同的检测方法中的一种或多种中的每一种、针对相同的训练数据的不同特征建立多个备选检测模型,N为大于2的整数,M为小于等于N的整数,L为小于N的整数。
7.如权利要求6所述的基于用户行为的网络异常访问智能识别装置,其特征在于,还包括:
用户数据采集模块,用于采集实际网络环境下的用户访问数据;
综合检测模块,用于基于所述M个选定检测模型,对所述用户访问数据进行检测,确定用户是否执行了网络异常访问。
8.如权利要求6所述的基于用户行为的网络异常访问智能识别装置,其特征在于,所述预定规则包括下列规则中的至少一种:
剔除检测出的异常结果与其它备选检测模型的第一重合度低于第一预定阈值的备选检测模型;
剔除检测出的正常结果与其它备选检测模型的第二重合度低于第二预定阈值的备选检测模型;
剔除模型分数低于第三预定阈值的备选检测模型;
剔除检测出的网络异常访问用户占比高于第四预定阈值的备选检测模型,
其中,每个备选检测模型检测出的网络异常访问用户为检测出的异常分数高于第五预定阈值的用户。
9.如权利要求6所述的基于用户行为的网络异常访问智能识别装置,其特征在于,所述N个备选检测模型包括数值型特征检测模型和/或字符型特征检测模型,所述数值型特征检测模型和/或字符型特征检测模型包括下列模型中的至少一种:分布型检测模型、聚类型异常检测模型、分类型异常检测模型、局部异常检测模型、树类异常检测模型。
10.如权利要求7所述的基于用户行为的网络异常访问智能识别装置,其特征在于,所述综合检测模块还用于:
基于针对所述M个选定检测模型的M个检测结果的投票机制,确定用户是否执行了网络异常访问。
11.一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述程序被处理器执行时实现权利要求1至5中任意一项所述方法的步骤。
12.一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至5中任意一项所述方法的步骤。
CN201910008751.0A 2019-01-04 2019-01-04 基于用户行为的网络异常访问智能识别方法、装置、存储介质及计算机设备 Active CN111416790B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910008751.0A CN111416790B (zh) 2019-01-04 2019-01-04 基于用户行为的网络异常访问智能识别方法、装置、存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910008751.0A CN111416790B (zh) 2019-01-04 2019-01-04 基于用户行为的网络异常访问智能识别方法、装置、存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN111416790A true CN111416790A (zh) 2020-07-14
CN111416790B CN111416790B (zh) 2022-08-09

Family

ID=71494088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910008751.0A Active CN111416790B (zh) 2019-01-04 2019-01-04 基于用户行为的网络异常访问智能识别方法、装置、存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN111416790B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806615A (zh) * 2021-11-18 2021-12-17 成都索贝数码科技股份有限公司 一种智能it运维系统的kpi异常预警方法
CN114285604A (zh) * 2021-12-07 2022-04-05 集美大学 一种网络访问行为检测方法及装置
CN115622787A (zh) * 2022-10-24 2023-01-17 中国电信股份有限公司 异常流量检测方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120185728A1 (en) * 2010-12-24 2012-07-19 Commonwealth Scientific And Industrial Research Organisation System and method for detecting and/or diagnosing faults in multi-variable systems
CN104915455A (zh) * 2015-07-02 2015-09-16 焦点科技股份有限公司 一种基于用户行为的网站异常访问识别方法及系统
CN105915555A (zh) * 2016-06-29 2016-08-31 北京奇虎科技有限公司 网络异常行为的检测方法及系统
CN107426199A (zh) * 2017-07-05 2017-12-01 浙江鹏信信息科技股份有限公司 一种网络异常行为检测与分析的方法及系统
CN108667856A (zh) * 2018-08-10 2018-10-16 广东电网有限责任公司 一种网络异常检测方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120185728A1 (en) * 2010-12-24 2012-07-19 Commonwealth Scientific And Industrial Research Organisation System and method for detecting and/or diagnosing faults in multi-variable systems
CN104915455A (zh) * 2015-07-02 2015-09-16 焦点科技股份有限公司 一种基于用户行为的网站异常访问识别方法及系统
CN105915555A (zh) * 2016-06-29 2016-08-31 北京奇虎科技有限公司 网络异常行为的检测方法及系统
CN107426199A (zh) * 2017-07-05 2017-12-01 浙江鹏信信息科技股份有限公司 一种网络异常行为检测与分析的方法及系统
CN108667856A (zh) * 2018-08-10 2018-10-16 广东电网有限责任公司 一种网络异常检测方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113806615A (zh) * 2021-11-18 2021-12-17 成都索贝数码科技股份有限公司 一种智能it运维系统的kpi异常预警方法
CN114285604A (zh) * 2021-12-07 2022-04-05 集美大学 一种网络访问行为检测方法及装置
CN115622787A (zh) * 2022-10-24 2023-01-17 中国电信股份有限公司 异常流量检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111416790B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN108322347B (zh) 数据检测方法、装置、检测服务器及存储介质
CN110414555B (zh) 检测异常样本的方法及装置
CN111416790B (zh) 基于用户行为的网络异常访问智能识别方法、装置、存储介质及计算机设备
US20190087737A1 (en) Anomaly detection and automated analysis in systems based on fully masked weighted directed
CN106973038B (zh) 基于遗传算法过采样支持向量机的网络入侵检测方法
CN111639497B (zh) 一种基于大数据机器学习的异常行为发现方法
CN109818961B (zh) 一种网络入侵检测方法、装置和设备
CN112800116B (zh) 一种业务数据的异常检测方法及装置
CN106713324A (zh) 一种流量检测方法及装置
US7716152B2 (en) Use of sequential nearest neighbor clustering for instance selection in machine condition monitoring
CN112015153A (zh) 一种无菌灌装生产线异常检测系统和方法
CN111915418A (zh) 一种互联网金融欺诈行为在线检测方法及其装置
CN106960153B (zh) 病毒的类型识别方法及装置
CN113918367A (zh) 一种基于注意力机制的大规模系统日志异常检测方法
CN109145030B (zh) 一种异常数据访问的检测方法和装置
CN113438114B (zh) 互联网系统的运行状态监控方法、装置、设备及存储介质
CN112711757B (zh) 一种基于大数据平台的数据安全集中管控方法及系统
CN113378990A (zh) 基于深度学习的流量数据异常检测方法
CN112989332A (zh) 一种异常用户行为检测方法和装置
Megantara et al. Feature importance ranking for increasing performance of intrusion detection system
CN115719283A (zh) 一种智能化会计管理系统
CN117171157B (zh) 基于数据分析的清算数据采集清洗方法
CN113239006A (zh) 日志检测模型的生成方法和装置、日志检测方法和装置
CN112905671A (zh) 时间序列异常处理方法、装置、电子设备及存储介质
CN117272204A (zh) 异常数据检测方法、装置、存储介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant