CN109408556B - 基于大数据的异常用户识别方法及装置、电子设备、介质 - Google Patents
基于大数据的异常用户识别方法及装置、电子设备、介质 Download PDFInfo
- Publication number
- CN109408556B CN109408556B CN201811135904.XA CN201811135904A CN109408556B CN 109408556 B CN109408556 B CN 109408556B CN 201811135904 A CN201811135904 A CN 201811135904A CN 109408556 B CN109408556 B CN 109408556B
- Authority
- CN
- China
- Prior art keywords
- fluctuation
- feature
- user
- abnormal
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000006399 behavior Effects 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 230000005856 abnormality Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 208000012260 Accidental injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种异常用户识别方法及装置,属于大数据技术领域。该方法包括:获取多个用户的行为日志,并按照周期与特征统计每个所述用户的行为数据;计算每个所述用户的每个所述特征在各所述周期的行为数据的波动指数,并根据波动阈值判断每个所述用户的每个所述特征是否为波动特征,得到用户‑特征波动属性表;统计所述用户‑特征波动属性表中各波动特征组合的出现概率,将所述出现概率达到最小支持度的波动特征组合判断为异常特征组合;将所述用户中波动特征包含任一所述异常特征组合的用户识别为异常用户。本公开可以实现对异常用户的准确识别,并具有较强的通用性。
Description
技术领域
本公开涉及大数据技术领域,尤其涉及一种基于大数据的异常用户识别方法及装置、电子设备、计算机可读存储介质。
背景技术
互联网以及各种基于互联网的应用程序(Application,简称App)的发展极大的方便了人们的日常生活,然而也有一些用户通过滥用互联网或App服务获取不正当利益,例如网络上出现的虚假用户、虚假“粉丝”、恶意刷单、恶意广告等异常用户及异常用户行为,影响了网站或App的正常运营,因此需要将这些异常用户行为识别出来并加以处理。
现有的异常用户识别方法多数是建立异常用户的特征数据库,然后将待识别的用户行为数据与该特征数据库进行匹配,例如进行正则匹配或计算行为数据的余弦相似度等,根据匹配的结果做出判断。然而该方法需要事先建立特征数据库,在缺乏经验数据或历史数据的情况下难以适用;并且用户行为具有复杂的多样性,特征数据库难以覆盖所有类型的异常用户,因此通过特征数据库匹配容易产生遗漏,影响识别结果的准确性。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种基于大数据的异常用户识别方法及装置、电子设备、计算机可读存储介质,进而至少在一定程度上克服现有的异常用户识别方法适用范围小、准确性较低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的一个方面,提供一种基于大数据的异常用户识别方法,所述方法包括:获取多个用户的行为日志,并按照周期与特征统计每个所述用户的行为数据;计算每个所述用户的每个所述特征在各所述周期的行为数据的波动指数,并根据波动阈值判断每个所述用户的每个所述特征是否为波动特征,得到用户-特征波动属性表;统计所述用户-特征波动属性表中各波动特征组合的出现概率,将所述出现概率达到最小支持度的波动特征组合判断为异常特征组合;将所述用户中波动特征包含任一所述异常特征组合的用户识别为异常用户。
在本公开的一种示例性实施例中,所述方法还包括:统计所述用户-特征波动属性表中所述异常特征组合的关联概率,将所述关联概率小于最小置信度的异常特征组合从所述异常特征组合的集合中移除。
在本公开的一种示例性实施例中,根据波动阈值判断每个所述用户的每个所述特征是否为波动特征包括:确定每个所述特征的波动阈值;比较每个所述用户的每个所述特征的波动指数与所述特征的波动阈值;如果所述波动指数大于所述波动阈值,则将所述用户的所述特征判断为波动特征。
在本公开的一种示例性实施例中,所述方法还包括:在得到所述用户-特征波动属性表后,统计每个所述特征在全部所述用户中被判断为波动特征的比例;从所述用户-特征波动属性表中移除所述比例大于用户波动比例阈值的特征。
在本公开的一种示例性实施例中,所述方法还包括:根据每个所述波动特征组合的波动特征数量确定每个所述波动特征组合的最小支持度。
在本公开的一种示例性实施例中,所述波动特征组合的波动特征数量大于或等于3。
在本公开的一种示例性实施例中,所述波动指数包括方差、标准差、相对标准偏差、异常数据比例与相对极差中的至少一种。
根据本公开的一个方面,提供一种基于大数据的异常用户识别装置,包括:数据统计模块,用于获取多个用户的行为日志,并按照周期与特征统计每个所述用户的行为数据;波动判断模块,用于计算每个所述用户的每个所述特征在各所述周期的行为数据的波动指数,并根据波动阈值判断每个所述用户的每个所述特征是否为波动特征,得到用户-特征波动属性表;关联判断模块,用于统计所述用户-特征波动属性表中各波动特征组合的出现概率,将所述出现概率达到最小支持度的波动特征组合判断为异常特征组合;目标识别模块,用于将所述用户中波动特征包含任一所述异常特征组合的用户识别为异常用户。
根据本公开的一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的方法。
本公开的示例性实施例具有以下有益效果:
一方面,本实施例提出了一种基于波动特征判断与异常特征组合判断的异常用户识别方法,整个过程对于经验数据或样本数据没有强依赖,使得本实施例具有较强的通用性,可以应用于大多数应用场景。另一方面,异常特征组合与异常用户之间具有较强的关联性,因此本实施例对于异常用户的识别具有较高的准确性。再一方面,本实施例中的计算与判断过程都较为简单,易于实现,能够提高异常用户识别的效率。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开示例性实施例中一种异常用户识别方法的流程图;
图2示出本公开示例性实施例中一种异常用户识别方法的子流程图;
图3示出本公开示例性实施例中另一种异常用户识别方法的子流程图;
图4示出本公开示例性实施例中一种异常用户识别装置的结构框图;
图5示出本公开示例性实施例中一种用于实现上述方法的电子设备;
图6示出本公开示例性实施例中一种用于实现上述方法的计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的属性、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
本公开的示例性实施例首先提供了一种基于大数据的异常用户识别方法,参考图1所示,该方法可以包括以下步骤S11~S14:
步骤S11,获取多个用户的行为日志,并按照周期与特征统计每个用户的行为数据。
其中,行为日志是指网站或App服务器记录用户行为的原始数据;周期是指根据统计用户行为数据的时间单位,例如每天、每三天、每周等;特征是指用户行为数据的属性,例如登录属性、账户余额、浏览次数、评论次数等。每个用户的行为数据可以统计为一张二维的行为数据表,例如表1所示,表中的每个数据代表用户A的某个特征在某个周期内统计的数值(表中只是示例性示出部分数值)。在完成统计后,可以得到多个行为数据表,其数量与行为日志中的用户数量一致。
用户A | 特征1 | 特征2 | 特征3 | 特征4 | 特征5 | 特征6 | 特征7 | 特征8 |
周期1 | 1 | 1000 | ||||||
周期2 | 0 | 1000 | ||||||
周期3 | 1 | 1000 | ||||||
周期4 | 1 | 1200 | ||||||
周期5 | 0 | 1200 | ||||||
周期6 | 1 | 1200 | ||||||
周期7 | 1 | 1500 | ||||||
周期8 | 0 | 1500 |
表1
步骤S12,计算每个用户的每个特征在各周期的行为数据的波动指数,并根据波动阈值判断每个用户的每个特征是否为波动特征,得到用户-特征波动属性表。
波动指数是指反映某个用户的某个特征的行为数据波动(或离散)程度的指标。以表1为例,用户A的特征2在周期1~周期8的8个特征数据之间存在一定的波动,可以根据这8个数据计算波动指数。在一示例性实施例中,波动指数可以包括方差、标准差、相对标准偏差、异常数据比例与相对极差中的至少一种,其中,异常数据比例是指以行为数据的平均值为基准,设定正常波动范围(例如平均值±4倍标准差),超出该范围的为波动数据,其个数占行为数据总数的比例。以上指标均是反映数据波动程度的统计指标,具体采用哪个或哪些可以根据应用场景的实际情况决定。
波动阈值是事先确定的判断特征是否波动特征的标准,当某个用户的某个特征的波动指数大于该阈值时,该用户的该特征为波动特征。需要说明的是,对于不同的用户,同一特征的波动指数可能不同,是否波动特征的判断结果也可能不同,因此波动指数的计算与波动特征的判断应当以特定用户为前提。在对每个用户的每个特征进行判断后,可以得到如表2所示的用户-特征波动属性表,表中记录了每个用户的每个特征是否为波动特征,未标记的为正常特征。
特征1 | 特征2 | 特征3 | 特征4 | 特征5 | 特征6 | 特征7 | 特征8 | |
用户A | 波动 | 波动 | 波动 | |||||
用户B | 波动 | 波动 | ||||||
用户C | 波动 | 波动 | 波动 | |||||
用户D | 波动 | 波动 | ||||||
用户E | 波动 | 波动 | 波动 | |||||
用户F | 波动 | 波动 | ||||||
用户G | 波动 | 波动 | ||||||
用户H | 波动 | 波动 | 波动 | 波动 |
表2
步骤S13,统计用户-特征波动属性表中各波动特征组合的出现概率,将出现概率达到最小支持度的波动特征组合判断为异常特征组合。
波动特征组合是由两个或两个以上波动特征组成的。以表2为例,用户A的特征1、特征4、特征7被判断为波动特征,则用户A中出现了4个波动特征组合:特征1+特征4、特征1+特征7、特征4+特征7、特征1+特征4+特征7。依照同样的方法可以获得所有用户中出现过的波动特征组合,并统计各波动特征组合在所有用户中出现的次数,将出现次数除以用户数得到出现概率,例如表2中,特征1+特征4+特征7的出现概率为2/8=25%。如果出现概率达到最小支持度,则可以判断为异常特征组合。最小支持度是关联规则的一种判断标准,通常是概率阈值,可以根据经验或历史数据确定,并且在使用过程中可以对其数值进行调整及优化。
步骤S14,将用户中波动特征包含任一异常特征组合的用户识别为异常用户。
异常特征组合可能不止一个,只要用户的波动特征包含任一异常特征组合,即可识别为异常用户。以表2为例,如果判断特征1+特征4+特征7为异常特征组合,则表2中用户A与用户H为异常用户。需要注意的是,表2中用户H的波动特征还有特征8,不影响其波动特征包含异常特征组合特征1+特征4+特征7,即只要求用户的波动特征包含异常特征组合的特征,不要求两者完全一致。
根据上述说明,一方面,本实施例提出了一种基于波动特征判断与异常特征组合判断的异常用户识别方法,整个过程对于经验数据或样本数据没有强依赖,使得本实施例具有较强的通用性,可以应用于大多数应用场景。另一方面,异常特征组合与异常用户之间具有较强的关联性,因此本实施例对于异常用户的识别具有较高的准确性。再一方面,本实施例中的计算与判断过程都较为简单,易于实现,能够提高异常用户识别的效率。
在一示例性实施例中,异常用户识别方法还可以包括:统计用户-特征波动属性表中异常特征组合的关联概率,将关联概率小于最小置信度的异常特征组合从异常特征组合的集合中移除。
其中,关联概率是指出现异常特征组合中的一个特征时还出现该组合的其他特征的概率。以表2为例,若特征2+特征3为异常特征组合,用户C、用户F、用户G的波动特征中出现了特征2,而其中只有用户G的波动特征中还出现了特征3,则特征2→3的关联概率为1/3,反过来也可以计算特征3→2的关联概率也为1/3,则特征2+特征3这一组合的关联概率为1/3。一般情况下改变特征的先后顺序,关联概率可能会发生变化。例如表2中的特征1+特征4+特征7这一异常特征组合,特征1→(4,7)的关联概率为2/4,特征4→(1,7)的关联概率为2/4,特征7→(1,4)的关联概率为2/3。本实施例中,可以设定异常特征组合的关联概率为最大关联概率,则特征1+特征4+特征7的关联概率为2/3。
最小置信度与最小支持度类似,是关联规则的另一种判断标准,通常也是概率阈值,可以根据经验或历史数据确定,如果关联概率小于最小置信度,说明异常特征组合的特征之间关联程度不足,则重新判断其非异常特征组合。换而言之,本实施例中要求异常特征组合同时满足最小支持度与最小置信度。
在一示例性实施例中,参考图2所示,根据波动阈值判断每个用户的每个特征是否为波动特征可以通过步骤S21~S23实现:
步骤S21,确定每个特征的波动阈值。
步骤S22,比较每个用户的每个特征的波动指数与特征的波动阈值。
步骤S23,如果波动指数大于波动阈值,则将该用户的特征判断为波动特征。
即在判断特征是否波动特征时,不同特征采用不同的波动阈值作为波动阈值,这是考虑到每个特征的正常波动程度存在差别,根据每个特征的实际情况针对性的设定波动阈值,有利于更加客观的判断一个特征是否为波动特征。
进一步的,参考图3所示,异常用户识别方法还可以包括以下步骤:
步骤S31,在得到用户-特征波动属性表后,统计每个特征在全部用户中被判断为波动特征的比例。
步骤S32,从用户-特征波动属性表中移除所述比例大于用户波动比例阈值的特征。
实际应用中可能存在一部分特征,本身就具有较强的波动性,不适合于通过波动性判断是否异常。鉴于此,如果某个特征在大多数用户中都被判断为波动特征,以至于超过根据经验或历史数据确定的用户波动比例阈值时,可以判断该特征符合上述特点,并将其从用户-特征波动属性表中移除,不参与后续的过程,能够降低异常用户识别的“误伤”情况,进一步提高识别结果的准确性。
在一示例性实施例中,可以根据每个波动特征组合的特征数量确定每个波动特征组合的最小支持度。波动特征组合一般是由两个或两个以上特征组成,通常特征数越少的波动特征组合,在用户-特征波动属性表中出现概率越高,因此可以对特征数不同的波动特征组合,采用不同的最小支持度作为是否异常的判断标准,一般可以为特征数多的波动特征组合设定较低的最小支持度。
此外,实际应用中波动特征数为2的波动特征组合可能大量出现,且两个特征的关联难以充分体现异常性。因此,在一示例性实施例中,可以设定波动特征组合的波动特征数量大于或等于3,在从用户-特征波动属性表中统计波动特征组合时,可以仅考虑三个或三个以上波动特征组成的波动特征组合,能够降低后续异常特征组合判断的运算量。需要补充的是,在其他实施例中,也可以设定波动特征组合的波动特征数量至少为4、5等等,根据实际应用的需求,可以将波动特征组合的波动特征数量下限设定为任意数值。
需要说明的是,本示例性实施例涉及到多个判断步骤以及相应的多个阈值,包括波动阈值、最小支持度、最小置信度、用户波动比例阈值,可以根据经验或历史数据设定各阈值,在实际应用中,可以根据异常用户识别过程与结果的反馈对各阈值进行调整与优化,例如在判断波动特征时,得到的波动特征数量很少,可以适当降低波动阈值;在判断异常特征组合时,得到的异常特征组合数量很少,可以适当降低最小支持度或最小置信度;在识别结果中,误将较多的正常用户识别为异常用户,可以适当的提高波动阈值,或降低用户波动比例阈值等。通过对各阈值的调整与优化,可以不断提高异常用户识别的准确性,相较于更新特征数据库的方式更易于实现,且可以通过迭代达到各阈值的局部最优值。
本公开的示例性实施例还提供了一种基于大数据的异常用户识别装置,参考图4所示,该装置40可以包括:数据统计模块41,用于获取多个用户的行为日志,并按照周期与特征分类统计每个用户的行为数据;波动判断模块42,用于计算每个用户的每个特征在各周期的行为数据的波动指数,并根据波动阈值判断每个用户的每个特征是否为波动特征,得到用户-特征波动属性表;关联判断模块43,用于统计用户-特征波动属性表中各波动特征组合的出现概率,将出现概率达到最小支持度的波动特征组合判断为异常特征组合;目标识别模块44,用于将用户中波动特征包含任一异常特征组合的用户识别为异常用户。
在一示例性实施例中,关联判断模块还可以包括:置信判断单元,用于统计用户-特征波动属性表中异常特征组合的关联概率,将关联概率小于最小置信度的异常特征组合从异常特征组合的集合中移除。
在一示例性实施例中,波动判断模块还可以包括:阈值确定单元,用于确定每个特征的波动阈值;指数比较单元,用于比较每个用户的每个特征的波动指数与特征的波动阈值,以及当波动指数大于波动阈值时,将该用户的特征判断为波动特征。
在一示例性实施例中,异常用户识别装置还可以包括:特征筛选模块,用于统计用户-特征波动属性表中每个特征在全部用户中被判断为波动特征的比例,以及从用户-特征波动属性表中移除比例大于用户波动比例阈值的特征。
在一示例性实施例中,异常用户识别装置还可以包括:最小支持单元,用于根据每个波动特征组合的波动特征数量确定每个波动特征组合的最小支持度。
在一示例性实施例中,波动特征组合的波动特征数量可以大于或等于3。
在一示例性实施例中,波动指数可以包括方差、标准差、相对标准偏差、异常数据比例与相对极差中的至少一种。
上述各模块/单元的具体细节在方法部分的实施例中已经详细说明,因此不再赘述。
本公开的示例性实施例还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图5来描述根据本公开的这种示例性实施例的电子设备500。图5显示的电子设备500仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示,电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于:上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530、显示单元540。
其中,存储单元存储有程序代码,程序代码可以被处理单元510执行,使得处理单元510执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,处理单元510可以执行图1所示的步骤S11~S14,也可以执行图2所示的步骤S21~S23等。
存储单元520可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)521和/或高速缓存存储单元522,还可以进一步包括只读存储单元(ROM)523。
存储单元520还可以包括具有一组(至少一个)程序模块525的程序/实用工具524,这样的程序模块525包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线530可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备500也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备500交互的设备通信,和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行。并且,电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器560通过总线530与电子设备500的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备500使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施例的方法。
本公开的示例性实施例还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图6所示,描述了根据本公开的示例性实施例的用于实现上述方法的程序产品600,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的示例性实施例,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (6)
1.一种基于大数据的异常用户识别方法,其特征在于,所述方法包括:
获取多个用户的行为日志,并按照周期与特征统计每个所述用户的行为数据;
计算每个所述用户的每个所述特征在各所述周期的行为数据的波动指数,并根据波动阈值判断每个所述用户的每个所述特征是否为波动特征,得到用户-特征波动属性表;
统计每个所述特征在全部所述用户中被判断为波动特征的比例;从所述用户-特征波动属性表中移除所述比例大于用户波动比例阈值的特征;
统计所述用户-特征波动属性表中各波动特征组合的出现概率,将所述出现概率达到最小支持度的波动特征组合判断为异常特征组合;统计所述用户-特征波动属性表中所述异常特征组合的关联概率,将所述关联概率小于最小置信度的异常特征组合从所述异常特征组合的集合中移除;
将所述用户中波动特征包含任一所述异常特征组合的用户识别为异常用户;
其中,根据波动阈值判断每个所述用户的每个所述特征是否为波动特征包括:
确定每个所述特征的波动阈值;
比较每个所述用户的每个所述特征的波动指数与所述特征的波动阈值;
如果所述波动指数大于所述波动阈值,则将所述用户的所述特征判断为波动特征;
其中,所述方法还包括:
根据每个所述波动特征组合的波动特征数量确定每个所述波动特征组合的最小支持度。
2.根据权利要求1所述的方法,其特征在于,所述波动特征组合的波动特征数量大于或等于3。
3.根据权利要求1所述的方法,其特征在于,所述波动指数包括方差、标准差、相对标准偏差、异常数据比例与相对极差中的至少一种。
4.一种基于大数据的异常用户识别装置,其特征在于,包括:
数据统计模块,用于获取多个用户的行为日志,并按照周期与特征统计每个所述用户的行为数据;
波动判断模块,用于计算每个所述用户的每个所述特征在各所述周期的行为数据的波动指数,并根据波动阈值判断每个所述用户的每个所述特征是否为波动特征,得到用户-特征波动属性表;
特征筛选模块,用于统计每个所述特征在全部所述用户中被判断为波动特征的比例;从所述用户-特征波动属性表中移除所述比例大于用户波动比例阈值的特征;
关联判断模块,用于统计所述用户-特征波动属性表中各波动特征组合的出现概率,将所述出现概率达到最小支持度的波动特征组合判断为异常特征组合;所述关联判断模块还包括置信判断单元,用于统计所述用户-特征波动属性表中所述异常特征组合的关联概率,将所述关联概率小于最小置信度的异常特征组合从所述异常特征组合的集合中移除;
目标识别模块,用于将所述用户中波动特征包含任一所述异常特征组合的用户识别为异常用户;
其中,所述波动判断模块包括:阈值确定单元,用于确定每个所述特征的波动阈值;指数比较单元,用于比较每个所述用户的每个所述特征的波动指数与所述特征的波动阈值,如果所述波动指数大于所述波动阈值,则将所述用户的所述特征判断为波动特征;
所述异常用户识别装置还包括最小支持单元,用于根据每个所述波动特征组合的波动特征数量确定每个所述波动特征组合的最小支持度。
5.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-3任一项所述的方法。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-3任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811135904.XA CN109408556B (zh) | 2018-09-28 | 2018-09-28 | 基于大数据的异常用户识别方法及装置、电子设备、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811135904.XA CN109408556B (zh) | 2018-09-28 | 2018-09-28 | 基于大数据的异常用户识别方法及装置、电子设备、介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109408556A CN109408556A (zh) | 2019-03-01 |
CN109408556B true CN109408556B (zh) | 2024-02-02 |
Family
ID=65465396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811135904.XA Active CN109408556B (zh) | 2018-09-28 | 2018-09-28 | 基于大数据的异常用户识别方法及装置、电子设备、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109408556B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110392046B (zh) * | 2019-06-28 | 2021-12-24 | 平安科技(深圳)有限公司 | 网络访问的异常检测方法和装置 |
CN110378112A (zh) * | 2019-07-08 | 2019-10-25 | 北京达佳互联信息技术有限公司 | 一种用户识别方法及装置 |
CN110401660B (zh) * | 2019-07-26 | 2022-03-01 | 秒针信息技术有限公司 | 虚假流量的识别方法、装置、处理设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103076595A (zh) * | 2012-12-31 | 2013-05-01 | 中国电子科技集团公司第二十八研究所 | 一种多元离散雷达辐射源信号的异常类型识别方法 |
WO2016072839A1 (en) * | 2014-11-06 | 2016-05-12 | Mimos Berhad | System and method for identifying potential anomalies in time series data |
CN106846801A (zh) * | 2017-02-06 | 2017-06-13 | 安徽新华博信息技术股份有限公司 | 一种基于车辆轨迹的区域徘徊异常行为检测方法 |
CN108055281A (zh) * | 2017-12-27 | 2018-05-18 | 百度在线网络技术(北京)有限公司 | 账户异常检测方法、装置、服务器及存储介质 |
CN108564423A (zh) * | 2017-12-28 | 2018-09-21 | 携程旅游网络技术(上海)有限公司 | 票务订单的恶意占位识别方法、系统、设备和存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8751414B2 (en) * | 2011-05-04 | 2014-06-10 | International Business Machines Corporation | Identifying abnormalities in resource usage |
-
2018
- 2018-09-28 CN CN201811135904.XA patent/CN109408556B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103076595A (zh) * | 2012-12-31 | 2013-05-01 | 中国电子科技集团公司第二十八研究所 | 一种多元离散雷达辐射源信号的异常类型识别方法 |
WO2016072839A1 (en) * | 2014-11-06 | 2016-05-12 | Mimos Berhad | System and method for identifying potential anomalies in time series data |
CN106846801A (zh) * | 2017-02-06 | 2017-06-13 | 安徽新华博信息技术股份有限公司 | 一种基于车辆轨迹的区域徘徊异常行为检测方法 |
CN108055281A (zh) * | 2017-12-27 | 2018-05-18 | 百度在线网络技术(北京)有限公司 | 账户异常检测方法、装置、服务器及存储介质 |
CN108564423A (zh) * | 2017-12-28 | 2018-09-21 | 携程旅游网络技术(上海)有限公司 | 票务订单的恶意占位识别方法、系统、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109408556A (zh) | 2019-03-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109241418B (zh) | 基于随机森林的异常用户识别方法及装置、设备、介质 | |
US20200057958A1 (en) | Identification and application of hyperparameters for machine learning | |
CN109408556B (zh) | 基于大数据的异常用户识别方法及装置、电子设备、介质 | |
CN107122369B (zh) | 一种业务数据处理方法、装置和系统 | |
CN109522190B (zh) | 异常用户行为识别方法及装置、电子设备、存储介质 | |
US10749881B2 (en) | Comparing unsupervised algorithms for anomaly detection | |
WO2019187358A1 (ja) | 評価装置 | |
CN110162518B (zh) | 数据分组方法、装置、电子设备及存储介质 | |
CN109857431B (zh) | 代码修改方法及装置、计算机可读介质及电子设备 | |
CN111859384A (zh) | 异常事件监控方法、装置、计算机设备及存储介质 | |
CN113448935B (zh) | 用于提供日志信息的方法、电子设备和计算机程序产品 | |
US20170149800A1 (en) | System and method for information security management based on application level log analysis | |
CN110602207A (zh) | 基于离网预测推送信息的方法、装置、服务器和存储介质 | |
CN110599004A (zh) | 一种风险控制方法、设备、介质以及装置 | |
CN113886821A (zh) | 基于孪生网络的恶意进程识别方法、装置、电子设备及存储介质 | |
CN113657249A (zh) | 训练方法、预测方法、装置、电子设备以及存储介质 | |
CN109523296B (zh) | 用户行为概率分析方法及装置、电子设备、存储介质 | |
WO2023082792A1 (zh) | 参数寻优方法和装置 | |
CN108768742B (zh) | 网络构建方法及装置、电子设备、存储介质 | |
CN111353860A (zh) | 产品信息推送方法及系统 | |
CN113590447B (zh) | 埋点处理方法和装置 | |
CN113918577B (zh) | 数据表识别方法、装置、电子设备及存储介质 | |
CN110674839B (zh) | 异常用户识别方法、装置、存储介质及电子设备 | |
CN115393100A (zh) | 资源推荐方法及装置 | |
CN109218411B (zh) | 数据处理方法及装置、计算机可读存储介质、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |