CN104778591A - 一种异常行为的特征信息的提取、识别方法和装置 - Google Patents

一种异常行为的特征信息的提取、识别方法和装置 Download PDF

Info

Publication number
CN104778591A
CN104778591A CN201510152777.4A CN201510152777A CN104778591A CN 104778591 A CN104778591 A CN 104778591A CN 201510152777 A CN201510152777 A CN 201510152777A CN 104778591 A CN104778591 A CN 104778591A
Authority
CN
China
Prior art keywords
event
checking
abnormal
information
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510152777.4A
Other languages
English (en)
Other versions
CN104778591B (zh
Inventor
郭瑞
郭溪
刁士涵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN201510152777.4A priority Critical patent/CN104778591B/zh
Publication of CN104778591A publication Critical patent/CN104778591A/zh
Application granted granted Critical
Publication of CN104778591B publication Critical patent/CN104778591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Telephonic Communication Services (AREA)

Abstract

本发明实施例提供了一种异常行为的特征信息的提取、识别方法和装置,该提取方法包括:从采集的事件数据中提取第一事件特征信息,其中,至少部分事件数据具有对应的异常标记;对所述第一事件特征信息进行异常验证,获得第一验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;根据所述异常标记对所述第一验证值配置权重,以及,对所述第一验证值进行组合,以获得一个或多个异常行为表达式;当所述异常行为表达式满足预设的验证条件时,将所述异常表达式设置为异常行为的特征信息。本发明实施例实现了自动化的特征信息的学习,大大降低了时间成本和人力成本,提高了异常行为的识别成功率和快速适应性。

Description

一种异常行为的特征信息的提取、识别方法和装置
技术领域
本发明涉及计算机处理的技术领域,特别是涉及一种异常行为的特征信息的提取方法、一种基于特征信息的异常行为的识别方法、一种异常行为的特征信息的提取装置和一种基于特征信息的异常行为的识别装置。
背景技术
随着网络的快速发展,越来越多新创业的公司出现以及传统企业转向网络平台,在市场竞争中,许多平台都对用户进行各种活动,并设置活动规则。
对活动中的物品进行二次转让隐含着巨大的经济利益,由此衍生出一系列不法分子绕开活动规则大量获取活动物品的非自律行为。
现在,一般是通过工制定规则以及分析数据识别不法分子的不法行为,识别成功率低且具有滞后性。
尤其随着网络环境中发布的活动的数量的高速增长,人工识别不法行为的方式在时间和人力成本上越来越高,以至于无法承受。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种异常行为的特征信息的提取方法、一种基于特征信息的异常行为的识别方法和相应的一种异常行为的特征信息的提取装置、一种基于特征信息的异常行为的识别装置。
为了解决上述问题,本发明实施例公开了一种异常行为的特征信息的提取方法,包括:
从采集的事件数据中提取第一事件特征信息,其中,至少部分事件数据具有对应的异常标记;
对所述第一事件特征信息进行异常验证,获得第一验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
根据所述异常标记对所述第一验证值配置权重,以及,对所述第一验证值进行组合,以获得一个或多个异常行为表达式;
当所述异常行为表达式满足预设的验证条件时,将所述异常表达式设置为异常行为的特征信息。
本发明实施例还公开了一种基于特征信息的异常行为的识别方法,包括:
当接收到事件请求时,从所述事件请求中提取第二事件特征信息;
对所述第二事件特征信息进行异常验证,以拒绝所述事件请求和/或获得一个或多个第二验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
将所述一个或多个第二验证值代入预设的异常行为的特征信息中,以计算第二异常值;
根据所述第二异常值对所述事件请求进行异常行为的识别。
本发明实施例还公开了一种异常行为的特征信息的提取装置,包括:
第一事件特征信息提取模块,用于从采集的事件数据中提取第一事件特征信息,其中,至少部分事件数据具有对应的异常标记;
第一异常验证模块,用于对所述第一事件特征信息进行异常验证,获得第一验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
异常行为表达式获得模块,用于根据所述异常标记对所述第一验证值配置权重,以及,对所述第一验证值进行组合,以获得一个或多个异常行为表达式;
特征信息设置模块,用于在所述异常行为表达式满足预设的验证条件时,将所述异常表达式设置为异常行为的特征信息。
本发明实施例还公开了一种基于特征信息的异常行为的识别装置,包括:
第二事件特征信息提取模块,用于在接收到事件请求时,从所述事件请求中提取第二事件特征信息;
第二异常验证模块,用于对所述第二事件特征信息进行异常验证,以拒绝所述事件请求和/或获得一个或多个第二验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
第二异常值计算模块,用于将所述一个或多个第二验证值代入预设的异常行为的特征信息中,以计算第二异常值;
异常行为识别模块,用于根据所述第二异常值对所述事件请求进行异常行为的识别。
本发明实施例包括以下优点:
本发明实施例对采集的事件数据中提取对事件特征信息进行异常验证,对获得验证值配置权重及进行组合,以获得异常行为表达式,在满足预设的验证条件时,设置为异常行为的特征信息,实现了自动化的特征信息的学习,大大减少了人工干预,大大降低了时间成本和人力成本,提高了异常行为的识别成功率和快速适应性。
附图说明
图1是本发明的一种活动示例图;
图2是本发明的一种异常行为的特征信息的提取方法实施例的步骤流程图;
图3是本发明的一种事件请求的触发示例图;
图4是本发明的一种基于特征信息的异常行为的识别方法实施例的步骤流程图;
图5是本发明的一种禁止事件请求执行的示例图;
图6是本发明的一种异常行为的特征信息的提取装置实施例的结构框图;
图7是本发明的一种基于特征信息的异常行为的识别装置实施例的结构框图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
随着网络,尤其是O2O(Online To Offline,又被称为线上线下电子商务)领域的快速发展,越来越多的新创业公司出现以及传统企业转向网络。在市场竞争中,对用户进行优惠是新老公司的常用营销方案,例如,如图1所示的团购活动,对优惠的商品进行二次转让隐含着巨大的经济利益,由此衍生出一系列绕过优惠规则的作弊者。
随着作弊与反作弊对抗局势愈演愈烈,人工制定规则以及分析数据已经无法有效识别层出不穷的作弊方法,以及无法解决人工分析带来的滞后性。
因此,提出了本发明实施例的核心构思之一,自动发现反作弊方法的规则,代替人工进行与作弊者进行对抗。
参照图2,示出了本发明的一种异常行为的特征信息的提取方法实施例的步骤流程图,具体可以包括如下步骤:
步骤201,从采集的事件数据中提取第一事件特征信息;
在本发明实施例中,事件可以指用户通过客户端与服务器之间的一次交互操作,事件数据可以为与该交互操作相关的数据。
例如,在O2O领域中,事件可以指用户通过客户端向服务器下的订单(如团购订单),无论订单是否执行,服务器都可以记录该订单相关的数据(即事件数据)。
第一事件特征信息可以指表征事件的特征的信息,在实际中,第一事件特征信息可以为事件数据中任一数据,本领域技术人员可以根据实际情况进行设定,本发明实施例对此不加以限制。
在本发明的一种优选实施例中,第一事件特征信息可以包括用户标识、事件信息、设备信息中的一种或多种;
用户标识可以是能够代表一个唯一确定的用户的信息,具体可以包括用户账号、与用户账号绑定的电话号码、与用户账号绑定的账户(如银行账户)中的一种或多种;
事件信息可以是时间本身具有的信息,具体可以包括事件标识、事件参数中的一种或多种;
其中,事件标识可以是能够代表一个唯一确定的时间的信息,例如,事件ID(IDentity)。
事件参数可以为事件中的某个参数,例如,在O2O领域中,事件参数可以为代金券等。
设备信息可以为设备中的信息,具体包括设备ID(可以由系统对该设备生成)、设备号(如串号等)、手机卡(如手机号、卡码等)、网络类型(如2G、3G、4G、wifi等)、地址(如IP地址等)、系统类型(如Android、IOS等)、设备型号中的一种或多种。
当然,上述第一事件特征信息只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他第一事件特征信息,本发明实施例对此不加以限制。另外,除了上述第一事件特征信息外,本领域技术人员还可以根据实际需要采用其它第一事件特征信息,本发明实施例对此也不加以限制。
应用本发明实施例,用户可以通过如图3所示的客户端界面,点击“提交订单”,向服务器发送事件请求,则服务器可以从客户端发起的事件请求中,采集相应的事件数据,也可以通过模拟事件请求,采集相应的事件数据,等等,本发明实施例对此不加以限制。
其中,至少部分事件数据可以具有对应的异常标记;
异常标记,可以标记事件数据为异常行为触发的,通常是不法分子的不法行为所触发的。
异常标记通常是对事件数据所属的用户标识(如用户ID)进行标注的,将请求的用户标注为作弊或者非作弊。
一般可以通过采取人工和机器辅助的方法添加异常标记。
机器辅助标注是指用统计、冲突等手段发现可疑数据,如某个IP地址1小时内发出100次请求。
在具体实现中,服务器可以将事件数据按照其发生时间,进行顺序排序,以按照时序模拟线上的事件请求,进行异常行为的特征信息的学习。
步骤202,对所述第一事件特征信息进行异常验证,获得第一验证值;
异常验证可以用于验证是否是异常行为触发的事件。
在具体实现中,异常验证可以包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种。
在本发明的一种优选实施例中,所述累积验证对应的第一验证值可以包括累积数量;则在本发明实施例中,步骤202可以包括如下子步骤:
子步骤S11,针对每个事件数据对应的事件,统计基于所述用户标识,触发所述事件和/或所述事件中事件参数的累积数量。
需要说明的是,事件可以由事件标识(如事件ID)进行表征。
在实际中,不法分子的非自律活动通常会抢占过多的资源,扰乱活动秩序,因此,可以通过对参与活动的数量进行限制,保证事件的公平。
在本发明实施例中,累积可以包括对事件的累积和/或对事件中某些参数的累积。
例如,在O2O领域中,可以对某个团购的订单数量、代金券等进行参与数量的限制,则在应用时,可以对某个用户参与该团购的订单数量、购买该代金券的数量进行累积。
本发明实施例在离线学习异常行为的特征信息时,可以根据事件数据、也可以根据业务需求确定一个数量阈值。
一般情况下,当累积数量大于限制的数量阈值时,可以拒绝基于该用户标识发起的相同事件,反之,当累积数量未大于限制的数量阈值时,可以执行基于该用户标识发起的相同事件。
例如,某事件限制用户参加一次,则服务器可以对该用户(用户标识表征)参加该事件(事件标识表征)的数量进行累积,当用户首次参加该事件时,允许用户参加,当用户第二次参加该事件时,超过限制的数量,禁止用户参加该事件。
又例如,某个代金券限制用户购买5个,则服务器可以对该用户(用户标识表征)购买该代金券(事件参数表征)的数量,若第一次用户购买了2个代金券,则第二次用户最多只能购买3个代金券。
在本发明的一种优选实施例中,所述连续概率验证对应的第一验证值可以包括连续概率;则在本发明实施例中,步骤202可以包括如下子步骤:
子步骤S12,针对每个事件数据对应的事件,计算基于所述设备信息,连续触发所述事件的连续概率。
需要说明的是,事件可以由事件标识(如事件ID)进行表征,连续触发指的是在某个/些设备信息的维度下的连续发生,并不一定指时间上的连续。
例如,若基于IP地址的维度定义连续触发,则连续触发可以指基于该IP地址连续发生某个事件。
又例如,若基于手机号码的维度定义续触发,则连续触发可以指基于该手机号码连续发生某个事件。
在实际中,若限制了参与活动的数量,不法分子可能不断尝试注册新的用户账号,用新注册的用户账号参与活动。
不法分子的作弊行为的一个特征为机器化操作,通过特定程序不断进行尝试参与活动,即使通过不断变换用户账号,但还是会基于同一个环境中进行的,即可能在某个设备信息的维度下,连续触发相同的事件,这些事件可以称之为连续事件。
本发明实施例中,服务器可以对连续事件进行概率计算,获得连续概率,即当前事件作为连续事件发生的概率。
一般情况下,连续概率较小的事件可以认为是异常行为触发的事件,即疑似作弊事件。
本发明实施例在离线学习异常行为的特征信息时,可以根据事件数据确定一个连续概率阈值。
进一步地,可以通过制定连续概率阈值进行验证,若连续概率小于该连续概率阈值,则可以拒绝基于该设备信息发起的事件,反之,当连续概率大于或等于该连续概率阈值时,可以执行基于该设备信息发起的事件。
在具体实现中,可以采用多种方式计算连续概率,例如,伯努利分布(二项分布)、几何分布、巴斯卡分布等等,本发明实施例对此不加以限制。
以伯努利分布为例,当某个事件连续出现时,每出现一次整体概率就会降低一次,当出现足够次数时,概率低于连续概率阈值,此时可以拒绝基于该设备信息触发的相同事件。
具体而言,每个事件发生都是有概率的,概率取值范围为0-1之间。由此可以定义连续事件发生的连续概率,对于相互独立的连续事件A1,A2,…,An,连续发生的连续概率记为P(A),计算公式为:
P(A)=P(A1)*(PA2)*…*P(An)
而事件发生的概率可以根据背景知识或者统计得到的。
对于背景知识,例如,在移动平台包括Android系统和IOS系统的客户端,则基于Android系统和IOS系统发生某个事件的概率为1/2。
对于统计概率,例如,统计某段时间某个事件基于Android系统和IOS系统发生的比率,若该事件的发生的总数量为10,基于Android系统发生的数量为6,基于IOS系统发生的数量为4,则基于Android系统发生的概率为6/10,同理,基于IOS系统发生的概率为4/10。
连续事件的连续概率越小,表示该系列事件发生的可能性就越小,因此可以确定一个连续概率阈值,记为Pt,拒绝小于此概率的事件,即拒绝P(A)<Pt的事件。
例如,服务器对触发事件的设备系统做连续限制,基于Android系统和IOS系统发生某个事件的概率为1/2,小于1/1000的事件将被拒绝。假设基于Android系统连续发生某个事件10次,则连续第10个发生的事件的连续概率为1/1024,会被服务器拒绝。
在本发明的一种优选实施例中,所述统计概率验证对应的第一验证值可以包括统计概率;则在本发明实施例中,步骤202可以包括如下子步骤:
子步骤S13,针对每个事件数据对应的事件,计算基于所述设备信息,在预设的时间段内触发所述事件的统计概率。
需要说明的是,事件可以由事件标识(如事件ID)进行表征。
在实际中,若限制了连续发生事件的概率,不法分子可能不断转换设备信息,如手机号、IP地址等,继续参与活动。
不法分子的作弊行为的一个特征为机器化操作,通过特定程序不断进行尝试参与活动,即使通过不断变换设备信息,但还是会基于同一个环境中进行的,即在整体上可以反映某个设备信息的占比。
本发明实施例中,服务器可以对事件进行统计,获得统计概率,即某段时间基于某个设备信息发生某个事件的概率。
本发明实施例在离线学习异常行为的特征信息时,可以根据事件数据确定一个统计概率阈值。
一般情况下,统计概率较大的事件可以认为是异常行为触发的事件,即疑似作弊事件。
进一步地,可以通过制定统计概率阈值进行验证,若统计概率大于该统计概率阈值,则可以拒绝基于该设备信息发起的事件,反之,当统计概率小于或等于该统计概率阈值时,可以执行基于该设备信息发起的事件。
在具体实现中,可以采用多种方式计算统计概率,例如,高斯分布(正态分布)、泊松分布、t分布、F分布等等,本发明实施例对此不加以限制。
以高斯分布为例,假设事件发生服从高斯分布,根据当前的随机变量值可以计算出左极限到当前值的面积,此面积覆盖大多数事件,未被覆盖的事件将被拒绝。
具体而言,每个事件发生都是有概率的,概率取值范围为0-1之间,该概率可以根据背景知识或者统计得到的。
假设事件的发生服从某一分布,可以根据分布函数对某一段区间积分计算面积,记为As,当然总体面积也可以通过积分算出,记为At,该区间的概率定义为P(A)=As/At。
由于分布函数是基于随机变量取值的函数,可以建立起随机变量和事件概率之间的关系,随机变量记为X,则统计概率P(X)~P(A)=As/At。
对某段时间发生的事件(即历史事件)进行统计,事件发生概率为随机变量,记为Xi,确定统计概率阈值Xt。当随机变量取值足够大时,拒绝大于此统计概率阈值的事件,即拒绝Xi>Xt的事件。
例如,基于Android系统发生的概率为6/10,基于IOS系统发生的概率为4/10,根据发生的概率的取值能对应到统计概率阈值,基于Android系统的统计概率阈值为6/10,则当基于Android系统发生的数量为事件总数的6/10时,则可以拒绝当前发生的事件。
在本发明的一种优选实施例中,所述冲突验证对应的第一验证值可以包括是否冲突;则在本发明实施例中,步骤202可以包括如下子步骤:
子步骤S14,针对每个事件数据对应的事件,判断至少两种设备信息与预设的映射关系是否冲突。
需要说明的是,事件可以由事件标识(如事件ID)进行表征。
在实际中,若限制了参与活动的设备信息的比例,不法分子可能不断尝试修改设备信息,如设备型号、系统类型等,继续参与活动。
设备信息的比例是基于大数据的统计,若想绕开这个大数据的统计,一般需要将设备信修改为非真实的设备信息,将统计的概率降低。
本发明实施例中,根据领域知识,预先采集真实的设备信息,可以确定领域知识某些真实的设备信息之间的映射关系,以获得映射关系。
设F,Q为领域知识抽象出的两个设备信息的集合,其中F表示为{f1,f2,…,fk,…,fn};Q表示为{q1,q2,…,ql,…,qm}。
假设建立映射为f1-q1,fk-ql,…,fn-qm,称之为F和Q在该领域知识下的映射关系的集合。
一般情况下,与映射关系冲突的设备信息所属事件可以认为是异常行为触发的事件,即疑似作弊事件。
对于当前出现的事件,抽取该事件上领域知识F和Q两个集合的特征,扫描上面定义的映射关系集合,如果事件中出现不属于映射关系集合的映射,则可以拒绝该事件。
例如,某个手机品牌具有A、B、C三个型号,建立手机品牌-A、手机品牌-B、手机品牌-C这三个映射关系,如果当前事件中的设备信息是该手机品牌的D型号,而该手机品牌并没有D型号,与映射关系冲突。
在具体实现中,服务器可以对事件数据和第一事件特征信息建立倒排索引和正排索引作为基础数据结构,对当前事件中的信息进行索引查找,判断对应的设备信息是否产生冲突。
需要说明的是,在每种异常验证中,如累积验证、连续概率验证、统计概率验证、冲突验证,可以输出一个第一验证值,也可以基于不同的第一特事件征值信息输出多个第一验证值,本发明实施例对此不加以限制。
当然,上述异常验证方式只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他异常验证方式,本发明实施例对此不加以限制。另外,除了上述异常验证方式外,本领域技术人员还可以根据实际需要采用其异常验证方式,本发明实施例对此也不加以限制。
步骤203,根据所述异常标记对所述第一验证值配置权重,以及,对所述第一验证值进行组合,以获得一个或多个异常行为表达式;
本发明实施例中,若异常验证所获得的第一验证值为逻辑值,如是、否、true、false等,可以对其进行数值化处理,如是、true可以定义为1,否、false可以定义为0等。
权重可以根据异常标记确定,当事件数据具有异常标记时,其对应的某些第一验证值(如累积数量、统计概率、是否冲突)可以配置较高的权重,某些第一验证值(如连续概率)可以配置较低的权重。
在具体实现中,可以采用多种方式配置权重,例如,如穷举法、贪心算法、以及机器学习参数优化算法(如梯度法、牛顿法等)等等,本发明实施例对此不加以限制。
组合可以包括逻辑组合和/或算术组合,例如与、或以及加减乘除、开方、n次方等等,本发明实施例对此不加以限制。
步骤204,当所述异常行为表达式满足预设的验证条件时,将所述异常表达式设置为异常行为的特征信息。
异常行为的特征信息可以为表征异常行为(如不法分子的作弊行为)特征的信息,可以用于异常行为的验证。
在本发明的一种优选实施例中,步骤204可以包括如下子步骤:
子步骤S21,计算每种异常行为表达式的一个或多个第一异常值;
子步骤S22,对比所述一个或多个第一异常值和异常标记,以计算验证的准确率和/或召回率;
子步骤S23,当所述准确率超过预设的准确率阈值,和/或,所述召回率超过召回率阈值时,将所述异常表达式设置为异常行为的特征信息。
在本发明实施例中,每一种第一验证值及其权重、组合方式都可以生成一种异常表达式,将具体的第一验证值的数值代入异常表达式中,则可以计算出第一异常值。
在本发明实施例中,可以设置一个异常阈值,若第一异常值超过该异常阈值,则可以获得该事件数据为异常行为所触发的判断结果,反之,若第一异常值未超过该异常阈值,则可以获得该事件数据为正常行为所触发的判断结果。
对比该判断结果与异常标记,若该判断结果与异常标记一致,则可以确认该判断结果正确,反之,若该判断结果与异常标记不一致,则可以确认该判断结果错误。
进而可以计算判断结果的准确率和召回率,从中选取准确率、召回率满足要求的异常表达式,设置为异常行为的特征信息。
需要说明的是,该异常表达式中可以为验证值的类型及其权重、组合的集合,并不一定包括第一验证值的具体数值。
当然,除了准确率、召回率外,还可以设置其他验证条件,本发明实施例对此不加以限制。
为使本领域技术人员更好地理解本发明实施例,以下通过具体的实施例来说明本发明实施例中异常行为的特征信息的提取方法。
事件数据如表1所示:
表1
标号 时间 手机号 用户ID 信号类型 异常标记
1 20:08:01 mobile:186x 1001 联通
2 20:08:02 mobile:186x 1002 联通
3 20:08:03 mobile:136x 1003 移动
4 20:08:04 mobile:136x 1004 移动
5 20:08:05 mobile:136x 1005 移动
6 20:08:06 mobile:136x 1006 移动
7 20:08:07 mobile:136x 1007 移动
8 20:08:08 mobile:136x 1008 移动
9 20:08:09 mobile:135x 1009 移动
10 20:08:10 mobile:135x 1010 移动
11 20:08:11 mobile:135x 1011 移动
12 20:08:12 mobile:135x 1012 移动
13 20:08:13 mobile:186x 1013 联通
14 20:08:14 mobile:135x 1014 移动
15 20:08:15 mobile:135x 1015 移动
16 20:08:16 mobile:132x 1016 移动
17 20:08:17 mobile:135x 1017 移动
18 20:08:18 mobile:135x 1018 移动
19 20:08:19 mobile:135x 1019 移动
20 20:08:20 mobile:136x 1020 移动
21 20:08:21 mobile:135x 1021 移动
22 20:08:22 mobile:138x 1022 联通
23 20:08:23 mobile:186x 1023 联通
24 20:08:24 mobile:186x 1024 联通
对表1中的事件数据进行计累积验证、连续概率验证、统计概率验证、冲突验证,验证结果如表2所示。
表2
其中,此处的概率1/5的计算方法为:一共5种电话号码,每个号码的概率即为1/5;
服务器中对第一验证值的输出记为:
mobile:186x:lj:5
mobile:186x:lx:2
mobile:186x:tj:5/24
mobile:186x:ct:0
mobile:132x:lj:1
mobile:132x:lx:2
mobile:132x:tj:1/24
mobile:132x:ct:0
等等。
用a、b、c、d…代表权重带入第一验证值输出,以上面的mobile:186x和mobile:132x为例,形成两个异常表达式:
1.a*mobile:186x:lj+b*mobile:186x:lx+c*mobile:186x:tj+d*mobile:186x:ct
=a*5+b*2+c*5/24+d*0
2.a*mobile:132x:lj+b*mobile:132x:lx+c*mobile:132x:tj+d*mobile:132x:ct
=a*1+b*1+c*1/24+d*0
a、b、c、d四个权重要同时满足上述2个异常表达式,假设4个参数都取0.1,则1和2式的结果,即异常值分别为:0.7208和0.2042。
通过分析大量的数据制定异常阈值为0.5,意为大于等于0.5的为异常行为,小于或等于0.5的为正常行为。
此时a、b、c、d的取值刚好满足这个条件,则异常表达式可以为:
0.1*lj+0.1*lx+0.1*tj+0.1*ct
其中,lj为累积数量、lx为连续概率、tj为统计概率、ct为是否冲突。
参照图4,示出了本发明的一种基于特征信息的异常行为的识别方法实施例的步骤流程图,具体可以包括如下步骤:
步骤401,当接收到事件请求时,从所述事件请求中提取第二事件特征信息;
需要说明的是,本发明实施例可以应用于具有联网功能的服务器中,该服务器通过网络连接用户的设备。
这些设备可以包括移动设备,具体可以包括手机、PDA(Personal DigitalAssistant,个人数字助理)、膝上型计算机、掌上电脑等等,也可以包括固定设备,具体可以包括个人电脑等等,本发明实施例对此也不加以限制。
这些设备可以支持Windows、Android(安卓)、IOS、WindowsPhone等操作系统,通常可以运行各种客户端,如团购客户端等。
在本发明实施例中,事件可以指用户通过客户端与服务器之间的一次交互操作,事件数据可以为与该交互操作相关的数据。
例如,在O2O领域中,事件可以指用户通过客户端向服务器下的订单(如团购订单),无论订单是否执行,服务器都可以记录该订单相关的数据(即事件数据)。
第二事件特征信息可以指表征事件的特征的信息,在实际中,第二事件特征信息可以为事件数据中任一数据,本领域技术人员可以根据实际情况进行设定,本发明实施例对此不加以限制。
在本发明的一种优选实施例中,所述第二事件特征信息可以包括用户标识、事件信息、设备信息中的一种或多种;
用户标识可以是能够代表一个唯一确定的用户的信息,具体可以包括用户账号、与用户账号绑定的电话号码、与用户账号绑定的账户(如银行账户)中的一种或多种;
事件信息可以是时间本身具有的信息,具体可以包括事件标识、事件参数中的一种或多种;
其中,事件标识可以是能够代表一个唯一确定的时间的信息,例如,事件ID(IDentity)。
事件参数可以为事件中的某个参数,例如,在O2O领域中,事件参数可以为代金券等。
设备信息可以为设备中的信息,具体包括设备ID(可以由系统对该设备生成)、设备号(如串号等)、手机卡(如手机号、卡码等)、网络类型(如2G、3G、4G、wifi等)、地址(如IP地址等)、系统类型(如Android、IOS等)、设备型号中的一种或多种。
当然,上述第一事件特征信息只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他第一事件特征信息,本发明实施例对此不加以限制。另外,除了上述第一事件特征信息外,本领域技术人员还可以根据实际需要采用其它第一事件特征信息,本发明实施例对此也不加以限制。
应用本发明实施例,用户可以通过如图3所示的客户端界面,点击“提交订单”,向服务器发送事件请求,则事件请求可以是指请求服务器执行某个事件的指示。
步骤402,对所述第二事件特征信息进行异常验证,获得一个或多个第二验证值;
异常验证可以用于验证是否是异常行为触发的事件。
在具体实现中,异常验证可以包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种。
在本发明的一种优选实施例中,所述累积验证对应的第二验证值包括累积数量;则在本发明实施例中,步骤402可以包括如下子步骤:
子步骤S31,针对所述事件请求对应的事件,统计基于所述用户标识,触发所述事件和/或所述事件中事件参数的累积数量;
子步骤S32,当所述累积数量大于预设的数量阈值时,拒绝所述事件请求。
需要说明的是,事件可以由事件标识(如事件ID)进行表征。
在实际中,不法分子的非自律活动通常会抢占过多的资源,扰乱活动秩序,因此,可以通过对参与活动的数量进行限制,保证事件的公平。
在本发明实施例中,累积可以包括对事件的累积和/或对事件中某些参数的累积。
例如,在O2O领域中,可以对某个团购的订单数量、代金券等进行参与数量的限制,则在应用时,可以对某个用户参与该团购的订单数量、购买该代金券的数量进行累积。
一般情况下,当累积数量大于限制的数量阈值时,可以拒绝基于该用户标识发起的相同事件,反之,当累积数量未大于限制的数量阈值时,可以执行基于该用户标识发起的相同事件。
例如,某事件限制用户参加一次,则服务器可以对该用户(用户标识表征)参加该事件(事件标识表征)的数量进行累积,当用户首次参加该事件时,允许用户参加,当用户第二次参加该事件时,超过限制的数量,禁止用户参加该事件。
又例如,某个代金券限制用户购买5个,则服务器可以对该用户(用户标识表征)购买该代金券(事件参数表征)的数量,若第一次用户购买了2个代金券,则第二次用户最多只能购买3个代金券。
在本发明的一种优选实施例中,所述连续概率验证对应的第二验证值包括连续概率;则在本发明实施例中,步骤402可以包括如下子步骤:
子步骤S33,针对所述事件请求对应的事件,计算基于所述设备信息,连续触发所述事件的连续概率;
子步骤S34,当所述连续概率大于预设的连续概率阈值时,拒绝所述事件请求。
需要说明的是,事件可以由事件标识(如事件ID)进行表征,连续触发指的是在某个/些设备信息的维度下的连续发生,并不一定指时间上的连续。
例如,若基于IP地址的维度定义连续触发,则连续触发可以指基于该IP地址连续发生某个事件。
又例如,若基于手机号码的维度定义续触发,则连续触发可以指基于该手机号码连续发生某个事件。
在实际中,若限制了参与活动的数量,不法分子可能不断尝试注册新的用户账号,用新注册的用户账号参与活动。
不法分子的作弊行为的一个特征为机器化操作,通过特定程序不断进行尝试参与活动,即使通过不断变换用户账号,但还是会基于同一个环境中进行的,即可能在某个设备信息的维度下,连续触发相同的事件,这些事件可以称之为连续事件。
本发明实施例中,服务器可以对连续事件进行概率计算,获得连续概率,即当前事件作为连续事件发生的概率。
一般情况下,连续概率较小的事件可以认为是异常行为触发的事件,即疑似作弊事件。
进一步地,可以通过制定连续概率阈值进行验证,若连续概率小于该连续概率阈值,则可以拒绝基于该设备信息发起的事件,反之,当连续概率大于或等于该连续概率阈值时,可以执行基于该设备信息发起的事件。
在具体实现中,可以采用多种方式计算连续概率,例如,伯努利分布(二项分布)、几何分布、巴斯卡分布等等,本发明实施例对此不加以限制。
以伯努利分布为例,当某个事件连续出现时,每出现一次整体概率就会降低一次,当出现足够次数时,概率低于连续概率阈值,此时可以拒绝基于该设备信息触发的相同事件。
具体而言,每个事件发生都是有概率的,概率取值范围为0-1之间。由此可以定义连续事件发生的连续概率,对于相互独立的连续事件A1,A2,…,An,连续发生的连续概率记为P(A),计算公式为:
P(A)=P(A1)*(PA2)*…*P(An)
而事件发生的概率可以根据背景知识或者统计得到的。
对于背景知识,例如,在移动平台包括Android系统和IOS系统的客户端,则基于Android系统和IOS系统发生某个事件的概率为1/2。
对于统计概率,例如,统计某段时间某个事件基于Android系统和IOS系统发生的比率,若该事件的发生的总数量为10,基于Android系统发生的数量为6,基于IOS系统发生的数量为4,则基于Android系统发生的概率为6/10,同理,基于IOS系统发生的概率为4/10。
连续事件的连续概率越小,表示该系列事件发生的可能性就越小,因此可以确定一个连续概率阈值,记为Pt,拒绝小于此概率的事件,即拒绝P(A)<Pt的事件。
例如,服务器对触发事件的设备系统做连续限制,基于Android系统和IOS系统发生某个事件的概率为1/2,小于1/1000的事件将被拒绝。假设基于Android系统连续发生某个事件10次,则连续第10个发生的事件的连续概率为1/1024,会被服务器拒绝。
在本发明的一种优选实施例中,所述统计概率验证对应的第二验证值包括统计概率;则在本发明实施例中,步骤402可以包括如下子步骤:
子步骤S35,针对所述事件请求对应的事件,计算基于所述设备信息,在预设的时间段内触发所述事件的统计概率;
子步骤S36,当所述统计概率大于预设的统计概率阈值时,拒绝所述事件请求;。
需要说明的是,事件可以由事件标识(如事件ID)进行表征。
在实际中,若限制了连续发生事件的概率,不法分子可能不断转换设备信息,如手机号、IP地址等,继续参与活动。
不法分子的作弊行为的一个特征为机器化操作,通过特定程序不断进行尝试参与活动,即使通过不断变换设备信息,但还是会基于同一个环境中进行的,即在整体上可以反映某个设备信息的占比。
本发明实施例中,服务器可以对事件进行统计,获得统计概率,即某段时间基于某个设备信息发生某个事件的概率。
一般情况下,统计概率较大的事件可以认为是异常行为触发的事件,即疑似作弊事件。
进一步地,可以通过制定统计概率阈值进行验证,若统计概率大于该统计概率阈值,则可以拒绝基于该设备信息发起的事件,反之,当统计概率小于或等于该统计概率阈值时,可以执行基于该设备信息发起的事件。
在具体实现中,可以采用多种方式计算统计概率,例如,高斯分布(正态分布)、泊松分布、t分布、F分布等等,本发明实施例对此不加以限制。
以高斯分布为例,假设事件发生服从高斯分布,根据当前的随机变量值可以计算出左极限到当前值的面积,此面积覆盖大多数事件,未被覆盖的事件将被拒绝。
具体而言,每个事件发生都是有概率的,概率取值范围为0-1之间,该概率可以根据背景知识或者统计得到的。
假设事件的发生服从某一分布,可以根据分布函数对某一段区间积分计算面积,记为As,当然总体面积也可以通过积分算出,记为At,该区间的概率定义为P(A)=As/At。
由于分布函数是基于随机变量取值的函数,可以建立起随机变量和事件概率之间的关系,随机变量记为X,则统计概率P(X)~P(A)=As/At。
对某段时间发生的事件(即历史事件)进行统计,事件发生概率为随机变量,记为Xi,确定统计概率阈值Xt。当随机变量取值足够大时,拒绝大于此统计概率阈值的事件,即拒绝Xi>Xt的事件。
例如,基于Android系统发生的概率为6/10,基于IOS系统发生的概率为4/10,根据发生的概率的取值能对应到统计概率阈值,基于Android系统的统计概率阈值为6/10,则当基于Android系统发生的数量为事件总数的6/10时,则可以拒绝当前发生的事件。
在本发明的一种优选实施例中,所述冲突验证对应的第二验证值包括是否冲突;则在本发明实施例中,步骤402可以包括如下子步骤:
子步骤S37,针对所述事件请求对应的事件,判断至少两种设备信息与预设的映射关系是否冲突;
当冲突时,拒绝所述事件请求。
需要说明的是,事件可以由事件标识(如事件ID)进行表征。
在实际中,若限制了参与活动的设备信息的比例,不法分子可能不断尝试修改设备信息,如设备型号、系统类型等,继续参与活动。
设备信息的比例是基于大数据的统计,若想绕开这个大数据的统计,一般需要将设备信修改为非真实的设备信息,将统计的概率降低。
本发明实施例中,根据领域知识,预先采集真实的设备信息,可以确定领域知识某些真实的设备信息之间的映射关系,以获得映射关系。
设F,Q为领域知识抽象出的两个设备信息的集合,其中F表示为{f1,f2,…,fk,…,fn};Q表示为{q1,q2,…,ql,…,qm}。
假设建立映射为f1-q1,fk-ql,…,fn-qm,称之为F和Q在该领域知识下的映射关系的集合。
一般情况下,与映射关系冲突的设备信息所属事件可以认为是异常行为触发的事件,即疑似作弊事件。
对于当前出现的事件,抽取该事件上领域知识F和Q两个集合的特征,扫描上面定义的映射关系集合,如果事件中出现不属于映射关系集合的映射,则可以拒绝该事件。
例如,某个手机品牌具有A、B、C三个型号,建立手机品牌-A、手机品牌-B、手机品牌-C这三个映射关系,如果当前事件中的设备信息是该手机品牌的D型号,而该手机品牌并没有D型号,与映射关系冲突。
在具体实现中,服务器可以对事件数据和第一事件特征信息建立倒排索引和正排索引作为基础数据结构,对当前事件中的信息进行索引查找,判断对应的设备信息是否产生冲突。
需要说明的是,在每种异常验证中,如累积验证、连续概率验证、统计概率验证、冲突验证,可以输出一个第一验证值,也可以基于不同的第一特事件征值信息输出多个第一验证值,本发明实施例对此不加以限制。
当然,上述异常验证方式只是作为示例,在实施本发明实施例时,可以根据实际情况设置其他异常验证方式,本发明实施例对此不加以限制。另外,除了上述异常验证方式外,本领域技术人员还可以根据实际需要采用其异常验证方式,本发明实施例对此也不加以限制。
步骤403,将所述一个或多个第二验证值代入预设的异常行为的特征信息中,以计算第二异常值;
异常行为的特征信息可以为表征异常行为(如不法分子的作弊行为)特征的信息,其可以为验证值的类型及其权重、组合的集合,用于异常行为的验证。
本发明实施例中,若异常验证所获得的第二验证值为逻辑值,如是、否、true、false等,可以对其进行数值化处理,如是、true可以定义为1,否、false可以定义为0等。
在本发明实施例中,可以将具体的第二验证值的数值代入特征信息中,则可以计算出第二异常值。
步骤404,根据所述第二异常值对所述事件请求进行异常行为的识别。
在本发明的一种优选实施例中,步骤404可以包括如下子步骤:
子步骤S41,判断所述第二异常值是否超过预设的异常阈值;若是,则执行子步骤S42,若否,则执行子步骤S43;
子步骤S42,判断所述事件请求为异常行为;
子步骤S43,判断所述事件请求为正常行为。
在本发明实施例中,可以预先设置一个异常阈值,若第二异常值超过该异常阈值,则可以获得该事件请求为异常行为的判断结果,反之,若第二异常值未超过该异常阈值,则可以获得该事件请求为正常行为的判断结果。
在本发明的一种优选实施例中,该方法还可以包括如下步骤:
步骤405,当所述事件请求为正常行为时,允许执行所述事件请求对应的事件;
对于正常的事件请求,则可以放过该事件请求,由服务器执行相应的事件,例如,执行团购订单。
步骤406,当所述事件请求为异常行为时,禁止执行所述事件请求对应的事件。
对于异常的事件请求,则可以拒绝该事件请求,服务器可以返回如图5所示的拒绝信息及理由。
在本发明的一种优选实施例中,步骤406可以包括如下子步骤:
子步骤S51,拦截所述事件请求;
或者,
子步骤S52,对触发所述事件请求的用户账号进行冻结处理。
在本发明实施例中,拦截可以指,当用户不满足条件时,阻止用户的进一步动作,即无法完成下一个动作。
冻结可以指,当用户提交事件请求时,将事件请求作废(如将金额退到用户账号内),并将账号冻结。
在具体实现中,拦截和冻结可以根据其事件请求的恶意程度而确定的,若第二异常值在超过预设的异常阈值的基础上,若低于另一预设的恶意行为阈值,则可以进行拦截,若等于或超过该恶意行为阈值,则可以进行冻结处理。
当然,除了拦截和冻结处理之外,还可以设置其他拒绝处理方式,本发明实施对此不加以限制。
在本发明的一种优选实施例中,所述异常行为的特征信息可以通过以下方式获得:
步骤501,从采集的事件数据中提取第一事件特征信息,其中,至少部分事件数据具有对应的异常标记;
步骤502,对所述第一事件特征信息进行异常验证,获得第一验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
步骤503,根据所述异常标记对所述第一验证值配置权重,以及,对所述第一验证值进行组合,以获得一个或多个异常行为表达式;
步骤504,当所述异常行为表达式满足预设的验证条件时,将所述异常表达式设置为异常行为的特征信息。
在具体实现中,所述第一事件特征信息可以包括用户标识、事件信息、设备信息中的一种或多种;
其中,所述用户标识可以包括用户账号、与用户账号绑定的电话号码、与用户账号绑定的账户中的一种或多种;
所述事件信息可以包括事件标识、事件参数中的一种或多种;
所述设备信息可以包括设备ID、设备号、手机卡、网络类型、地址、系统类型、设备型号中的一种或多种。
在本发明的一种优选实施例中,所述累积验证对应的第一验证值可以包括累积数量;则在本发明实施例中,步骤502可以包括如下子步骤:
子步骤S61,针对每个事件数据对应的事件,统计基于所述用户标识,触发所述事件和/或所述事件中事件参数的累积数量。
在本发明的一种优选实施例中,所述连续概率验证对应的第一验证值可以包括连续概率;则在本发明实施例中,步骤502可以包括如下子步骤:
子步骤S62,针对每个事件数据对应的事件,计算基于所述设备信息,连续触发所述事件的连续概率。
在本发明的一种优选实施例中,所述统计概率验证对应的第一验证值可以包括统计概率;则在本发明实施例中,步骤502可以包括如下子步骤:
子步骤S63,针对每个事件数据对应的事件,计算基于所述设备信息,在预设的时间段内触发所述事件的统计概率。
在本发明的一种优选实施例中,所述冲突验证对应的第一验证值可以包括是否冲突;则在本发明实施例中,步骤502可以包括如下子步骤:
子步骤S64,针对每个事件数据对应的事件,判断至少两种设备信息与预设的映射关系是否冲突。
在实际应用中,所述组合可以包括逻辑组合和/或算术组合。
在本发明的一种优选实施例中,步骤504可以包括如下子步骤:
子步骤S71,计算每种异常行为表达式的一个或多个第一异常值;
子步骤S72,对比所述一个或多个第一异常值和异常标记,以计算验证的准确率和/或召回率;
子步骤S73,当所述准确率超过预设的准确率阈值,和/或,所述召回率超过召回率阈值时,将所述异常表达式设置为异常行为的特征信息。
在本发明实施例中,由于步骤501-步骤504与步骤201-步骤204的应用基本相似,所以描述的比较简单,相关之处参见步骤201-步骤204的部分说明即可,本发明实施例在此不加以详述。
需要说明的是,对于方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明实施例并不受所描述的动作顺序的限制,因为依据本发明实施例,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作并不一定是本发明实施例所必须的。
参照图6,示出了本发明的一种异常行为的特征信息的提取装置实施例的结构框图,具体可以包括如下模块:
第一事件特征信息提取模块601,用于从采集的事件数据中提取第一事件特征信息,其中,至少部分事件数据具有对应的异常标记;
第一异常验证模块602,用于对所述第一事件特征信息进行异常验证,获得第一验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
异常行为表达式获得模块603,用于根据所述异常标记对所述第一验证值配置权重,以及,对所述第一验证值进行组合,以获得一个或多个异常行为表达式;
特征信息设置模块604,用于在所述异常行为表达式满足预设的验证条件时,将所述异常表达式设置为异常行为的特征信息。
在具体实现中,所述第一事件特征信息可以包括用户标识、事件信息、设备信息中的一种或多种;
所述用户标识可以包括用户账号、与用户账号绑定的电话号码、与用户账号绑定的账户中的一种或多种;
所述事件信息可以包括事件标识、事件参数中的一种或多种;
所述设备信息可以包括设备ID、设备号、手机卡、网络类型、地址、系统类型、设备型号中的一种或多种。
在本发明的一种优选实施例中,所述累积验证对应的第一验证值可以包括累积数量、所述连续概率验证对应的第一验证值可以包括连续概率、所述统计概率验证对应的第一验证值可以包括统计概率、所述冲突验证对应的第一验证值可以包括是否冲突;
所述第一异常验证模块602可以包括如下子模块:
第一累积验证子模块,用于针对每个事件数据对应的事件,统计基于所述用户标识,触发所述事件和/或所述事件中事件参数的累积数量;
和/或,
第一连续概率验证子模块,用于针对每个事件数据对应的事件,计算基于所述设备信息,连续触发所述事件的连续概率;
和/或,
第一统计概率验证子模块,用于针对每个事件数据对应的事件,计算基于所述设备信息,在预设的时间段内触发所述事件的统计概率;
和/或,
第一冲突验证子模块,用于针对每个事件数据对应的事件,判断至少两种设备信息与预设的映射关系是否冲突。
在实际应用中,所述组合可以包括逻辑组合和/或算术组合。
在本发明的一种优选实施例中,所述特征信息设置模块604可以包括如下子模块:
第一异常值计算子模块,用于计算每种异常行为表达式的一个或多个第一异常值;
对比子模块,用于对比所述一个或多个第一异常值和异常标记,以计算验证的准确率和/或召回率;
设置子模块,用于在所述准确率超过预设的准确率阈值,和/或,所述召回率超过召回率阈值时,将所述异常表达式设置为异常行为的特征信息。
参照图7,示出了本发明的一种基于特征信息的异常行为的识别装置实施例的结构框图,具体可以包括如下模块:
第二事件特征信息提取模块701,用于在接收到事件请求时,从所述事件请求中提取第二事件特征信息;
第二异常验证模块702,用于对所述第二事件特征信息进行异常验证,获得一个或多个第二验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
第二异常值计算模块703,用于将所述一个或多个第二验证值代入预设的异常行为的特征信息中,以计算第二异常值;
异常行为识别模块704,用于根据所述第二异常值对所述事件请求进行异常行为的识别。
在本发明的一种优选实施例中,所述异常行为识别模块704可以包括如下子模块:
异常阈值判断子模块,用于判断所述第二异常值是否超过预设的异常阈值;若是,则调用异常判断子模块,若否,则正常判断子模块;
异常判断子模块,用于判断所述事件请求为异常行为;
正常判断子模块,用于判断所述事件请求为正常行为。
在本发明的一种优选实施例中,该装置还可以包括如下模块:
允许执行模块,用于在所述事件请求为正常行为时,允许执行所述事件请求对应的事件;
禁止执行模块,用于在所述事件请求为异常行为时,禁止执行所述事件请求对应的事件。
在本发明的一种优选实施例中,所述禁止执行模块可以包括如下子模块:
拦截子模块,用于拦截所述事件请求;
或者,
冻结子模块,用于对触发所述事件请求的用户账号进行冻结处理。
在具体实现中,所述第二事件特征信息可以包括用户标识、事件信息、设备信息中的一种或多种;
所述用户标识可以包括用户账号、与用户账号绑定的电话号码、与用户账号绑定的账户中的一种或多种;
所述事件信息可以包括事件标识、事件参数中的一种或多种;
所述设备信息可以包括设备ID、设备号、手机卡、网络类型、地址、系统类型、设备型号中的一种或多种。
在本发明的一种优选实施例中,所述累积验证对应的第二验证值可以包括累积数量、所述连续概率验证对应的第二验证值可以包括连续概率、所述统计概率验证对应的第二验证值可以包括统计概率、所述冲突验证对应的第二验证值可以包括是否冲突;
所述第二异常验证模块702可以包括如下子模块:
第二累积验证子模块,用于针对所述事件请求对应的事件,统计基于所述用户标识,触发所述事件和/或所述事件中事件参数的累积数量;
第一拒绝子模块,用于在所述累积数量大于预设的数量阈值时,拒绝所述事件请求;
和/或,
第二连续概率验证子模块,用于针对所述事件请求对应的事件,计算基于所述设备信息,连续触发所述事件的连续概率;
第二拒绝子模块,用于在所述连续概率大于预设的连续概率阈值时,拒绝所述事件请求;
和/或,
第二统计概率验证子模块,用于针对所述事件请求对应的事件,计算基于所述设备信息,在预设的时间段内触发所述事件的统计概率;
第三拒绝子模块,用于在所述统计概率大于预设的统计概率阈值时,拒绝所述事件请求;
和/或,
第二冲突验证子模块,用于针对所述事件请求对应的事件,判断至少两种设备信息与预设的映射关系是否冲突;
第四拒绝子模块,用于在冲突时,拒绝所述事件请求。
在本发明的一种优选实施例中,所述异常行为的特征信息可以通过调用以下模块获得:
第一事件特征信息提取模块,用于从采集的事件数据中提取第一事件特征信息,其中,至少部分事件数据具有对应的异常标记;
第一异常验证模块,用于对所述第一事件特征信息进行异常验证,获得第一验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
异常行为表达式获得模块,用于根据所述异常标记对所述第一验证值配置权重,以及,对所述第一验证值进行组合,以获得一个或多个异常行为表达式;
特征信息设置模块,用于在所述异常行为表达式满足预设的验证条件时,将所述异常表达式设置为异常行为的特征信息。
在具体实现中,所述第一事件特征信息可以包括用户标识、事件信息、设备信息中的一种或多种;
所述用户标识可以包括用户账号、与用户账号绑定的电话号码、与用户账号绑定的账户中的一种或多种;
所述事件信息可以包括事件标识、事件参数中的一种或多种;
所述设备信息可以包括设备ID、设备号、手机卡、网络类型、地址、系统类型、设备型号中的一种或多种。
在本发明的一种优选实施例中,所述累积验证对应的第一验证值可以包积数量、所述连续概率验证对应的第一验证值可以包括连续概率、所述统计概率验证对应的第一验证值可以包括统计概率、所述冲突验证对应的第一验证值可以包括是否冲突;
所述第一异常验证模块可以包括如下子模块:
第一累积验证子模块,用于针对每个事件数据对应的事件,统计基于所述用户标识,触发所述事件和/或所述事件中事件参数的累积数量;
和/或,
第一连续概率验证子模块,用于针对每个事件数据对应的事件,计算基于所述设备信息,连续触发所述事件的连续概率;
和/或,
第一统计概率验证子模块,用于针对每个事件数据对应的事件,计算基于所述设备信息,在预设的时间段内触发所述事件的统计概率;
和/或,
第一冲突验证子模块,用于针对每个事件数据对应的事件,判断至少两种设备信息与预设的映射关系是否冲突。
在实际应用中,所述组合可以包括逻辑组合和/或算术组合。
在本发明的一种优选实施例中,所述特征信息设置模块可以包括如下子模块:
第一异常值计算子模块,用于计算每种异常行为表达式的一个或多个第一异常值;
对比子模块,用于对比所述一个或多个第一异常值和异常标记,以计算验证的准确率和/或召回率;
设置子模块,用于在所述准确率超过预设的准确率阈值,和/或,所述召回率超过召回率阈值时,将所述异常表达式设置为异常行为的特征信息。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白,本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本发明所提供的一种异常行为的特征信息的提取方法、一种基于特征信息的异常行为的识别方法、一种异常行为的特征信息的提取装置和一种基于特征信息的异常行为的识别装置,进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (18)

1.一种异常行为的特征信息的提取方法,其特征在于,包括:
从采集的事件数据中提取第一事件特征信息,其中,至少部分事件数据具有对应的异常标记;
对所述第一事件特征信息进行异常验证,获得第一验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
根据所述异常标记对所述第一验证值配置权重,以及,对所述第一验证值进行组合,以获得一个或多个异常行为表达式;
当所述异常行为表达式满足预设的验证条件时,将所述异常表达式设置为异常行为的特征信息。
2.根据权利要求1所述的方法,其特征在于,所述第一事件特征信息包括用户标识、事件信息、设备信息中的一种或多种;
所述累积验证对应的第一验证值包括累积数量、所述连续概率验证对应的第一验证值包括连续概率、所述统计概率验证对应的第一验证值包括统计概率、所述冲突验证对应的第一验证值包括是否冲突;
所述对所述第一事件特征信息进行异常验证,获得第一验证值的步骤包括:
针对每个事件数据对应的事件,统计基于所述用户标识,触发所述事件和/或所述事件中事件参数的累积数量;
和/或,
针对每个事件数据对应的事件,计算基于所述设备信息,连续触发所述事件的连续概率;
和/或,
针对每个事件数据对应的事件,计算基于所述设备信息,在预设的时间段内触发所述事件的统计概率;
和/或,
针对每个事件数据对应的事件,判断至少两种设备信息与预设的映射关系是否冲突。
3.根据权利要求1或2所述的方法,其特征在于,所述当所述异常行为表达式满足预设的验证条件时,将所述异常表达式设置为异常行为的特征信息的步骤包括:
计算每种异常行为表达式的一个或多个第一异常值;
对比所述一个或多个第一异常值和异常标记,以计算验证的准确率和/或召回率;
当所述准确率超过预设的准确率阈值,和/或,所述召回率超过召回率阈值时,将所述异常表达式设置为异常行为的特征信息。
4.一种基于特征信息的异常行为的识别方法,其特征在于,包括:
当接收到事件请求时,从所述事件请求中提取第二事件特征信息;
对所述第二事件特征信息进行异常验证,以拒绝所述事件请求和/或获得一个或多个第二验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
将所述一个或多个第二验证值代入预设的异常行为的特征信息中,以计算第二异常值;
根据所述第二异常值对所述事件请求进行异常行为的识别。
5.根据权利要求4所述的方法,其特征在于,所述异常行为的特征信息通过以下方式获得:
从采集的事件数据中提取第一事件特征信息,其中,至少部分事件数据具有对应的异常标记;
对所述第一事件特征信息进行异常验证,获得第一验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
根据所述异常标记对所述第一验证值配置权重,以及,对所述第一验证值进行组合,以获得一个或多个异常行为表达式;
当所述异常行为表达式满足预设的验证条件时,将所述异常表达式设置为异常行为的特征信息。
6.根据权利要求4所述的方法,其特征在于,所述根据所述第二异常值对所述事件请求进行异常行为的识别的步骤包括:
判断所述第二异常值是否超过预设的异常阈值;
若是,则判断所述事件请求为异常行为;
若否,则判断所述事件请求为正常行为。
7.根据权利要求4或5或6所述的方法,其特征在于,还包括:
当所述事件请求为正常行为时,允许执行所述事件请求对应的事件;
当所述事件请求为异常行为时,禁止执行所述事件请求对应的事件。
8.根据权利要求7所述的方法,其特征在于,所述禁止执行所述事件请求对应的事件的步骤包括:
拦截所述事件请求;
或者,
对触发所述事件请求的用户账号进行冻结处理。
9.根据权利要求4或5或6或8所述的方法,其特征在于,所述第二事件特征信息包括用户标识、事件信息、设备信息中的一种或多种;
所述累积验证对应的第二验证值包括累积数量、所述连续概率验证对应的第二验证值包括连续概率、所述统计概率验证对应的第二验证值包括统计概率、所述冲突验证对应的第二验证值包括是否冲突;
所述对所述第二事件特征信息进行异常验证,以拒绝所述事件请求和/或获得一个或多个第二验证值的步骤包括:
针对所述事件请求对应的事件,统计基于所述用户标识,触发所述事件和/或所述事件中事件参数的累积数量;
当所述累积数量大于预设的数量阈值时,拒绝所述事件请求;
和/或,
针对所述事件请求对应的事件,计算基于所述设备信息,连续触发所述事件的连续概率;
当所述连续概率大于预设的连续概率阈值时,拒绝所述事件请求;
和/或,
针对所述事件请求对应的事件,计算基于所述设备信息,在预设的时间段内触发所述事件的统计概率;
当所述统计概率大于预设的统计概率阈值时,拒绝所述事件请求;
和/或,
针对所述事件请求对应的事件,判断至少两种设备信息与预设的映射关系是否冲突;
当冲突时,拒绝所述事件请求。
10.一种异常行为的特征信息的提取装置,其特征在于,包括:
第一事件特征信息提取模块,用于从采集的事件数据中提取第一事件特征信息,其中,至少部分事件数据具有对应的异常标记;
第一异常验证模块,用于对所述第一事件特征信息进行异常验证,获得第一验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
异常行为表达式获得模块,用于根据所述异常标记对所述第一验证值配置权重,以及,对所述第一验证值进行组合,以获得一个或多个异常行为表达式;
特征信息设置模块,用于在所述异常行为表达式满足预设的验证条件时,将所述异常表达式设置为异常行为的特征信息。
11.根据权利要求10所述的装置,其特征在于,所述第一事件特征信息包括用户标识、事件信息、设备信息中的一种或多种;所述累积验证对应的第一验证值包括累积数量、所述连续概率验证对应的第一验证值包括连续概率、所述统计概率验证对应的第一验证值包括统计概率、所述冲突验证对应的第一验证值包括是否冲突;所述第一异常验证模块包括:
第一累积验证子模块,用于针对每个事件数据对应的事件,统计基于所述用户标识,触发所述事件和/或所述事件中事件参数的累积数量;
和/或,
第一连续概率验证子模块,用于针对每个事件数据对应的事件,计算基于所述设备信息,连续触发所述事件的连续概率;
和/或,
第一统计概率验证子模块,用于针对每个事件数据对应的事件,计算基于所述设备信息,在预设的时间段内触发所述事件的统计概率;
和/或,
第一冲突验证子模块,用于针对每个事件数据对应的事件,判断至少两种设备信息与预设的映射关系是否冲突。
12.根据权利要求10或11所述的装置,其特征在于,所述特征信息设置模块包括:
第一异常值计算子模块,用于计算每种异常行为表达式的一个或多个第一异常值;
对比子模块,用于对比所述一个或多个第一异常值和异常标记,以计算验证的准确率和/或召回率;
设置子模块,用于在所述准确率超过预设的准确率阈值,和/或,所述召回率超过召回率阈值时,将所述异常表达式设置为异常行为的特征信息。
13.一种基于特征信息的异常行为的识别装置,其特征在于,包括:
第二事件特征信息提取模块,用于在接收到事件请求时,从所述事件请求中提取第二事件特征信息;
第二异常验证模块,用于对所述第二事件特征信息进行异常验证,以拒绝所述事件请求和/或获得一个或多个第二验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
第二异常值计算模块,用于将所述一个或多个第二验证值代入预设的异常行为的特征信息中,以计算第二异常值;
异常行为识别模块,用于根据所述第二异常值对所述事件请求进行异常行为的识别。
14.根据权利要求13所述的装置,其特征在于,所述异常行为的特征信息通过调用以下模块获得:
第一事件特征信息提取模块,用于从采集的事件数据中提取第一事件特征信息,其中,至少部分事件数据具有对应的异常标记;
第一异常验证模块,用于对所述第一事件特征信息进行异常验证,获得第一验证值;所述异常验证包括累积验证、连续概率验证、统计概率验证、冲突验证中的一种或多种;
异常行为表达式获得模块,用于根据所述异常标记对所述第一验证值配置权重,以及,对所述第一验证值进行组合,以获得一个或多个异常行为表达式;
特征信息设置模块,用于在所述异常行为表达式满足预设的验证条件时,将所述异常表达式设置为异常行为的特征信息。
15.根据权利要求14所述的方法,其特征在于,所述异常行为识别模块包括:
异常阈值判断子模块,用于判断所述第二异常值是否超过预设的异常阈值;若是,则调用异常判断子模块,若否,则正常判断子模块;
异常判断子模块,用于判断所述事件请求为异常行为;
正常判断子模块,用于判断所述事件请求为正常行为。
16.根据权利要求13或14或15所述的装置,其特征在于,还包括:
允许执行模块,用于在所述事件请求为正常行为时,允许执行所述事件请求对应的事件;
禁止执行模块,用于在所述事件请求为异常行为时,禁止执行所述事件请求对应的事件。
17.根据权利要求16所述的装置,其特征在于,所述禁止执行模块包括:
拦截子模块,用于拦截所述事件请求;
或者,
冻结子模块,用于对触发所述事件请求的用户账号进行冻结处理。
18.根据权利要求13或14或15或17所述的装置,其特征在于,所述第二事件特征信息包括用户标识、事件信息、设备信息中的一种或多种;所述累积验证对应的第二验证值包括累积数量、所述连续概率验证对应的第二验证值包括连续概率、所述统计概率验证对应的第二验证值包括统计概率、所述冲突验证对应的第二验证值包括是否冲突;所述第二异常验证模块包括:
第二累积验证子模块,用于针对所述事件请求对应的事件,统计基于所述用户标识,触发所述事件和/或所述事件中事件参数的累积数量;
第一拒绝子模块,用于在所述累积数量大于预设的数量阈值时,拒绝所述事件请求;
和/或,
第二连续概率验证子模块,用于针对所述事件请求对应的事件,计算基于所述设备信息,连续触发所述事件的连续概率;
第二拒绝子模块,用于在所述连续概率大于预设的连续概率阈值时,拒绝所述事件请求;
和/或,
第二统计概率验证子模块,用于针对所述事件请求对应的事件,计算基于所述设备信息,在预设的时间段内触发所述事件的统计概率;
第三拒绝子模块,用于在所述统计概率大于预设的统计概率阈值时,拒绝所述事件请求;
和/或,
第二冲突验证子模块,用于针对所述事件请求对应的事件,判断至少两种设备信息与预设的映射关系是否冲突;
第四拒绝子模块,用于在冲突时,拒绝所述事件请求。
CN201510152777.4A 2015-04-01 2015-04-01 一种异常行为的特征信息的提取、识别方法和装置 Active CN104778591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510152777.4A CN104778591B (zh) 2015-04-01 2015-04-01 一种异常行为的特征信息的提取、识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510152777.4A CN104778591B (zh) 2015-04-01 2015-04-01 一种异常行为的特征信息的提取、识别方法和装置

Publications (2)

Publication Number Publication Date
CN104778591A true CN104778591A (zh) 2015-07-15
CN104778591B CN104778591B (zh) 2018-05-22

Family

ID=53620042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510152777.4A Active CN104778591B (zh) 2015-04-01 2015-04-01 一种异常行为的特征信息的提取、识别方法和装置

Country Status (1)

Country Link
CN (1) CN104778591B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106067088A (zh) * 2016-05-30 2016-11-02 中国邮政储蓄银行股份有限公司 电子银行访问行为的检测方法和装置
CN106170046A (zh) * 2016-09-23 2016-11-30 陕西尚品信息科技有限公司 一种基于移动设备的事件触发隐式身份验证方法
CN107944976A (zh) * 2017-12-15 2018-04-20 康成投资(中国)有限公司 在线订单审核方法
WO2018072580A1 (zh) * 2016-10-21 2018-04-26 中国银联股份有限公司 一种非法交易检测方法及装置
CN109561045A (zh) * 2017-09-25 2019-04-02 北京京东尚科信息技术有限公司 数据拦截方法及装置、存储介质和电子设备
CN109636433A (zh) * 2018-10-16 2019-04-16 深圳壹账通智能科技有限公司 基于大数据分析的养卡识别方法、装置、设备和存储介质
CN111598661A (zh) * 2020-05-14 2020-08-28 拉扎斯网络科技(上海)有限公司 一种异常报备处理方法、装置、平台服务器及存储介质
CN112669058A (zh) * 2020-12-21 2021-04-16 上海多维度网络科技股份有限公司 应用程序的数据处理方法以及装置、存储介质、电子装置
CN116823452A (zh) * 2023-08-30 2023-09-29 北京中关村科金技术有限公司 基于人工智能的异常事件识别方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457841A (zh) * 2010-10-28 2012-05-16 西门子公司 用于检测病毒的方法和装置
CN102915376A (zh) * 2012-11-13 2013-02-06 北京神州绿盟信息安全科技股份有限公司 检测数据库异常行为的方法和设备
CN103413054A (zh) * 2013-08-20 2013-11-27 东北大学 基于用户计算机交互事件的网瘾检测装置及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102457841A (zh) * 2010-10-28 2012-05-16 西门子公司 用于检测病毒的方法和装置
CN102915376A (zh) * 2012-11-13 2013-02-06 北京神州绿盟信息安全科技股份有限公司 检测数据库异常行为的方法和设备
CN103413054A (zh) * 2013-08-20 2013-11-27 东北大学 基于用户计算机交互事件的网瘾检测装置及方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106067088A (zh) * 2016-05-30 2016-11-02 中国邮政储蓄银行股份有限公司 电子银行访问行为的检测方法和装置
CN106170046A (zh) * 2016-09-23 2016-11-30 陕西尚品信息科技有限公司 一种基于移动设备的事件触发隐式身份验证方法
CN106170046B (zh) * 2016-09-23 2019-08-09 陕西尚品信息科技有限公司 一种基于移动设备的事件触发隐式身份验证方法
WO2018072580A1 (zh) * 2016-10-21 2018-04-26 中国银联股份有限公司 一种非法交易检测方法及装置
CN109561045A (zh) * 2017-09-25 2019-04-02 北京京东尚科信息技术有限公司 数据拦截方法及装置、存储介质和电子设备
CN107944976A (zh) * 2017-12-15 2018-04-20 康成投资(中国)有限公司 在线订单审核方法
CN109636433A (zh) * 2018-10-16 2019-04-16 深圳壹账通智能科技有限公司 基于大数据分析的养卡识别方法、装置、设备和存储介质
CN111598661A (zh) * 2020-05-14 2020-08-28 拉扎斯网络科技(上海)有限公司 一种异常报备处理方法、装置、平台服务器及存储介质
CN111598661B (zh) * 2020-05-14 2023-09-22 拉扎斯网络科技(上海)有限公司 一种异常报备处理方法、装置、平台服务器及存储介质
CN112669058A (zh) * 2020-12-21 2021-04-16 上海多维度网络科技股份有限公司 应用程序的数据处理方法以及装置、存储介质、电子装置
CN116823452A (zh) * 2023-08-30 2023-09-29 北京中关村科金技术有限公司 基于人工智能的异常事件识别方法、装置及设备
CN116823452B (zh) * 2023-08-30 2023-12-05 北京中关村科金技术有限公司 基于人工智能的异常事件识别方法、装置及设备

Also Published As

Publication number Publication date
CN104778591B (zh) 2018-05-22

Similar Documents

Publication Publication Date Title
CN104778591A (zh) 一种异常行为的特征信息的提取、识别方法和装置
CN108364085B (zh) 一种外卖配送时间预测方法和装置
Ribas et al. Multi-criteria risk assessment: Case study of a large hydroelectric project
KR101300517B1 (ko) 전자 입찰에 있어 투찰금액 예측방법 및 그 시스템
CN106779457A (zh) 一种企业信用评估方法及系统
CN108989581B (zh) 一种用户风险识别方法、装置及系统
CN110287250B (zh) 用户等级量化方法和装置
CN106603327B (zh) 行为数据分析方法及装置
CN111127080A (zh) 一种基于大数据推荐算法的客户渠道引流方法
CN109670933A (zh) 识别用户角色的方法、用户设备、存储介质及装置
CN105376223A (zh) 网络身份关系的可靠度计算方法
CN105741161A (zh) 基于司机信用的识别打车业务中刷单用户的方法和系统
CN110517071A (zh) 基于机器模型的信息预测方法、装置、设备及存储介质
CN113010578A (zh) 社区数据分析方法、装置、社区智能交互平台及存储介质
CN111127062A (zh) 一种基于空间搜索算法的群体欺诈识别方法及装置
CN115689752A (zh) 风控规则的调整方法、装置、设备及存储介质
CN108304482A (zh) 经纪人的识别方法及装置、电子设备和可读存储介质
CN107330709B (zh) 确定目标对象的方法及装置
CN109727116A (zh) 信贷分析方法、装置、设备及计算机可读存储介质
CN115730826A (zh) 风险控制规则配置方法和装置、电子设备、存储介质
CN113449184B (zh) 触达渠道的推荐方法、装置、计算机设备和存储介质
CN110223132A (zh) 基于多权限角色的订单处理方法、装置、终端及存储介质
CN115345663A (zh) 营销策略评估方法、装置、电子设备及存储介质
CN115034686A (zh) 作业行为量化方法、装置、计算机设备和存储介质
CN115130577A (zh) 一种欺诈号码识别方法、装置及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant