CN113159637A - 恶意用户的确定方法及装置、存储介质及电子设备 - Google Patents
恶意用户的确定方法及装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN113159637A CN113159637A CN202110527814.0A CN202110527814A CN113159637A CN 113159637 A CN113159637 A CN 113159637A CN 202110527814 A CN202110527814 A CN 202110527814A CN 113159637 A CN113159637 A CN 113159637A
- Authority
- CN
- China
- Prior art keywords
- user
- risk
- identified
- information
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000013058 risk prediction model Methods 0.000 claims abstract description 32
- 230000006399 behavior Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 description 19
- 230000002159 abnormal effect Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0635—Risk analysis of enterprise or organisation activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/04—Trading; Exchange, e.g. stocks, commodities, derivatives or currency exchange
Landscapes
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Theoretical Computer Science (AREA)
- Educational Administration (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Game Theory and Decision Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Technology Law (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种恶意用户的确定方法及装置、存储介质及电子设备,该方法包括:获取待识别用户的业务信息;业务信息包括用户注册信息以及用户交易信息;将业务信息与风险规则引擎进行匹配,获得引擎指标集合;应用风险预测模型对业务信息进行识别,获得待识别用户的模型输出指标;基于业务信息确定待识别用户的关键实体以及关键实体的关系数据;应用图算法基于关键实体以及关系数据确定待识别用户所属的子网;依据子网获得待识别用户的图指标集合;基于引擎指标集合、模型输出指标以及图指标集合,获得待识别用户的风险评分;若风险评分大于风险评分阈值,则将待识别用户确定为恶意用户。应用本发明提供的方法,能够提升恶意用户的识别准确率。
Description
技术领域
本发明涉及数据处理技术领域,特别涉及一种恶意用户的确定方法及装置、存储介质及电子设备。
背景技术
近年来,随着互联网的迅猛发展,出现了各个行业都出现的大量的互联网平台,各个互联网平台为了竞争用户流量,往往会为用户提供让利、优惠以及补贴等引流活动,以吸引用户;然而,在进行引流活动的过程中,往往会出现恶意用户以作弊手段套取平台补贴,给平台带来了极大的损失。
为了避免平台的损失,需要对恶意用户进行识别,现有技术中,通常是通过规则引擎识别进行恶意用户的识别,然而,规则引擎依赖于历史经验的判断,只适用于作弊手段简单的恶意用户识别,难以对作弊手段复杂的恶意用户进行识别,恶意用户识别的准确率低、覆盖率低。
发明内容
本发明所要解决的技术问题是提供一种恶意用户的确定方法,能够准确的识别出恶意用户。
本发明还提供了一种恶意用户的确定装置,用以保证上述方法在实际中的实现及应用。
一种恶意用户的确定方法,包括:
获取待识别用户的业务信息;所述业务信息包括用户注册信息以及用户交易信息;
将所述业务信息与预先设置的风险规则引擎进行匹配,获得引擎指标集合;
应用预先构建的风险预测模型对所述业务信息进行识别,获得所述待识别用户的模型输出指标;
基于所述业务信息确定所述待识别用户的关键实体以及所述关键实体的关系数据,所述关系数据包括与所述关键实体存在关联关系的各个实体;应用预设的图算法基于所述关键实体以及所述关系数据确定所述待识别用户所属的子网;依据所述子网获得所述待识别用户的图指标集合;
基于所述引擎指标集合、所述模型输出指标以及所述图指标集合,获得所述待识别用户的风险评分;
判断所述风险评分是否大于预先设置的风险评分阈值;
若所述风险评分大于所述风险评分阈值,则将所述待识别用户确定为恶意用户。
上述的方法,可选的,所述将所述业务信息与预先设置的风险规则引擎进行匹配,获得引擎指标集合,包括:
将所述业务信息与所述风险规则引擎中的风险名单库进行匹配,获得所述业务信息的库指标子集合;
将所述业务信息中的用户注册信息与所述风险规则引擎中的注册风险检测规则进行匹配,获得所述业务信息的注册风险指标子集合;
将所述业务信息中的用户交易信息与所述风险规则引擎中的交易风险检测规则进行匹配,获得所述业务信息的交易风险指标子集合;
由所述库指标子集合、所述注册风险指标子集合以及所述交易风险指标子集合,组成所述引擎指标集合。
上述的方法,可选的,所述应用预先构建的风险预测模型对所述业务信息进行识别,获得所述待识别用户的模型输出指标,包括:
基于所述业务信息生成所述待识别用户的特征信息,所述特征信息包括身份特征、金融属性特征、注册行为特征以及交易行为特征;
将所述特征信息输入至所述预先构建的风险预测模型,获得所述风险预测模型输出的识别结果,所述识别结果表征所述待识别用户为恶意用户的概率;
将所述识别结果作为所述待识别用户的模型输出指标。
上述的方法,可选的,所述基于所述引擎指标集合、所述模型输出指标以及所述图指标集合,获得所述待识别用户的风险评分,包括:
应用预先设立的风险因子参数,对所述引擎指标集合中的每个引擎指标、所述模型输出指标以及所述图指标集合中的每个图指标进行加权求和,获得所述待识别用户的风险评分。
上述的方法,可选的,所述将所述待识别用户确定为恶意用户之后,还包括:
将所述待识别用户的风险评分与已设定的各个风险评分区间进行匹配;
确定与所述风险评分匹配成功的风险评分区间对应的用户处置策略。
一种恶意用户的确定装置,包括:
获取单元,用于获取待识别用户的业务信息;所述业务信息包括用户注册信息以及用户交易信息;
匹配单元,用于将所述业务信息与预先设置的风险规则引擎进行匹配,获得引擎指标集合;
识别单元,用于应用预先构建的风险预测模型对所述业务信息进行识别,获得所述待识别用户的模型输出指标;
执行单元,用于基于所述业务信息确定所述待识别用户的关键实体以及所述关键实体的关系数据,所述关系数据包括与所述关键实体存在关联关系的各个实体;应用预设的图算法基于所述关键实体以及所述关系数据确定所述待识别用户所属的子网;依据所述子网获得所述待识别用户的图指标集合;
评分单元,用于基于所述引擎指标集合、所述模型输出指标以及所述图指标集合,获得所述待识别用户的风险评分;
判断单元,用于判断所述风险评分是否大于预先设置的风险评分阈值;
确定单元,用于若所述风险评分大于所述风险评分阈值,则将所述待识别用户确定为恶意用户。
上述的装置,可选的,所述匹配单元,包括:
第一匹配子单元,用于将所述业务信息与所述风险规则引擎中的风险名单库进行匹配,获得所述业务信息的库指标子集合;
第二匹配子单元,用于将所述业务信息中的用户注册信息与所述风险规则引擎中的注册风险检测规则进行匹配,获得所述业务信息的注册风险指标子集合;
第三匹配子单元,用于将所述业务信息中的用户交易信息与所述风险规则引擎中的交易风险检测规则进行匹配,获得所述业务信息的交易风险指标子集合;
第一执行子单元,用于由所述库指标子集合、所述注册风险指标子集合以及所述交易风险指标子集合,组成所述引擎指标集合。
上述的装置,可选的,所述识别单元,包括:
生成子单元,用于基于所述业务信息生成所述待识别用户的特征信息,所述特征信息包括身份特征、金融属性特征、注册行为特征以及交易行为特征;
识别子单元,用于将所述特征信息输入至所述预先构建的风险预测模型,获得所述风险预测模型输出的识别结果,所述识别结果表征所述待识别用户为恶意用户的概率;
第二执行子单元,用于将所述识别结果作为所述待识别用户的模型输出指标。
上述的装置,可选的,所述评分单元,包括:
评分子单元,用于应用预先设立的风险因子参数,对所述引擎指标集合中的每个引擎指标、所述模型输出指标以及所述图指标集合中的每个图指标进行加权求和,获得所述待识别用户的风险评分。
上述的装置,可选的,还包括:处置策略确定单元,用于将所述待识别用户的风险评分与已设定的各个风险评分区间进行匹配;确定与所述风险评分匹配成功的风险评分区间对应的用户处置策略。
一种存储介质,所述存储介质包括存储指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如上述的恶意用户的确定方法。
一种电子设备,包括存储器,以及一个或者一个以上的指令,其中一个或一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如上述的恶意用户的确定方法。
与现有技术相比,本发明包括以下优点:
本发明提供了一种恶意用户的确定方法及装置、存储介质及电子设备,该方法包括:获取待识别用户的业务信息;所述业务信息包括用户注册信息以及用户交易信息;将所述业务信息与预先设置的风险规则引擎进行匹配,获得引擎指标集合;应用预先构建的风险预测模型对所述业务信息进行识别,获得所述待识别用户的模型输出指标;基于所述业务信息确定所述待识别用户的关键实体以及所述关键实体的关系数据,所述关系数据包括与所述关键实体存在关联关系的各个实体;应用预设的图算法基于所述关键实体以及所述关系数据确定所述待识别用户所属的子网;依据所述子网获得所述待识别用户的图指标集合;基于所述引擎指标集合、所述模型输出指标以及所述图指标集合,获得所述待识别用户的风险评分;判断所述风险评分是否大于预先设置的风险评分阈值;若所述风险评分大于所述风险评分阈值,则将所述待识别用户确定为恶意用户。应用本发明提供的方法,能够联合风险规则引擎、风险识别模型以及图算法计算出待识别用户的风险评分,从而基于风险评分确定待识别用户是否为恶意用户,能够提升恶意用户的识别准确率和覆盖面。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明提供的一种恶意用户的确定方法的方法流程图;
图2为本发明提供的一种获得引擎指标集合的过程的流程图;
图3为本发明提供的一种获得待识别用户的模型输出指标的过程的流程图;
图4为本发明提供的一种获得图指标集合的过程的流程图;
图5为本发明提供的一种恶意用户的确定方法的流程示例图;
图6为本发明提供的一种恶意用户的确定装置的结构示意图;
图7为本发明提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本申请中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明实施例提供了一种恶意用户的确定方法,该方法可以应用于电子设备,所述方法的方法流程图如图1所示,具体包括:
S101:获取待识别用户的业务信息;所述业务信息包括用户注册信息以及用户交易信息。
在本发明实施例中,可以当接收到恶意用户识别指令时,获取所述恶意用户识别指令对应的待识别用户的业务信息;该业务信息可以包括基础注册信息、用户注册信息、基础交易信息以及用户交易信息等。
其中,该基础注册信息可以包括:注册的手机号、证件号、银行卡账号、IP地址以及设备指纹等以上一种或多种。该用户注册信息可以包括:身份信息、IP地址、设备指纹、地理位置信息、注册行为发生时间以及关键信息所提交注册请求时间间隔等以上一种或多种,该身份信息可以包括用户证件号、银行卡号等。
其中,该基础交易信息可以包括:交易的收货手机号、银行卡账号、IP地址、设备指纹等以上一种或多种。该用户交易信息可以包括:收货信息、交易对手信息、支付介质、IP地址、设备指纹、地理位置信息、交易发生时间、关键信息所提交交易请求时间间隔等以上一种或多种。
S102:将所述业务信息与预先设置的风险规则引擎进行匹配,获得引擎指标集合。
在本发明实施例中,该风险规则引擎可以包括风险库名单、注册风险检测规则以及交易风险检测规则等以上一项或多项。
其中,该引擎指标集合中包含多个引擎指标,引擎指标集合中的各个引擎指标为业务信息与风险规则引擎进行匹配所得到的匹配结果。
S103:应用预先构建的风险预测模型对所述业务信息进行识别,获得所述待识别用户的模型输出指标。
在本发明实施例中,该风险预测模型可以为机器学习模型,该风险预测模型是通过训练样本集训练得到的,该训练样本集包括多个历史恶意用户的业务信息。
其中,该模型输出指标可以为该风险预测模型输出的识别结果。
S104:基于所述业务信息确定所述待识别用户的关键实体以及所述关键实体的关系数据,所述关系数据包括与所述关键实体存在关联关系的各个实体;应用预设的图算法基于所述关键实体以及所述关系数据确定所述待识别用户所属的子网;依据所述子网获得所述待识别用户的图指标集合。
在本发明实施例提供的方法中,该关键实体可以包括用户ID、手机号、证件号、银行卡账号、IP以及设备终端等以上一种或多种。
其中,该关系数据可以包括待识别用户在注册环节和交易环节所产生的实体间的关联关系,该图算法包括但不限于连通度算法(Connected Components)和鲁汶算法(Louvain Modularity)等;社群或子网划分基于实体间的关联关系,得到互相连通实体的最大集合或最优集合,再基于成网情况可提炼形成图指标集合。
其中,该图指标集合可以包括:子网节点的数量、子网中用户所含的确定风险样本(即已知恶意用户、黑样本)的数量及比例、子网内节点中心度、中介度、亲密度、影响度等达到某一阈值、子网内节点的注册时间/手机号段的重合度或聚集性等以上任意一种或组合。
S105:基于所述引擎指标集合、所述模型输出指标以及所述图指标集合,获得所述待识别用户的风险评分。
在本发明实施例中,通过对引擎指标集合中的各个引擎指标、模型输出指标以及图指标集合的各个图指标进行计算,获得待识别用户的恶意评分。
S106:判断所述风险评分是否大于预先设置的风险评分阈值,若是,执行S107;若否,执行S108。
在本发明实施例中,该风险评分阈值可以依据实际需求进行设定。
S107:将所述待识别用户确定为恶意用户。
在本发明实施例中,该恶意用户可以指代在营销活动中存在套利行为的用户。
S108:确定待识别用户不为恶意用户。
应用本发明提供的方法,能够联合风险规则引擎、风险识别模型以及图算法计算出待识别用户的风险评分,从而基于风险评分确定待识别用户是否为恶意用户,能够提升恶意用户的识别准确率。
在本发明实施例提供的方法中,基于上述的实施过程,具体的,所述将所述业务信息与预先设置的风险规则引擎进行匹配,获得引擎指标集合,如图2所示,具体包括:
S201:将所述业务信息与所述风险规则引擎中的风险名单库进行匹配,获得所述业务信息的库指标子集合。
在本发明实施例中,该库指标子集合包括第一库指标子集合和第二库指标子集合。
其中,可以将业务信息的基础注册信息与风险名单库进行匹配,即,将注册的手机号、证件号、银行卡账号、IP地址以及设备指纹等以上一种或多种与风险名单库进行匹配,获得第一库指标子集合。
可以将业务信息的基础交易信息与风险名单库进行匹配,即,将交易的收货手机号、银行卡账号、IP地址、设备指纹等以上一种或多种与风险名单库进行匹配,获得业务信息的第二库指标子集合。
S202:将所述业务信息中的用户注册信息与所述风险规则引擎中的注册风险检测规则进行匹配,获得所述业务信息的注册风险指标子集合。
在本发明实施例中,该注册风险检测规则可以包括以下至少一个:1、注册行为所发生时间是否为异常时间段;2、关键信息所提交注册请求时间间隔是否异常;3、注册行为所产生的IP和GPS地理位置是否一致;4、在某一特定时间窗口内,是否存在IP、设备终端、手机号段等关键信息的聚集性,如多名用户使用同一设备终端进行注册;5、用户的证件号、银行卡账号等关键认证信息是否存在多头认证,如多名用户使用同一银行卡账号进行认证。
其中,该注册风险指标子集合包含用户注册信息与注册风险检测规则的匹配结果。
S203:将所述业务信息中的用户交易信息与所述风险规则引擎中的交易风险检测规则进行匹配,获得所述业务信息的交易风险指标子集合。
在本发明实施例中,交易风险检测规则可以包括以下至少一个:1、交易行为所发生时间是否为异常时间段;2、关键信息所提交交易请求时间间隔是否异常;3、交易行为所产生的IP和GPS地理位置是否一致;4、在某一特定时间窗口内,是否存在注册/交易IP、注册/交易设备终端、手机号段、支付银行卡账号、注册日期、交易对手/商户等关键信息的聚集性,如多名用户使用同一设备终端进行交易;5、是否存在多名用户间的异常资金往来、归集行为,即交易前的资金批量发放、交易后的资金归集结算等;6、是否存在多名用户间的行为轨迹高度重合,即交易关键要素组成的链路高度重合。
其中,该交易风险指标子集合包含用户交易信息与交易风险检测规则的匹配结果。
S204:由所述库指标子集合、所述注册风险指标子集合以及所述交易风险指标子集合,组成所述引擎指标集合。
在本发明实施例提供的方法中,基于上述的实施过程,具体的,所述应用预先构建的风险预测模型对所述业务信息进行识别,获得所述待识别用户的模型输出指标,如图3所示,具体包括:
S301:基于所述业务信息生成所述待识别用户的特征信息,所述特征信息包括身份特征、金融属性特征、注册行为特征以及交易行为特征。
在本发明实施例中,通过对该业务信息进行预处理,获得待识别用户的特征信息。
S302:将所述特征信息输入至所述预先构建的风险预测模型,获得所述风险预测模型输出的识别结果,所述识别结果表征所述待识别用户为恶意用户的概率。
在本发明实施例中,风险预测模型的构建过程可以包括:利用训练数据集对初始风险预测模型进行训练,利用测试数据集对已完成训练的初始预测模型进行测试,若该已训练完成的初始预测模型满足预设的测试条件,则可以将该已完成训练的初始预测模型作为风险预测模型。
S303:将所述识别结果作为所述待识别用户的模型输出指标。
在本发明实施例提供的方法中,基于上述的实施过程,具体的,获得图指标集合的过程,如图4所示,具体包括:
S401:基于所述业务信息确定所述待识别用户的关键实体以及所述关键实体的关系数据。
S402:应用预设的图算法基于所述关键实体以及所述关系数据确定待识别用户所属的子网。
S403:依据该子网获得所述待识别用户的图指标集合。
在本发明实施例提供的方法中,基于上述的实施过程,具体的,所述基于所述引擎指标集合、所述模型输出指标以及所述图指标集合,获得所述待识别用户的风险评分,包括:
应用预先设立的风险因子参数,对所述引擎指标集合中的每个引擎指标、所述模型输出指标以及所述图指标集合中的每个图指标进行加权求和,获得所述待识别用户的风险评分。
在本发明实施例中,各个指标的风险因子参数可以为各个指标的风险权重,可以确定引擎指标集合中的第一库指标集合S1的风险因子参数w1、第二库指标集合S2的风险因子参数w2、注册风险指标子集合S3的风险因子参数w3、交易风险指标子集合S4的风险因子参数w4、模型输出指标S5的风险因子参数w5、图指标集合S6的风险因子参数w6,基于已确定的各个风险因子参数对引擎指标集合中的每个引擎指标、所述模型输出指标以及图指标集合中的每个图指标进行加权求和,获得待识别用户的风险评分。
其中,风险评分的计算方式可以如下:
其中,P为风险评分,n可以为指标数量。
在本发明实施例提供的方法中,基于上述的实施过程,具体的,S107中的将所述待识别用户确定为恶意用户之后,还包括:
将所述待识别用户的风险评分与已设定的各个风险评分区间进行匹配;
确定与所述风险评分匹配成功的风险评分区间对应的用户处置策略。
在本发明实施例中,每个风险评分区间均对应一种用户处置策略,该用户处置策略可以用于指示对待该恶意用户的处置操作,例如,限制交易频率或封禁账号等。
其中,在执行S107之后,还可以将该恶意用户的业务信息记录至风险名单库。
本发明实施例提供的恶意用户的确定方法可以应用于多种应用场景,例如,可以用于在互联网平台的用户引流的营销活动中的套利用户识别,如图5所示,为本发明实施例提供的一种恶意用户的确定方法的流程示例图,具体过程如下:
第一、接收用户的基础注册信息,将注册关键信息,例如注册的手机号、证件号、银行卡账号、IP地址、设备指纹等,与风险名单库进行比对,处理生成规则引擎指标集合S1。
第二、接收用户的基础交易信息,将交易关键信息如交易的收货手机号、银行卡账号、IP地址、设备指纹等,与风险名单库进行比对,处理生成规则引擎指标集合S2。
第三、接收用户注册信息,例如身份信息、IP地址、设备指纹、地理位置信息等;结合时间窗口、数量等属性,按设定的注册风险检测规则,处理生成规则引擎指标集合S3。
其中,注册风险检测规则,包括以下至少一个规则:注册行为所发生时间是否为异常时间段;关键信息所提交注册请求时间间隔是否异常;注册行为所产生的IP和GPS地理位置是否一致;在某一特定时间窗口内,是否存在IP、设备终端、手机号段等关键信息的聚集性,如多名用户使用同一设备终端进行注册;以及用户的证件号、银行卡账号等关键认证信息是否存在多头认证,如多名用户使用同一银行卡账号进行认证。
第四、接收用户交易信息(收货信息、交易对手信息、支付介质、IP地址、设备指纹、地理位置信息等),结合时间窗口、数量、金额等属性,按设定的交易风险检测规则,处理生成规则引擎指标集合S4。
所述交易风险检测规则,包括以下至少一个规则:交易行为所发生时间是否为异常时间段;关键信息所提交交易请求时间间隔是否异常;交易行为所产生的IP和GPS地理位置是否一致;在某一特定时间窗口内,是否存在注册/交易IP、注册/交易设备终端、手机号段、支付银行卡账号、注册日期、交易对手/商户等关键信息的聚集性,如多名用户使用同一设备终端进行交易;是否存在多名用户间的异常资金往来、归集行为,即交易前的资金批量发放、交易后的资金归集结算等;是否存在多名用户间的行为轨迹高度重合,即交易关键要素组成的链路高度重合。
第五、处理生成机器学习模型所需风险影响因子信息,输入预设的风险预测模型,输出模型指标S5。
所述风险影响因子信息包括但不限于身份信息、金融属性、注册行为、交易行为等特征向量,风险预测模型为前期通过输入已确定的套利风险样本,以线性或非线性的机器学习算法,经训练、验证得到的套利预测有效模型。
第六、收集特定的关键实体,基于实体间的关联关系和图算法,进行社群或子网划分,处理生成图指标集合S6。
在本发明实施例中,所述关键实体包括但不限于用户ID、手机号、证件号、银行卡账号、IP、设备终端等,实体间的关联关系包括注册环节和交易环节所产生的实体间的关联关系,图算法包括但不限于连通度算法(Connected Components)和鲁汶算法(LouvainModularity)等,社群或子网划分基于实体间的关联关系,得到互相连通实体的最大集合或最优集合,再基于成网情况可提炼形成图指标。
具体的,基于输入的特定实体、关联关系,运用图算法(如连通度算法、鲁汶算法等)进行社群或子网划分,基于实体间的群聚性发现套利团伙组织,可基于存量或全量用户进行社群划分,分析其成网情况,网内所包含的节点(即实体)越多、涉及的用户越多,表明这些用户作为套利团伙组织的可能性越大;也可通过单个特定用户(如新用户)进行图计算,查看其与此前可疑子网的关联度,用以判断其套利的疑似度;
其中,图指标是基于图算法进行子网划分后,通过对子网探查提炼而成的一种指标特征,如前述所提到的子网内所包含的节点数量可作为一个基础的图指标,也可经过其他维度的交叉组合进行提炼,如子网中用户所含的确定风险样本(即已知套利用户、黑样本)的数量及比例、子网内节点中心度、中介度、亲密度、影响度等达到某一阈值、子网内节点的注册时间/手机号段的重合度或聚集性等。
第七、基于预设的风险因子参数,将上述指标集合进行加权计算,获取用户的套利风险分值P,若用户最终的风险分值超过预设阈值,则判定该用户为套利用户,即恶意用户。
第八、将上一步判定为套利的用户,纳入黑名单列表,并作出异常处置,将与套利用户相关联的关键信息,扩充至风险名单库。
在本发明实施例中,基于风险名单库(包括用户、手机号、证件号、银行卡账号、IP地址、设备指纹等黑灰名单库)、异常或聚集性表现、行为轨迹分析建立规则引擎,通过机器学习和模型训练输出风险样本,再运用关联图谱,以相对稳定的关联关系和图算法,发现多重隐蔽链路,识别和捕获团伙用户,最后综合上述三种技术手段的输出结果,根据风险程度设置风险因子参数,计算目标用户主体的风险分值,再划定相应阈值来判定是否为套利用户。应用本发明实施例提供的方法,可挖掘隐蔽链路,确定套利团伙组织,扩大风险样本覆盖范围,且在综合计算风险权重后,能有效解决单一技术识别的精准度不够或误判情况。
与图1所述的方法相对应,本发明实施例还提供了一种恶意用户的确定装置,用于对图1中方法的具体实现,本发明实施例提供的恶意用户的确定装置可以应用于电子设备中,其结构示意图如图6所示,具体包括:
获取单元601,用于获取待识别用户的业务信息;所述业务信息包括用户注册信息以及用户交易信息;
匹配单元602,用于将所述业务信息与预先设置的风险规则引擎进行匹配,获得引擎指标集合;
识别单元603,用于应用预先构建的风险预测模型对所述业务信息进行识别,获得所述待识别用户的模型输出指标;
执行单元604,用于基于所述业务信息确定所述待识别用户的关键实体以及所述关键实体的关系数据,所述关系数据包括与所述关键实体存在关联关系的各个实体;应用预设的图算法基于所述关键实体以及所述关系数据确定所述待识别用户所属的子网;依据所述子网获得所述待识别用户的图指标集合;
评分单元605,用于基于所述引擎指标集合、所述模型输出指标以及所述图指标集合,获得所述待识别用户的风险评分;
判断单元606,用于判断所述风险评分是否大于预先设置的风险评分阈值;
确定单元607,用于若所述风险评分大于所述风险评分阈值,则将所述待识别用户确定为恶意用户。
在本发明实施例提供的装置中,基于上述的方案,具体的,所述匹配单元602,包括:
第一匹配子单元,用于将所述业务信息与所述风险规则引擎中的风险名单库进行匹配,获得所述业务信息的库指标子集合;
第二匹配子单元,用于将所述业务信息中的用户注册信息与所述风险规则引擎中的注册风险检测规则进行匹配,获得所述业务信息的注册风险指标子集合;
第三匹配子单元,用于将所述业务信息中的用户交易信息与所述风险规则引擎中的交易风险检测规则进行匹配,获得所述业务信息的交易风险指标子集合;
第一执行子单元,用于由所述库指标子集合、所述注册风险指标子集合以及所述交易风险指标子集合,组成所述引擎指标集合。
在本发明实施例提供的装置中,基于上述的方案,具体的,所述识别单元603,包括:
生成子单元,用于基于所述业务信息生成所述待识别用户的特征信息,所述特征信息包括身份特征、金融属性特征、注册行为特征以及交易行为特征;
识别子单元,用于将所述特征信息输入至所述预先构建的风险预测模型,获得所述风险预测模型输出的识别结果,所述识别结果表征所述待识别用户为恶意用户的概率;
第二执行子单元,用于将所述识别结果作为所述待识别用户的模型输出指标。
在本发明实施例提供的装置中,基于上述的方案,具体的,所述评分单元605,包括:
评分子单元,用于应用预先设立的风险因子参数,对所述引擎指标集合中的每个引擎指标、所述模型输出指标以及所述图指标集合中的每个图指标进行加权求和,获得所述待识别用户的风险评分。
在本发明实施例提供的装置中,基于上述的方案,具体的,还包括:处置策略确定单元,用于将所述待识别用户的风险评分与已设定的各个风险评分区间进行匹配;确定与所述风险评分匹配成功的风险评分区间对应的用户处置策略。
上述本发明实施例公开的恶意用户的确定装置中的各个单元和模块具体的原理和执行过程,与上述本发明实施例公开的恶意用户的确定方法相同,可参见上述本发明实施例提供的恶意用户的确定方法中相应的部分,这里不再进行赘述。
本发明实施例还提供了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行上述恶意用户的确定方法。
本发明实施例还提供了一种电子设备,其结构示意图如图7所示,具体包括存储器701,以及一个或者一个以上的指令702,其中一个或者一个以上指令702存储于存储器701中,且经配置以由一个或者一个以上处理器703执行所述一个或者一个以上指令702进行以下操作:
获取待识别用户的业务信息;所述业务信息包括用户注册信息以及用户交易信息;
将所述业务信息与预先设置的风险规则引擎进行匹配,获得引擎指标集合;
应用预先构建的风险预测模型对所述业务信息进行识别,获得所述待识别用户的模型输出指标;
基于所述业务信息确定所述待识别用户的关键实体以及所述关键实体的关系数据,所述关系数据包括与所述关键实体存在关联关系的各个实体;应用预设的图算法基于所述关键实体以及所述关系数据确定所述待识别用户所属的子网;依据所述子网获得所述待识别用户的图指标集合;
基于所述引擎指标集合、所述模型输出指标以及所述图指标集合,获得所述待识别用户的风险评分;
判断所述风险评分是否大于预先设置的风险评分阈值;
若所述风险评分大于所述风险评分阈值,则将所述待识别用户确定为恶意用户。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
以上对本发明所提供的一种恶意用户的确定方法进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种恶意用户的确定方法,其特征在于,包括:
获取待识别用户的业务信息;所述业务信息包括用户注册信息以及用户交易信息;
将所述业务信息与预先设置的风险规则引擎进行匹配,获得引擎指标集合;
应用预先构建的风险预测模型对所述业务信息进行识别,获得所述待识别用户的模型输出指标;
基于所述业务信息确定所述待识别用户的关键实体以及所述关键实体的关系数据,所述关系数据包括与所述关键实体存在关联关系的各个实体;应用预设的图算法基于所述关键实体以及所述关系数据确定所述待识别用户所属的子网;依据所述子网获得所述待识别用户的图指标集合;
基于所述引擎指标集合、所述模型输出指标以及所述图指标集合,获得所述待识别用户的风险评分;
判断所述风险评分是否大于预先设置的风险评分阈值;
若所述风险评分大于所述风险评分阈值,则将所述待识别用户确定为恶意用户。
2.根据权利要求1所述的方法,其特征在于,所述将所述业务信息与预先设置的风险规则引擎进行匹配,获得引擎指标集合,包括:
将所述业务信息与所述风险规则引擎中的风险名单库进行匹配,获得所述业务信息的库指标子集合;
将所述业务信息中的用户注册信息与所述风险规则引擎中的注册风险检测规则进行匹配,获得所述业务信息的注册风险指标子集合;
将所述业务信息中的用户交易信息与所述风险规则引擎中的交易风险检测规则进行匹配,获得所述业务信息的交易风险指标子集合;
由所述库指标子集合、所述注册风险指标子集合以及所述交易风险指标子集合,组成所述引擎指标集合。
3.根据权利要求1所述的方法,其特征在于,所述应用预先构建的风险预测模型对所述业务信息进行识别,获得所述待识别用户的模型输出指标,包括:
基于所述业务信息生成所述待识别用户的特征信息,所述特征信息包括身份特征、金融属性特征、注册行为特征以及交易行为特征;
将所述特征信息输入至所述预先构建的风险预测模型,获得所述风险预测模型输出的识别结果,所述识别结果表征所述待识别用户为恶意用户的概率;
将所述识别结果作为所述待识别用户的模型输出指标。
4.根据权利要求1所述的方法,其特征在于,所述基于所述引擎指标集合、所述模型输出指标以及所述图指标集合,获得所述待识别用户的风险评分,包括:
应用预先设立的风险因子参数,对所述引擎指标集合中的每个引擎指标、所述模型输出指标以及所述图指标集合中的每个图指标进行加权求和,获得所述待识别用户的风险评分。
5.根据权利要求1所述的方法,其特征在于,所述将所述待识别用户确定为恶意用户之后,还包括:
将所述待识别用户的风险评分与已设定的各个风险评分区间进行匹配;
确定与所述风险评分匹配成功的风险评分区间对应的用户处置策略。
6.一种恶意用户的确定装置,其特征在于,包括:
获取单元,用于获取待识别用户的业务信息;所述业务信息包括用户注册信息以及用户交易信息;
匹配单元,用于将所述业务信息与预先设置的风险规则引擎进行匹配,获得引擎指标集合;
识别单元,用于应用预先构建的风险预测模型对所述业务信息进行识别,获得所述待识别用户的模型输出指标;
执行单元,用于基于所述业务信息确定所述待识别用户的关键实体以及所述关键实体的关系数据,所述关系数据包括与所述关键实体存在关联关系的各个实体;应用预设的图算法基于所述关键实体以及所述关系数据确定所述待识别用户所属的子网;依据所述子网获得所述待识别用户的图指标集合;
评分单元,用于基于所述引擎指标集合、所述模型输出指标以及所述图指标集合,获得所述待识别用户的风险评分;
判断单元,用于判断所述风险评分是否大于预先设置的风险评分阈值;
确定单元,用于若所述风险评分大于所述风险评分阈值,则将所述待识别用户确定为恶意用户。
7.根据权利要求6所述的装置,其特征在于,所述匹配单元,包括:
第一匹配子单元,用于将所述业务信息与所述风险规则引擎中的风险名单库进行匹配,获得所述业务信息的库指标子集合;
第二匹配子单元,用于将所述业务信息中的用户注册信息与所述风险规则引擎中的注册风险检测规则进行匹配,获得所述业务信息的注册风险指标子集合;
第三匹配子单元,用于将所述业务信息中的用户交易信息与所述风险规则引擎中的交易风险检测规则进行匹配,获得所述业务信息的交易风险指标子集合;
第一执行子单元,用于由所述库指标子集合、所述注册风险指标子集合以及所述交易风险指标子集合,组成所述引擎指标集合。
8.根据权利要求6所述的装置,其特征在于,所述识别单元,包括:
生成子单元,用于基于所述业务信息生成所述待识别用户的特征信息,所述特征信息包括身份特征、金融属性特征、注册行为特征以及交易行为特征;
识别子单元,用于将所述特征信息输入至所述预先构建的风险预测模型,获得所述风险预测模型输出的识别结果,所述识别结果表征所述待识别用户为恶意用户的概率;
第二执行子单元,用于将所述识别结果作为所述待识别用户的模型输出指标。
9.一种存储介质,其特征在于,所述存储介质包括存储指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如权利要求1~5任意一项所述的恶意用户的确定方法。
10.一种电子设备,其特征在于,包括存储器,以及一个或者一个以上的指令,其中一个或一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如权利要求1~5任意一项所述的恶意用户的确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110527814.0A CN113159637A (zh) | 2021-05-14 | 2021-05-14 | 恶意用户的确定方法及装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110527814.0A CN113159637A (zh) | 2021-05-14 | 2021-05-14 | 恶意用户的确定方法及装置、存储介质及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113159637A true CN113159637A (zh) | 2021-07-23 |
Family
ID=76875140
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110527814.0A Pending CN113159637A (zh) | 2021-05-14 | 2021-05-14 | 恶意用户的确定方法及装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113159637A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113570166A (zh) * | 2021-09-08 | 2021-10-29 | 湖南惠农科技有限公司 | 风控实时预测识别方法及装置 |
CN113570451A (zh) * | 2021-07-30 | 2021-10-29 | 中国银行股份有限公司 | 一种对公账户年检顺序确定方法及装置 |
CN113962817A (zh) * | 2021-11-11 | 2022-01-21 | 泰康保险集团股份有限公司 | 异常人员识别方法及装置、电子设备和存储介质 |
CN114386388A (zh) * | 2022-03-22 | 2022-04-22 | 深圳尚米网络技术有限公司 | 一种用于用户生成文本内容合规校验的文本检测引擎 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067157A (zh) * | 2017-03-01 | 2017-08-18 | 北京奇艺世纪科技有限公司 | 业务风险评估方法、装置及风控系统 |
CN107644098A (zh) * | 2017-09-29 | 2018-01-30 | 马上消费金融股份有限公司 | 一种欺诈行为识别方法、装置、设备及存储介质 |
CN109544166A (zh) * | 2018-11-05 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 一种风险识别方法和装置 |
CN109583203A (zh) * | 2018-10-31 | 2019-04-05 | 武汉华中时讯科技有限责任公司 | 一种恶意用户检测方法、装置及系统 |
WO2020082579A1 (zh) * | 2018-10-25 | 2020-04-30 | 深圳壹账通智能科技有限公司 | 一种风险审批方法、装置、存储介质和服务器 |
-
2021
- 2021-05-14 CN CN202110527814.0A patent/CN113159637A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067157A (zh) * | 2017-03-01 | 2017-08-18 | 北京奇艺世纪科技有限公司 | 业务风险评估方法、装置及风控系统 |
CN107644098A (zh) * | 2017-09-29 | 2018-01-30 | 马上消费金融股份有限公司 | 一种欺诈行为识别方法、装置、设备及存储介质 |
WO2020082579A1 (zh) * | 2018-10-25 | 2020-04-30 | 深圳壹账通智能科技有限公司 | 一种风险审批方法、装置、存储介质和服务器 |
CN109583203A (zh) * | 2018-10-31 | 2019-04-05 | 武汉华中时讯科技有限责任公司 | 一种恶意用户检测方法、装置及系统 |
CN109544166A (zh) * | 2018-11-05 | 2019-03-29 | 阿里巴巴集团控股有限公司 | 一种风险识别方法和装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113570451A (zh) * | 2021-07-30 | 2021-10-29 | 中国银行股份有限公司 | 一种对公账户年检顺序确定方法及装置 |
CN113570166A (zh) * | 2021-09-08 | 2021-10-29 | 湖南惠农科技有限公司 | 风控实时预测识别方法及装置 |
CN113962817A (zh) * | 2021-11-11 | 2022-01-21 | 泰康保险集团股份有限公司 | 异常人员识别方法及装置、电子设备和存储介质 |
CN114386388A (zh) * | 2022-03-22 | 2022-04-22 | 深圳尚米网络技术有限公司 | 一种用于用户生成文本内容合规校验的文本检测引擎 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113159637A (zh) | 恶意用户的确定方法及装置、存储介质及电子设备 | |
CN108009915B (zh) | 一种欺诈用户社区的标记方法及相关装置 | |
CN108322473B (zh) | 用户行为分析方法与装置 | |
CN111428231B (zh) | 基于用户行为的安全处理方法、装置及设备 | |
CN109922032B (zh) | 用于确定登录账户的风险的方法、装置、设备及存储介质 | |
KR101767454B1 (ko) | 다양한 웹 서비스 환경에서 사용자의 행위 패턴 분석을 통한 이상행위 탐지 방법과 그를 위한 장치 | |
CN112926990B (zh) | 欺诈识别的方法和装置 | |
US11606367B2 (en) | Systems and methods for network anomaly detection and resolution | |
CN112435137B (zh) | 一种基于社团挖掘的欺诈信息检测方法及系统 | |
CN112733045B (zh) | 用户行为的分析方法、装置及电子设备 | |
CN109831459A (zh) | 安全访问的方法、装置、存储介质和终端设备 | |
CN110162958B (zh) | 用于计算设备的综合信用分的方法、装置和记录介质 | |
CN111611519A (zh) | 一种个人异常行为检测方法及装置 | |
WO2021053647A1 (en) | Detection of use of malicious tools on mobile devices | |
CN111105064A (zh) | 确定欺诈事件的嫌疑信息的方法及装置 | |
CN110046783B (zh) | 冒用账户识别方法、装置、电子设备及存储介质 | |
CN113191888A (zh) | 催收评分方法及装置 | |
CN110855641B (zh) | 社区属性信息确定方法、装置及存储介质 | |
CN113052604A (zh) | 一种对象检测方法、装置、设备及存储介质 | |
CN111047436A (zh) | 一种信息判定方法及装置 | |
CN108055661B (zh) | 基于通信网络的电话号码黑名单建立方法及装置 | |
CN111447082B (zh) | 关联账号的确定方法、装置和关联数据对象的确定方法 | |
CN113723522B (zh) | 异常用户的识别方法、装置、电子设备以及存储介质 | |
CN118172077B (zh) | 基于人工智能的智慧金融平台欺诈预测方法及系统 | |
CN115187372A (zh) | 一种识别欺诈用户的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |