CN112330373A - 用户行为分析方法、装置及计算机可读存储介质 - Google Patents
用户行为分析方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN112330373A CN112330373A CN202011375702.XA CN202011375702A CN112330373A CN 112330373 A CN112330373 A CN 112330373A CN 202011375702 A CN202011375702 A CN 202011375702A CN 112330373 A CN112330373 A CN 112330373A
- Authority
- CN
- China
- Prior art keywords
- graph
- user
- user node
- node
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/018—Certifying business or products
- G06Q30/0185—Product, service or business identity fraud
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/535—Tracking the activity of the user
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种用户行为分析方法、装置及计算机可读存储介质,其中该方法包括:确定时间窗口内的各用户节点的行为特征;利用机器学习模型处理所述各用户节点的行为特征,得到每个用户节点的第一评价值,其中,所述第一评价值大于第一阈值的用户节点为第一用户节点;根据知识图谱确定所述第一用户节点的第二评价值,其中,所述第二评价值表示所述第一用户节点之间的关联程度;根据所述第一用户节点的第一评价值和第二评价值确定所述第一用户节点的第三评价值;将所述第三评价值大于第二阈值的第一用户节点判定为目标用户节点。利用上述方法,能够有效发现真人团伙作弊交易等群体性的行为特征。
Description
技术领域
本申请属于数据分析领域,具体涉及一种用户行为分析方法、装置及计算机可读存储介质。
背景技术
本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
一些积分返利的网站会利用派发任务的方式吸引普通用户参加各大商户平台的活动。这吸引了一些团伙恶意套利,即进行虚假的交易获得积分返利。现有的安全机制无法有效识别真人团伙作弊交易。
对于直播营销活动,现有技术中并不能识别出相互关联的且都具有购买意愿消费者群体。从而对这一群体进行针对性的推广活动。
综上,需要一种能够对用户的群体性行为倾向进行分析,从而针对性的做出应对举措的方法。
发明内容
针对上述现有技术的问题,本申请的实施例提出了一种用户行为分析方法、装置及计算机可读存储介质。利用这种异常交易检测方法及装置,能够解决上述问题。
本申请的实施例中提供:一种用户行为分析方法,包括:
确定时间窗口内的各用户节点的行为特征;
利用机器学习模型处理所述各用户节点的行为特征,得到每个用户节点的第一评价值,其中,所述第一评价值大于第一阈值的用户节点为第一用户节点;
根据知识图谱确定所述第一用户节点的第二评价值,其中,所述第二评价值表示所述第一用户节点之间的关联程度;
根据所述第一用户节点的第一评价值和第二评价值确定所述第一用户节点的第三评价值;
将所述第三评价值大于第二阈值的第一用户节点判定为目标用户节点。
在一些实施例中,所述行为特征为交易行为特征,所述交易行为特征包括:在所述时间窗口内,各用户节点的交易笔数、交易商户数、交易金额、交易时间间隔、地理位置变化速度、交易设备变化次数、交易所用支付账户变化次数中的至少一项;所述第一评价值表示所述用户节点进行作弊交易的风险程度。
在一些实施例中,所述机器学习模型包括:梯度下降树、决策树或随机森林树。
在一些实施例中,所述知识图谱包括第一图谱,所述第一图谱的节点为用户节点,所述第一图谱的边为一个用户节点与另一个用户节点的注册推荐关系并标注相应的时间参数,所述第一图谱形成至少一个第一网络;
所述根据知识图谱确定所述第一用户节点的第二评价值包括:
判断在所述时间窗口内是否有多个所述第一用户节点位于同一第一网络中;
如果在所述时间窗口内有多个所述第一用户节点位于同一第一网络中,则根据所述同一第一网络的用户节点数、所述同一第一网络的层级数、所述同一第一网络的时间聚集性参数确定位于所述同一第一网络的第一用户节点的第二评价值。
在一些实施例中,所述根据所述同一第一网络的用户节点数、所述同一第一网络的层级数、所述同一第一网络的时间聚集性参数确定位于所述同一第一网络的第一用户节点的第二评价值包括:
所述第二评价值记为Rgroup,按照如下公式计算所述第二评价值Rgroup:Rgroup=a×G+b×L+c×T,
其中,G为所述同一第一网络的用户节点数、L为所述同一第一网络的层级数、T为所述同一第一网络的时间聚集性参数,a、b、c均为大于0的比例系数。
在一些实施例中,所述知识图谱包括第二图谱,所述第二图谱的节点包括用户节点、所述用户节点绑定的支付账户、所述用户节点所绑定的支付账户关联的通信账户、所述用户节点绑定所述支付账户时使用的终端设备标识,所述第二图谱的边为所述用户节点绑定所述支付账户时产生的关联关系,所述第二图谱形成至少一个第二网络;
所述根据知识图谱确定所述第一用户节点的第二评价值包括:
确定所述第一用户节点中位于同一个第二网络的第一用户节点;
根据所述同一第二网络在所述时间窗口内关联的交易次数确定所述同一第二网络中的第一用户节点的第二评价值。
在一些实施例中,所述知识图谱包括第三图谱,所述第三图谱的节点为用户节点和商户节点,所述第三图谱的任一条边连接一个所述用户节点和一个所述商户节点并表示所述用户节点在所述商户节点交易笔数;
所述根据知识图谱确定所述第一用户节点的第二评价值包括:
确定所述商户节点中与多个用户节点的交易笔数均大于第三阈值的商户节点为第一商户节点;
根据所述时间窗口中所述第一商户节点对应的所述交易笔数大于第三阈值的用户节点中存在的第一用户节点数确定所述第一用户节点的第二评价值。
在一些实施例中,所述根据所述第一用户节点的第一评价值和第二评价值确定所述第一用户节点的第三评价值包括:
按照如下公式计算第三评价值:R=d×Rgroup+e×Ri,
其中,R为第三评价值,Rgroup为第二评价值,Ri为第一评价值,d和e为大于0的比例系数,Rgroup>0,Ri>0。
在一些实施例中,所述行为特征为直播营销活动中用户节点的行为特征,所述行为包括:在所述时间窗口内,各用户节点的鼠标点击速度、交易金额、对所述直播营销活动的浏览时长、在所述直播营销活动期间浏览的产品类型中的至少一项;所述第一评价值表示用户节点在所述直播营销活动中的购买意愿。
在一些实施例中,所述知识图谱包括:第四图谱,所述第四图谱的节点为用户节点,所述第四图谱的边表示一个用户节点向另一个用户节点转发购物信息的转发关系,所述第四图谱形成至少一个第四网络;
所述根据知识图谱确定所述第一用户节点的第二评价值包括:
判断在所述时间窗口内是否有多个所述第一用户节点位于同一第四网络中;
如果在所述时间窗口内有多个第一用户节点位于同一第四网络中,则将所述多个第一用户节点的第二评价值调高,其中,所以用户节点用户相等的初始第二评价值。
在一些实施例中,还包括:
根据所述知识图谱和所述目标用户节点确定潜在目标用户节点,其中,所述潜在目标用户节点与所述目标用户节点至少位于所述知识图谱中的一个相同的网络内。
在一些实施例中,当所述知识图谱包括所述第一图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述异常交易节点所处第一网络的其余用户节点判定为潜在目标用户节点。
在一些实施例中,当所述知识图谱包括所述第二图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述异常交易节点所处第二网络的其余用户节点判定为潜在目标用户节点。
在一些实施例中,当所述知识图谱包括所述第三图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述目标用户节点所对应的第一商户节点所关联的交易笔数大于所述第三阈值的其余用户节点判定为潜在目标用户节点。
在一些实施例中,当所述知识图谱包括所述第四图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述目标用户节点所在网络中的其余用户节点判定为潜在目标用户节点。
在一些实施例中,当所述行为特征为交易行为特征时,所述方法还包括:对所述潜在目标用户节点进行限制交易的设定。
在一些实施例中,当所述行为特征为直播营销活动中用户的行为特征时,所述方法还包括:向所述潜在目标用户节点推荐所述直播营销活动。
在一些实施例中,还包括:
在所述时间窗口之后的其他时间窗口内检测到所述潜在目标用户节点的情况下,在所述根据知识图谱确定所述第一用户节点的第二评价值的步骤之后,对检测出的所述潜在目标节点的第二评价值执行调增的操作。
在一些实施例中,所述用户节点以商户平台的注册用户名为维度定义或者以身份证号为维度定义。
本申请的实施例提供:一种用户行为分析装置,包括:
确定模块,用于确定时间窗口内的各用户节点的行为特征;
第一处理模块,用于利用机器学习模型处理所述各用户节点的行为特征,得到每个用户节点的第一评价值,其中,所述第一评价值大于第一阈值的用户节点为第一用户节点;
第二处理模块,用于根据知识图谱确定所述第一用户节点的第二评价值,其中,所述第二评价值表示所述第一用户节点之间的关联程度;
综合模块,用于根据所述第一用户节点的第一评价值和第二评价值确定所述第一用户节点的第三评价值;
判定模块,用于将所述第三评价值大于第二阈值的第一用户节点判定为目标用户节点。
在一些实施例中,所述行为特征为交易行为特征,所述交易行为特征包括:在所述时间窗口内,各用户节点的交易笔数、交易商户数、交易金额、交易时间间隔、地理位置变化速度、交易设备变化次数、交易所用支付账户变化次数中的至少一项;所述第一评价值表示所述用户节点进行作弊交易的风险程度。
在一些实施例中,所述机器学习模型包括:梯度下降树、决策树或随机森林树。
在一些实施例中,所述知识图谱包括第一图谱,所述第一图谱的节点为用户节点,所述第一图谱的边为一个用户节点与另一个用户节点的注册推荐关系并标注相应的时间参数,所述第一图谱形成至少一个第一网络;所述第二处理模块具体用于:
判断在所述时间窗口内是否有多个所述第一用户节点位于同一第一网络中;
如果在所述时间窗口内有多个所述第一用户节点位于同一第一网络中,则根据所述同一第一网络的用户节点数、所述同一第一网络的层级数、所述同一第一网络的注册用时与其层级数的商确定位于所述同一第一网络的第一用户节点的第二评价值。
在一些实施例中,所述根据所述同一第一网络的用户节点数、所述同一第一网络的层级数、所述同一第一网络的注册用时与其层级数的商确定位于所述同一第一网络的第一用户节点的第二评价值包括:
所述第二评价值记为Rgroup,按照如下公式计算所述第二评价值Rgroup:Rgroup=a×G+b×L+c×T,
其中,G为所述同一第一网络的用户节点数、L为所述同一第一网络的层级数、T为所述同一第一网络的时间聚集性参数,a、b、c均为大于0的比例系数。
在一些实施例中,所述知识图谱包括第二图谱,所述第二图谱的节点包括所述用户节点、所述用户节点绑定的支付账户、所述用户节点所绑定的支付账户关联的通信账户、所述用户节点绑定所述支付账户时使用的终端设备标识,所述第二图谱的边为所述用户节点绑定所述支付账户时产生的关联关系,所述第二图谱形成至少一个第二网络;所述第二处理模块具体用于:
确定所述第一用户节点中位于同一个第二网络的第一用户节点;
根据所述同一第二网络在所述时间窗口内关联的交易次数确定所述同一第二网络中的第一用户节点的第二评价值。
在一些实施例中,所述知识图谱包括第三图谱,所述第三图谱的节点为用户节点和商户节点,所述第三图谱的任一条边连接一个所述用户节点和一个所述商户节点并表示所述用户节点在所述商户节点交易笔数;所述第二处理模块具体用于:
确定所述商户节点中与多个用户节点的交易笔数均大于第三阈值的商户节点为第一商户节点;
根据所述时间窗口中所述第一商户节点对应的所述交易笔数大于第三阈值的用户节点中存在的第一用户节点数确定所述第一用户节点的第二评价值。
在一些实施例中,所述综合模块具体用于:按照如下公式计算第三评价值:R=d×Rgroup+e×Ri,
其中,R为第三评价值,Rgroup为第二评价值,Ri为第一评价值,d和e为大于0的比例系数,Rgroup>0,Ri>0。
在一些实施例中,所述行为特征为直播营销活动中用户节点的行为特征,所述行为包括:在所述时间窗口内,各用户节点的鼠标点击速度、交易金额、对所述直播营销活动的浏览时长、在所述直播营销活动期间浏览的产品类型中的至少一项;所述第一评价值表示用户节点在所述直播营销活动中的购买意愿。
在一些实施例中,所述知识图谱包括:第四图谱,所述第四图谱的节点为用户节点,所述第四图谱的边表示一个用户节点向另一个用户节点转发购物信息的转发关系,所述第四图谱形成至少一个第四网络;
所述根据知识图谱确定所述第一用户节点的第二评价值包括:
判断在所述时间窗口内是否有多个所述第一用户节点位于同一第四网络中;
如果在所述时间窗口内有多个第一用户节点位于同一第四网络中,则将所述多个第一用户节点的第二评价值调高,其中,所以用户节点用户相等的初始第二评价值。
在一些实施例中,还包括预测模块,用于根据所述知识图谱和所述目标用户节点确定潜在目标用户节点,其中,所述潜在目标用户节点与所述目标用户节点至少位于所述知识图谱中的一个相同的网络内。
在一些实施例中,当所述知识图谱包括所述第一图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述异常交易节点所处第一网络的其余用户节点判定为潜在目标用户节点。
在一些实施例中,当所述知识图谱包括所述第二图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述异常交易节点所处第二网络的其余用户节点判定为潜在目标用户节点。
在一些实施例中,当所述知识图谱包括所述第三图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述目标用户节点所对应的第一商户节点所关联的交易笔数大于所述第三阈值的其余用户节点判定为潜在目标用户节点。
在一些实施例中,当所述知识图谱包括所述第四图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述目标用户节点所在网络中的其余用户节点判定为潜在目标用户节点。
在一些实施例中,所述装置还包括:限制模块,用于当所述行为特征为交易行为特征时,对所述潜在目标用户节点进行限制交易的设定。
在一些实施例中,所述装置还包括:推荐模块,用于当所述行为特征为直播营销活动中用户的行为特征时,向所述潜在目标用户节点推荐所述直播营销活动。
在一些实施例中,所述装置还包括调整模块:用于在所述时间窗口之后的其他时间窗口内检测到所述潜在目标用户节点的情况下,对所述第二处理模块输出的所述潜在目标节点的第二评价值执行调增的操作。
在一些实施例中,所述用户节点以一商户平台的注册用户名为维度定义或者以身份证号为维度定义。
本申请的实施例中提供:一种用户行为分析装置,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行:前述的方法。
本申请的实施例中提供:一种计算机可读存储介质,所述计算机可读存储介质存储有程序,当所述程序被处理器执行时,使得所述处理器执行:前述的方法。
本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:机器学习模型作为弱解释性模型,根据机器学习模块挑选出的第一用户节点结合知识图谱,能够发现第一用户节点之间存在的关联信息,进而根据这些关联信息进行一定推理,能够得到强解释性的判断结果,有利于识别出具有群体性行为倾向的用户节点,例如识别出团伙真人作弊交易的用户节点,或者识别出具有相同购买倾向的优质客户群体。
应当理解,上述说明仅是本申请技术方案的概述,以便能够更清楚地了解本申请的技术手段,从而可依照说明书的内容予以实施。为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举例说明本申请的具体实施方式。
附图说明
通过阅读下文的示例性实施例的详细描述,本领域普通技术人员将明白本文所述的优点和益处以及其他优点和益处。附图仅用于示出示例性实施例的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的标号表示相同的部件。在附图中:
图1为根据本申请实施例的用户行为分析方法的流程示意图;
图2为根据本申请实施例的第一图谱的示意图;
图3为根据本申请实施例的第二图谱的示意图;
图4为根据本申请实施例的第三图谱的示意图;
图5为根据本申请实施例的第四图谱的示意图;
图6为根据本申请实施例的用户行为分析装置的结构框图;
图7为根据本申请另一实施例的用户行为分析装置的结构框图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
在本申请中,应理解,诸如“包括”或“具有”等术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在,并且不旨在排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在的可能性。
另外还需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1为根据本申请一实施例的异常交易检测方法的流程示意图,该方法用于检测真人团伙异常交易,在该流程中,从设备角度而言,执行主体可以是一个或者多个计算机或服务器等设备;从程序角度而言,执行主体相应地可以是搭载于这些设备上的程序。
图1中的流程可以包括以下步骤101~步骤104。
步骤101、确定时间窗口内的各用户节点的行为特征。
例如是获取当前时刻至当前时刻之前设定时长这一段时间内的交易数据,然后从该时间窗口内的交易数据中抽取每一个用户节点的交易行为特征。
一个用户节点的交易行为特征,例如是在所述时间窗口内,该用户节点的交易笔数、交易商户数(与多少个商户发生了交易)、交易金额、交易时间间隔、地理位置变化速度(例如两次交易所用的智能手机所反馈的该智能手机的地理位置的直线距离与这两次交易发生的时间差二者的商)、交易设备变化次数(例如在30s的时间窗口内同一用户节点使用了多个智能手机进行交易)、交易所用支付账户变化次数(例如在30s的时间窗口内同一用户节点使用了多张银行卡进行支付)等特征信息。
当然用户行为分析方法可以是对实时的交易数据进行实时的检测,也可以是对历史交易进行分析。
又例如,是获取当前时刻至当前时刻之前设定时长这一段时间内参与过直播营销活动的用户节点的行为特征。此时关注的行为特征可以是:在所述时间窗口内,各用户节点的鼠标点击速度、交易金额、对所述直播营销活动的浏览时长、在所述直播营销活动期间浏览的产品类型中的至少一项。根据这些行为特征可以推断用户节点的购买意愿。
行为特征可以是从其他设备直接获取得到的,也可以是从交易数据提取出来的。
用户节点可以是以商户平台的注册用户名为维度定义或者以身份证号为维度定义。
例如当用户行为分析方法是针对某一个电商平台的交易数据分析时,可以以该电商平台上注册的一个用户名作为一个用户节点。当然,也可以是以一个身份证号作为一个用户节点。
步骤102、利用机器学习模型处理所述各用户节点的行为特征,得到每个用户节点的第一评价值,其中,所述第一评价值大于第一阈值的用户节点为第一用户节点。
机器学习模型例如是梯度下降树模型、决策树模型或随机森林树模型等。机器学习模型对用户节点的个体的行为特征进行分析,从而得到需要关注的第一用户节点。
例如通过机器学习模型对返利活动中每一个用户节点的交易行为特征进行分析,得到每一个用户节点的第一评价值,第一评价值表示用户节点进行作弊交易的风险程度。一个用户节点的第一评价值越高,则表明该用户节点进行异常交易的概率越大。将第一评价值大于第一阈值的用户节点作为第一用户节点。第一用户节点是需要特别关注的潜在的进行异常交易的用户节点。
又例如通过机器学习模型得到直播营销活动中每一个用户节点的第一评价值。第一评价值表示用户节点在所述直播营销活动中的购买意愿。一个用户节点的第一评价值越高,则表明该用户节点购买该直播营销活动中的产品或服务的购买意愿越高。
本申请对选取什么机器学习模型以及如何对机器学习模型进行训练不做限定。
步骤103、根据知识图谱确定所述第一用户节点的第二评价值,其中,所述第二评价值表示所述第一用户节点之间的关联程度。
以团伙真人作弊交易的侦测为例,在当前时间窗口内发现了多个第一用户节点(暂时还不能判定为进行团伙真人作弊交易的用户节点),如果通过一些知识图谱发现这些第一用户节点之间具有很强的关联性,则可以推断这些第一用户节点进行团伙化真人作弊交易的风险较高。
以直播营销活动为例,在当前时间窗口内发现了多个第一用户节点(有较强的购买意愿),如果通过一些知识图谱发现这些第一用户节点之间时常互相转发购物信息,那么可以推断这些第一用户节点的购物习惯或购物倾斜是一致的。
步骤104、根据所述第一用户节点的第一评价值和第二评价值确定所述第一用户节点的第三评价值。
在第一评价值相等的情况下,第三评价值与第二评价值正相关或者第三评价值随第二评价值的增加而阶梯式地增加。在第二评价值相等的情况下,第三评价值与第一评价值正相关或者第三评价值随第一评价值的增加而阶梯式地增加。如果一个第一用户节点的第一评价值和第二评价值都较高,则说明这个第一用户节点具有很强的群体性行为特点,且该行为特征是特别需要关注的行为特点。
例如,一个第一用户本身进行作弊交易的风险很高,并且他与其他进行作弊交易的第一用户节点之间存在很强的关联,综合这两个信息可以对这个第一用户节点是否发生群体性的异常交易得到综合的判断结果。这种异常交易检测方法有利于检出真人团伙化的作弊交易。
又例如,几个第一用户节点本身对直播营销活动的商品很感兴趣,并且这些第一用户节点经常互发购物链接,则这几个第一用户节点可能具有相同的购物倾向,且对当前的直播营销活动的购买意愿较强。
步骤105、将所述第三评价值大于第二阈值的第一用户节点判定为目标用户节点。
目标用户节点具有群体性的行为特征,且该行为特征是需要特别关注的。采用该方法有利于后续对这些群体性的较为强烈的行为特征进行针对性的处理。
此外,由于对数据的分析划分了时间窗口,数据处理量相对较小,能够实现实时性的数据分析。特别对于需要检测群体性作弊交易等场景,检测速度较快能够实现更好的止损。
基于图1的用户行为分析方法,本申请的一些实施例还提供了该用户行为分析方法的一些具体实施方案,以及扩展方案,下面进行说明。
在一些实施例中,参考图2,所述知识图谱包括第一图谱,所述第一图谱的节点为用户节点,所述第一图谱的边为一个用户节点与另一个用户节点的注册推荐关系并标注相应的时间参数,所述第一图谱形成至少一个第一网络。
第一图谱表示的是在诸如一个网购平台注册用户时的推荐关系。举例而言,图2中最左侧的用户节点作为拉新人,其为该网购平台推荐了4个用户节点(1级被拉新人)。这四个用户节点中有一个用户节点为这个网购平台推荐了3个用户节点(2级被拉新人)。这些用户节点是具有推荐和被推荐的关联的,构成一个第一网络。第一图谱中可以拥有多个第一网络。
所述根据知识图谱确定所述第一用户节点的第二评价值包括:
判断所述时间窗口内是否有多个所述第一用户节点位于同一第一网络中;
如果所述时间窗口内有多个所述第一用户节点位于同一第一网络中,则根据所述同一第一网络的用户节点数、所述同一第一网络的层级数、所述同一第一网络的时间聚集性参数确定位于所述同一第一网络的第一用户节点的第二评价值。
一个第一网络的用户节点数即该第一网络中用户节点的总数。第一网络的用户节点数越多,则该第一网络内的用户节点实施真人团伙作弊交易的风险越高。
一个第一网络的层级数,即该第一网络具有多少层用户节点。第一网络的层级数越高,则该第一网络内的用户节点实施真人团伙作弊交易的风险越高。
同一第一网络的时间聚集性参数,等效表示新推荐一层用户节点所花费的时间。该数值越小该第一网络推广一个新用户的平均耗时越小,则表明该第一网络内用户节点实施真人团伙作弊交易的风险越高。
加之该第一网络中确实在同一时间窗口内出现了2位或以上的第一用户节点(可疑的用户节点),那么该第一网络内的用户节点实施团伙化真人作弊交易的风险就是极高的。
如果在所述时间窗口内不存在多个所述第一用户节点位于同一第一网络的情况,那么可以对这些第一用户节点的第二评价值默认设定一个比较低的数值,例如是0。
例如,步骤102中筛选出4个第一用户节点,其中有3个第一用户节点位于图2所示的第一网络中,该第一网络的用户节点数为8,该第一网络的层级数为3层,第一网络全部用户节点进行注册时耗时15分钟,该耗时与该第一网络的层级数的商为5分钟/层(即15分钟÷3层,当然也可以是按照15分钟÷2层来计算时间聚集性参数)。当然,采用什么样的方式计算第一网络的时间聚集性参数不限于此。
在一些实施例中,所述根据所述同一第一网络的用户节点数、所述同一第一网络的层级数、所述同一第一网络的时间聚集性参数确定位于所述同一第一网络的第一用户节点的第二评价值包括:
所述第二评价值记为Rgroup,按照如下公式计算所述第二评价值Rgroup:Rgroup=a×G+b×L+c×T,
其中,G为所述同一第一网络的用户节点数、L为所述同一第一网络的层级数、T为所述同一第一网络的时间聚集性参数,a、b、c均为大于0的比例系数。
当然,第二评价值也可以是根据这三个参数按照其他方式计算得到,例如:Rgroup=G×L×T。
在一些实施例中,参照图3,所述知识图谱包括第二图谱,所述第二图谱的节点包括所述用户节点、所述用户节点绑定的支付账户、所述用户节点所绑定的支付账户关联的通信账户、所述用户节点绑定所述支付账户时使用的终端设备标识,所述第二图谱的边为所述用户节点绑定所述支付账户时产生的关联关系,所述第二图谱形成至少一个第二网络。
第二图谱表征的是用户节点、支付账户(例如是银行卡号)、通信账户(例如是手机号)和终端设备(例如是智能手机)在用户节点绑定支付账户时产生的关联关系。该关联关系表示该用户节点使用该终端设备将该支付账户与该用户节点进行绑定,并且使用该通信账户接收相关的验证码信息。
如果同一个银行卡在短时间内发生多次交易、同一个手机号在短时间内多次接收短信支付验证码、绑定在同一个手机上的全部用户节点在短时间内发生多次交易,等等情况出现时,则这些交易具有一定真人团伙作弊交易的风险。
基于该发明构思,所述根据知识图谱确定所述第一用户节点的第二评价值包括:
确定所述第一用户节点中位于同一个第二网络的第一用户节点;
根据所述同一第二网络在所述时间窗口内关联的交易次数确定所述同一第二网络中的第一用户节点的第二评价值。
以图3为例,银行卡1和银行卡2都是与注册用户ID1关联的,显然,如果短时间内银行卡1和银行卡2同时产生支付行为,那么存在真人团伙作弊交易的风险较高。手机号1和手机号2都是与注册用户ID1关联的,显然,如果短时间内手机号1和手机号2都参与了支付行为(例如接收支付短信验证码),那么存在真人团伙作弊交易的风险较高。
在一些实施例中,参考图4,所述知识图谱包括第三图谱,所述第三图谱的节点为用户节点和商户节点,所述第三图谱的任一条边连接一个所述用户节点和一个所述商户节点并表示所述用户节点在所述商户节点交易笔数。
第三图谱表征的是用户节点在商户节点发生交易的次数多少。如果多个用户节点在固定一个商户节点发生多次交易,那么这些用户节点存在团伙化真人作弊交易的风险较高。
所述根据知识图谱确定所述第一用户节点的第二评价值包括:
确定所述商户节点中与多个用户节点的交易笔数均大于第三阈值的商户节点为第一商户节点;
根据所述时间窗口中所述第一商户节点对应的所述交易笔数大于第三阈值的用户节点中存在的第一用户节点数确定所述第一用户节点的第二评价值。
以图4为例,用户节点A、用户节点C和用户节点D在商户A进行的交易次数都非常大,用户节点A、用户节点C和用户节点D三者之间具有一定关联的概率较大。显然,如果当前时间窗口内发现了用户节点A和用户节点C是第一用户节点,二者存在一定的关联关系,那么用户节点A和用户节点C进行真人团伙作弊交易的风险极高。
在一些实施例中,所述根据所述第一用户节点的第一评价值和第二评价值确定所述准风险用户的第三评价值包括:按照如下公式计算第三评价值:R=d×Rgroup+e×Ri,
其中,R为第三评价值,Rgroup为第二评价值,Ri为第一评价值,d和e为大于0的比例系数,Rgroup>0,Ri>0。
当然,计算第三评价值的方式不限于第一评价值和第二评价值的线性组合,还可以例如是R=Rgroup×Ri。
在一些实施例中,参考图5,所述知识图谱包括:第四图谱,所述第四图谱的节点为用户节点,所述第四图谱的边表示一个用户节点向另一个用户节点转发购物信息的转发关系,所述第四图谱形成至少一个第四网络;
所述根据知识图谱确定所述第一用户节点的第二评价值包括:
判断在所述时间窗口内是否有多个所述第一用户节点位于同一第四网络中;
如果在所述时间窗口内有多个第一用户节点位于同一第四网络中,则将所述多个第一用户节点的第二评价值调高,其中,所以用户节点用户相等的初始第二评价值。
也就是具有转发购物信息的关联关系的第一用户节点的第二评价值要高于没有转发购物信息的关联关系的第一用户节点的第二评价值。
当然,第二评价值调高的数值可以是固定的,也可以是根据第四网络的一些参数而调整的。例如,第四网络中节点数越多、转发次数越多、转发同一购物信息的时间间隔越低、第四网络的层次数越多,则相应地第二评的值越高。
针对以上在当前时间窗口中所确定出的目标用户节点,可以采取对应的限制或者鼓励措施。例如限制目标用户在一段时间内的交易行为,或者向目标用户进行购物推荐等。
由于所确定的目标用户具有群组行为的特点,还可以进一步对群组中的其他用户节点采取适当的措施。
在一些实施例中,该方法还包括:步骤106、根据所述知识图谱和所述目标用户节点确定潜在目标用户节点,其中,所述潜在目标用户节点与所述目标用户节点至少位于所述知识图谱中的一个相同的网络内。
例如当确定出具有关联关系的多个异常交易用户节点之后,从知识图谱中可以确定出与这些异常交易用户节点关联的其他用户节点。这部分用户节点未来一段时间内发生的交易具有同样高的异常交易风险,需要特别关注。一些情况下,可以对这部分用户节点的交易行为可以进行一定程度的限制,例如是限制交易次数、限制交易金额等。而另一些情况下,可以提高这这部分用户节点的关注程度。
在一些实施例中,当所述知识图谱包括所述第一图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述异常交易节点所处第一网络的其余用户节点判定为潜在目标用户节点。
例如图2所示的第一网络中已经在同一个时间窗口中确定出了2个进行异常交易的用户节点,那么对这个第一网络中其他用户节点未来的交易行为进行限制或者特别的关注。
在一些实施例中,当所述知识图谱包括所述第二图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述异常交易节点所处第二网络的其余用户节点判定为潜在目标用户节点。
例如图3中,已经判断出注册用户ID1存在异常交易行为,那么对于手机号1、手机号2、银行卡1、银行卡2所关联的交易都进行限制。
在一些实施例中,当所述知识图谱包括所述第三图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述目标用户节点所对应的第一商户节点所关联的交易笔数大于所述第三阈值的其余用户节点判定为潜在目标用户节点。
以图4为例,已经判断出用户节点A和C存在异常交易行为,那么用户节点D与用户节点A和C都在商户A有巨量交易行为,那么对用户节点D未来一段时间内的交易进行限制。
在一些实施例中,当所述知识图谱包括所述第四图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述目标用户节点所在网络中的其余用户节点判定为潜在目标用户节点。
以图5为例,假定已经判断出该第四网络中有2个用户节点在同一时间窗口内对当前的直播销售活动关注度很高,那么可以判断该第四网络中其余用户节点如果看到当前的直播销售活动时购买意愿也会相对较高。
在一些实施例中,当所述行为特征为交易行为特征时,所述方法还包括:对所述潜在目标用户节点进行限制交易的设定。例如限制其交易金额、交易笔数等,从而减少损失。
在一些实施例中,当所述行为特征为直播营销活动中用户的行为特征时,所述方法还包括:向所述潜在目标用户节点推荐所述直播营销活动。潜在用户节点对该直播营销活动的接受程度会相对更高,更容易促成销售。
在一些实施例中,该方法还包括:在所述时间窗口之后的其他时间窗口内检测到所述潜在目标用户节点的情况下,在所述根据知识图谱确定所述第一用户节点的第二评价值的步骤之后,对检测出的所述潜在目标节点的第二评价值执行调增的操作。
也就是在当前时间窗口确定出的目标用户节点相关联的其余用户节点并不直接判定为潜在目标用户节点或直接对这些其余用户节点采取限制或鼓励措施,而是适当调高它们被限制或被鼓励的倾向。如此,既响应了这些其余用户节点的群体性的行为特点,又响应了这些其余用户节点自身的行为特点。
例如,处在同一个第一网络中的用户节点有多个用户节点进行作弊交易时,并不意味着该第一网络中其余用户节点必然都会进行作弊交易。
基于相同的技术构思,本申请实施例还提供一种用户行为分析装置,用于执行上述任一实施例所提供的用户行为分析方法。图6为本申请实施例提供的一种用户行为分析装置结构示意图。
如图6所示,该用户行为分析置包括:
确定模块100,用于确定时间窗口内的各用户节点的行为特征;
第一处理模块200,用于利用机器学习模型处理所述各用户节点的行为特征,得到每个用户节点的第一评价值,其中,所述第一评价值大于第一阈值的用户节点为第一用户节点;
第二处理模块300,用于根据知识图谱确定所述第一用户节点的第二评价值,其中,所述第二评价值表示所述第一用户节点之间的关联程度;
综合模块400,用于根据所述第一用户节点的第一评价值和第二评价值确定所述第一用户节点的第三评价值;
判定模块600,用于将所述第三评价值大于第二阈值的第一用户节点判定为目标用户节点。
在一些实施例中,所述行为特征为交易行为特征,所述交易行为特征包括:在所述时间窗口内,各用户节点的交易笔数、交易商户数、交易金额、交易时间间隔、地理位置变化速度、交易设备变化次数、交易所用支付账户变化次数中的至少一项;所述第一评价值表示所述用户节点进行作弊交易的风险程度。
在一些实施例中,所述机器学习模型包括:梯度下降树、决策树或随机森林树。
在一些实施例中,所述知识图谱包括第一图谱,所述第一图谱的节点为用户节点,所述第一图谱的边为一个用户节点与另一个用户节点的注册推荐关系并标注相应的时间参数,所述第一图谱形成至少一个第一网络;所述第二处理模块300具体用于:
判断在所述时间窗口内是否有多个所述第一用户节点位于同一第一网络中;
如果在所述时间窗口内有多个所述第一用户节点位于同一第一网络中,则根据所述同一第一网络的用户节点数、所述同一第一网络的层级数、所述同一第一网络的注册用时与其层级数的商确定位于所述同一第一网络的第一用户节点的第二评价值。
在一些实施例中,所述根据所述同一第一网络的用户节点数、所述同一第一网络的层级数、所述同一第一网络的注册用时与其层级数的商确定位于所述同一第一网络的第一用户节点的第二评价值包括:
所述第二评价值记为Rgroup,按照如下公式计算所述第二评价值Rgroup:Rgroup=a×G+b×L+c×T,
其中,G为所述同一第一网络的用户节点数、L为所述同一第一网络的层级数、T为所述同一第一网络的时间聚集性参数,a、b、c均为大于0的比例系数。
在一些实施例中,所述知识图谱包括第二图谱,所述第二图谱的节点包括所述用户节点、所述用户节点绑定的支付账户、所述用户节点所绑定的支付账户关联的通信账户、所述用户节点绑定所述支付账户时使用的终端设备标识,所述第二图谱的边为所述用户节点绑定所述支付账户时产生的关联关系,所述第二图谱形成至少一个第二网络;所述第二处理模块300具体用于:
确定所述第一用户节点中位于同一个第二网络的第一用户节点;
根据所述同一第二网络在所述时间窗口内关联的交易次数确定所述同一第二网络中的第一用户节点的第二评价值。
在一些实施例中,所述知识图谱包括第三图谱,所述第三图谱的节点为用户节点和商户节点,所述第三图谱的任一条边连接一个所述用户节点和一个所述商户节点并表示所述用户节点在所述商户节点交易笔数;所述第二处理模块300具体用于:
确定所述商户节点中与多个用户节点的交易笔数均大于第三阈值的商户节点为第一商户节点;
根据所述时间窗口中所述第一商户节点对应的所述交易笔数大于第三阈值的用户节点中存在的第一用户节点数确定所述第一用户节点的第二评价值。
在一些实施例中,所述综合模块400具体用于:按照如下公式计算第三评价值:R=d×Rgroup+e×Ri,
其中,R为第三评价值,Rgroup为第二评价值,Ri为第一评价值,d和e为大于0的比例系数,Rgroup>0,Ri>0。
在一些实施例中,所述行为特征为直播营销活动中用户节点的行为特征,所述行为包括:在所述时间窗口内,各用户节点的鼠标点击速度、交易金额、对所述直播营销活动的浏览时长、在所述直播营销活动期间浏览的产品类型中的至少一项;所述第一评价值表示用户节点在所述直播营销活动中的购买意愿。
在一些实施例中,所述知识图谱包括:第四图谱,所述第四图谱的节点为用户节点,所述第四图谱的边表示一个用户节点向另一个用户节点转发购物信息的转发关系,所述第四图谱形成至少一个第四网络;第二处理模块300具体用于:
判断在所述时间窗口内是否有多个所述第一用户节点位于同一第四网络中;
如果在所述时间窗口内有多个第一用户节点位于同一第四网络中,则将所述多个第一用户节点的第二评价值调高,其中,所以用户节点用户相等的初始第二评价值。
在一些实施例中,还包括预测模块500,用于根据所述知识图谱和所述目标用户节点确定潜在目标用户节点,其中,所述潜在目标用户节点与所述目标用户节点至少位于所述知识图谱中的一个相同的网络内。
在一些实施例中,当所述知识图谱包括所述第一图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述异常交易节点所处第一网络的其余用户节点判定为潜在目标用户节点。
在一些实施例中,当所述知识图谱包括所述第二图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述异常交易节点所处第二网络的其余用户节点判定为潜在目标用户节点。
在一些实施例中,当所述知识图谱包括所述第三图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述目标用户节点所对应的第一商户节点所关联的交易笔数大于所述第三阈值的其余用户节点判定为潜在目标用户节点。
在一些实施例中,当所述知识图谱包括所述第四图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述目标用户节点所在网络中的其余用户节点判定为潜在目标用户节点。
在一些实施例中,所述装置还包括:限制模块(未示出),用于当所述行为特征为交易行为特征时,对所述潜在目标用户节点进行限制交易的设定。
在一些实施例中,所述装置还包括:推荐模块(未示出),用于当所述行为特征为直播营销活动中用户的行为特征时,向所述潜在目标用户节点推荐所述直播营销活动。
在一些实施例中,所述装置还包括调整模块(未示出):用于在所述时间窗口之后的其他时间窗口内检测到所述潜在目标用户节点的情况下,对所述第二处理模块300输出的潜在目标节点的第二评价值执行调增的操作。
在一些实施例中,所述用户节点以一商户平台的注册用户名为维度定义或者以身份证号为维度定义。
需要说明的是,本申请实施例中的用户行为分析装置可以实现前述方法的实施例的各个过程,并达到相同的效果和功能,这里不再赘述。
图7为根据本申请一实施例的异常交易检测装置,用于执行图1所示出的用户行为分析方法,该用户行为分析装置包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行:前述的用户行为分析方法。
根据本申请的一些实施例,提供了一种非易失性计算机存储介质,其上存储有计算机可执行指令,该计算机可执行指令设置为在由处理器运行时执行:前述的用户行为分析方法。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以其描述进行了简化,相关之处可参见方法实施例的部分说明即可。
本申请实施例提供的装置和计算机可读存储介质与方法是一一对应的,因此,装置和计算机可读存储介质也具有与其对应的方法类似的有益技术效果,由于上面已经对方法的有益技术效果进行了详细说明,因此,这里不再赘述装置和计算机可读存储介质的有益技术效果。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。此外,尽管在附图中以特定顺序描述了本申请方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本申请的精神和原理,但是应该理解,本申请并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本申请旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (40)
1.一种用户行为分析方法,其特征在于,包括:
确定时间窗口内的各用户节点的行为特征;
利用机器学习模型处理所述各用户节点的行为特征,得到每个用户节点的第一评价值,其中,所述第一评价值大于第一阈值的用户节点为第一用户节点;
根据知识图谱确定所述第一用户节点的第二评价值,其中,所述第二评价值表示所述第一用户节点之间的关联程度;
根据所述第一用户节点的第一评价值和第二评价值确定所述第一用户节点的第三评价值;
将所述第三评价值大于第二阈值的第一用户节点判定为目标用户节点。
2.根据权利要求1所述的方法,其特征在于,所述行为特征为交易行为特征,所述交易行为特征包括:在所述时间窗口内,各用户节点的交易笔数、交易商户数、交易金额、交易时间间隔、地理位置变化速度、交易设备变化次数、交易所用支付账户变化次数中的至少一项;所述第一评价值表示所述用户节点进行作弊交易的风险程度。
3.根据权利要求2所述的方法,其特征在于,所述机器学习模型包括:梯度下降树、决策树或随机森林树。
4.根据权利要求2所述的方法,其特征在于,所述知识图谱包括第一图谱,所述第一图谱的节点为用户节点,所述第一图谱的边为一个用户节点与另一个用户节点的注册推荐关系并标注相应的时间参数,所述第一图谱形成至少一个第一网络;
所述根据知识图谱确定所述第一用户节点的第二评价值包括:
判断在所述时间窗口内是否有多个所述第一用户节点位于同一第一网络中;
如果在所述时间窗口内有多个所述第一用户节点位于同一第一网络中,则根据所述同一第一网络的用户节点数、所述同一第一网络的层级数、所述同一第一网络的时间聚集性参数确定位于所述同一第一网络的第一用户节点的第二评价值。
5.根据权利要求4所述的方法,其特征在于,所述根据所述同一第一网络的用户节点数、所述同一第一网络的层级数、所述同一第一网络的时间聚集性参数确定位于所述同一第一网络的第一用户节点的第二评价值包括:
所述第二评价值记为Rgroup,按照如下公式计算所述第二评价值Rgroup:Rgroup=a×G+b×L+c×T,
其中,G为所述同一第一网络的用户节点数、L为所述同一第一网络的层级数、T为所述同一第一网络的时间聚集性参数,a、b、c均为大于0的比例系数。
6.根据权利要求2所述的方法,其特征在于,所述知识图谱包括第二图谱,所述第二图谱的节点包括用户节点、所述用户节点绑定的支付账户、所述用户节点所绑定的支付账户关联的通信账户、所述用户节点绑定所述支付账户时使用的终端设备标识,所述第二图谱的边为所述用户节点绑定所述支付账户时产生的关联关系,所述第二图谱形成至少一个第二网络;
所述根据知识图谱确定所述第一用户节点的第二评价值包括:
确定所述第一用户节点中位于同一个第二网络的第一用户节点;
根据所述同一第二网络在所述时间窗口内关联的交易次数确定所述同一第二网络中的第一用户节点的第二评价值。
7.根据权利要求2所述的方法,其特征在于,所述知识图谱包括第三图谱,所述第三图谱的节点为用户节点和商户节点,所述第三图谱的任一条边连接一个所述用户节点和一个所述商户节点并表示所述用户节点在所述商户节点交易笔数;
所述根据知识图谱确定所述第一用户节点的第二评价值包括:
确定所述商户节点中与多个用户节点的交易笔数均大于第三阈值的商户节点为第一商户节点;
根据所述时间窗口中所述第一商户节点对应的所述交易笔数大于第三阈值的用户节点中存在的第一用户节点数确定所述第一用户节点的第二评价值。
8.根据权利要求1所述的方法,其特征在于,所述根据所述第一用户节点的第一评价值和第二评价值确定所述第一用户节点的第三评价值包括:
按照如下公式计算第三评价值:R=d×Rgroup+e×Ri,
其中,R为第三评价值,Rgroup为第二评价值,Ri为第一评价值,d和e为大于0的比例系数,Rgroup>0,Ri>0。
9.根据权利要求1所述的方法,其特征在于,所述行为特征为直播营销活动中用户节点的行为特征,所述行为包括:在所述时间窗口内,各用户节点的鼠标点击速度、交易金额、对所述直播营销活动的浏览时长、在所述直播营销活动期间浏览的产品类型中的至少一项;所述第一评价值表示用户节点在所述直播营销活动中的购买意愿。
10.根据权利要求9所述的方法,其特征在于,所述知识图谱包括:第四图谱,所述第四图谱的节点为用户节点,所述第四图谱的边表示一个用户节点向另一个用户节点转发购物信息的转发关系,所述第四图谱形成至少一个第四网络;
所述根据知识图谱确定所述第一用户节点的第二评价值包括:
判断在所述时间窗口内是否有多个所述第一用户节点位于同一第四网络中;
如果在所述时间窗口内有多个第一用户节点位于同一第四网络中,则将所述多个第一用户节点的第二评价值调高,其中,所以用户节点用户相等的初始第二评价值。
11.根据权利要求1-10任意一项所述的方法,其特征在于,还包括:
根据所述知识图谱和所述目标用户节点确定潜在目标用户节点,其中,所述潜在目标用户节点与所述目标用户节点至少位于所述知识图谱中的一个相同的网络内。
12.根据权利要求11所述的方法,其特征在于,当所述知识图谱包括所述第一图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述异常交易节点所处第一网络的其余用户节点判定为潜在目标用户节点。
13.根据权利要求11所述的方法,其特征在于,当所述知识图谱包括所述第二图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述异常交易节点所处第二网络的其余用户节点判定为潜在目标用户节点。
14.根据权利要求11所述的方法,其特征在于,当所述知识图谱包括所述第三图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述目标用户节点所对应的第一商户节点所关联的交易笔数大于所述第三阈值的其余用户节点判定为潜在目标用户节点。
15.根据权利要求11所述的方法,其特征在于,当所述知识图谱包括所述第四图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述目标用户节点所在网络中的其余用户节点判定为潜在目标用户节点。
16.根据权利要求11所述的方法,其特征在于,当所述行为特征为交易行为特征时,所述方法还包括:对所述潜在目标用户节点进行限制交易的设定。
17.根据权利要求11所述的方法,其特征在于,当所述行为特征为直播营销活动中用户的行为特征时,所述方法还包括:向所述潜在目标用户节点推荐所述直播营销活动。
18.根据权利要求11所述的方法,其特征在于,还包括:
在所述时间窗口之后的其他时间窗口内检测到所述潜在目标用户节点的情况下,在所述根据知识图谱确定所述第一用户节点的第二评价值的步骤之后,对检测出的所述潜在目标节点的第二评价值执行调增的操作。
19.根据权利要求1所述的方法,其特征在于,所述用户节点以商户平台的注册用户名为维度定义或者以身份证号为维度定义。
20.一种用户行为分析装置,其特征在于,包括:
确定模块,用于确定时间窗口内的各用户节点的行为特征;
第一处理模块,用于利用机器学习模型处理所述各用户节点的行为特征,得到每个用户节点的第一评价值,其中,所述第一评价值大于第一阈值的用户节点为第一用户节点;
第二处理模块,用于根据知识图谱确定所述第一用户节点的第二评价值,其中,所述第二评价值表示所述第一用户节点之间的关联程度;
综合模块,用于根据所述第一用户节点的第一评价值和第二评价值确定所述第一用户节点的第三评价值;
判定模块,用于将所述第三评价值大于第二阈值的第一用户节点判定为目标用户节点。
21.根据权利要求20所述的装置,其特征在于,所述行为特征为交易行为特征,所述交易行为特征包括:在所述时间窗口内,各用户节点的交易笔数、交易商户数、交易金额、交易时间间隔、地理位置变化速度、交易设备变化次数、交易所用支付账户变化次数中的至少一项;所述第一评价值表示所述用户节点进行作弊交易的风险程度。
22.根据权利要求21所述的装置,其特征在于,所述机器学习模型包括:梯度下降树、决策树或随机森林树。
23.根据权利要求21所述的装置,其特征在于,所述知识图谱包括第一图谱,所述第一图谱的节点为用户节点,所述第一图谱的边为一个用户节点与另一个用户节点的注册推荐关系并标注相应的时间参数,所述第一图谱形成至少一个第一网络;所述第二处理模块具体用于:
判断在所述时间窗口内是否有多个所述第一用户节点位于同一第一网络中;
如果在所述时间窗口内有多个所述第一用户节点位于同一第一网络中,则根据所述同一第一网络的用户节点数、所述同一第一网络的层级数、所述同一第一网络的注册用时与其层级数的商确定位于所述同一第一网络的第一用户节点的第二评价值。
24.根据权利要求23所述的装置,其特征在于,所述根据所述同一第一网络的用户节点数、所述同一第一网络的层级数、所述同一第一网络的注册用时与其层级数的商确定位于所述同一第一网络的第一用户节点的第二评价值包括:
所述第二评价值记为Rgroup,按照如下公式计算所述第二评价值Rgroup:Rgroup=a×G+b×L+c×T,
其中,G为所述同一第一网络的用户节点数、L为所述同一第一网络的层级数、T为所述同一第一网络的时间聚集性参数,a、b、c均为大于0的比例系数。
25.根据权利要求21所述的装置,其特征在于,所述知识图谱包括第二图谱,所述第二图谱的节点包括所述用户节点、所述用户节点绑定的支付账户、所述用户节点所绑定的支付账户关联的通信账户、所述用户节点绑定所述支付账户时使用的终端设备标识,所述第二图谱的边为所述用户节点绑定所述支付账户时产生的关联关系,所述第二图谱形成至少一个第二网络;所述第二处理模块具体用于:
确定所述第一用户节点中位于同一个第二网络的第一用户节点;
根据所述同一第二网络在所述时间窗口内关联的交易次数确定所述同一第二网络中的第一用户节点的第二评价值。
26.根据权利要求21所述的装置,其特征在于,所述知识图谱包括第三图谱,所述第三图谱的节点为用户节点和商户节点,所述第三图谱的任一条边连接一个所述用户节点和一个所述商户节点并表示所述用户节点在所述商户节点交易笔数;所述第二处理模块具体用于:
确定所述商户节点中与多个用户节点的交易笔数均大于第三阈值的商户节点为第一商户节点;
根据所述时间窗口中所述第一商户节点对应的所述交易笔数大于第三阈值的用户节点中存在的第一用户节点数确定所述第一用户节点的第二评价值。
27.根据权利要求20所述的装置,其特征在于,所述综合模块具体用于:按照如下公式计算第三评价值:R=d×Rgroup+e×Ri,
其中,R为第三评价值,Rgroup为第二评价值,Ri为第一评价值,d和e为大于0的比例系数,Rgroup>0,Ri>0。
28.根据权利要求20所述的装置,其特征在于,所述行为特征为直播营销活动中用户节点的行为特征,所述行为包括:在所述时间窗口内,各用户节点的鼠标点击速度、交易金额、对所述直播营销活动的浏览时长、在所述直播营销活动期间浏览的产品类型中的至少一项;所述第一评价值表示用户节点在所述直播营销活动中的购买意愿。
29.根据权利要求28所述的装置,其特征在于,所述知识图谱包括:第四图谱,所述第四图谱的节点为用户节点,所述第四图谱的边表示一个用户节点向另一个用户节点转发购物信息的转发关系,所述第四图谱形成至少一个第四网络;
所述根据知识图谱确定所述第一用户节点的第二评价值包括:
判断在所述时间窗口内是否有多个所述第一用户节点位于同一第四网络中;
如果在所述时间窗口内有多个第一用户节点位于同一第四网络中,则将所述多个第一用户节点的第二评价值调高,其中,所以用户节点用户相等的初始第二评价值。
30.根据权利要求20-29任意一项所述的装置,其特征在于,还包括预测模块,用于根据所述知识图谱和所述目标用户节点确定潜在目标用户节点,其中,所述潜在目标用户节点与所述目标用户节点至少位于所述知识图谱中的一个相同的网络内。
31.根据权利要求30所述的装置,其特征在于,当所述知识图谱包括所述第一图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述异常交易节点所处第一网络的其余用户节点判定为潜在目标用户节点。
32.根据权利要求30所述的装置,其特征在于,当所述知识图谱包括所述第二图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述异常交易节点所处第二网络的其余用户节点判定为潜在目标用户节点。
33.根据权利要求30所述的装置,其特征在于,当所述知识图谱包括所述第三图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述目标用户节点所对应的第一商户节点所关联的交易笔数大于所述第三阈值的其余用户节点判定为潜在目标用户节点。
34.根据权利要求30所述的装置,其特征在于,当所述知识图谱包括所述第四图谱时,所述根据所述知识图谱和所述目标用户节点确定潜在目标用户节点包括:将所述目标用户节点所在网络中的其余用户节点判定为潜在目标用户节点。
35.根据权利要求30所述的装置,其特征在于,所述装置还包括:限制模块,用于当所述行为特征为交易行为特征时,对所述潜在目标用户节点进行限制交易的设定。
36.根据权利要求30所述的装置,其特征在于,所述装置还包括:推荐模块,用于当所述行为特征为直播营销活动中用户的行为特征时,向所述潜在目标用户节点推荐所述直播营销活动。
37.根据权利要求30所述的装置,其特征在于,所述装置还包括调整模块:用于在所述时间窗口之后的其他时间窗口内检测到所述潜在目标用户节点的情况下,对所述第二处理模块输出的所述潜在目标节点的第二评价值执行调增的操作。
38.根据权利要求20所述的装置,其特征在于,所述用户节点以一商户平台的注册用户名为维度定义或者以身份证号为维度定义。
39.一种用户行为分析装置,其特征在于,包括:至少一个处理器;以及,与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行:权利要求1-19任一项所述的方法。
40.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有程序,当所述程序被处理器执行时,使得所述处理器执行:权利要求1-19中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011375702.XA CN112330373A (zh) | 2020-11-30 | 2020-11-30 | 用户行为分析方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011375702.XA CN112330373A (zh) | 2020-11-30 | 2020-11-30 | 用户行为分析方法、装置及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112330373A true CN112330373A (zh) | 2021-02-05 |
Family
ID=74309412
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011375702.XA Pending CN112330373A (zh) | 2020-11-30 | 2020-11-30 | 用户行为分析方法、装置及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112330373A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362158A (zh) * | 2021-05-31 | 2021-09-07 | 中国银联股份有限公司 | 一种信用评估方法、装置及计算机可读存储介质 |
CN113723759A (zh) * | 2021-07-30 | 2021-11-30 | 北京淇瑀信息科技有限公司 | 基于设备意向度和设备风险度为设备提供互联网服务的方法及装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108492173A (zh) * | 2018-03-23 | 2018-09-04 | 上海氪信信息技术有限公司 | 一种基于双模网络图挖掘算法的信用卡反欺诈预测方法 |
CN109615524A (zh) * | 2019-01-08 | 2019-04-12 | 平安科技(深圳)有限公司 | 洗钱犯罪团伙的识别方法、装置、计算机设备及存储介质 |
CN109886702A (zh) * | 2017-12-04 | 2019-06-14 | 北京京东尚科信息技术有限公司 | 一种判定业务活动中异常行为的方法和装置 |
CN109949046A (zh) * | 2018-11-02 | 2019-06-28 | 阿里巴巴集团控股有限公司 | 风险团伙的识别方法和装置 |
CN110162976A (zh) * | 2019-02-20 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 风险评估方法、装置及终端 |
CN110321438A (zh) * | 2019-06-14 | 2019-10-11 | 北京奇艺世纪科技有限公司 | 基于复杂网络的实时欺诈检测方法、装置及电子设备 |
CN110689423A (zh) * | 2019-08-22 | 2020-01-14 | 平安科技(深圳)有限公司 | 一种信用评估的方法及装置 |
CN110717816A (zh) * | 2019-07-15 | 2020-01-21 | 上海氪信信息技术有限公司 | 一种基于人工智能技术的全域金融风险知识图谱构建方法 |
CN111199459A (zh) * | 2019-12-30 | 2020-05-26 | 深圳市盟天科技有限公司 | 商品推荐方法、装置、电子设备、及存储介质 |
CN111784502A (zh) * | 2020-06-30 | 2020-10-16 | 中国工商银行股份有限公司 | 异常交易账户群体识别方法及装置 |
CN111984798A (zh) * | 2020-09-27 | 2020-11-24 | 拉卡拉支付股份有限公司 | 图谱数据预处理方法及装置 |
-
2020
- 2020-11-30 CN CN202011375702.XA patent/CN112330373A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109886702A (zh) * | 2017-12-04 | 2019-06-14 | 北京京东尚科信息技术有限公司 | 一种判定业务活动中异常行为的方法和装置 |
CN108492173A (zh) * | 2018-03-23 | 2018-09-04 | 上海氪信信息技术有限公司 | 一种基于双模网络图挖掘算法的信用卡反欺诈预测方法 |
CN109949046A (zh) * | 2018-11-02 | 2019-06-28 | 阿里巴巴集团控股有限公司 | 风险团伙的识别方法和装置 |
CN109615524A (zh) * | 2019-01-08 | 2019-04-12 | 平安科技(深圳)有限公司 | 洗钱犯罪团伙的识别方法、装置、计算机设备及存储介质 |
CN110162976A (zh) * | 2019-02-20 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 风险评估方法、装置及终端 |
CN110321438A (zh) * | 2019-06-14 | 2019-10-11 | 北京奇艺世纪科技有限公司 | 基于复杂网络的实时欺诈检测方法、装置及电子设备 |
CN110717816A (zh) * | 2019-07-15 | 2020-01-21 | 上海氪信信息技术有限公司 | 一种基于人工智能技术的全域金融风险知识图谱构建方法 |
CN110689423A (zh) * | 2019-08-22 | 2020-01-14 | 平安科技(深圳)有限公司 | 一种信用评估的方法及装置 |
CN111199459A (zh) * | 2019-12-30 | 2020-05-26 | 深圳市盟天科技有限公司 | 商品推荐方法、装置、电子设备、及存储介质 |
CN111784502A (zh) * | 2020-06-30 | 2020-10-16 | 中国工商银行股份有限公司 | 异常交易账户群体识别方法及装置 |
CN111984798A (zh) * | 2020-09-27 | 2020-11-24 | 拉卡拉支付股份有限公司 | 图谱数据预处理方法及装置 |
Non-Patent Citations (2)
Title |
---|
孙权等: "金融交易数据驱动的图谱网络智能化欺诈侦测", 应用科学学报, no. 05, pages 56 - 69 * |
潘骏等: "群体事件中用户传播重要性的评价模型", 系统管理学报, no. 03, pages 21 - 29 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362158A (zh) * | 2021-05-31 | 2021-09-07 | 中国银联股份有限公司 | 一种信用评估方法、装置及计算机可读存储介质 |
CN113362158B (zh) * | 2021-05-31 | 2024-06-11 | 中国银联股份有限公司 | 一种信用评估方法、装置及计算机可读存储介质 |
CN113723759A (zh) * | 2021-07-30 | 2021-11-30 | 北京淇瑀信息科技有限公司 | 基于设备意向度和设备风险度为设备提供互联网服务的方法及装置 |
CN113723759B (zh) * | 2021-07-30 | 2024-06-04 | 北京淇瑀信息科技有限公司 | 基于设备意向度和设备风险度为设备提供互联网服务的方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12002092B2 (en) | Systems and methods for credit approval using geographic data | |
CN109978538B (zh) | 确定欺诈用户、训练模型、识别欺诈风险的方法及装置 | |
US10963906B2 (en) | Method and system for optimizing value of consumer offers | |
CN109615454A (zh) | 确定用户金融违约风险的方法及装置 | |
EP2474945A1 (en) | Analyzing transactional data | |
CN106022800A (zh) | 一种用户特征数据的处理方法和装置 | |
CN104866484A (zh) | 一种数据处理方法和装置 | |
US20130117278A1 (en) | Methods, computer-accessible medium and systems for construction of and interference with networked data, for example, in a financial setting | |
US20150178749A1 (en) | Methods, systems and computer readable media for predicting consumer purchase behavior | |
CN110009365B (zh) | 非正常转移电子资产的用户群体检测方法、装置和设备 | |
CN110942338A (zh) | 一种营销赋能策略的推荐方法、装置和电子设备 | |
US20160005072A1 (en) | Method and system for online commerce analysis | |
JP6679648B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、判定装置、判定方法及び判定プログラム | |
CN112330373A (zh) | 用户行为分析方法、装置及计算机可读存储介质 | |
CN112232950A (zh) | 针对借贷风险的评估方法及装置、设备、计算机可读存储介质 | |
Hasumoto et al. | Predicting customer churn for platform businesses: using latent variables of variational autoencoder as consumers’ purchasing behavior | |
US20140164063A1 (en) | System and method for determining affluence | |
CN108769208A (zh) | 特定用户识别及信息推送方法和装置 | |
CN112581281A (zh) | 产品推荐方法及装置、存储介质及电子设备 | |
CN111259242B (zh) | 数据处理方法、装置、存储介质及设备 | |
US20130297436A1 (en) | Customer Value Scoring Based on Social Contact Information | |
Radovanović et al. | A fair classifier chain for multi‐label bank marketing strategy classification | |
Tan et al. | The impact of feature selection: A data‐mining application in direct marketing | |
CN110889716A (zh) | 识别潜在注册用户的方法及装置 | |
US20230100685A1 (en) | Financial product information collecting platform system, financial product information collecting method, and computer program for the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |