CN115701866A - 一种电商平台风险识别模型训练方法和装置 - Google Patents

一种电商平台风险识别模型训练方法和装置 Download PDF

Info

Publication number
CN115701866A
CN115701866A CN202211653486.XA CN202211653486A CN115701866A CN 115701866 A CN115701866 A CN 115701866A CN 202211653486 A CN202211653486 A CN 202211653486A CN 115701866 A CN115701866 A CN 115701866A
Authority
CN
China
Prior art keywords
sample data
frequency
data set
behavior
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211653486.XA
Other languages
English (en)
Other versions
CN115701866B (zh
Inventor
侍野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202211653486.XA priority Critical patent/CN115701866B/zh
Publication of CN115701866A publication Critical patent/CN115701866A/zh
Application granted granted Critical
Publication of CN115701866B publication Critical patent/CN115701866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种电商平台风险识别模型训练方法和装置,涉及网络技术领域。采集电商平台上各个场景的数据,并对每个场景设置对应的风险识别模型。在对各个场景的风险识别模型进行训练时,各个风险识别模型之间相互进行信息交互,将多个风险识别模型交互式协同训练。这样,每个场景风险识别模型的训练过程都结合了其他场景的样本数据和风险识别模型的信息,对风险识别模型的训练更全面,提升了各个场景的风险识别模型的风险识别准确性,实现更准确地识别风险行为,降低电商平台的损失。

Description

一种电商平台风险识别模型训练方法和装置
技术领域
本申请涉及网络技术领域,尤其涉及一种电商平台风险识别模型训练方法和装置。
背景技术
互联网电商往往面临着攻击风险;比如,一些用户利用脚本软件恶意抢购低价商品;比如,一些用户利用脚本或抢购等方式将优惠券一扫而空;这些用户行为给正常的商业活动带来负面影响。需要一种有效的方法,能够准确识别电商平台被攻击或被恶意使用的风险,以保证电商平台的正常运转。
发明内容
本申请实施例提供一种电商平台风险识别模型训练方法和装置,能够优化风险识别模型,提高电商平台识别风险行为的准确性。
为达到上述目的,本申请的实施例采用如下技术方案:
第一方面,提供了一种电商平台风险识别模型训练方法,该方法包括:获取第一场景中电商平台运行的第一样本数据集和第二场景中电商平台运行的第二样本数据集;第一场景和第二场景可以是人机识别场景、风险行为识别场景或风险用户识别场景等;第二场景与第一场景是不同的场景。根据第一样本数据集对第一风险识别模型进行第i(i大于或等于1)轮训练,获取第一风险识别模型的预设类型的信息,即第一信息;根据第二样本数据集对第二风险识别模型进行第i轮训练,获取第二风险识别模型的预设类型的信息,即第二信息;根据第一信息与第二样本数据集对第二风险识别模型进行第(i+1)轮训练;根据第二信息与第一样本数据集对第一风险识别模型进行第(i+1)轮训练。
在该方法中,采集电商平台上各个场景的数据,并对每个场景设置对应的风险识别模型。在对各个场景的风险识别模型进行训练时,各个风险识别模型之间相互进行信息交互,将多个风险识别模型交互式协同训练。这样,每个场景风险识别模型的训练过程都结合了其他场景的样本数据和风险识别模型的信息,对风险识别模型的训练更全面,能够提升各个场景的风险识别模型的风险识别准确性,实现更准确地识别风险行为,降低电商平台的损失。
根据第一方面,在一种实施方式中,第一信息包括:第一样本数据集的样本向量表示;第二信息包括:第二样本数据集的样本向量表示。
在该方法中,将第一样本数据集输入第一风险识别模型,输出Embedding(样本向量表示),即获取到第一样本数据集的样本向量表示。将第二样本数据集输入第二风险识别模型,输出Embedding(样本向量表示),即获取到第二样本数据集的样本向量表示。在对第一风险识别模型进行训练时,结合第二样本数据集的样本向量表示;在对第二风险识别模型进行训练时,结合第一样本数据集的样本向量表示;两个风险识别模型训练时进行了样本维度的信息交互,对风险识别模型的训练更全面,能够提升各个场景的风险识别模型的风险识别准确性。
根据第一方面,在一种实施方式中,先根据第一样本数据集对第一风险识别模型进行预设次数的训练,获取第一风险识别模型的初始模型;然后根据第一样本数据集对第一风险识别模型的初始模型进行第1轮训练。先根据第二样本数据集对第二风险识别模型进行预设次数的训练,获取第二风险识别模型的初始模型;然后根据第二样本数据集对第二风险识别模型的初始模型进行第1轮训练。之后,再对第一风险识别模型和第二风险识别模型进行交互式训练。
在该过程中,先通过单独训练单个风险识别模型获取各个风险识别模型的初始模型,获取各个风险识别模型的基本形态;便于后续进行交互式训练。
在一种实施方式中,获取第一风险识别模型的初始模型和第二风险识别模型的初始模型之后,对第一风险识别模型的初始模型进行离线评估,获取离线评估指标的第一值;根据离线评估指标的第一值获取第一风险识别模型的第一效果权重;对第二风险识别模型的初始模型进行离线评估,获取离线评估指标的第二值;根据离线评估指标的第二值获取第二风险识别模型的第二效果权重;其中,第一效果权重用于表征第一风险识别模型识别结果的准确程度;第二效果权重用于表征第二风险识别模型识别结果的准确程度。
在该方法中,分别对每个风险识别模型进行识别效果的评估。这样就可以在对风险识别模型进行训练过程中,根据风险识别模型的识别效果,提高或降低每个风险识别模型的参数所占的比重。
其中,离线评估指标包括:准确率,精准率,召回率,接收者操作特征曲线下面积AUC,和柯尔莫哥洛夫-斯米尔诺夫KS统计量中至少一项。
根据第一方面,在一种实施方式中,第一风险识别模型和第二风险识别模型为梯度提升树,第一风险识别模型和第二风险识别模型的交互信息还可以包括风险识别模型输出的负梯度值。
根据第一负梯度、第二负梯度和第一效果权重,获取第一风险识别模型第(i+1)轮训练的拟合目标;根据第一负梯度、第二负梯度和第二效果权重,获取第二风险识别模型第(i+1)轮训练的拟合目标。
负梯度和效果权重是风险识别模型的模型维度的信息,可以体现风险识别模型本身的性能。负梯度可以表征风险识别模型的残差。效果权重可以表征风险识别模型的识别效果(识别结果是否准确)。将负梯度和效果权重作为交互信息,这样,训练人机识别模型时可以参考风险行为识别模型的参数,训练风险行为识别模型时可以参考人机识别模型的参数。通过调整计算效果权重的权重系数,还可以将识别效果更好的风险识别模型的参数所占的比例升高,这样就可以优化风险识别模型的参数,提高风险识别模型的识别效果。
第二方面,提供了一种电商平台风险识别模型训练方法,该方法包括:获取第一场景的第一样本数据集;根据第一样本数据集中每个样本数据对应的用户行为获取高频行为样本数据集和低频行为样本数据集;根据高频行为样本数据集对低频行为样本数据集进行扩充,获取扩充后的低频行为样本数据集;根据扩充后的低频行为样本数据集对第一场景的低频行为风险识别模型进行训练。
在该方法中,根据不同行为发生的频率,将样本数据集分为高频行为样本数据集和低频行为样本数据集。高频行为样本数据集包括高频行为对应的样本数据。低频行为样本数据集包括低频行为对应的样本数据。采用高频行为的样本数据集对低频行为的样本数据集进行扩充,低频行为的样本数据数量得到大幅提升。使用扩充后的低频行为样本数据集对风险识别模型进行训练,使得风险识别模型更多的拟合低频行为样本数据,提高了风险识别模型对于低频行为数据的识别能力。在电商平台风险识别时,更关注的是订单相关行为等低频行为的数据。扩充低频行为样本数据集,使得风险识别模型更多的拟合订单相关行为的样本数据,提升对于订单相关行为的风险识别效果。
根据第二方面,在一种实施方式中,该方法还包括:根据高频行为样本数据集对第一场景的高频行为风险识别模型进行训练。
根据第二方面,在一种实施方式中,根据高频行为样本数据集对低频行为样本数据集进行扩充,包括:对低频行为样本数据集进行聚类,生成R个低频簇;对高频行为样本数据集进行聚类,生成F个高频簇;R大于或等于1,F大于或等于1;计算R个低频簇中每一个簇与F个高频簇中每一个簇的相似度;根据与第i个低频簇相似度最高的一个高频簇对第i个低频簇进行扩充;第i个低频簇为R个低频簇中任意一个;i大于0,且小于或等于R。
采用与低频簇相似度最高的高频簇对低频簇进行扩充,就可以从高频行为样本数据集获取到与低频行为数据样本更接近的样本数据,使得扩充的样本数据更符合低频行为数据样本的特征。
根据第二方面,在一种实施方式中,计算R个低频簇中每一个簇与F个高频簇中每一个簇的相似度,包括:计算R个低频簇中每一个簇的原型点与F个高频簇中每一个簇的原型点的相似度。
在一种实施方式中,计算R个低频簇中第i个簇的原型点与F个高频簇中第j个簇的原型点的相似度的方法包括:
Figure 721824DEST_PATH_IMAGE001
Figure 341024DEST_PATH_IMAGE002
其中,sim(pi,qj)为R个低频簇中第i个簇的原型点与F个高频簇中第j个簇的原型点的相似度,pi为R个低频簇中第i个簇的原型点,qj为F个高频簇中第j个簇的原型点,M为R个低频簇中第i个簇包含的样本数据数量,N为F个高频簇中第j个簇包含的样本数据数量。
根据第二方面,在一种实施方式中,根据与第i个低频簇相似度最高的一个高频簇对第i个低频簇进行扩充,包括:将与第i个目标簇的原型点距离最近的g个样本数据,以及与第i个目标簇的原型点距离最远的s个样本数据,加入第i个低频簇;其中,第i个目标簇为与第i个低频簇相似度最高的一个高频簇;g大于1,s大于1。
在高频簇中选择,与原型点距离最近的一些样本数据以及与原型点距离最远的一些样本数据,加入对应的(相似度最高的)低频簇;可以使得加入低频簇的样本数据更丰富、更离散,利于低频行为样本数据集的多样化。
根据第二方面,在一种实施方式中,对低频行为样本数据集进行聚类,包括:获取低频行为样本数据集的样本向量表示;对低频行为样本数据集的样本向量表示进行聚类。对高频行为样本数据集进行聚类,包括:获取高频行为样本数据集的样本向量表示;对高频行为样本数据集的样本向量表示进行聚类。
在该方法中,训练Embedding提取层,获取低频行为样本数据集的样本向量表示以及高频行为样本数据集的样本向量表示。这样,样本数据只保留了低维的、重要的特征,并且,低频行为样本数据集和高频行为样本数据集统一为格式一致的表示,方便后续对低频行为样本数据集和高频行为样本数据集的相似度进行比较。
根据第二方面,在一种实施方式中,根据第一样本数据集中每个样本数据对应的用户行为获取高频行为样本数据集和低频行为样本数据集,包括:将第一样本数据集中,样本数量大于或等于预设阈值的行为对应的样本数据,加入高频行为样本数据集;将第一样本数据集中,样本数量小于预设阈值的行为对应的样本数据,加入低频行为样本数据集。
根据第二方面,在一种实施方式中,根据第一样本数据集中每个样本数据对应的用户行为获取高频行为样本数据集和低频行为样本数据集,包括:将第一样本数据集中,预设类型的行为对应的样本数据,加入低频行为样本数据集;将第一样本数据集中,不属于预设类型的行为对应的样本数据,加入高频行为样本数据集。
其中,预设类型的行为包括:订购行为、支付行为或售后行为。
第三方面,提供了一种电子设备,该电子设备具有实现上述第一方面或第二方面所述的方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
第四方面,提供了一种电子设备,包括:处理器和存储器;该存储器用于存储计算机执行指令,当该电子设备运行时,该处理器执行该存储器存储的该计算机执行指令,以使该电子设备执行如上述第一方面或第二方面中任一项所述的方法。
第五方面,提供了一种电子设备,包括:处理器;所述处理器用于与存储器耦合,并读取存储器中的指令之后,根据所述指令执行如上述第一方面或第二方面中任一项所述的方法。
第六方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机可以执行上述第一方面或第二方面中任一项所述的方法。
第七方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机可以执行上述第一方面或第二方面中任一项所述的方法。
第八方面,提供了一种装置(例如,该装置可以是芯片系统),该装置包括处理器,用于支持电子设备实现上述第一方面或第二方面中所涉及的功能。在一种可能的设计中,该装置还包括存储器,该存储器,用于保存电子设备必要的程序指令和数据。该装置是芯片系统时,可以由芯片构成,也可以包含芯片和其他分立器件。
其中,第三方面至第八方面中任一种设计方式所带来的技术效果可参见第一方面或第二方面中不同设计方式所带来的技术效果,此处不再赘述。
附图说明
图1为本申请实施例提供的方法所适用的一种电子设备的硬件结构示意图;
图2为现有技术中风险识别方法示意图;
图3为本申请实施例提供的电商平台风险识别模型训练方法示意图一;
图4为本申请实施例提供的电商平台风险识别模型训练方法示意图二;
图5为本申请实施例提供的交互式协同训练人机识别模型F和风险行为识别模型G的流程示意图;
图6为本申请实施例提供的电商平台风险识别模型训练方法示意图三;
图7为本申请实施例提供的电商平台风险识别模型训练方法示意图四;
图8为本申请实施例提供的一种扩充低频行为样本数据集的方法流程示意图;
图9为本申请实施例提供的一种电子设备结构组成示意图;
图10为本申请实施例提供的一种芯片系统的示意图。
具体实施方式
在本申请实施例的描述中,以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接,除非另外说明。“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
本申请实施例提供的方法可以应用于具备数据处理能力的电子设备。上述电子设备可以包括服务器、手机、平板电脑、笔记本电脑、个人电脑(personal computer,PC)、超级移动个人计算机(ultra-mobile personal computer,UMPC)、手持计算机、上网本、智能家居设备(比如,智能电视、智慧屏、大屏、智能音箱、智能空调等)、个人数字助理(personaldigital assistant,PDA)、可穿戴设备(比如,智能手表、智能手环等)、车载设备、虚拟现实设备等,本申请实施例对此不做任何限制。在本申请实施例中,上述电子设备是可以运行操作系统,安装应用程序的电子设备。可选地,电子设备运行的操作系统可以是安卓®系统,Windows®系统,iOS®系统等。
示例性的,请参考图1,其示出了一种电子设备100的结构示意图。电子设备100可包括处理器110,外部存储器接口120,内部存储器121,音频模块130,扬声器130A,麦克风130B,显示屏140,通信模块150,电源模块160,输入装置170,传感器模块180等。其中,传感器模块180可以包括压力传感器、触摸传感器等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),和/或神经网络处理器(neural-networkprocessing unit,NPU)等。其中,不同的处理单元可以是独立的部件,也可以集成在一个或多个处理器中。在一些实施例中,电子设备100也可以包括一个或多个处理器110。
其中,控制器是电子设备100的神经中枢和指挥中心。可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
应用处理器上可以运行电子设备100的操作系统,用于管理电子设备100的硬件与软件资源。比如,管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络、管理文件系统、管理驱动程序等。操作系统也可以用于提供一个让用户与系统交互的操作界面。其中,操作系统内可以安装各类软件,比如,驱动程序,应用程序(application,App)等。
NPU为神经网络(neural-network ,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路间(inter-integrated circuit,I2C)接口,集成电路间音频(integrated circuit sound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,SIM卡接口,和/或USB接口等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备100执行本申请一些实施例中所提供的应用运行方法,以及各种应用以及数据管理等。内部存储器121可以包括代码存储区和数据存储区。其中,数据存储区可存储电子设备100使用过程中所创建的数据等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储部件,闪存部件,通用闪存存储器(universalflash storage,UFS)等。在一些实施例中,处理器110可以通过运行存储在内部存储器121的指令,和/或存储在设置于处理器110中的存储器的指令,来使得电子设备100执行本申请实施例中所提供的应用运行方法,以及其他应用及数据管理。
电子设备100可以通过音频模块130,扬声器130A,麦克风130B,以及应用处理器等实现音频功能。例如音乐播放,录音等。音频模块130用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块130还可以用于对音频信号编码和解码。在一些实施例中,音频模块130可以设置于处理器110中,或将音频模块130的部分功能模块设置于处理器110中。
扬声器130A,也称“喇叭”,用于将音频电信号转换为声音信号。
麦克风130B,也称“话筒”,“传声器”,用于将声音信号转换为电信号。用户可以通过人嘴靠近麦克风130B发声,将声音信号输入到麦克风130B。
电子设备100的通信功能可以通过天线1,天线2以及通信模块150等实现。
通信模块150可以提供应用在电子设备100上的包括蜂窝,Wi-Fi,蓝牙(bluetooth,BT),无线数传模块(例如,433MHz,868MHz,915MHz)等无线通信的解决方案。通信模块150可以是集成至少一个通信处理模块的一个或多个器件。通信模块150经由天线1或者天线2接收电磁波,将电磁波信号滤波以及调频处理,将处理后的信号发送到处理器110。通信模块150还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线1或者天线2转为电磁波辐射出去。
电子设备100通过GPU,显示屏140,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏140和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏140用于显示图像,视频等。显示屏140包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏140,N为大于1的正整数。本申请实施例中,显示屏140可以用于显示UI,以及接收用户对UI的操作。
在一些实施例中,显示屏140上设置有压力传感器、触摸传感器等。压力传感器用于感受压力信号,可以将压力信号转换成电信号。当有触摸操作作用于显示屏140,电子设备100根据压力传感器检测所述触摸操作强度。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。触摸传感器,也称“触控面板”,可以与显示屏140组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。还可以通过显示屏140提供与触摸操作相关的视觉输出。
电源模块160,可以用于向电子设备100包含的各个部件供电。在一些实施例中,该电源模块160可以是电池,如可充电电池。
输入装置170可以包括键盘、鼠标器等。键盘用于将英文字母、数字、标点符号等输入电子设备100,从而向电子设备100发出命令,输入数据等。鼠标器是电子设备100显示系统纵横坐标定位的指示器,用于向电子设备100输入指令等。其中,输入装置170可以通过有线连接方式连接电子设备100,比如,输入装置170通过GPIO接口、USB接口等连接电子设备100。输入装置170还可以通过无线方式连接电子设备100,比如,输入装置170通过蓝牙、红外等方式连接电子设备100。
电商平台经常会被恶意使用。比如,利用机器脚本抢购低价商品、利用机器脚本抢优惠券等。比如,同一用户恶意下载大量优惠券。为了避免被恶意使用,电商平台需要主动识别用户的这些风险行为。
参考图2,现有技术中,一般是预设了一些场景,针对各个场景分别采集数据,采用规则引擎或识别模型对一个场景的数据进行判断,输出该行为是否有风险的判断结果。
在一些场景中,用户利用机器脚本自动重复、密集访问电商平台。比如,利用机器脚本抢购低价商品、利用机器脚本抢优惠券等。针对该场景,电商平台可以进行人机识别,即识别当前操作者是用户还是机器;如果识别出当前操作者是机器,则确定用户的行为有风险。
在一些场景中,同一用户经常性地对同一商品大量抢购;或同一用户产生退单的次数非常频繁等。针对该场景,电商平台可以进行风险用户识别,即识别特定的用户。如果识别到当前操作者是特定用户,则确定用户的行为有风险。
在一些场景中,用户频繁地进行购买后退单,长时间锁单等操作。针对该场景,电商平台可以进行风险行为识别,即识别特定的行为。如果识别到当前操作者属于特定的行为,则确定该行为有风险。
现有技术中,一般为单个场景设计对应的单个规则引擎或识别模型进行风险判断,忽视了各个场景之间的关联。比如,特定用户利用机器脚本自动重复、密集访问电商平台,大量抢购同一商品;既属于人机识别场景,也属于风险用户识别场景。比如,特定用户频繁地进行购买后退单;既属于风险用户识别场景,也属于风险行为识别场景。如果分别针对各个场景采用对应的单个识别模型对该场景的数据进行风险识别,局限于单个场景,忽视了各个场景的数据之间的关联,识别准确性较差,出现误检(将不具有风险的行为判断为有风险的行为)或漏检(将有风险的行为判断为不具有风险的行为)的几率较高。另外,规则引擎是预设的,不能根据实际情况灵活修改,且需要较多人力资源来维护,也不利于风险识别。
本申请实施例提供一种电商平台风险识别模型训练方法,针对每个场景采集该场景的数据,并对每个场景设置对应的风险识别模型。
示例性的,参考图3,预设风险识别的多个场景。其中,预设的场景可以包括人机识别场景、风险行为识别场景、风险用户识别场景等。人机识别场景,是指识别当前操作者是用户还是机器的场景。风险行为识别场景,是指识别特定行为的场景。风险用户识别场景,是指识别特定用户的场景。
分别采集在各个场景中电商平台运行的数据。在一种实现方式中,可以在电商平台的一些关键节点进行埋点,采集需要的埋点数据。示例性的,人机识别场景的数据可以通过采集埋点数据获取。在一种实现方式中,可以通过统计用户在电商平台上的操作流程获取各种业务的相关数据;比如,订单数据,支付数据,浏览数据等。示例性的,风险行为识别场景的数据、风险用户识别场景的数据可以通过采集业务数据获取。
在实际操作中,可以根据需要对采集的数据进行场景划分。示例性的,可以将采集的数据划分为设备数据、用户电商画像数据、用户社区画像数据、用户风控画像数据、黑名单库等。在一种实现方式中,设备数据可以通过埋点获取,用户电商画像数据、用户社区画像数据、用户风控画像数据、黑名单库等可以通过统计用户在电商平台上的操作流程获取。
分别将各个场景的数据输入该场景对应的风险识别模型,就可以输出对该数据进行风险识别的结果。示例性的,如图3所示,将第一场景的数据输入第一风险识别模型,可以输出对第一场景的数据的风险识别结果。将第二场景的数据输入第二风险识别模型,可以输出对第二场景的数据的风险识别结果。将第三场景的数据输入第三风险识别模型,可以输出对第三场景的数据的风险识别结果。
本申请实施例提供的电商平台风险识别模型训练方法,在对各个场景的风险识别模型进行训练时,各个风险识别模型之间相互进行样本维度和模型维度的信息交互,将多个风险识别模型交互式协同训练。这样,每个场景风险识别模型的训练过程都结合了其他场景的样本数据和风险识别模型的信息,对风险识别模型的训练更全面,能够提升各个场景的风险识别模型的风险识别准确性,实现更准确地识别风险行为,降低电商平台的损失。
下面以第一场景是人机识别场景,第一场景对应的风险识别模型为人机识别模型;第二场景是风险行为识别场景,第二场景对应的风险识别模型为风险行为识别模型为例;详细介绍对人机识别模型和风险行为识别模型进行协同训练的方法。可以理解的,对于预设场景包括更多场景,即对更多风险识别模型进行协同训练的具体方法,可以参考对人机识别模型和风险行为识别模型进行协同训练的方法。本申请实施例中不再一一示例。
示例性的,参考图4,通过埋点方式采集人机识别场景的数据,获取人机识别埋点数据XF。通过统计用户在电商平台上的操作流程,获取风险行为数据XG
将人机识别埋点数据XF输入人机识别模型F,对人机识别模型F进行训练。在一种实现方式中,可以先采用人机识别埋点数据XF对人机识别模型F进行预设次数(比如100次)的训练,获取初始人机识别模型(人机识别模型的初始模型)F0
将风险行为数据XG输入风险行为识别模型G,对风险行为识别模型G进行训练。在一种实现方式中,可以先采用风险行为数据XG对风险行为识别模型G进行预设次数(比如100次)的训练,获取初始风险行为识别模型(风险行为识别模型的初始模型)G0
之后,分别对人机识别模型F和风险行为识别模型G进行T轮训练。其中,对人机识别模型F进行第一轮训练后,人机识别模型记为F1;对人机识别模型F进行第二轮训练后,人机识别模型记为F2;……;对人机识别模型F进行第T轮训练后,人机识别模型记为FT;人机识别模型FT即为训练好的人机识别模型F。对风险行为识别模型G进行第一轮训练后,风险行为识别模型为G1;对风险行为识别模型G进行第二轮训练后,风险行为识别模型记为G2;……;对风险行为识别模型G进行第T轮训练后,风险行为识别模型记为GT;风险行为识别模型GT即为训练好的风险行为识别模型G。
本申请实施例中,在对人机识别模型F和风险行为识别模型G进行T轮训练过程中,将人机识别模型Fi输出的预设类型的信息(交互信息),与风险行为数据XG一起,输入风险行为识别模型Gi+1;将风险行为识别模型Gi输出的预设类型的信息(交互信息),与人机识别埋点数据XF一起,输入人机识别模型Fi+1;其中,i大于或等于1,并且i小于或等于T,Fi表示进行第i轮训练后输出的人机识别模型,Fi+1表示进行第(i+1)轮训练后输出的人机识别模型,Gi表示进行第i轮训练后输出的风险行为识别模型,Gi+1表示进行第(i+1)轮训练后输出的风险行为识别模型。
也就是说,在对人机识别模型F和风险行为识别模型G进行训练时,人机识别模型F和风险行为识别模型G之间相互进行信息交互,两个风险识别模型交互式协同训练。这样,人机识别模型F的训练过程结合了风险行为识别场景的业务数据和风险行为识别模型G的信息,风险行为识别模型G的训练过程结合了人机识别场景的埋点数据和人机识别模型F的信息,对人机识别模型和风险行为识别模型的训练都更全面,能够提升人机识别模型和风险行为识别模型的风险识别准确性,实现更准确地识别风险行为。
示例性的,图5示出了本申请实施例提供的交互式协同训练人机识别模型F和风险行为识别模型G的流程示意图。
如图5所示,将人机识别埋点数据XF输入人机识别模型F,对人机识别模型F进行预设次数(比如100次)的训练,获取初始人机识别模型F0
将风险行为数据XG输入风险行为识别模型G,对风险行为识别模型G进行预设次数(比如100次)的训练,获取初始风险行为识别模型G0
对初始人机识别模型F0和初始风险行为识别模型G0分别进行离线评估,根据初始人机识别模型F0的离线评估结果计算人机识别模型F的效果权重,根据初始风险行为识别模型G0的离线评估结果计算风险行为识别模型G的效果权重。
效果权重用于表征风险识别模型识别结果的准确程度,风险识别模型对风险的识别越准确,对应的效果权重越高(权重值越大);风险识别模型对风险的识别越不准确,对应的效果权重越低(权重值越小)。
在一种实现方式中,可以根据多种离线评估指标计算风险识别模型的效果权重。示例性的,离线评估指标包括准确率(Accuracy)、精准率(Precision)、召回率(Recall)、接收者操作特征曲线下面积 (area under the receiver operating characteristiccurve,AUC)、柯尔莫哥洛夫-斯米尔诺夫(Kolmogorov-Smirnov,KS)统计量等。
其中,准确率(Accuracy)、精准率(Precision)、召回率(Recall)可以根据风险识别模型的混淆矩阵得到。准确率(Accuracy)表示识别正确的样本比例;精准率(Precision)表示识别正确的正样本占识别为正样本的比例;召回率(Recall)表示识别正确的正样本占总体正样本的比例。
示例性的,混淆矩阵如表1所示。
表1
Figure 450800DEST_PATH_IMAGE003
其中,正样本表示有风险,负样本表示无风险。实际为正样本,识别为正样本的,记为TP;实际为负样本,识别为正样本的,记为FP;实际为正样本,识别为负样本的,记为FN;实际为负样本,识别为负样本的,记为TN。可以看出,识别正确的情况包括TP和TN。
示例性的,准确率(Accuracy)=(TP+TN)/(TP+FP+FN+TN);
精准率(Precision)=TP/(TP+FP);
召回率(Recall)=TP/(TP+FN)。
AUC是一种用来度量识别模型好坏的标准。AUC的值就是处于接收者操作特征(receiver operating characteristic,ROC)曲线下方的那部分面积的大小。通常,AUC的值介于0.5到1.0之间,较大的AUC代表了较好的性能。
KS(Kolmogorov-Smirnov)值衡量的是正负样本累计分部之间的差值。正负样本累计差异越大,KS指标越大,那么风险识别模型的风险识别能力越强。
通过混淆矩阵还可以获取风险识别模型的F1值。F1值是精准率与召回率的调和平均数,可以用于综合评价风险识别模型。
Figure 384121DEST_PATH_IMAGE004
在一种示例中,离线评估初始人机识别模型F0,计算初始人机识别模型F0的效果权重为:WF=w1*PreF+ w2*RecF+ w3*AUCF+ w4*AccF+ w5*KSF;其中,PreF表示F0的精准率(Precision),RecF表示F0的召回率(Recall),AUCF表示根据F0计算的AUC,AccF表示F0的准确率(Accuracy),KSF表示根据F0计算的KS。w1、w2、w3、w4和w5为权重系数,为预设值。
在一种示例中,离线评估初始风险行为识别模型G0,计算初始风险行为识别模型G0的效果权重为:WG=w1*PreG+ w2*RecG+ w3*AUCG+ w4*AccG+ w5*KSG;其中,PreG表示G0的精准率(Precision),RecG表示G0的召回率(Recall),AUCG表示根据G0计算的AUC,AccG表示G0的准确率(Accuracy),KSG表示根据G0计算的KS。w1、w2、w3、w4和w5为权重系数,为预设值。
在一种实现方式中,可以通过调整权重系数的值,来调整准确率、精准率、召回率、AUC及KS在效果权重中所占的比例。
获取初始人机识别模型F0和初始风险行为识别模型G0后,对人机识别模型F和风险行为识别模型G各进行T轮训练。示例性的,当i大于或等于1且小于或等于T,对人机识别模型F和风险行为识别模型G进行第i轮训练;当i大于T,训练结束,将训练后的人机识别模型FT输出为人机识别模型F,将训练后的风险行为识别模型GT输出为风险行为识别模型G。
在一种示例中,预设类型的输出信息(交互信息)包括样本维度的信息。示例性的,交互信息包括Embedding(样本向量表示)。Embedding 是一种将离散变量转变为连续向量的表示方式。Embedding能够用低维向量对数据进行编码,且保留其含义。将风险识别模型输出的Embedding作为交互信息,就可以使得一个场景的风险识别模型识别另一场景中采集的数据,实现一个场景的风险识别模型对另一场景中采集的数据进行处理。示例性的,将F0输出的Embedding与XG一起输入G1,进行风险行为识别模型G的第1轮训练;将G0输出的Embedding与XF一起输入F1,进行人机识别模型F的第1轮训练;将F1输出的Embedding与XG一起输入G2,进行风险行为识别模型G的第2轮训练;将G1输出的Embedding与XF一起输入F2,进行人机识别模型F的第2轮训练;……将FT-1输出的Embedding与XG一起输入GT,进行风险行为识别模型G的第T轮训练;将G T-1输出的Embedding与XF一起输入FT,进行人机识别模型F的第T轮训练。这样,结合了人机识别埋点数据XF和风险行为数据XG对人机识别模型进行训练,结合了人机识别埋点数据XF和风险行为数据XG对风险行为识别模型进行训练;即结合了多个场景的数据对一个场景的风险识别模型进行训练;由于数据对应的场景更丰富,相应的,对风险识别模型的训练更全面。
在一种实现方式中,在第i轮训练时,根据原始数据XF和Gi-1输出的Embedding生成新埋点数据XF,i。根据原始数据XG和Fi-1输出的Embedding生成新的业务数据XG,i
示例性的,对于原始数据XF中每个原始样本xF,即
Figure 646475DEST_PATH_IMAGE005
,生成对应的新样本
Figure 108681DEST_PATH_IMAGE006
。其中,对于原始数据XF中第k个原始样本xFk,生成对应的新样本
Figure 410480DEST_PATH_IMAGE007
Figure 413071DEST_PATH_IMAGE008
;其中,concat表示合并数据,
Figure 733194DEST_PATH_IMAGE009
表示Gi-1输出的Embedding中与xFk对应的数据。各个原始样本xF对应的新 样本
Figure 5782DEST_PATH_IMAGE006
组成了第i轮训练对应的埋点数据XF,i
对于原始数据XG中每个原始样本xG,即
Figure 716249DEST_PATH_IMAGE010
,生成对应的新样本
Figure 584847DEST_PATH_IMAGE011
。其中, 对于原始数据XG中第k个原始样本xGk,生成对应的新样本
Figure 697160DEST_PATH_IMAGE012
Figure 376534DEST_PATH_IMAGE013
;其中,concat表示合并数据,
Figure 574297DEST_PATH_IMAGE014
表示Fi-1输出的Embedding中与xGk对应的数据。各个原始样本xG对应的 新样本
Figure 246587DEST_PATH_IMAGE011
组成了第i轮训练对应的业务数据XG,i
在一种示例中,可以采用梯度提升树、神经网络等模型实现各个场景的风险识别模型。比如,人机识别模型F和风险行为识别模型G都采用梯度提升树实现。在一种实现方式中,预设类型的输出信息(交互信息)还可以包括梯度提升树输出的负梯度,以及对风险识别模型进行离线评估获取的效果权重。
在一种实现方式中,根据人机识别模型F第(i-1)轮训练输出的负梯度
Figure 213406DEST_PATH_IMAGE015
、风 险行为识别模型G第(i-1)轮训练输出的负梯度
Figure 250632DEST_PATH_IMAGE016
、和人机识别模型F的效果权重WF, 获取人机识别模型F第i轮训练的拟合目标
Figure 247276DEST_PATH_IMAGE017
。根据风险行为识别模型G第(i-1)轮训练输 出的负梯度
Figure 395360DEST_PATH_IMAGE018
、风险行为识别模型F第(i-1)轮训练输出的负梯度
Figure 341320DEST_PATH_IMAGE019
、和风险行为 识别模型G的效果权重WG,获取风险行为识别模型G第i轮训练的拟合目标
Figure 752710DEST_PATH_IMAGE020
在一种示例中,
Figure 269273DEST_PATH_IMAGE021
;其中,
Figure 158731DEST_PATH_IMAGE022
在一种示例中,
Figure 224776DEST_PATH_IMAGE023
;其中,
Figure 603805DEST_PATH_IMAGE024
在对人机识别模型F进行第i轮训练时,输入拟合目标
Figure 997877DEST_PATH_IMAGE017
;在对风险行为识别模 型G进行第i轮训练时,输入拟合目标
Figure 799349DEST_PATH_IMAGE020
负梯度和效果权重是风险识别模型的模型维度的信息,可以体现风险识别模型本身的性能。负梯度可以表征风险识别模型的残差。效果权重可以表征风险识别模型的识别效果(识别结果是否准确)。将负梯度和效果权重作为交互信息,这样,训练人机识别模型时可以参考风险行为识别模型的参数,训练风险行为识别模型时可以参考人机识别模型的参数。通过调整计算效果权重的权重系数,还可以将识别效果更好的风险识别模型的参数所占的比例升高,这样就可以优化风险识别模型的参数,提高风险识别模型的识别效果。
本申请实施例中,将多个风险识别模型进行交互式协同训练,在风险识别模型之间进行样本维度和模型维度的信息交互。这样,可以结合多个场景的样本数据进行风险识别模型的训练,还可以根据识别效果较好的风险识别模型的参数对其他风险识别模型进行训练。经过交互式协同训练,各个场景的风险识别模型都提升了识别准确性,可以达到更优的识别效果。另外,相比将多个场景的数据输入一个大的风险识别模型进行判断。本申请实施例提供的方法中,针对每个场景分别训练一个风险识别模型,可以降低风险识别模型的训练难度,以及降低风险识别模型运行时占用的处理器资源。
通常,样本数据集在很大程度上影响风险识别模型的训练效果。但是,在电商平台中采集的数据通常存在类型不平衡问题。比如,根据用户的操作特点,用户在电商平台上的浏览、留言、评论等行为(非订单相关行为)发生的频率较高,本申请中称为高频行为;高频行为发生的频率较高,因此,在电商平台中采集的数据中,高频行为对应的数据占比较高。用户在电商平台上的订购、支付、售后等行为(订单相关行为)发生的频率较低,本申请中称为低频行为;低频行为发生的频率较低,因此,在电商平台中采集的数据中,低频行为对应的数据占比较低。在一种示例中,低频行为与高频行为的比例能达到1:100的量级。相应的,低频行为对应的数据的数量远小于高频行为对应的数据的数量。
现有技术中,忽视了样本数据存在的类型不平衡问题。由于高频行为的数据在样本数据集中占比较高,会导致风险识别模型过度拟合高频行为数据的特征分布;而对于低频行为数据的识别效果较差。然而,在对电商平台的数据进行风险识别时,更关注的是订单相关行为等低频行为的数据。如何提升对于低频行为数据的识别效果,是需要考虑的问题。
本申请实施例提供一种电商平台风险识别模型训练方法,根据不同行为发生的频率,将样本数据集分为高频行为样本数据集和低频行为样本数据集。高频行为样本数据集包括高频行为对应的样本数据。低频行为样本数据集包括低频行为对应的样本数据。进一步的,根据低频行为样本数据集和高频行为样本数据集的相似度,以高频行为样本数据集扩充低频行为样本数据集。提高了低频行为对应的样本数据在样本数据集中的占比,使得风险识别模型更多的拟合低频行为样本数据,提高风险识别模型对于低频行为数据的识别效果。
示例的,以风险行为识别场景为例。如图6所示,获取风险行为识别场景的样本数据集后,对样本数据进行分流,划分为低频行为样本数据集和高频行为样本数据集。然后根据高频行为样本数据集对低频行为样本数据集进行扩充,将扩充后的样本数据集输入风险识别模型,输出风险识别的结果。在一种实现方式中,可以对高频行为数据和低频行为数据采用不同的风险识别模型进行风险识别。采用高频行为样本数据集对高频行为风险识别模型进行训练,采用扩充后的低频行为样本数据集对低频行为风险识别模型进行训练。
在一种实施方式中,如图7所示,获取电商平台上特定场景的样本数据集。将特定场景的样本数据集按照不同的行为进行统计。比如,统计用户进行浏览行为产生的数据,统计用户进行留言行为产生的数据,统计用户进行评论行为产生的数据,统计用户进行订单行为产生的数据等。
然后根据不同行为的发生频率,对样本数据进行分流,获取低频行为样本数据集和高频行为样本数据集。在一种实现方式中,统计各种类型的行为对应的样本数据的数量。将样本数据数量大于或等于预设阈值的行为对应的样本数据确定为高频行为样本数据,将样本数据数量小于预设阈值的行为对应的样本数据确定为低频行为样本数据。在另一种实现方式中, 将预设类型的行为对应的样本数据确定为低频行为样本数据,将不属于预设类型的行为对应的样本数据确定为高频行为样本数据。比如,预设类型包括:订购、支付、售后等。
在一种实现方式中,可以训练Embedding提取层,获取低频行为样本数据集的样本向量表示,以及高频行为样本数据集的样本向量表示。这样,样本数据只保留了低维的、重要的特征,并且,低频行为样本数据集和高频行为样本数据集统一为格式一致的表示,方便后续对低频行为样本数据集和高频行为样本数据集的相似度进行比较。
将低频行为样本数据集的样本向量表示聚类为R个簇,将高频行为样本数据的样本向量表示聚类为F个簇。在一种示例中,可以采用k最邻近分类(k-NearestNeighbor,KNN)算法分别对低频行为样本数据集的样本向量表示和高频行为样本数据集的样本向量表示进行聚类。
计算低频行为样本数据集的每个簇与高频行为样本数据集的每个簇之间的相似度。对于低频行为样本数据集的每一个簇,根据与其相似度最高的高频行为样本数据集的簇进行扩充。
这样,低频行为的样本数据数量得到大幅提升,使用扩充后的低频行为样本数据集对风险识别模型进行训练,可以使得风险识别模型更多的拟合低频行为样本数据,提高了风险识别模型对于低频行为数据的识别能力。
示例性的,图8示出了本申请实施例提供的一种扩充低频行为样本数据集的方法流程示意图。
1、在电商平台上采集特定场景的样本数据集X。
2、将特定场景的样本数据集X按照不同的行为进行统计。
在一种示例中,根据特定场景的样本数据集X生成集合E。其中,E={e0,e1,……,ek,……,eK},K表示行为类型的个数,ek表示一种行为对应的样本数据集。比如,ek为浏览行为的样本数据集、留言行为的样本数据集、评论行为的样本数据集、或订单行为的样本数据集等。
3、统计集合E中各种行为对应的样本数据的数量。将样本数据的数量大于或等于预设阈值的行为对应的样本数据确定为高频行为样本数据,将样本数据的数量小于预设阈值的行为对应的样本数据确定为低频行为样本数据。
在一种示例中,根据集合E获取低频行为的集合EL和高频行为的集合EH
4、根据集合EL获取低频行为样本数据集XL;根据EH获取高频行为样本数据集XH
5、获取XL的样本向量表示
Figure 329687DEST_PATH_IMAGE025
,获取XH的样本向量表示
Figure 207513DEST_PATH_IMAGE026
在一种实现方式中,根据XL训练Embedding提取层,获取XL的样本向量表示
Figure 885619DEST_PATH_IMAGE025
。根据 XH训练Embedding提取层,获取XH的样本向量表示
Figure 382460DEST_PATH_IMAGE026
6、对低频行为样本数据集的样本向量表示
Figure 642671DEST_PATH_IMAGE025
进行聚类,生成R个低频簇(低频行为 样本数据集生成的簇),获取R个低频簇中原型点的集合P,以及每个低频簇中各个样本数据 与原型点的距离的集合Dp。对高频行为样本数据集的样本向量表示
Figure 301185DEST_PATH_IMAGE027
进行聚类,生成F个高 频簇(高频行为样本数据集生成的簇),获取F个高频簇中原型点的集合Q,以及每个高频簇 中各个样本数据与原型点的距离的集合DQ
在一种示例中,对
Figure 794484DEST_PATH_IMAGE025
进行聚类,获取R个低频簇,并获取每个低频簇的原型点,得到 低频簇原型点的集合P,P={p0,p1,……,pi,……,pR};pi表示第i个低频簇的原型点。
获取每个低频簇中各个样本数据与原型点的距离的集合Dp。其中,Dp={dp0, dp1,……,dpi,……,dpR},dpi表示第i个低频簇中各个样本数据与原型点pi之间的距离的集 合;其中,
Figure 829436DEST_PATH_IMAGE028
,M为第i个低频簇中的样本数据的个数,x为第i 个低频簇中第m个样本数据。
在一种示例中,对
Figure 396683DEST_PATH_IMAGE029
进行聚类,获取F个高频簇,并获取每个高频簇的原型点,得 到高频簇原型点的集合Q,Q={q0,q1,……,qj,……,qF};qj表示第j个高频簇的原型点。
获取每个高频簇中各个样本数据与原型点的距离的集合Dq。其中, Dq={dq0, dq1,……,dqj,……,dqF},dqj表示第j个高频簇中各个样本数据与原型点qj之间的距离的集 合;其中,
Figure 600001DEST_PATH_IMAGE030
,N为第j个高频簇中的样本数据的个数,y为第 j个高频簇中第n个样本数据。
7、计算R个低频簇中第i个原型点与F个高频簇中第j个原型点之间的相似度。
第i个低频簇与第j个高频簇的相似度,可以用第i个低频簇的原型点与第j个高频簇的原型点之间的相似度来表示。
在一种实现方式中,根据下述公式计算R个簇中第i个原型点(第i个低频簇的原型点)与F个簇中第j个原型点(第j个高频簇的原型点)之间的相似度sim(pi,qj)。
Figure 455961DEST_PATH_IMAGE001
Figure 622500DEST_PATH_IMAGE031
其中,
Figure 857304DEST_PATH_IMAGE032
表示向量pi和向量qj的内积,
Figure 123200DEST_PATH_IMAGE033
表示向量pi的模 长,
Figure 325511DEST_PATH_IMAGE034
表示向量qj的模长。
8、将与第i个低频簇的相似度最高的高频簇确定为第i个目标簇。
第i个目标簇,即用于对第i个低频簇进行扩充的高频簇。
采用与低频簇相似度最高的高频簇对低频簇进行扩充,就可以从高频行为样本数据集获取到与低频行为数据样本更接近的样本数据,使得扩充的样本数据更符合低频行为数据样本的特征。
9、根据预设规则从第i个目标簇中选择样本数据扩充第i个低频簇。
可以在第i个目标簇中选择一定数量的样本数据加入第i个低频簇。在一种实现方式中,可以将第i个目标簇中,与第i个目标簇的原型点距离最近的g个样本数据,以及与第i个目标簇的原型点距离最远的s个样本数据,加入第i个低频簇;g>1,s>1。这样,第i个低频簇中增加了(g+s)个样本数据;R个低频簇中一共增加了(g+s)*R个样本数据。在高频簇中选择,与原型点距离最近的一些样本数据以及与原型点距离最远的一些样本数据,加入对应的(相似度最高的)低频簇,可以使得加入低频簇的样本数据更丰富、更离散,利于低频行为样本数据集的多样化。
在一种示例中,g=s;也就是说,将第i个目标簇中,与第i个目标簇的原型点距离最近的g个样本数据,以及与第i个目标簇的原型点距离最远的g个样本数据,加入第i个低频簇。这样,第i个低频簇中增加了2g个样本数据;R个低频簇中一共增加了2gR个样本数据。
在一种实现方式中,从第i个目标簇中挑选距离原型点最近的
Figure 233424DEST_PATH_IMAGE035
个样本数据,以及距离原型点最远的
Figure 110286DEST_PATH_IMAGE036
个样本数据。从中提取与低频行为 样本数据集XL的公共字段,非公共字段赋空值,组成扩充后的低频行为样本数据集。
10、输出扩充后的低频行为样本数据集。
获取到扩充后的低频行为样本数据集后,就可以采用扩充后的低频行为样本数据集对风险识别模型进行训练,提升风险识别模型对低频行为样本数据的拟合程度。
本申请实施例提供的电商平台风险识别模型训练方法,将多个风险识别模型进行交互式协同训练,在风险识别模型之间进行样本维度和模型维度的信息交互。结合多个场景的样本数据集进行风险识别模型的训练,还根据识别效果较好的风险识别模型的参数对其他风险识别模型进行训练。经过交互式协同训练,各个场景的风险识别模型都提升了识别准确性。
本申请实施例提供的电商平台风险识别模型训练方法,采用高频行为的样本数据集对低频行为的样本数据集进行扩充,低频行为的样本数据数量得到大幅提升。使用扩充后的低频行为样本数据集对风险识别模型进行训练,使得风险识别模型更多的拟合低频行为样本数据,提高了风险识别模型对于低频行为数据的识别能力。相比于规则引擎,本申请实施例提供的电商平台风险识别模型训练方法,能够降低风险识别模型的误拦率,减少了非风险用户做额外验证的次数,提升了用户使用电商平台时的流畅体验。
可以理解的是,本申请实施例提供的电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在一种示例中,请参考图9,其示出了上述实施例中所涉及的电子设备的一种可能的结构示意图。该电子设备900包括:处理单元910和存储单元920。
其中,处理单元910,用于对电子设备900的动作进行控制管理。存储单元920用于保存电子设备900的程序代码和数据,处理单元910调用存储单元920存储的程序代码,以执行以上方法实施例中的各个步骤。
当然,上述电子设备900中的单元模块包括但不限于上述处理单元910和存储单元920。例如,电子设备900中还可以包括显示单元、通信单元、电源单元等。显示单元用于显示电子设备900的用户界面,例如,显示风险识别结果等。通信单元用于电子设备900与其他电子设备进行通信;例如,电子设备900可以通过通信单元从其他设备获取样本数据集;再例如,电子设备900可以通过通信单元向其他设备发送风险识别结果。电源单元用于对电子设备900供电。
其中,处理单元910可以是处理器或控制器,例如可以是中央处理器(centralprocessing unit,CPU),图形处理器(graphics processing unit,GPU),数字信号处理器(digital signal processor,DSP),专用集成电路(application-specific integratedcircuit,ASIC),现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。存储单元920可以是存储器。显示单元可以是显示屏等。
例如,处理单元910为处理器(如图1所示的处理器110),存储单元920可以为存储器(如图1所示的内部存储器121),显示单元可以为显示屏(如图1所示的显示屏140)。本申请实施例所提供的电子设备900可以为图1所示的电子设备100。其中,上述处理器、存储器、显示屏等可以连接在一起,例如通过总线连接。处理器调用存储器存储的程序代码,以执行以上方法实施例中的各个步骤。
本申请实施例还提供一种芯片系统(例如,片上系统(system on a chip,SoC)),如图10所示,该芯片系统包括至少一个处理器1001和至少一个接口电路1002。处理器1001和接口电路1002可通过线路互联。例如,接口电路1002可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路1002可用于向其它装置(例如处理器1001或者电子设备的触摸屏)发送信号。示例性的,接口电路1002可读取存储器中存储的指令,并将该指令发送给处理器1001。当所述指令被处理器1001执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当所述计算机指令在上述电子设备上运行时,使得该电子设备执行上述方法实施例中各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中各个功能或者步骤。
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (20)

1.一种电商平台风险识别模型训练方法,其特征在于,包括:
获取第一场景中电商平台运行的第一样本数据集;其中,所述第一场景包括人机识别场景、风险行为识别场景或风险用户识别场景;
获取第二场景中电商平台运行的第二样本数据集;其中,所述第二场景包括人机识别场景、风险行为识别场景或风险用户识别场景,所述第二场景与所述第一场景不同;
根据所述第一样本数据集对第一风险识别模型进行第i轮训练,获取第一信息;其中,i大于或等于1,所述第一信息为所述第一风险识别模型的预设类型的信息;
根据所述第二样本数据集对第二风险识别模型进行第i轮训练,获取第二信息;其中,所述第二信息为所述第二风险识别模型的预设类型的信息;
根据所述第一信息与所述第二样本数据集对所述第二风险识别模型进行第i+1轮训练;
根据所述第二信息与所述第一样本数据集对所述第一风险识别模型进行第i+1轮训练。
2.根据权利要求1所述的方法,其特征在于,
所述第一信息包括:所述第一样本数据集的样本向量表示;
所述第二信息包括:所述第二样本数据集的样本向量表示。
3.根据权利要求1或2所述的方法,其特征在于,
在根据所述第一样本数据集对第一风险识别模型进行第i轮训练之前,所述方法还包括:
根据所述第一样本数据集对第一风险识别模型进行预设次数的训练,获取所述第一风险识别模型的初始模型;
所述根据所述第一样本数据集对第一风险识别模型进行第i轮训练,包括:
根据所述第一样本数据集对所述第一风险识别模型的初始模型进行第1轮训练;
在根据所述第二样本数据集对第二风险识别模型进行第i轮训练之前,所述方法还包括:
根据所述第二样本数据集对第二风险识别模型进行预设次数的训练,获取所述第二风险识别模型的初始模型;
所述根据所述第二样本数据集对第二风险识别模型进行第i轮训练,包括:
根据所述第二样本数据集对所述第二风险识别模型的初始模型进行第1轮训练。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
对所述第一风险识别模型的初始模型进行离线评估,获取离线评估指标的第一值;根据所述离线评估指标的第一值获取所述第一风险识别模型的第一效果权重;所述第一效果权重用于表征所述第一风险识别模型识别结果的准确程度;
对所述第二风险识别模型的初始模型进行离线评估,获取离线评估指标的第二值;根据所述离线评估指标的第二值获取所述第二风险识别模型的第二效果权重;所述第二效果权重用于表征所述第二风险识别模型识别结果的准确程度。
5.根据权利要求4所述的方法,其特征在于,所述离线评估指标包括:准确率,精准率,召回率,接收者操作特征曲线下面积AUC,和柯尔莫哥洛夫-斯米尔诺夫KS统计量中至少一项。
6.根据权利要求4所述的方法,其特征在于,所述第一风险识别模型和所述第二风险识别模型为梯度提升树,所述第一信息还包括第一负梯度,所述第二信息还包括第二负梯度。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
根据所述第一负梯度、所述第二负梯度和所述第一效果权重,获取所述第一风险识别模型第i+1轮训练的拟合目标;
根据所述第一负梯度、所述第二负梯度和所述第二效果权重,获取所述第二风险识别模型第i+1轮训练的拟合目标。
8.一种电商平台风险识别模型训练方法,其特征在于,包括:
获取第一场景的第一样本数据集;
根据所述第一样本数据集中每个样本数据对应的用户行为获取高频行为样本数据集和低频行为样本数据集;
根据所述高频行为样本数据集对所述低频行为样本数据集进行扩充,获取扩充后的低频行为样本数据集;
根据所述扩充后的低频行为样本数据集对所述第一场景的低频行为风险识别模型进行训练。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
根据所述高频行为样本数据集对所述第一场景的高频行为风险识别模型进行训练。
10.根据权利要求8所述的方法,其特征在于,所述根据所述高频行为样本数据集对所述低频行为样本数据集进行扩充,包括:
对所述低频行为样本数据集进行聚类,生成R个低频簇;R大于或等于1;
对所述高频行为样本数据集进行聚类,生成F个高频簇;F大于或等于1;
计算所述R个低频簇中每一个簇与所述F个高频簇中每一个簇的相似度;
根据与第i个低频簇相似度最高的一个高频簇对所述第i个低频簇进行扩充;所述第i个低频簇为所述R个低频簇中任意一个;i大于0,且小于或等于R。
11.根据权利要求10所述的方法,其特征在于,所述计算所述R个低频簇中每一个簇与所述F个高频簇中每一个簇的相似度,包括:
计算所述R个低频簇中每一个簇的原型点与所述F个高频簇中每一个簇的原型点的相似度。
12.根据权利要求11所述的方法,其特征在于,计算所述R个低频簇中第i个簇的原型点与所述F个高频簇中第j个簇的原型点的相似度的方法包括:
Figure 251660DEST_PATH_IMAGE001
Figure 903221DEST_PATH_IMAGE002
其中,sim(pi,qj)为所述R个低频簇中第i个簇的原型点与所述F个高频簇中第j个簇的 原型点的相似度,pi为所述R个低频簇中第i个簇的原型点,qj为所述F个高频簇中第j个簇的 原型点,M为所述R个低频簇中第i个簇包含的样本数据数量,N为所述F个高频簇中第j个簇 包含的样本数据数量,
Figure 260122DEST_PATH_IMAGE003
表示向量pi的模长,
Figure 124172DEST_PATH_IMAGE004
表示向量 qj的模长。
13.根据权利要求10所述的方法,其特征在于,所述根据与第i个低频簇相似度最高的一个高频簇对所述第i个低频簇进行扩充,包括:
将与第i个目标簇的原型点距离最近的g个样本数据,以及与第i个目标簇的原型点距离最远的s个样本数据,加入第i个低频簇;所述第i个目标簇为与所述第i个低频簇相似度最高的一个高频簇;g大于1,s大于1。
14.根据权利要求10所述的方法,其特征在于,
所述对所述低频行为样本数据集进行聚类,包括:
获取所述低频行为样本数据集的样本向量表示;
对所述低频行为样本数据集的样本向量表示进行聚类;
所述对所述高频行为样本数据集进行聚类,包括:
获取所述高频行为样本数据集的样本向量表示;
对所述高频行为样本数据集的样本向量表示进行聚类。
15.根据权利要求8-14任意一项所述的方法,其特征在于,所述根据所述第一样本数据集中每个样本数据对应的用户行为获取高频行为样本数据集和低频行为样本数据集,包括:
将所述第一样本数据集中,样本数量大于或等于预设阈值的行为对应的样本数据,加入高频行为样本数据集;
将所述第一样本数据集中,样本数量小于预设阈值的行为对应的样本数据,加入低频行为样本数据集。
16.根据权利要求8-14任意一项所述的方法,其特征在于,所述根据所述第一样本数据集中每个样本数据对应的用户行为获取高频行为样本数据集和低频行为样本数据集,包括:
将所述第一样本数据集中,预设类型的行为对应的样本数据,加入低频行为样本数据集;
将所述第一样本数据集中,不属于预设类型的行为对应的样本数据,加入高频行为样本数据集。
17.根据权利要求16所述的方法,其特征在于,所述预设类型的行为包括:订购行为、支付行为或售后行为。
18.一种电子设备,其特征在于,包括:处理器和存储器;所述存储器中存储有一个或多个计算机程序,所述一个或多个计算机程序包括指令,当所述指令被所述电子设备执行时,使得所述电子设备执行如权利要求1-17任意一项所述的方法。
19.一种计算机可读存储介质,其特征在于,包括计算机指令;当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-17任意一项所述的方法。
20.一种芯片系统,其特征在于,包括处理器,所述处理器与存储器耦合,所述处理器执行所述存储器中存储的计算机程序,以实现如权利要求1-17任意一项所述的方法。
CN202211653486.XA 2022-12-22 2022-12-22 一种电商平台风险识别模型训练方法和装置 Active CN115701866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211653486.XA CN115701866B (zh) 2022-12-22 2022-12-22 一种电商平台风险识别模型训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211653486.XA CN115701866B (zh) 2022-12-22 2022-12-22 一种电商平台风险识别模型训练方法和装置

Publications (2)

Publication Number Publication Date
CN115701866A true CN115701866A (zh) 2023-02-14
CN115701866B CN115701866B (zh) 2023-10-27

Family

ID=85162813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211653486.XA Active CN115701866B (zh) 2022-12-22 2022-12-22 一种电商平台风险识别模型训练方法和装置

Country Status (1)

Country Link
CN (1) CN115701866B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190318202A1 (en) * 2016-10-31 2019-10-17 Tencent Technology (Shenzhen) Company Limited Machine learning model training method and apparatus, server, and storage medium
CN111291900A (zh) * 2020-03-05 2020-06-16 支付宝(杭州)信息技术有限公司 训练风险识别模型的方法及装置
CN111523596A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 目标识别模型训练方法、装置、设备以及存储介质
CN111951823A (zh) * 2020-08-07 2020-11-17 腾讯科技(深圳)有限公司 一种音频处理方法、装置、设备及介质
CN114694015A (zh) * 2022-06-02 2022-07-01 深圳市万物云科技有限公司 基于通用框架的多任务联邦学习场景识别方法及相关组件
CN115049843A (zh) * 2022-06-17 2022-09-13 浙江大华技术股份有限公司 一种对抗样本生成方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190318202A1 (en) * 2016-10-31 2019-10-17 Tencent Technology (Shenzhen) Company Limited Machine learning model training method and apparatus, server, and storage medium
CN111291900A (zh) * 2020-03-05 2020-06-16 支付宝(杭州)信息技术有限公司 训练风险识别模型的方法及装置
CN111523596A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 目标识别模型训练方法、装置、设备以及存储介质
CN111951823A (zh) * 2020-08-07 2020-11-17 腾讯科技(深圳)有限公司 一种音频处理方法、装置、设备及介质
CN114694015A (zh) * 2022-06-02 2022-07-01 深圳市万物云科技有限公司 基于通用框架的多任务联邦学习场景识别方法及相关组件
CN115049843A (zh) * 2022-06-17 2022-09-13 浙江大华技术股份有限公司 一种对抗样本生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN115701866B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
US11341699B1 (en) Systems and methods for synthetic image generation
US11836634B2 (en) Detecting digital image manipulations
CN112488719A (zh) 一种账户风险识别方法和装置
CN112233698A (zh) 人物情绪识别方法、装置、终端设备及存储介质
CN111738403B (zh) 一种神经网络的优化方法及相关设备
CN112995414B (zh) 基于语音通话的行为质检方法、装置、设备及存储介质
JP2022120775A (ja) オンデバイスでの活動認識
CN113569052B (zh) 知识图谱的表示学习方法及装置
CN111444802B (zh) 一种人脸识别方法、装置及智能终端
CN114550051A (zh) 一种车损检测方法、装置、计算机设备及存储介质
CN113344184A (zh) 用户画像预测方法、装置、终端和计算机可读存储介质
CN113192537A (zh) 唤醒程度识别模型训练方法及语音唤醒程度获取方法
CN114399028B (zh) 信息处理方法、图卷积神经网络训练方法及电子设备
CN117115596B (zh) 对象动作分类模型的训练方法、装置、设备及介质
CN114333997A (zh) 数据处理、数据处理模型的训练方法、装置、设备及介质
CN112035334B (zh) 异常设备检测方法、装置、存储介质与电子设备
CN112488157A (zh) 一种对话状态追踪方法、装置、电子设备及存储介质
CN115701866B (zh) 一种电商平台风险识别模型训练方法和装置
CN113762585B (zh) 数据的处理方法、账号类型的识别方法及装置
CN114238968A (zh) 应用程序检测方法及装置、存储介质及电子设备
CN111796663B (zh) 场景识别模型更新方法、装置、存储介质及电子设备
KR20210048270A (ko) 복수 객체에 대한 오디오 포커싱 방법 및 장치
CN111800537B (zh) 终端使用状态的评估方法、装置、存储介质及电子设备
WO2024012171A1 (zh) 二值量化方法、神经网络的训练方法、设备以及存储介质
CN111813639B (zh) 设备运行等级的评定方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant