CN114897168A - 风控模型的基于知识表征学习的融合训练方法和系统 - Google Patents

风控模型的基于知识表征学习的融合训练方法和系统 Download PDF

Info

Publication number
CN114897168A
CN114897168A CN202210696228.3A CN202210696228A CN114897168A CN 114897168 A CN114897168 A CN 114897168A CN 202210696228 A CN202210696228 A CN 202210696228A CN 114897168 A CN114897168 A CN 114897168A
Authority
CN
China
Prior art keywords
data
wind control
rule
training
refining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210696228.3A
Other languages
English (en)
Inventor
周璟
吕乐
傅幸
王宁涛
杨信
杨阳
蒋晨之
刘芳卿
王维强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202210696228.3A priority Critical patent/CN114897168A/zh
Publication of CN114897168A publication Critical patent/CN114897168A/zh
Priority to PCT/CN2023/095185 priority patent/WO2023246389A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种风控模型的融合训练方法，包括：接收标签数据并提炼专家知识；将所述标签数据和所述专家知识分别进行多阶特征交叉以获取数据表征和规则表征；基于所述规则表征提纯所述数据表征；以及基于经提纯的数据表征训练并输出所述风控模型。

Description

风控模型的基于知识表征学习的融合训练方法和系统
技术领域
本公开主要涉及知识表征学习，尤其涉及基于知识表征学习的风控模型训练。
背景技术
为避免交易事件风险，风控可信的目标是找出无风险的纯白流量进行快速放行。可信数据的沉淀可以助益低风险交易事件的放行，减少识别层的分析量。常规风险可信模型会采用预先定义好的黑白样本进行可信模型训练。黑样本来源于对用户投诉的支付事件进行的审理工作；白样本来源于用户成功支付、且未涉及投诉、稽核、管控等风控动作的事件。相较于量级巨大的白样本而言，黑样本有很大可能不足以反馈风险事件的全貌。黑样本不充分通常会导致风控可信模型鲁棒性不足。
因此，本领域需要高效的能够提升模型鲁棒性的风控模型训练方法。
发明内容
为解决上述技术问题，本公开提供了一种风控模型的基于知识表征学习的融合训练方案，其基于风控领域的专家经验沉淀，通过纳入多阶特征交叉和数据提纯来提升风控模型的鲁棒性、并且使得风控模型的可解释性满足要求。
在本公开一实施例中，提供了一种风控模型的基于知识表征学习的融合训练方法，包括：接收标签数据并提炼专家知识；将标签数据和专家知识分别进行多阶特征交叉以获取数据表征和规则表征；基于规则表征提纯数据表征；以及基于经提纯的数据表征训练并输出风控模型。
在本公开另一实施例中，多阶特征交叉包括一阶特征交叉、二阶特征交叉和高阶特征交叉。
在本公开又一实施例中，将标签数据和专家知识分别进行多阶特征交叉分别通过数据编码器和规则编码器实现。
在本公开另一实施例中，基于规则表征提纯数据表征进一步包括采用由多个专家块构成的决策块来提纯数据表征。
在本公开又一实施例中，基于规则表征提纯数据表征包括基于规则表征引入规则相关的损失函数。
在本公开另一实施例中，基于规则表征提纯数据表征包括构建规则相关的损失函数与任务相关的损失函数的融合损失函数。
在本公开又一实施例中，标签数据为黑白标签数据。
在本公开另一实施例中，一阶特征交叉采用多层感知机MLP，二阶特征交叉采用因子分解机FM，而高阶特征交叉采用对数神经网络LNN。
在本公开又一实施例中，采用由多个专家块构成的决策块来提纯数据表征是通过不同权重的专家块实现的。
在本公开另一实施例中，基于经提纯的数据表征训练风控模型包括优化所构建的融合损失函数。
在本公开一实施例中，提供了一种风控模型的基于知识表征学习的融合训练系统，包括：信息获取模块，接收标签数据并提炼专家知识；特征交叉模块，将标签数据和专家知识分别进行多阶特征交叉以获取数据表征和规则表征；提纯模块，基于规则表征提纯数据表征；以及训练模块，基于经提纯的数据表征训练并输出风控模型。
在本公开一实施例中，提供了一种存储有指令的计算机可读存储介质，当这些指令被执行时使得机器执行如前的方法。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。
附图说明
本公开的以上发明内容以及下面的具体实施方式在结合附图阅读时会得到更好的理解。需要说明的是，附图仅作为所请求保护的发明的示例。在附图中，相同的附图标记代表相同或类似的元素。
图1是示出根据本公开一实施例的风控模型的基于知识表征学习的融合训练方法的流程图；
图2是示出根据本公开一实施例的基于知识表征学习的模型融合训练框架的示意图；
图3是示出根据本公开一实施例的针对风控模型的标签数据和专家知识的多阶特征交叉过程的示意图；
图4是示出根据本公开一实施例的风控场景下的特征交叉实现框架的示意图；
图5是示出根据本公开一实施例的风控模型的基于知识表征学习的融合训练中的数据提纯和模型训练过程的示意图；
图6是示出根据本公开一实施例的风控模型的基于知识表征学习的融合训练系统的框图。
具体实施方式
为使得本公开的上述目的、特征和优点能更加明显易懂，以下结合附图对本公开的具体实施方式作详细说明。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但是本公开还可以采用其它不同于在此描述的其它方式来实施，因此本公开不受下文公开的具体实施例的限制。
在当今的电子支付环境中，交易事件往往包含风险。风控可信的目标是找出无风险的纯白流量进行快速放行，一方面可以降低对用户的打扰，另一方面也可以节省系统的计算资源。全域可信的目标是全部风险域（例如，账号盗用）均无风险的纯白流量进行快速放行。
常规可信模型会针对预先定义好的黑白样本进行建模。黑样本来源于对用户投诉的支付事件进行的审理工作，继而选取其中确认涉案的事件作为黑样本；白样本来源于用户成功支付、且未涉及投诉、稽核、管控等风控动作的事件。白样本有时会做进一步加工，例如用户主被动方关系维度上短期内多次成功交易，但均未脱离与基于投诉定性而产出的黑样本的对比任务。
通常而言，直接采用黑白标签数据进行可信模型训练存在鲁棒性不足的问题。这是因为不同风险域的风险浓度不一致，风控系统在建设较早的风险域本身能够拦截大部分风险交易，导致最终暴露在投诉样本中的风险事件量级不足以支撑可信模型的训练过程。例如，某风险域每月暴露在外的风险事件样本不足一百，相较于动辄百万级别的白样本而言，该部分黑样本有很大可能不足以反馈风险事件的全貌。也就是说，黑样本不充分会导致风控可信模型鲁棒性不足。
而鲁棒性是机器学习模型的重要评价指标，主要用于检验模型在面对输入数据的微小变动时，是否依然能保持判断的准确性，也即模型面对一定变化时的表现是否稳定。鲁棒性的高低直接决定了机器学习模型的泛化能力。
此外，在风控场景中，传统神经网络训练方式不满足可信业务的模型可解释要求。神经网络的训练过程黑盒且缺乏引导，最后的结果在统计意义上可用，但落实到个例上不一定满足可解释的要求。例如，一个较强的专家经验是用户和设备的首次使用时间距今（Recency（新近度）类特征）越长、则其设备越可信。而数据样本中的一个黑样本个例赃数据（R=30）导致最终训练的模型在该类型特征上扭曲，出现了局部异常区间。
由此，本公开提供一种风控模型的基于知识表征学习的融合训练方案，其基于风控领域的专家经验沉淀，通过纳入多阶特征交叉和数据提纯来提升风控模型的鲁棒性、并且使得风控模型的可解释性满足要求。
在本公开中，将主要以电子支付风控为例进行方案的具体描述。本领域技术人员可以理解，本公开的风控模型的基于知识表征学习的融合训练方案适用于各种类型的风控模型，并不仅限于电子支付风控模型。
图1是示出根据本公开一实施例的风控模型的基于知识表征学习的融合训练方法100的流程图。
对于风控可信，常规办法有两种：基于可信人工策略和基于黑白样本训练可信模型。在基于可信人工策略的办法中，风控系统初期的可信放行依赖于人工策略，例如对于用户和设备间首次使用时长距今>30天，使用天数>10天，累积金额超过200元的判定为可信设备，在设备是否被盗用维度上给予可信放行。由于基于人工规则，因此相对粒度较粗，精度及召回较低。
而在基于黑白样本训练可信模型的办法中，对于每一笔交易事件采用实时模型进行打分，可信模型分值高的则给予可信放行。但是由于黑样本不充分，导致可信模型鲁棒性不足，并且传统神经网络训练方式无法满足可信业务的模型可解释要求。
知识表征学习被用来学习实体和关系的分布式表征，其在选择合适表征空间的基础上，以合理三元组表达实体和关系，并使用相应的编码模型建模关系交互。本公开通过针对专家知识的知识表征学习，在风控可信模型的建模过程中引入专家知识辅助训练，来提升风控可信模型的鲁棒性、同时使得风控可信模型具备可解释性。
在102，接收标签数据并提炼专家知识。
步骤102为训练数据的准备，即黑白标签数据以及基于专家知识的规则提炼。黑白标签数据与传统意义上的准备一样：基于交易事件样本，通过用户投诉与审理定性的结果打上黑白标签。
专家知识的作用是用来辅助训练、提纯标签数据，减少模型在产出结果中与风控场景下沉淀的含义不符的部分，增强可信模型的鲁棒性。
在106，将标签数据和专家知识分别进行多阶特征交叉以获取数据表征和规则表征。
针对多维输入特征数据集，特征交叉可以进行非线性特征拟合，从而提高模型对非线性的建模能力，进而提高模型的性能。而在风控可信模型中，不仅具有多维特征，而且各类特征的重要性有比较大的不同，也就是说，这些特征是非同质化的，因此针对不同类型和维度的特征引入多阶特征交叉有利于风控可信模型的性能改进。
引入专家知识是因为风控领域有较多的专家经验沉淀。并且，风控领域存在攻防的问题，其样本的变化节奏非常快，由此使得模型的数据分布的波动比较大。在风控可信模型的构建和训练中加入专家知识、而不仅仅利用标签数据有助于提纯标签数据，去除少量黑样本中的异常值波动。
由此，在本公开中，针对引入的专家知识也进行多阶特征交叉，以便于获得数据表征和规则表征两者。
将标签数据和专家知识分别进行多阶特征交叉分别通过数据编码器和规则编码器来实现。多阶特征交叉包括一阶特征交叉、二阶特征交叉和高阶特征交叉（
Figure DEST_PATH_IMAGE002
阶，下文中简称为3+阶）。在不同的应用场景中，可按需采用不同阶的特征交叉。
在本公开一实施例中，一阶特征交叉采用多层感知机MLP，二阶特征交叉采用因子分解机FM，而高阶特征交叉采用对数神经网络LNN。
本领域技术人员可以理解，多层感知机MLP和因子分解机FM均可应用于一阶特征交叉或二阶特征交叉，三阶及更高阶的高阶特征交叉可采用深度交叉DeepCross、高阶因子分解机HOFM、极深因子分解机xDeepFM、可变形卷积DCN-V2等等。进一步地，以上机制并不受限，新的特征交叉机制亦可被纳入于本公开的技术方案中。
以下将结合图3详细描述根据本公开一实施例的风控场景下的特征交叉实现框架。
在108，基于规则表征提纯数据表征。
如前所述，风控领域存在攻防的问题，其样本的变化节奏非常快，由此使得模型的数据分布的波动比较大。因此，有必要对标签数据进行提纯，从而有效地把控模型数据分布的波动，使得经提纯的信息相对静态，进而提高模型的鲁棒性。
在本公开一实施例中，基于规则表征提纯数据表征进一步包括采用由多个专家块构成的决策块（Decision Block）来提纯数据表征。采用由多个专家块构成的决策块来提纯数据表征可以是通过不同权重的专家块实现的。
当然，本领域技术人员可以理解，在不同应用场景下，专家块的数量可按需采纳，并且专家块的权重也可按需设置或变化。
在本公开另一实施例中，基于规则表征提纯数据表征包括基于规则表征引入规则相关的损失函数。随后，构建规则相关的损失函数与任务相关的损失函数的融合损失函数。
以下将结合图5详细描述根据本公开一实施例的风控模型的基于知识表征学习的融合训练中的数据提纯和模型训练过程。
在110，基于经提纯的数据表征训练并输出风控模型。
在本公开一实施例中，基于经提纯的数据表征训练风控模型包括优化所构建的融合损失函数。在该融合损失函数达到最优时，输出所训练的风控模型。该所训练的风控模型可上线运行。
由此，本公开的风控模型的基于知识表征学习的融合训练方法基于风控领域的专家经验沉淀，通过纳入多阶特征交叉和数据提纯来提升风控模型的鲁棒性、并且使得风控模型的可解释性满足要求。
图2是示出根据本公开一实施例的基于知识表征学习的模型融合训练框架的示意图。
如图2所示，本公开揭示了基于知识表征学习的模型融合训练框架DeepWIS（融合专家知识的基于深度学习的可信识别架构，Deep Learning based Trust RecognitionArchitecture with the Mixture of Expert Wisdom）。
本公开的DeepWIS框架以DeepCTRL（具有可控规则表示的深度神经网络）为基础，但规则编码器（Rule encoder）和数据编码器（Data encoder）采用HORN（High OrdeRNetworks）结构进行多阶特征交叉，并且针对不同的任务纳入不同数量或权重的专家块组合作为决策块。
具体地，如图2所示，本公开的DeepWIS框架所基于的底层特征为标签数据集合和提炼后的专家知识。其后经历2个编码器进行处理，分别为形式为HORN的规则编码器与数据编码器。特征并行经过2个编码层进行高维特征交叉，分别为一阶、二阶和高阶（即三阶及以上）特征交叉。
编码过后，规则编码器与数据编码器分别生成两个表征向量为Zr（规则表征）与Zd（数据表征），两者在加权后进行拼接（concat）操作形成向量z：
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE006
的值不固定，而是在训练过程中从满足
Figure DEST_PATH_IMAGE008
的分布中随机采样，以提升模型间于标签任务与知识任务的泛化性能。
在本公开另一实施例中，
Figure DEST_PATH_IMAGE010
分布可以用
Figure DEST_PATH_IMAGE012
分布替代，而拼接（concat）操作亦可替换成向量逐位相加操作。
向量z后接决策块，其形式可以是单纯的MLP，也可以是其他形式，例如混合专家MoE（Mixture-of-Experts）。
然后，分别计算专家知识的损失
Figure DEST_PATH_IMAGE014
（即，规则相关的损失函数）和风险任务的损失
Figure DEST_PATH_IMAGE016
（即，任务相关的损失函数）。两者的权重由上述
Figure DEST_PATH_IMAGE006A
变量调节：
Figure DEST_PATH_IMAGE018
专家知识损失或规则损失
Figure DEST_PATH_IMAGE019
的引入使得提纯后的信息相对静态，由此提升模型的鲁棒性。而针对不同的风控场景，
Figure DEST_PATH_IMAGE020
的设置可按需进行，并且与
Figure DEST_PATH_IMAGE021
的融合也可按需进行。
在本公开一实施例中，为平衡
Figure 113400DEST_PATH_IMAGE019
与
Figure DEST_PATH_IMAGE022
之间的量纲，会先计算初始损失比例
Figure DEST_PATH_IMAGE024
，再构建规则相关的损失函数与任务相关的损失函数的融合损失函数：
Figure DEST_PATH_IMAGE026
风控可信模型在DeepWIS框架下训练，针对最终的加权目标L进行优化。在训练收敛后产出训练完成后的模型文件，供后续线上打分调用。
图3是示出根据本公开一实施例的针对风控模型的标签数据和专家知识的多阶特征交叉过程的示意图。
如图3所示，根据本公开一实施例的针对风控模型的标签数据和专家知识的多阶特征交叉过程采用HORN形式的数据编码器和规则编码器进行。标签数据和专家知识并行经过两个编码层
Figure DEST_PATH_IMAGE028
数据编码层和规则编码层进行多阶特征交叉。
在本公开一实施例中，多阶特征交叉包括MLP 层、FM层、LNN层，分别作1、2、
Figure DEST_PATH_IMAGE030
阶的特征交叉，如下式所示：
Figure DEST_PATH_IMAGE032
其中
Figure DEST_PATH_IMAGE034
代表激活函数，例如Relu、Sigmoid等。
Figure DEST_PATH_IMAGE036
代表MLP层，进行一阶特征交叉，
Figure DEST_PATH_IMAGE038
为MLP层的参数，
Figure DEST_PATH_IMAGE040
代表嵌入层（Embedding Layer）的输出拼接在一起。
Figure DEST_PATH_IMAGE042
代表FM层（Factorization Machine因子分解机），进行二阶特征交叉。d𝑒代表域（Field）的个数。
Figure DEST_PATH_IMAGE044
代表FM的参数。
Figure DEST_PATH_IMAGE046
代表EmbeddingLayer里第i个Field的嵌入输出。
Figure DEST_PATH_IMAGE048
代表LNN层（对数神经网络Logarithmic Neural Network），进行三阶及以上的高阶特征交叉。
Figure DEST_PATH_IMAGE050
，o代表特征交叉的阶数，从3开始。
Figure 483070DEST_PATH_IMAGE046
代表Embedding Layer里第i个Field的嵌入输出。
Figure DEST_PATH_IMAGE052
为LNN的参数。
如前所述，本领域技术人员可以理解，多层感知机MLP和因子分解机FM均可应用于一阶特征交叉或二阶特征交叉，三阶及更高阶的高阶特征交叉可采用深度交叉DeepCross、高阶因子分解机HOFM、极深因子分解机xDeepFM、可变形卷积DCN-V2等等。同样，以上列举的三阶及更高阶的高阶特征交叉亦可应用于一阶特征交叉或二阶特征交叉。
进一步地，以上机制并不受限，新的特征交叉机制亦可被纳入于本公开的技术方案中。本领域技术人员可以理解，可因应用场景而异采用不同的交叉特征机制。
图4是示出根据本公开一实施例的风控场景下的特征交叉实现框架的示意图。
如图4所示，在风控可信业务场景中，特征的模式往往分为单主体（例如，主动方维度的特征、被动方维度的特征等）、双主体（例如，主动方-被动方维度、主动方-设备维度等）、多主体（例如，主动方-设备-被动方等）等。
在本公开的风控模型的基于知识表征学习的融合训练方案中，基于特征交叉实现框架，人工特征工程最多仅需设计至双主体，而高阶交叉由该特征交叉实现框架自动完成。举例而言，针对双主体的“主动方当笔交易和自身过去7日比重，主动方和被动方近7日内平均交易金额，被动方90天内被投诉交易占比”这三个特征，可以自动拟合出诸如“当笔交易金额发生3倍突变的账户在一个陌生且受投诉比例高于20%的账户上发生风险的概率高，不应作可信放行”这样的高阶语义。
相较于应用普通多层感知机MLP，区分1、2、3+阶特征交叉的模型应用有效果提升，这是因为风控应用场景的特征和文本、图像、语音等任务的不同之处在于：其特征的重要性不是均值的。对于图像而言，每一个像素点都是同质化的；而风控领域特征则是非同质化的。
例如，风控领域特征中有类似“被动方账户在识别模型上近7日的模型分最大值”这样的velocity特征（快速），其数据增长速度快、处理速度快、时效性要求也高。这类特征在经验上往往由一阶语义透出即可取得更好的效果，更高阶的交叉有时会埋没特征的语义透出。
又例如，像“账户近90日内交易金额汇总值”这类的特征往往需要
Figure DEST_PATH_IMAGE030A
阶（即3+阶）的特征交叉才能发挥比较重要的作用。
由此，在本公开的风控模型的基于知识表征学习的融合训练方案中，特征交叉实现框架所采用的1、2、3+阶特征交叉对于各种类型的特征均有较好的调和作用。
图5是示出根据本公开一实施例的风控模型的基于知识表征学习的融合训练中的数据提纯和模型训练过程的示意图。
在本公开的风控模型的基于知识表征学习的融合训练方案中，数据提纯在决策块部分实现。如前所述，决策块的形式可以是单纯的MLP，也可以是其他形式，例如混合专家MoE。
在本公开一实施例中，决策块被实现为多门限混合专家MMoE（Multi-gateMixture-of-Experts）层。多任务网络结构采用的MMoE结构采用n个专家（Expert）模块模拟n个专家打分，通过门限机制控制每个专家对每个任务打分的权重，如下式所示：
Figure DEST_PATH_IMAGE054
x为拼接层的输出。k表示k个任务，n表示n个专家网络。
对于不同的任务，特定门限的输出表示不同专家被选择的概率，将多个专家加权求和。g(x)表示门限（Gate门）的输出，
Figure DEST_PATH_IMAGE056
表示第k个任务在第i个专家上门限的权重，乘上第i个专家的打分
Figure DEST_PATH_IMAGE058
。
Figure DEST_PATH_IMAGE060
为塔层（Tower），用于获取各任务独有的信息，一般为线性变换加Softmax层。
Figure DEST_PATH_IMAGE062
表示Gate门的输出，采用多层感知机模型，可实现为线性变换加Softmax层。
在此，与传统的多任务MoE结构区别的是，最终的yk输出为一个值，即退化为多标签任务。
通过在决策块中引入多个专家，风控领域中急剧变化的数据特征得以提纯，少量黑样本中的异常值波动也不会对最终的模型有决定性的影响。
进一步地，在风控可信模型中引入了规则编码器所体现的专家经验的损失函数
Figure 574392DEST_PATH_IMAGE019
。
传统模型不鲁棒的原因在于：风控领域的黑样本并不绝对。一方面，黑样本由人工判定，存在一定的误差；另一方面，被现有体系稽核的案件会变成隐案。此外，风控领域存在攻防的问题，使得黑样本的变化节奏非常快。
而加入专家经验所输出的规则进行Loss（损失）改进后，此类提纯的信息较为静态，可以有效把控模型的数据分布不至于波动较大。
Figure DEST_PATH_IMAGE063
Figure DEST_PATH_IMAGE065
与
Figure 907284DEST_PATH_IMAGE019
之间的权值仍采用
Figure DEST_PATH_IMAGE067
是为了引导规则编码器与数据编码器分别学习各自对应的语义。
具体地，风险任务的损失
Figure DEST_PATH_IMAGE068
与传统任务无异。当存在多风险任务时，需要首先进行加权汇总：
Figure DEST_PATH_IMAGE070
如前所述，在本公开一实施例中，为平衡
Figure 331443DEST_PATH_IMAGE019
与
Figure DEST_PATH_IMAGE068A
之间的量纲，会先计算初始损失比例
Figure DEST_PATH_IMAGE072
，再构建规则相关的损失函数与任务相关的损失函数的融合损失函数：
Figure DEST_PATH_IMAGE073
举例而言，在判定当笔交易是否涉及盗用风险的设备可信语义下，账户和设备的首次成功交易距今时长与可信程度有较强的正相关关系，且存在一个阈值是7日，代表用户的平均报案周期。而在模型训练过程中容易受到脏数据极端值的影响导致模型的产出结果波动、不符合专家认知。
在某种意义上，可以提炼出一条专家知识“设备首次使用距今时长超过7天相比于小于7天，则该设备在盗用语义上约可信”。
记输入特征向量为x，其中该特征为x k 。引入一个较小的偏置项
Figure DEST_PATH_IMAGE075
，则
Figure DEST_PATH_IMAGE077
。记加入偏置前后模型的输出项为y j 与y p,j ，则上述语义所代表知识的损失项为：
Figure DEST_PATH_IMAGE079
其中a=7。该式的含义是，当x k 和x p 分列在阈值7的两边，且当前设备首次使用距今时长超过7天的模型分相比于小于7天反而更不可信时，给予惩罚。
当存在多专家知识时，需要首先进行加权汇总：
Figure DEST_PATH_IMAGE081
在模型训练时，针对最终的加权目标L进行优化。在训练收敛后产出训练完成后的模型文件，供后续线上打分调用。
由此，在本公开的数据提纯和训练训练过程中，基于风控领域较多的专家经验沉淀，解决了风控领域的模型鲁棒性问题，同时还满足了风控领域对于可解释性的需求。
图6是示出根据本公开一实施例的风控模型的基于知识表征学习的融合训练系统600的框图。
根据本公开一实施例的风控模型的基于知识表征学习的融合训练系统600包括信息获取模块602、调整交叉模块606、提纯模块608和训练模块610。
信息获取模块602接收标签数据并提炼专家知识。
信息获取模块602为训练数据做准备，即黑白标签数据以及基于专家知识的规则提炼。黑白标签数据与传统意义上的准备一样：基于交易事件样本，通过用户投诉与审理定性的结果打上黑白标签。专家知识的作用是用来辅助训练、提纯标签数据，减少模型在产出结果中与风控场景下沉淀的含义不符的部分，增强可信模型的鲁棒性。
特征交叉模块606将标签数据和专家知识分别进行多阶特征交叉以获取数据表征和规则表征。
针对多维输入特征数据集，特征交叉可以进行非线性特征拟合，从而提高模型对非线性的建模能力，进而提高模型的性能。而在风控可信模型中，不仅具有多维特征，而且各类特征的重要性有比较大的不同，也就是说，这些特征是非同质化的，因此针对不同类型和维度的特征引入多阶特征交叉有利于风控可信模型的性能改进。
引入专家知识是因为风控领域有较多的专家经验沉淀。并且，风控领域存在攻防的问题，其样本的变化节奏非常快，由此使得模型的数据分布的波动比较大。在风控可信模型的构建和训练中加入专家知识、而不仅仅利用标签数据有助于提纯标签数据，去除少量黑样本中的异常值波动。
由此，在本公开中，针对引入的专家知识也进行多阶特征交叉，以便于获得数据表征和规则表征两者。
将标签数据和专家知识分别进行多阶特征交叉分别通过数据编码器和规则编码器来实现。多阶特征交叉包括一阶特征交叉、二阶特征交叉和高阶特征交叉（
Figure DEST_PATH_IMAGE030AA
阶，下文中简称为3+阶）。在不同的应用场景中，可按需采用不同阶的特征交叉。
提纯模块608基于规则表征提纯数据表征。
如前所述，风控领域存在攻防的问题，其样本的变化节奏非常快，由此使得模型的数据分布的波动比较大。因此，有必要对标签数据进行提纯，从而有效地把控模型数据分布的波动，使得经提纯的信息相对静态，进而提高模型的鲁棒性。
提纯模块608基于规则表征提纯数据表征可包括提纯模块608采用由多个专家块构成的决策块来提纯数据表征。采用由多个专家块构成的决策块来提纯数据表征可以是通过不同权重的专家块实现的。
当然，本领域技术人员可以理解，在不同应用场景下，专家块的数量可按需采纳，并且专家块的权重也可按需设置或变化。
提纯模块608基于规则表征提纯数据表征还可包括提纯模块608基于规则表征引入规则相关的损失函数。随后，提纯模块608构建规则相关的损失函数与任务相关的损失函数的融合损失函数。
训练模块610基于经提纯的数据表征训练并输出风控模型。
训练模块610基于经提纯的数据表征训练风控模型包括训练模块610优化所构建的融合损失函数。在该融合损失函数达到最优时，训练模块610输出所训练的风控模型。该所训练的风控模型可上线运行。
由此，本公开的风控模型的基于知识表征学习的融合训练系统基于风控领域的专家经验沉淀，通过纳入多阶特征交叉和数据提纯来提升风控模型的鲁棒性、并且使得风控模型的可解释性满足要求。
以上描述的风控模型的基于知识表征学习的融合训练方法和系统的各个步骤和模块可以用硬件、软件、或其组合来实现。如果在硬件中实现，结合本发明描述的各种说明性步骤、模块、以及电路可用通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）、或其他可编程逻辑组件、硬件组件、或其任何组合来实现或执行。通用处理器可以是处理器、微处理器、控制器、微控制器、或状态机等。如果在软件中实现，则结合本发明描述的各种说明性步骤、模块可以作为一条或多条指令或代码存储在计算机可读介质上或进行传送。实现本发明的各种操作的软件模块可驻留在存储介质中，如RAM、闪存、ROM、EPROM、EEPROM、寄存器、硬盘、可移动盘、CD-ROM、云存储等。存储介质可耦合到处理器以使得该处理器能从/向该存储介质读写信息，并执行相应的程序模块以实现本发明的各个步骤。而且，基于软件的实施例可以通过适当的通信手段被上载、下载或远程地访问。这种适当的通信手段包括例如互联网、万维网、内联网、软件应用、电缆（包括光纤电缆）、磁通信、电磁通信（包括RF、微波和红外通信）、电子通信或者其他这样的通信手段。
还应注意，这些实施例可能是作为被描绘为流程图、流图、结构图、或框图的过程来描述的。尽管流程图可能会把诸操作描述为顺序过程，但是这些操作中有许多操作能够并行或并发地执行。另外，这些操作的次序可被重新安排。
所公开的系统、装置和系统不应以任何方式被限制。相反，本发明涵盖各种所公开的实施例（单独和彼此的各种组合和子组合）的所有新颖和非显而易见的特征和方面。所公开的系统、装置和系统不限于任何具体方面或特征或它们的组合，所公开的任何实施例也不要求存在任一个或多个具体优点或者解决特定或所有技术问题。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多更改，这些均落在本发明的保护范围之内。

Claims (12)

1.一种风控模型的融合训练方法，包括：
接收标签数据并提炼专家知识；
将所述标签数据和所述专家知识分别进行多阶特征交叉以获取数据表征和规则表征；
基于所述规则表征提纯所述数据表征；以及
基于经提纯的数据表征训练并输出所述风控模型。
2.如权利要求1所述的方法，所述多阶特征交叉包括一阶特征交叉、二阶特征交叉和高阶特征交叉。
3.如权利要求1所述的方法，将所述标签数据和所述专家知识分别进行多阶特征交叉分别通过数据编码器和规则编码器实现。
4.如权利要求1所述的方法，基于所述规则表征提纯所述数据表征进一步包括采用由多个专家块构成的决策块来提纯所述数据表征。
5.如权利要求1所述的方法，基于所述规则表征提纯所述数据表征包括基于所述规则表征引入规则相关的损失函数。
6.如权利要求1所述的方法，基于所述规则表征提纯所述数据表征包括构建规则相关的损失函数与任务相关的损失函数的融合损失函数。
7.如权利要求1所述的方法，所述标签数据为黑白标签数据。
8.如权利要求2所述的方法，所述一阶特征交叉采用多层感知机MLP，所述二阶特征交叉采用因子分解机FM，而所述高阶特征交叉采用对数神经网络LNN。
9.如权利要求4所述的方法，采用由多个专家块构成的决策块来提纯所述数据表征是通过不同权重的专家块实现的。
10.如权利要求6所述的方法，基于经提纯的数据表征训练所述风控模型包括优化所构建的融合损失函数。
11.一种风控模型的融合训练系统，包括：
信息获取模块，接收标签数据并提炼专家知识；
特征交叉模块，将所述标签数据和所述专家知识分别进行多阶特征交叉以获取数据表征和规则表征；
提纯模块，基于所述规则表征提纯所述数据表征；以及
训练模块，基于经提纯的数据表征训练并输出所述风控模型。
12.一种存储有指令的计算机可读存储介质，当所述指令被执行时使得机器执行如权利要求1-10中任一项所述的方法。
CN202210696228.3A 2022-06-20 2022-06-20 风控模型的基于知识表征学习的融合训练方法和系统 Pending CN114897168A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210696228.3A CN114897168A (zh) 2022-06-20 2022-06-20 风控模型的基于知识表征学习的融合训练方法和系统
PCT/CN2023/095185 WO2023246389A1 (zh) 2022-06-20 2023-05-19 风控模型的基于知识表征学习的融合训练

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210696228.3A CN114897168A (zh) 2022-06-20 2022-06-20 风控模型的基于知识表征学习的融合训练方法和系统

Publications (1)

Publication Number Publication Date
CN114897168A true CN114897168A (zh) 2022-08-12

Family

ID=82727685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210696228.3A Pending CN114897168A (zh) 2022-06-20 2022-06-20 风控模型的基于知识表征学习的融合训练方法和系统

Country Status (2)

Country Link
CN (1) CN114897168A (zh)
WO (1) WO2023246389A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246389A1 (zh) * 2022-06-20 2023-12-28 支付宝(杭州)信息技术有限公司 风控模型的基于知识表征学习的融合训练

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3001839A1 (en) * 2015-10-14 2017-04-20 Pindrop Security, Inc. Call detail record analysis to identify fraudulent activity and fraud detection in interactive voice response systems
CN107101829A (zh) * 2017-04-11 2017-08-29 西北工业大学 一种航空发动机结构类故障的智能诊断方法
US20190141542A1 (en) * 2017-11-03 2019-05-09 Salesforce.Com, Inc. Incorporation of expert knowledge into machine learning based wireless optimization framework
CN111241243A (zh) * 2020-01-13 2020-06-05 华中师范大学 面向知识测量的试题、知识、能力张量构建与标注方法
CN112001586A (zh) * 2020-07-16 2020-11-27 航天科工网络信息发展有限公司 基于区块链共识机制的企业联网大数据审计风险控制架构
CN112232576A (zh) * 2020-10-22 2021-01-15 北京明略昭辉科技有限公司 判决预测方法、装置、电子设备及可读存储介质
CN112699271A (zh) * 2021-01-08 2021-04-23 北京工业大学 一种提升用户在视频网站留存时间的视频推荐系统方法
CN113377884A (zh) * 2021-07-08 2021-09-10 中央财经大学 基于多智能体增强学习的事件语料库提纯方法
CN113516522A (zh) * 2021-09-14 2021-10-19 腾讯科技（深圳）有限公司 媒体资源推荐方法、多目标融合模型的训练方法及装置
CN113987330A (zh) * 2021-09-16 2022-01-28 湖州师范学院 一种基于多层次潜在特征的个性化推荐模型的构建方法
CN114092097A (zh) * 2021-11-23 2022-02-25 支付宝(杭州)信息技术有限公司 风险识别模型的训练方法、交易风险确定方法及装置
CN114095381A (zh) * 2021-10-13 2022-02-25 华为技术有限公司 多任务模型训练方法、多任务预测方法及相关产品

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170293837A1 (en) * 2016-04-06 2017-10-12 Nec Laboratories America, Inc. Multi-Modal Driving Danger Prediction System for Automobiles
CN110688623B (zh) * 2019-09-29 2023-12-26 深圳乐信软件技术有限公司 高阶lr模型的训练优化方法、装置、设备及存储介质
CN111967596A (zh) * 2020-08-18 2020-11-20 北京睿知图远科技有限公司 一种风控场景下基于深度学习的特征自动化交叉方法
CN114897168A (zh) * 2022-06-20 2022-08-12 支付宝(杭州)信息技术有限公司 风控模型的基于知识表征学习的融合训练方法和系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3001839A1 (en) * 2015-10-14 2017-04-20 Pindrop Security, Inc. Call detail record analysis to identify fraudulent activity and fraud detection in interactive voice response systems
US20170111515A1 (en) * 2015-10-14 2017-04-20 Pindrop Security, Inc. Call detail record analysis to identify fraudulent activity
CN107101829A (zh) * 2017-04-11 2017-08-29 西北工业大学 一种航空发动机结构类故障的智能诊断方法
US20190141542A1 (en) * 2017-11-03 2019-05-09 Salesforce.Com, Inc. Incorporation of expert knowledge into machine learning based wireless optimization framework
CN111241243A (zh) * 2020-01-13 2020-06-05 华中师范大学 面向知识测量的试题、知识、能力张量构建与标注方法
CN112001586A (zh) * 2020-07-16 2020-11-27 航天科工网络信息发展有限公司 基于区块链共识机制的企业联网大数据审计风险控制架构
CN112232576A (zh) * 2020-10-22 2021-01-15 北京明略昭辉科技有限公司 判决预测方法、装置、电子设备及可读存储介质
CN112699271A (zh) * 2021-01-08 2021-04-23 北京工业大学 一种提升用户在视频网站留存时间的视频推荐系统方法
CN113377884A (zh) * 2021-07-08 2021-09-10 中央财经大学 基于多智能体增强学习的事件语料库提纯方法
CN113516522A (zh) * 2021-09-14 2021-10-19 腾讯科技（深圳）有限公司 媒体资源推荐方法、多目标融合模型的训练方法及装置
CN113987330A (zh) * 2021-09-16 2022-01-28 湖州师范学院 一种基于多层次潜在特征的个性化推荐模型的构建方法
CN114095381A (zh) * 2021-10-13 2022-02-25 华为技术有限公司 多任务模型训练方法、多任务预测方法及相关产品
CN114092097A (zh) * 2021-11-23 2022-02-25 支付宝(杭州)信息技术有限公司 风险识别模型的训练方法、交易风险确定方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄璐;朱一鹤;张嶷;: "基于加权网络链路预测的新兴技术主题识别研究", 情报学报, no. 04, 24 April 2019 (2019-04-24) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246389A1 (zh) * 2022-06-20 2023-12-28 支付宝(杭州)信息技术有限公司 风控模型的基于知识表征学习的融合训练

Also Published As

Publication number Publication date
WO2023246389A1 (zh) 2023-12-28

Similar Documents

Publication Publication Date Title
Koul et al. Learning finite state representations of recurrent policy networks
CN111310814A (zh) 利用不平衡正负样本对业务预测模型训练的方法及装置
CN111327608B (zh) 基于级联深度神经网络的应用层恶意请求检测方法及系统
WO2023246389A1 (zh) 风控模型的基于知识表征学习的融合训练
Lopes et al. Effective network intrusion detection via representation learning: A Denoising AutoEncoder approach
CN111178504B (zh) 基于深度神经网络的鲁棒压缩模型的信息处理方法及系统
Wang et al. Res-TranBiLSTM: An intelligent approach for intrusion detection in the Internet of Things
CN111767720B (zh) 一种标题生成方法、计算机及可读存储介质
CN115994352B (zh) 防御文本分类模型后门攻击的方法、设备及介质
Hui et al. FoolChecker: A platform to evaluate the robustness of images against adversarial attacks
CN116450839A (zh) 知识增强预训练语言模型知识注入和训练方法及系统
US8150785B2 (en) Multi-modal green computing fusion using problem analytics
CN110990835B (zh) 一种基于样本判定误差的神经网络木马检测方法
Dong et al. A-CAVE: Network abnormal traffic detection algorithm based on variational autoencoder
Hassan et al. Web Phishing Classification Model using Artificial Neural Network and Deep Learning Neural Network
Hirano et al. Implementation of Real Data for Financial Market Simulation Using Clustering, Deep Learning, and Artificial Financial Market
Shahrasbi et al. On Detecting Data Pollution Attacks On Recommender Systems Using Sequential GANs
Pérez-Bravo et al. Encoding generative adversarial networks for defense against image classification attacks
CN111198933A (zh) 搜索目标实体的方法、装置、电子装置及存储介质
Plenk et al. How technology (or distributed ledger technology and algorithms like deep learning and machine learning) can help to comply with regulatory requirements
Sun et al. DeepMC: DNN test sample optimization method jointly guided by misclassification and coverage
Naritomi et al. Stock Market Simulation by Micro-Macro GAN
Xia et al. BP Neural Network Algorithm for Computer Network Security Evaluation
CN117391173A (zh) 面向深度神经网络鲁棒性的剪枝和形式化验证方法
Zhang et al. Mining of Potential Relationships based on the Knowledge Graph of Industrial Control Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination