CN115170334A - 一种反洗钱模型的训练方法及装置 - Google Patents
一种反洗钱模型的训练方法及装置 Download PDFInfo
- Publication number
- CN115170334A CN115170334A CN202210718794.XA CN202210718794A CN115170334A CN 115170334 A CN115170334 A CN 115170334A CN 202210718794 A CN202210718794 A CN 202210718794A CN 115170334 A CN115170334 A CN 115170334A
- Authority
- CN
- China
- Prior art keywords
- money laundering
- data
- model
- customer
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004900 laundering Methods 0.000 title claims abstract description 202
- 238000012549 training Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 46
- 230000007246 mechanism Effects 0.000 claims abstract description 43
- 239000013598 vector Substances 0.000 claims description 46
- 238000000605 extraction Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 24
- 238000011176 pooling Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 238000012512 characterization method Methods 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000012098 association analyses Methods 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
- G06Q40/08—Insurance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Technology Law (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例公开了一种反洗钱模型的训练方法及装置，将收集的客户数据转换为词嵌入，得到第一数据；通过知识图谱的方式表征收集的客户数据，得到知识图谱关系；根据知识图谱关系生成反洗钱张量，得到第二数据；利用第一数据和第二数据训练卷积神经网络模型，得到训练好的反洗钱模型；卷积神经网络模型引入自注意力机制及长短期记忆网络LSTM。本发明实施例中词嵌入能从客户本身的角度对疑似洗钱的操作进行描述，反洗钱张量能描述不同账户之间与反洗钱相关的关系，引入自注意力机制能很好地捕捉到客户各项交易信息之间的长距离依赖关系，引入LSTM能实现客户数据的上下文信息关联，如此训练得到的反洗钱模型能准确识别客户的洗钱风险。
Description
技术领域
本发明涉及模型训练领域，更具体的说，涉及一种反洗钱模型的训练方法及装置。
背景技术
随着社会经济的快速发展，金融机构的业务量呈指数型增长，可疑交易报告数量逐年增长。传统的基于规则引擎的反洗钱监控模型依赖于专家对过去反洗钱工作经验的总结。但近年来，通过复杂金融交易进行洗钱和资金转移的趋势愈加明显。狡猾的犯罪团体往往使用多重身份、大量账号、低频交易、变换交易路径等复杂的方式混于正常交易之中，或通过跨行转账、证券投资、跨境支付、投资贸易等手段掩盖洗钱交易行为。因此，现有的基于规则引擎的反洗钱监控模型需要经常设计和更新规则，十分费时费力，不能准确地识别洗钱风险。
发明内容
有鉴于此，本发明实施例公开一种反洗钱模型的训练方法及装置，以利用训练好的反洗钱模型准确地识别客户的洗钱风险。
本发明实施例提供的技术方案如下：
本发明实施例第一方面提供了一种反洗钱模型的训练方法，所述方法包括：
将收集的客户数据转换为词嵌入，得到第一数据；
通过知识图谱的方式表征所述收集的客户数据，得到第一知识图谱关系；
根据所述第一知识图谱关系生成反洗钱张量，得到第二数据；所述反洗钱张量用于描述不同账户之间的关系；
利用所述第一数据和所述第二数据训练卷积神经网络模型，得到训练好的反洗钱模型；其中，所述卷积神经网络模型引入自注意力机制及长短期记忆网络LSTM；所述反洗钱模型用于识别客户的洗钱风险。
在一种可能的实现方式中，所述卷积神经网络模型包括第一子网络、第二子网络、softmax层，所述利用所述第一数据和所述第二数据训练卷积神经网络模型，得到训练好的反洗钱模型，包括：
利用所述第一子网络对所述第一数据进行特征提取，得到第一特征向量；
利用所述第二子网络对所述第二数据进行特征提取，得到第二特征向量；
将所述第一特征向量和所述第二特征向量输入所述softmax层进行分类识别，输出客户的洗钱风险概率，经过多次迭代优化后得到训练好的反洗钱模型。
在一种可能的实现方式中，所述利用所述第一子网络对所述第一数据进行特征提取，得到第一特征向量，包括：
通过所述第一子网络的卷积层对所述第一数据进行特征提取，得到第一特征；
通过所述第一子网络的池化层对所述第一特征进行特征抽样，得到第二特征；
通过所述第一子网络的全连接层对所述第二特征进行拼接，得到第一特征向量。
在一种可能的实现方式中，所述利用所述第二子网络对所述第二数据进行特征提取，得到第二特征向量，包括：
通过所述第二子网络的卷积层对所述第二数据进行特征提取，得到第三特征；
使用自注意力机制计算所述第三特征的自注意力机制特征；
通过所述第二子网络的长短期记忆网络LSTM层对所述自注意力机制特征进行上下文学习，得到处理后的自注意力机制特征；
通过所述第二子网络的全连接层对所述处理后的自注意力机制特征进行拼接，得到第二特征向量。
在一种可能的实现方式中，所述客户的洗钱风险概率的计算公式为：
p(y|s)＝softmax(w·v*+b*)
其中，所述y∈R，所述y表示客户的洗钱风险标签，所述客户的洗钱风险标签为客户洗钱风险的概率分布，所述s表示客户洗钱风险标签集合，所述softmax表示softmax函数，所述softmax函数为激活函数，所述w表示神经元权重向量，所述v*表示神经元输入值，所述b*表示偏移值；
所述
所述
表示预测的每个客户的洗钱风险概率，所述argmax表示argmax函数，所述argmax函数用于将概率表示的最大类别作为分类结果。
在一种可能的实现方式中，所述方法还包括：
通过如下公式计算客户风险期望：
其中，所述客户风险期望用于判定客户洗钱风险级别；所述x表示第x次交易，所述X表示在预设时间段内总的交易数，所述p(x)表示使用所述反洗钱模型预测的客户的洗钱风险概率。
在一种可能的实现方式中，所述根据所述第一知识图谱关系生成反洗钱张量，包括：
利用图计算算法逐层计算所述第一知识图谱关系中可疑账户与已知犯罪账户间的关联关系；
将所述关联关系转换为反洗钱关系矩阵；
将所有的所述反洗钱关系矩阵合并为所述反洗钱关系张量。
在一种可能的实现方式中，所述卷积神经网络采用三种不同的卷积核进行特征提取。
在一种可能的实现方式中，所述方法还包括：
将待识别的客户数据转换为词嵌入，得到第一输入数据；
通过知识图谱的方式表征所述待识别的客户数据，得到第二知识图谱关系；
根据所述第二知识图谱关系生成反洗钱张量，得到第二输入数据；
将所述第一输入数据和所述第二输入数据输入所述反洗钱模型；
通过所述反洗钱模型识别客户的洗钱风险。
本申请第二方面提供了一种反洗钱模型的训练装置，所述装置包括：
转换单元，用于将收集的客户数据转换为词嵌入，得到第一数据；
表征单元，用于通过知识图谱的方式表征所述收集的客户数据，得到第一知识图谱关系；
生成单元，用于根据所述第一知识图谱关系生成反洗钱张量，得到第二数据；所述反洗钱张量用于描述不同账户之间的关系；
训练单元，用于利用所述第一数据和所述第二数据训练卷积神经网络模型，得到训练好的反洗钱模型；其中，所述卷积神经网络模型引入自注意力机制及长短期记忆网络LSTM；所述反洗钱模型用于识别客户的洗钱风险。
从上述的技术方案可知，本发明实施例公开了一种反洗钱模型的训练方法及装置，将收集的客户数据转换为词嵌入，得到第一数据；通过知识图谱的方式表征收集的客户数据，得到第一知识图谱关系；根据第一知识图谱关系生成反洗钱张量，得到第二数据；利用第一数据和第二数据训练卷积神经网络模型，得到训练好的反洗钱模型；卷积神经网络模型引入自注意力机制及长短期记忆网络LSTM。本发明实施例中词嵌入能从客户本身的角度来对疑似洗钱的操作进行描述，反洗钱张量能描述不同账户之间与反洗钱相关的关系，引入自注意力机制能让模型很好地捕捉到客户各项交易信息之间的长距离依赖关系，引入LSTM能实现客户数据的上下文信息关联，如此训练得到的反洗钱模型能准确识别客户的洗钱风险。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。
图1为本发明实施例公开的一种反洗钱模型的训练方法的流程图；
图2为本发明实施例公开的一种反洗钱关系矩阵；
图3为本发明实施例公开的一种反洗钱关系张量；
图4为本发明实施例公开的一种预设卷积神经网络模型的总体框架图；
图5为本发明实施例公开的一种注意力计算的流程图；
图6为本发明实施例公开的一种构建反洗钱模型的流程图；
图7为本发明实施例公开的一种反洗钱模型的训练装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种反洗钱模型的训练方法及装置，将收集的客户数据转换为词嵌入，得到第一数据；通过知识图谱的方式表征收集的客户数据，得到第一知识图谱关系；根据第一知识图谱关系生成反洗钱张量，得到第二数据；利用第一数据和第二数据训练卷积神经网络模型，得到训练好的反洗钱模型；卷积神经网络模型引入自注意力机制及长短期记忆网络LSTM。本发明实施例中词嵌入能从客户本身的角度来对疑似洗钱的操作进行描述，反洗钱张量能描述不同账户之间与反洗钱相关的关系，引入自注意力机制能让模型很好地捕捉到客户各项交易信息之间的长距离依赖关系，引入LSTM能实现客户数据的上下文信息关联，如此训练得到的反洗钱模型能准确识别客户的洗钱风险。
参见图1，本发明实施例公开的一种反洗钱模型的训练方法的流程图，该方法包括：
步骤S101、将收集的客户数据转换为词嵌入，得到第一数据；
需要说明的是，本发明实施例中收集的客户数据包括银行提供的客户信息和政府相关部门提供的相关名单。客户信息包括客户基本信息，客户账号交易记录和可疑交易信息。相关名单包括政府部门提供的监控黑名单和白名单，高风险地区列表，以及银行内部设置的客户白名单和黑名单。本发明实施例中的客户数据具有覆盖面广、时效性强等特点，如此后续通过该客户数据训练得到的反洗钱模型能准确识别个体洗钱风险。
需要说明的是。本发明实施例中可以使用word2vec方式将客户数据转换为词嵌入。在词向量空间中，相近词的欧式余弦距离是相近的。
是客户数据中第i个词相对应的k维向量，长度为n的客户数据可以表示为：
其中，
是连接运算符。
步骤S102、通过知识图谱的方式表征所述收集的客户数据，得到第一知识图谱关系；
可以理解的是，知识图谱在穿透、关联和传导方面具有天然优势，尤其适用于利用多重身份、关联交易、跨行跨境转账等手段进行资金流转的反洗钱手段识别和犯罪团伙追踪。本发明实施例中通过知识图谱的方式表征客户数据，具体可以将客户身份数据、行为数据、交易数据及其他外部数据通过知识图谱的方式进行表征，深度梳理和可视化呈现复杂的客户关系特征网络和资金交易流转结构，得到客户数据对应的知识图谱关系。
步骤S103、根据所述第一知识图谱关系生成反洗钱张量，得到第二数据；所述反洗钱张量用于描述不同账户之间的关系；
本发明实施例中，上述步骤S103，包括：
步骤S1031、利用图计算算法逐层计算所述第一知识图谱关系中可疑账户与已知犯罪账户间的关联关系；
需要说明的是，图计算算法可以包括聚类分析、关联分析、碰撞分析等，具体不做限定。可疑账户与已知犯罪账户间的关联关系指的是例如号码共用、同时出入某场所等等以往可能忽略的风险，具体不做限定。
步骤S1032、将所述关联关系转换为反洗钱关系矩阵；
参见图2，为本发明实施例中公开的一种反洗钱关系矩阵。假设可疑账户a和已知犯罪账户b和d之间存在着号码共用的关系，则相对应的矩阵元素设置为1，否则为0。
步骤S1033、将所有的所述反洗钱关系矩阵合并为所述反洗钱关系张量。
参见图3，为本发明实施例中公开的一种反洗钱关系张量。本发明实施例中会针对关系r2,r3……rn,构建多个关系矩阵，最后，将所有的关系矩阵合并为反洗钱关系张量R，即多维矩阵。如此将反洗钱关系张量作为卷积神经网络模型的训练数据，能赋予模型先验的知识，大大提高识别的准确率。
步骤S104、利用所述第一数据和所述第二数据训练卷积神经网络模型，得到训练好的反洗钱模型；其中，所述卷积神经网络模型引入自注意力机制及长短期记忆网络LSTM；所述反洗钱模型用于识别客户的洗钱风险。
需要说明的是，自注意力机制是基于人类的视觉注意力，人们视觉在感知东西的时候一般不会是一个场景从到头看到尾每次全部都看，而往往是根据需求观察注意特定的一部分。而且当人们发现一个场景经常在某部分出现自己想观察的东西时，人们会进行学习在将来再出现类似场景时把注意力放到该部分上。自注意力机制就是根据这个特点，基于我们的目标，给强特征给予更大的权重，而弱特征给予较小权重，甚至0权重。
需要说明的是，长短期记忆网络(LSTM，Long-Short Term Memory)是一种特殊的递归神经网络(RNN，Recurrent Neutral Network)，主要是为了解决长序列训练过程中梯度消失和梯度爆炸问题。
可以理解的是，本发明实施例在客户交易信息子网络中，由于客户各项交易信息之间是有着一定的关联的，而传统的神经网络结构没有办法对此关联进行刻画，通过引入自注意力机制，能够让模型很好地捕捉到客户各项交易信息之间的长距离依赖关系，使用LSTM可以实现客户数据的上下文信息关联，从而提高模型的性能。
需要说明的是，本发明实施例中的卷积神经网络模型可以采用三种不同尺寸的卷积核进行特征提取，如此可以有效的提取数据文本的局部特征，克服了卷积神经网络因为固定的卷积核尺寸导致提取的局部特征信息粒度固定的问题。
本发明实施例公开了一种反洗钱模型的训练方法，将收集的客户数据转换为词嵌入，得到第一数据；通过知识图谱的方式表征收集的客户数据，得到第一知识图谱关系；根据第一知识图谱关系生成反洗钱张量，得到第二数据；利用第一数据和第二数据训练卷积神经网络模型，得到训练好的反洗钱模型；卷积神经网络模型引入自注意力机制及长短期记忆网络LSTM。本发明实施例中词嵌入能从客户本身的角度来对疑似洗钱的操作进行描述，反洗钱张量能描述不同账户之间与反洗钱相关的关系，引入自注意力机制能让模型很好地捕捉到客户各项交易信息之间的长距离依赖关系，引入LSTM能实现客户数据的上下文信息关联，如此训练得到的反洗钱模型能准确识别客户的洗钱风险。
参见图4，为本发明实施例中公开的一种卷积神经网络模型的总体框架图，该卷积神经网络模型包括第一子网络、第二子网络、softmax层、输入层。第一子网络包括卷积层、池化层、全连接层，第二子网络包括卷积层、自注意力机制、LSTM层、全连接层。
为了进一步优化上述实施例，本发明实施例的反洗钱模型的训练方法中，卷积神经网络模型包括第一子网络、第二子网络、softmax层，上述步骤S104具体包括：
步骤S1041、利用所述第一子网络对所述第一数据进行特征提取，得到第一特征向量；
需要说明的是，本发明实施例中，上述步骤S1041，具体包括：
步骤S10411、通过所述第一子网络的卷积层对所述第一数据进行特征提取，得到第一特征；
步骤S10412、通过所述第一子网络的池化层对所述第一特征进行特征抽样，得到第二特征；
步骤S10413、通过所述第一子网络的全连接层对所述第二特征进行拼接，得到第一特征向量。
需要说明的是，本发明实施例中将反洗钱张量看作是图像来进行处理，有n个关系，对应就有n个通道(channel)，使用卷积神经网络对数据进行处理，可以大大降低模型的参数量，从而提高泛化性能。
需要说明的是，本发明实施例中的第一子网络可以包括第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层。本发明实施例中可以通过第一卷积层对第一训练数据进行特征提取，得到特征1，通过第一池化层对特征1进行特征抽样，得到特征2；通过第二卷积层对特征2进行特征提取，得到特征3，通过第二池化层对特征3进行特征抽样，得到特征4；通过第三卷积层对特征4进行特征提取，得到特征5，通过第二池化层对特征5进行特征抽样，得到特征6；通过全连接层对特征6进行拼接，得到利用第一子网络学习到的特征向量。需要说明的是，上述的第一子网络的具体结构是示例性说明，不应理解为对本发明的限制。
步骤S1042、利用所述第二子网络对所述第二数据进行特征提取，得到第二特征向量；
需要说明的是，本发明实施例中，上述步骤S1042，具体包括：
步骤S10421、通过所述第二子网络的卷积层对所述第二数据进行特征提取，得到第三特征；
需要说明的是，本发明实施例中使用三种尺寸的卷积核用来特征提取，并使用ReLu激活函数进行激活。xi:i+j表示为单词xi,xi+1,...,xi+j的串联，词向量经过卷积核
后得到新的特征。如词xi:i+h-1经过三种不同尺寸的卷积核之后产生的新的特征可以表示为如下：
其中
是偏置项，它是一个双曲正切非线性函数。每种卷积滤波器对客户信息数据{x1:h,x2:h+1,…,xn-h+1:n}进行卷积之后产生的特征矩阵为：
步骤S10422、使用自注意力机制计算所述第三特征的自注意力机制特征；
参见图5，为本发明实施例公开的一种注意力计算的流程图。本发明实施例中在计算注意力(attention)时主要分为三步，第一步是将query和每个key进行相似度计算得到权重S，常用的相似度函数有点积，拼接，感知机等；第二步是使用一个softmax函数对这些权重进行归一化，得到归一化后的权重a；第三步是将归一化后的权重a和相应的键值value进行加权求和得到最后的attention。
注意力的计算公式，具体如下：
Similarity(Query,Keyi)＝Query·Keyi
其中，Similarity表示相似度函数，simi表示权重，ai表示归一化后的权重，Lx表示key值总个数，Value表示键值。
步骤S10423、通过所述第二子网络的长短期记忆网络LSTM层对所述自注意力机制特征进行上下文学习，得到处理后的自注意力机制特征；
需要说明的是，传统的卷积神经网络只能提取固定粒度的局部特征，这样就忽略了客户信息数据的前后关联性，使用LSTM可以获取客户数据信息的上下文信息。LSTM提取层对来自于上一层卷积操作提取的特征向量来进行客户数据信息的上下文学习。LSTM设置了输入门i、遗忘门f、输出门o和内部记忆状态c，具体的计算公式如下：
it＝σ(W(i)xt+U(i)ct-1)
ft＝σ(W(f)xt+U(f)ct-1)
ot＝σ(W(o)xt+U(o)ct-1)
其中，其中σ表示sigmoid激活函数，tanh表示tanh激活函数，W和U表示神经络的权重，xt表示当前时刻t的输入。
输入门i控制当前计算的新状态以多大的程度更新到记忆状态中；遗忘门f控制当前一步记忆状态中的信息有多大程度被遗忘；记忆状态c间的状态转移由输入门和遗忘门共同决定；输出门o控制当前的输出有多大程度取决于当前的记忆状态。
步骤S10423、通过所述第二子网络的全连接层对所述处理后的自注意力机制特征进行拼接，得到第二特征向量。
需要说明的是，本发明实施例中进行整合拼接后，会引入dropout层防止训练过拟合。
步骤S1043、将所述第一特征向量和所述第二特征向量输入所述softmax层进行分类识别，输出客户的洗钱风险概率，经过多次迭代优化后得到训练好的反洗钱模型。
需要说明的是，本发明实施例中将第一特征向量和第二特征向量输入softmax层，实现将第一特征向量和第二特征向量映射到样本标记空间进行分类识别。
需要说明的是，所述客户的洗钱风险概率的计算公式为：
p(y|s)＝softmax(w·v*+b*)
其中，所述y∈R，所述y表示客户的洗钱风险标签，所述客户的洗钱风险标签为客户洗钱风险的概率分布，所述s表示客户洗钱风险标签集合，所述softmax表示softmax函数，所述softmax函数为激活函数，所述w表示神经元权重向量，所述v*表示神经元输入值，所述b*表示偏移值；
所述
所述
表示预测的每个客户的洗钱风险概率，所述argmax表示argmax函数，所述argmax函数用于将概率表示的最大类别作为分类结果。
本发明实施例中，预设卷积神经网络模型采用三种不同尺寸的卷积核进行特征提取，如此可以有效的提取数据文本的局部特征，克服了卷积神经网络因为固定的卷积核尺寸导致提取的局部特征信息粒度固定的问题。而且，通过引入自注意力机制，能够让模型很好地捕捉到客户各项交易信息之间的长距离依赖关系，通过引入LSTM可以实现客户数据的上下文信息关联，从而能提高训练得到的反洗钱监控模型的识别准确性。
为了进一步优化上述实施例，本发明实施例中反洗钱模型的训练方法，还包括：
通过如下公式计算客户风险期望：
其中，所述客户风险期望用于判定客户洗钱风险级别；所述x表示第x次交易，所述X表示在预设时间段内总的交易数，所述p(x)表示使用所述反洗钱模型预测的客户的洗钱风险概率。
需要说明的是，根据银行客户的单次交易来判断客户的风险性没有参照物可以对比，误判率高，在发明实施例中使用客户的多次离散交易来判断客户的风险性，增加了参照物，充分使用了上下文信息，增强了模型的鲁棒性。本发明实施例中是通过信息熵方法计算客户风险期望，客户的洗钱风险概率越低，期望越高；客户的洗钱风险概率越高，期望越低。
本发明实施例是采用信息熵方法计算客户风险期望，如此可以计算出一段时间内某客户的风险指数，并判断客户洗钱风险级别，能进一步提高了洗钱风险识别的准确性。
为了进一步优化上述实施例，本发明实施例中反洗钱模型的训练方法，还包括：
步骤S201、将待识别的客户数据转换为词嵌入，得到第一输入数据；
步骤S202、通过知识图谱的方式表征所述待识别的客户数据，得到第二知识图谱关系；
步骤S203、根据所述第二知识图谱关系生成反洗钱张量，得到第二输入数据；
步骤S204、将所述第一输入数据和所述第二输入数据输入所述反洗钱模型；
步骤S205、通过所述反洗钱模型识别客户的洗钱风险。
本发明实施例中，利用训练好的反洗钱模型识别待识别的客户数据，可以有效、快速识别个体洗钱风险。而且，针对剧增的业务量问题，可以实时准确识别洗钱风险。
参见图6，为本发明实施例公开的一种构建反洗钱模型的流程图。
数据集准备。数据集包括银行提供的客户信息和政府相关部门提供的相关名单。客户信息包括客户基本信息，客户账号交易记录和可疑交易信息。名单包括政府部门提供的监控黑名单和白名单，高风险地区列表，以及银行内部设置的客户白名单和黑名单。该数据集具有覆盖面广、时效性强等特点。
数据融合。数据融合包括数据层融合和语义层融合。由于数据来源种类不同，数据结构差异相差比较大，使用Dasarathy信息融合模型，进行多源异构数据融合。语义层融合主要实现语义分析。将融合后的数据进行人工标注，实现对数据的语义分析与处理。
词向量映射。使用word2vec方式将词映射到K维空间，在词向量空间中，相近词的欧式余弦距离是相近的。
构建基于自注意力机制和知识图谱关系的反洗钱监控模型。经过前面三个步骤，完成了数据集准备和数据预处理工作，然后通过深度学习模型进行训练，优化直至最后得到的模型能够准确地判别一个客户是否具有洗钱风险。
风险指数。提出风险指数的概念，是指在一段时间内的客户风险期望。后续对风险指数和客户洗钱风险的关系进行分析，得出客户的风险程度。
需要说明的是，本发明实施例中得到标注后的数据，会将标注后的数据分为训练集和测试集两部分；然后使用word2vec方式转换测试集和训练集，将词映射到K维空间，得到词向量。之后可以利用测试集对应的词向量训练卷积神经网络模型，直至损失函数值不再减小或达到设置的最大迭代次数时停止训练，获得训练好的卷积神经网络模型；再利用测试集对应的词向量对训练好的卷积神经网络模型进行测试，若卷积神经网络模型输出的对测试集的识别准确率大于等于预设值，例如95％，该预设值不做具体限定，则将训练好的卷积神经网络模型作为最终的反洗钱模型用于识别客户风险；若卷积神经网络模型输出的对测试集的识别准确率小于预设值，则调整卷积神经网络模型的模型参数，重复执行训练过程，直至卷积神经网络模型输出的对测试集的识别准确率大于等于预设值，获得最终的反洗钱模型。
参见图7，本发明实施例公开的一种反洗钱模型的训练装置的结构示意图，该装置包括：
转换单元701，用于将收集的客户数据转换为词嵌入，得到第一数据；
表征单元702，用于通过知识图谱的方式表征所述收集的客户数据，得到第一知识图谱关系；
生成单元703，用于根据所述第一知识图谱关系生成反洗钱张量，得到第二数据；所述反洗钱张量用于描述不同账户之间的关系；
训练单元704，用于利用所述第一数据和所述第二数据训练卷积神经网络模型，得到训练好的反洗钱模型；其中，所述卷积神经网络模型引入自注意力机制及长短期记忆网络LSTM；所述反洗钱模型用于识别客户的洗钱风险。
本发明实施例公开了一种反洗钱模型的训练装置，将收集的客户数据转换为词嵌入，得到第一数据；通过知识图谱的方式表征收集的客户数据，得到第一知识图谱关系；根据第一知识图谱关系生成反洗钱张量，得到第二数据；利用第一数据和第二数据训练卷积神经网络模型，得到训练好的反洗钱模型；卷积神经网络模型引入自注意力机制及长短期记忆网络LSTM。本发明实施例中词嵌入能从客户本身的角度来对疑似洗钱的操作进行描述，反洗钱张量能描述不同账户之间与反洗钱相关的关系，引入自注意力机制能让模型很好地捕捉到客户各项交易信息之间的长距离依赖关系，引入LSTM能实现客户数据的上下文信息关联，如此训练得到的反洗钱模型能准确识别客户的洗钱风险。
为了进一步优化上述实施例，所述卷积神经网络模型包括第一子网络、第二子网络、softmax层，本发明实施例中反洗钱模型的训练装置，训练单元704，具体包括：
第一特征提取单元，用于利用所述第一子网络对所述第一数据进行特征提取，得到第一特征向量；
第二特征提取单元，用于提取利用所述第二子网络对所述第二数据进行特征提取，得到第二特征向量；
训练子单元，用于将所述第一特征向量和所述第二特征向量输入所述softmax层进行分类识别，输出客户的洗钱风险概率，经过多次迭代优化后得到训练好的反洗钱模型。
为了进一步优化上述实施例，本发明实施例中反洗钱模型的训练装置，第一特征提取单元，具体包括：
第一特征提取子单元，用于通过所述第一子网络的卷积层对所述第一数据进行特征提取，得到第一特征；
第二特征提取子单元，用于通过所述第一子网络的池化层对所述第一特征进行特征抽样，得到第二特征；
第一拼接单元，用于通过所述第一子网络的全连接层对所述第二特征进行拼接，得到第一特征向量。
为了进一步优化上述实施例，本发明实施例中反洗钱模型的训练装置，第二特征提取单元，具体包括：
第三特征提取子单元，用于通过所述第二子网络的卷积层对所述第二数据进行特征提取，得到第三特征；
自注意力机制单元，用于使用自注意力机制计算所述第三特征的自注意力机制特征；
上下文学习单元，用于通过所述第二子网络的长短期记忆网络LSTM层对所述自注意力机制特征进行上下文学习，得到处理后的自注意力机制特征；
第二拼接单元，用于通过所述第二子网络的全连接层对所述处理后的自注意力机制特征进行拼接，得到第二特征向量。
为了进一步优化上述实施例，本发明实施例中反洗钱模型的训练装置，所述客户的洗钱风险概率的计算公式为：
p(y|s)＝softmax(w·v*+b*)
其中，所述y∈R，所述y表示客户的洗钱风险标签，所述客户的洗钱风险标签为客户洗钱风险的概率分布，所述s表示客户洗钱风险标签集合，所述softmax表示softmax函数，所述softmax函数为激活函数，所述w表示神经元权重向量，所述v*表示神经元输入值，所述b*表示偏移值；
所述
所述
表示预测的每个客户的洗钱风险概率，所述argmax表示argmax函数，所述argmax函数用于将概率表示的最大类别作为分类结果。
为了进一步优化上述实施例，本发明实施例中反洗钱模型的训练装置，还包括：
第一计算单元，用于通过如下公式计算客户风险期望：
其中，所述客户风险期望用于判定客户洗钱风险级别；所述x表示第x次交易，所述X表示在预设时间段内总的交易数，所述p(x)表示使用所述反洗钱模型预测的客户的洗钱风险概率。
为了进一步优化上述实施例，本发明实施例中反洗钱模型的训练装置，生成单元703，具体包括：
第二计算单元，用于利用图计算算法逐层计算所述第一知识图谱关系中可疑账户与已知犯罪账户间的关联关系；
转换子单元，用于将所述关联关系转换为反洗钱关系矩阵；
合并单元，用于将所有的所述反洗钱关系矩阵合并为所述反洗钱关系张量。
为了进一步优化上述实施例，本发明实施例中反洗钱模型的训练装置，所述卷积神经网络采用三种不同的卷积核进行特征提取。
为了进一步优化上述实施例，本发明实施例中反洗钱模型的训练装置，还包括：
转换单元，还用于将待识别的客户数据转换为词嵌入，得到第一输入数据；
表征单元，还用于通过知识图谱的方式表征所述待识别的客户数据，得到第二知识图谱关系；
生成单元，还用于根据所述第二知识图谱关系生成反洗钱张量，得到第二输入数据；
输入单元，用于将所述第一输入数据和所述第二输入数据输入所述反洗钱模型；
识别单元，用于通过所述反洗钱模型识别客户的洗钱风险。
需要说明的是，装置实施例中各组成部分的具体工作原理请参见方法实施例对应部分，此处不再赘述。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种反洗钱模型的训练方法，其特征在于，所述方法包括：
将收集的客户数据转换为词嵌入，得到第一数据；
通过知识图谱的方式表征所述收集的客户数据，得到第一知识图谱关系；
根据所述第一知识图谱关系生成反洗钱张量，得到第二数据；所述反洗钱张量用于描述不同账户之间的关系；
利用所述第一数据和所述第二数据训练卷积神经网络模型，得到训练好的反洗钱模型；其中，所述卷积神经网络模型引入自注意力机制及长短期记忆网络LSTM；所述反洗钱模型用于识别客户的洗钱风险。
2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络模型包括第一子网络、第二子网络、softmax层，所述利用所述第一数据和所述第二数据训练卷积神经网络模型，得到训练好的反洗钱模型，包括：
利用所述第一子网络对所述第一数据进行特征提取，得到第一特征向量；
利用所述第二子网络对所述第二数据进行特征提取，得到第二特征向量；
将所述第一特征向量和所述第二特征向量输入所述softmax层进行分类识别，输出客户的洗钱风险概率，经过多次迭代优化后得到训练好的反洗钱模型。
3.根据权利要求2所述的方法，其特征在于，所述利用所述第一子网络对所述第一数据进行特征提取，得到第一特征向量，包括：
通过所述第一子网络的卷积层对所述第一数据进行特征提取，得到第一特征；
通过所述第一子网络的池化层对所述第一特征进行特征抽样，得到第二特征；
通过所述第一子网络的全连接层对所述第二特征进行拼接，得到第一特征向量。
4.根据权利要求2所述的方法，其特征在于，所述利用所述第二子网络对所述第二数据进行特征提取，得到第二特征向量，包括：
通过所述第二子网络的卷积层对所述第二数据进行特征提取，得到第三特征；
使用自注意力机制计算所述第三特征的自注意力机制特征；
通过所述第二子网络的长短期记忆网络LSTM层对所述自注意力机制特征进行上下文学习，得到处理后的自注意力机制特征；
通过所述第二子网络的全连接层对所述处理后的自注意力机制特征进行拼接，得到第二特征向量。
5.根据权利要求2所述的方法，其特征在于，所述客户的洗钱风险概率的计算公式为：
p(y|s)＝softmax(w·v*+b*)
其中，所述y∈R，所述y表示客户的洗钱风险标签，所述客户的洗钱风险标签为客户洗钱风险的概率分布，所述s表示客户洗钱风险标签集合，所述softmax表示softmax函数，所述softmax函数为激活函数，所述w表示神经元权重向量，所述v*表示神经元输入值，所述b*表示偏移值；
所述
所述
表示预测的每个客户的洗钱风险概率，所述argmax表示argmax函数，所述argmax函数用于将概率表示的最大类别作为分类结果。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
通过如下公式计算客户风险期望：
其中，所述客户风险期望用于判定客户洗钱风险级别；所述x表示第x次交易，所述X表示在预设时间段内总的交易数，所述p(x)表示使用所述反洗钱模型预测的客户的洗钱风险概率。
7.根据权利要求1所述的方法，其特征在于，所述根据所述第一知识图谱关系生成反洗钱张量，包括：
利用图计算算法逐层计算所述第一知识图谱关系中可疑账户与已知犯罪账户间的关联关系；
将所述关联关系转换为反洗钱关系矩阵；
将所有的所述反洗钱关系矩阵合并为所述反洗钱关系张量。
8.根据权利要求1所述的方法，其特征在于，所述卷积神经网络采用三种不同的卷积核进行特征提取。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将待识别的客户数据转换为词嵌入，得到第一输入数据；
通过知识图谱的方式表征所述待识别的客户数据，得到第二知识图谱关系；
根据所述第二知识图谱关系生成反洗钱张量，得到第二输入数据；
将所述第一输入数据和所述第二输入数据输入所述反洗钱模型；
通过所述反洗钱模型识别客户的洗钱风险。
10.一种反洗钱模型的训练装置，其特征在于，所述装置包括：
转换单元，用于将收集的客户数据转换为词嵌入，得到第一数据；
表征单元，用于通过知识图谱的方式表征所述收集的客户数据，得到第一知识图谱关系；
生成单元，用于根据所述第一知识图谱关系生成反洗钱张量，得到第二数据；所述反洗钱张量用于描述不同账户之间的关系；
训练单元，用于利用所述第一数据和所述第二数据训练卷积神经网络模型，得到训练好的反洗钱模型；其中，所述卷积神经网络模型引入自注意力机制及长短期记忆网络LSTM；所述反洗钱模型用于识别客户的洗钱风险。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210718794.XA CN115170334A (zh) | 2022-06-23 | 2022-06-23 | 一种反洗钱模型的训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210718794.XA CN115170334A (zh) | 2022-06-23 | 2022-06-23 | 一种反洗钱模型的训练方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115170334A true CN115170334A (zh) | 2022-10-11 |
Family
ID=83487812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210718794.XA Pending CN115170334A (zh) | 2022-06-23 | 2022-06-23 | 一种反洗钱模型的训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115170334A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117273941A (zh) * | 2023-11-16 | 2023-12-22 | 环球数科集团有限公司 | 一种用于跨域支付反洗钱风控模型训练系统 |
-
2022
- 2022-06-23 CN CN202210718794.XA patent/CN115170334A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117273941A (zh) * | 2023-11-16 | 2023-12-22 | 环球数科集团有限公司 | 一种用于跨域支付反洗钱风控模型训练系统 |
| CN117273941B (zh) * | 2023-11-16 | 2024-01-30 | 环球数科集团有限公司 | 一种用于跨域支付反洗钱风控模型训练系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Selvaraju et al. | Grad-CAM: visual explanations from deep networks via gradient-based localization | |
| Tang et al. | A pruning neural network model in credit classification analysis | |
| Gong et al. | Change detection in synthetic aperture radar images based on deep neural networks | |
| Parcham et al. | CBCapsNet: A novel writer-independent offline signature verification model using a CNN-based architecture and capsule neural networks | |
| CN113011357B (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
| Zhang et al. | Using gaussian distribution to construct fitness functions in genetic programming for multiclass object classification | |
| CN113269647B (zh) | 基于图的交易异常关联用户检测方法 | |
| CN113283909B (zh) | 一种基于深度学习的以太坊钓鱼账户检测方法 | |
| CN109903053B (zh) | 一种基于传感器数据进行行为识别的反欺诈方法 | |
| Liu et al. | Ground-based remote sensing cloud classification via context graph attention network | |
| CN116843400A (zh) | 基于图表示学习的区块链碳排放交易异常检测方法和装置 | |
| CN115801374A (zh) | 网络入侵数据分类方法、装置、电子设备及存储介质 | |
| CN113962614A (zh) | 一种上市公司经营异常智能审查方法及装置 | |
| Mondal et al. | Secure and hassle-free EVM through deep learning based face recognition | |
| CN116842467A (zh) | 基于双向门控卷积神经网络的网络流量异常检测分类方法 | |
| CN115170334A (zh) | 一种反洗钱模型的训练方法及装置 | |
| CN111144453A (zh) | 构建多模型融合计算模型的方法及设备、网站数据识别方法及设备 | |
| Fakiha | Forensic Credit Card Fraud Detection Using Deep Neural Network | |
| Shinde et al. | Feedforward back propagation neural network (FFBPNN) based approach for the identification of handwritten math equations | |
| CN116245645A (zh) | 一种基于图神经网络的金融类罪团伙检测方法 | |
| CN116595486A (zh) | 风险识别方法、训练风险识别模型的方法及对应装置 | |
| CN110705638A (zh) | 一种利用深度网络学习模糊信息特征技术的信用评级预测分类方法 | |
| CN114332986B (zh) | 一种基于子空间学习的小样本人脸识别方法 | |
| CN115604025A (zh) | 一种基于pli4da的网络入侵检测方法 | |
| CN117217929A (zh) | 注册对象风险识别方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |