CN111967565A - 用于进行风险评估的神经网络系统、方法及装置 - Google Patents

Abstract

本说明书实施例提供一种适用于在多方隐私保护下进行风险评估的神经网络系统，包括：适用于多方分布式部署的第一神经网络模型和第二神经网络模型；其中第一神经网络模型包括对应于第一用户的N个属性字段的N个子模型，用于获取对应的属性字段在T个操作事件的T个字段值，对其分别进行编码，得到T个特征向量，再对该T个特征向量进行第一向量组合，得到该属性字段对应的属性嵌入向量，其中第一向量组合包括涉及K个特征向量相乘的K阶向量间组合运算，K＞=2；第二神经网络模型用于，对该N个子模型输出的N个属性嵌入向量进行第二向量组合，得到该第一事件序列对应的第一嵌入向量，进而基于该第一嵌入向量确定与该第一用户相关的风险评估结果。

Description

用于进行风险评估的神经网络系统、方法及装置

技术领域

本说明书一个或多个实施例涉及人工智能和机器学习领域，尤其涉及利用神经网络系统进行风险评估的方法和装置。

背景技术

随着计算机网络的快速发展，网络安全问题日益突出。存在多种高风险操作行为，例如盗取账户、流量攻击、欺诈交易等等，有可能威胁网络安全或用户信息安全。出于网络安全和风险防控的考虑，在许多场景下，需要对用户风险类型、用户操作行为或操作事件等进行分析和处理，评估与用户相关的风险程度，以便进行风险防控。

为了评估与用户相关的风险度，可以基于与用户相关的某项操作行为本身的特征进行分析。进一步地，还可以更全面地考虑用户的行为序列。行为序列是用户在日常操作使用中产生的一系列点击、访问、购买等事件的发生过程，可表示为事件集合的时间序列，它蕴含了用户的细粒度习惯偏好等特点，便于更全面地分析用户的操作历史和操作模式。然而，不管是操作事件还是行为序列数据，目前在进行特征刻画时往往是基于对交易的属性冲突、变异等行为特征进行刻画。但这种方式在一定程度上容易造成风险的漏放，比如恶意使用者如果有意的避开行为的聚集，使得累计变量的聚集性描述作用降低，那么风险识别能力将大打折扣。

此外，虽然可以从不同的风险模块来刻画不同种类风险，但是这些风险刻画标签往往依赖于在案件分析时发现的属性聚集，而这一部分往往比较偏人工分析。然而，可以理解，在人工分析阶段严重依赖于人工的业务经验和效率。当业务经验不够完善的时候，人工选取的特征很可能不够全面或不够具有代表性，使得基于特征的事件分析准确性不够高。并且，人工分析存在安全性泄露的风险。一旦选取特征的方式被泄露，恶意使用者就会采取相应的规避策略，有意避开选取的特征进行其他方式的攻击。

因此，希望能有改进的方案，更为准确有效地对与用户相关的风险进行风险度分析，以便于进行风险防控。

发明内容

本说明书一个或多个实施例描述了用于进行风险评估的神经网络系统、方法及装置，可以感知不同时刻属性字段的变化，从属性字段的变化中预测风险，从而更准确地确定与用户相关的风险评估结果。

根据第一方面，提供了一种用于进行风险评估的神经网络系统，包括：输入层，用于获取第一事件序列，所述第一事件序列包括按照时间顺序依次排列的第一用户的T个操作事件，每个操作事件对应N个属性字段；编码层，用于针对所述N个属性字段中的各个属性字段，对该属性字段对应所述T个操作事件的T个字段值分别进行编码，得到T个特征向量；第一组合层，用于对所述T个特征向量进行第一向量组合，得到该属性字段对应的属性嵌入向量，其中第一向量组合包括涉及K个特征向量相乘的K阶向量间组合运算，其中K＞=2；第一嵌入层，用于对所述N个属性字段对应的N个属性嵌入向量进行第二向量组合，得到所述第一事件序列对应的第一嵌入向量；全连接处理层，用于对所述第一嵌入向量进行处理，得到处理向量；输出层，用于根据所述处理向量，确定与所述第一用户相关的风险评估结果。

根据第二方面，提供了一种适用于在多方隐私保护下进行风险评估的神经网络系统，包括：适用于多方分布式部署的第一神经网络模型和第二神经网络模型；所述第一神经网络模型包括对应于第一用户的N个属性字段的N个子模型，N个子模型用于，获取对应的属性字段在T个操作事件的T个字段值，对其分别进行编码，得到T个特征向量，再对该T个特征向量进行第一向量组合，得到该属性字段对应的属性嵌入向量；其中第一向量组合包括涉及K个特征向量相乘的K阶向量间组合运算，其中K＞=2；所述第二神经网络模型用于，对所述N个子模型输出的N个属性嵌入向量进行第二向量组合，得到所述第一事件序列对应的第一嵌入向量，进而基于该第一嵌入向量确定与所述第一用户相关的风险评估结果。

根据第三方面，提高一种通过神经网络系统进行风险评估的方法，包括：获取第一事件序列，所述第一事件序列包括按照时间顺序依次排列的第一用户的T个操作事件，每个操作事件对应N个属性字段；针对所述N个属性字段中的各个属性字段，对该属性字段对应所述T个操作事件的T个字段值分别进行编码，得到T个特征向量；对所述T个特征向量进行第一向量组合，得到该属性字段对应的属性嵌入向量，其中第一向量组合包括涉及K个特征向量相乘的K阶向量间组合运算，其中K＞=2；对所述N个属性字段对应的N个属性嵌入向量进行第二向量组合，得到所述第一事件序列对应的第一嵌入向量；对所述第一嵌入向量进行处理，得到处理向量；根据所述处理向量，确定与所述第一用户相关的风险评估结果。

根据第四方面，提供一种在多方隐私保护下通过神经网络系统进行风险评估的方法，其中，所述神经网络系统包括适用于多方分布式部署的第一神经网络模型和第二神经网络模型，所述第一神经网络模型包括对应于第一用户的N个属性字段的N个子模型；所述方法包括：利用所述N个子模型，获取对应的属性字段在T个操作事件的T个字段值，对其分别进行编码，得到T个特征向量，再对该T个特征向量进行第一向量组合，得到该属性字段对应的属性嵌入向量；其中第一向量组合包括涉及K个特征向量相乘的K阶向量间组合运算，其中K＞=2；利用所述第二神经网络对所述N个子模型输出的N个属性嵌入向量进行第二向量组合，得到所述第一事件序列对应的第一嵌入向量，进而基于该第一嵌入向量确定与所述第一用户相关的风险评估结果。

根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第三方面或第四方面的方法。

根据第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第三方面或第四方面的方法。

根据本说明书实施例提供的神经网络系统和方法，通过神经网络系统，基于事件序列中各个事件的全面的属性信息自动地进行特征提取和组合，并基于组合后的向量进行与用户相关的风险度评估。特别是，通过神经网络系统中的第一组合层，对事件序列中各事件的属性信息进行跨事件的高阶向量间组合运算，使得得到的嵌入向量可以更好地刻画事件和事件序列的特点，提高风险评估准确性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本说明书披露的一个实施例的实施场景示意图；

图2示出根据一个实施例的神经网络系统的结构示意图；

图3示出根据另一个实施例的神经网络系统的结构示意图；

图4示出根据又一个实施例的神经网络系统的结构示意图；

图5示出根据还一个实施例的神经网络系统的结构示意图；

图6为本说明书披露的一个实施例的实施场景示意图；

图7示出根据一个实施例的通过神经网络系统进行风险评估的方法流程图；

图8示出根据一个实施例的在多方隐私保护下通过神经网络系统进行风险评估的方法流程图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

图1为本说明书披露的一个实施例的实施场景示意图。如图1所示，为了进行与用户相关的风险评估，比如，对该用户进行评估，或者，对该用户的当前操作事件进行评估，获取该用户的多个操作事件构成的一个事件序列，获取事件序列中各个事件的全面的属性信息。

然后，将事件序列中各个事件的属性信息输入预先训练的神经网络模型。该神经网络模型基于输入的属性信息进行特征提取和特征组合，得到特征表示向量，并基于特征表示向量得到对当前操作事件的风险评估结果。以上过程中，将尽可能全面的属性信息输入到神经网络系统，由神经网络系统进行特征提取和组合，以此取代人工特征工程中特征选取的主观性和片面性。

并且，上述神经网络系统被设计为进行分层次的、高阶的特征组合。具体而言，神经系统可以首先将单个属性字段对应于多个操作事件的多个特征向量进行组合，得到跨事件的属性级特征向量；然后，将多个属性字段对应的多个属性特征向量进行组合，得到序列级特征向量，如此进行分层次的特征组合。并且，在每一层次的特征组合中，除了常规的线性特征组合之外，还允许多个特征向量的高阶特征组合，如此更全面地考虑特征之间依赖关系的因素。

如此，通过神经网络模型进行全面的特征提取和组合，实现刻画同一属性在不同事件之间的变化情况，由此使得对用户相关的风险评估更加准确而高效。

下面描述以上构思的具体实现方式。

图2示出根据一个实施例的神经网络系统的结构示意图，该神经网络系统可以是一种计算系统，其上运行用于进行风险评估的神经网络模型。可以理解，该神经网络系统可以通过任何具有计算、处理能力的设备、装置、平台、设备集群来实现，例如图1所示的计算平台。如图2所示，神经网络系统包括，输入层21，编码层22，第一组合层23，第一嵌入层24，全连接处理层25以及输出层26，这些网络层构成一个深度神经网络，用于对用户或用户操作事件进行风险评估。下面结合一个具体的事件序列，描述以上各个层的实现方式。

如前所述，为了进行与某个用户相关的风险评估，以该用户的事件序列为分析数据源，输入到神经网络系统中。简单起见，将上述用户称为第一用户，该第一用户的事件序列称为第一事件序列。

由此，第一输入层21获取到或接收到上述第一事件序列，所述第一事件序列可以表示为<E₁,E₂,…,E_T>，其中包括按照时间顺序依次排列的多个操作事件E₁,E₂,…,E_T，这多个操作事件均为第一用户进行的操作事件。在一个实施中，这多个操作事件均为第一用户的历史操作事件。在另一个实施例中，第一事件序列中包括有待评估的当前操作事件E_T，其余T-1个操作事件为该第一用户的历史操作事件。

历史操作事件可以是从当前操作事件E_T向前回溯预定范围得到的操作事件，其中预定范围可以是预定时间范围，预定事件数量，等等。例如，在一个示例中，可以设定预定时间范围，比如为2h，12h等等，对于有待评估的当前操作事件，从当前操作事件的发生时刻起，向前回溯上述预定时间范围，将该预定时间范围中发生的历史操作事件包含在上述第一事件序列中。在另一个示例中，可以设定预定事件数量，比如为10件，20件等等；对于有待评估的当前操作事件，从当前操作事件向前回溯上述预定数量的事件作为历史操作事件，包含在上述第一事件序列中。在其他示例中，历史操作事件还可以有更多选取方式，例如预定时间范围内预定数量的事件，或者预定数量的特定类型（例如仅选取登录类事件，或交易类事件）的事件，等等。因此，历史操作事件的数量可能从一个到多个并不确定。工程实践中，可以通过填补（padding）的方式，将第一事件序列调整为预定长度。

第一事件序列中的每个操作事件具有多项与事件有关的属性信息，每个操作事件的属性信息包括对应N个属性字段的N个属性值。为了风险评估的全面性，在此可以获取各个事件的细粒度的全面的属性信息以供后续处理。这些属性信息可以包括，用户操作行为的行为类型（例如，登录操作，充值操作，支付操作，交易操作等），行为时间，地理位置，用户操作所使用的设备信息（例如设备类型、设备型号、MAC地址，IP地址等等），所使用的软件方面的信息，例如浏览器类型，app版本，等等。如果操作行为是交易行为，属性信息还可以包括交易行为的涉及金额，支付渠道，支付卡号，支付卡的发卡行，交易对象，等等。

此外，对于历史操作事件而言，对应的属性信息还可以包括，历史操作事件的操作结果，例如操作成功，失败，超时，等等。而当前操作事件是风险度有待评估的事件，一般是尚未产生操作结果的事件，其对应操作结果的字段值可以是缺省值。通常来说，对当前操作事件进行风险度评估，正是用于决定是否允许本次操作，也就是决定其操作结果。

简单起见，如图2所示，用

表示第j个操作事件中对应第i个属性字段的字段值，其中j的取值是从1到T，i的取值是从1到N。如此，输入层在接收到第一事件序列<E₁,E₂,…,E_T>后，将各个操作事件的对应N个属性字段的属性值（共T*N个）传递给编码层22，或者说，将各个属性字段对应T个事件的属性值传递给编码层22。

对于任意属性字段

，编码层22用于将该属性字段

对应事件序列中T个操作事件的T个属性值（

至

）分别进行编码，得到对应的T个特征向量（

至

）。

编码层22可以采用多种编码方式进行编码。

在一个实施例中，在编码层22中预先构造一个映射表或查找表，其中记录各个属性字段下不同字段值（或称属性值）与特征向量的映射关系。对于各个属性字段，根据对应于输入事件的具体属性值查找该映射表，得到对应的特征向量。

在一个实施例中，编码层22可以采用独热one-hot编码方式将一个属性字段编码为一个特征向量。One-hot编码方式适合于属性值为有限多个的属性字段。例如，在一个例子中，属性字段包括行为类型，而行为类型一共有预设的H种。那么，可以采用one-hot编码，将该属性字段编码为H维特征向量。如果输入事件中该项属性字段的取值为第k种操作行为，那么对应得到的H维向量中，第k个位置的元素为1，其他位置的元素均为0。

在一个实施例中，编码层22还可以采用更为复杂的神经网络进行词嵌入，以得到属性字段对应的特征向量。这样的方式适合于属性值中包含描述文字的情况。例如，在一个例子中，属性字段包括交易对象，而交易对象往往通过文字进行描述，例如“杭州西溪Z空间某餐厅”。在这样的情况下，编码层22可以包括卷积神经网络CNN或循环神经网络RNN，用于对属性值对应的文字进行词嵌入，得到对应的特征向量。词嵌入的算法可以采用各种已知或将来采用的算法，在此不作限定。

可以理解，对于N个属性字段，编码层22可以根据需要将以上多种实施方式建进行综合，针对不同属性字段采用不同编码方式，最终将各个属性字段对应的不同属性值转换为对应的特征向量。编码层对属性字段

进行编码得到T个特征向量，记为

,

…,

,

。此外，不同属性字段对应的特征向量的维度也是一致的，如果不一致，则可以采用工程上的方式，例如padding，将其处理为同样的维度。

接着，第一组合层23对该T个特征向量

,

…,

,

进行第一向量组合，其中包括K阶向量间组合运算，从而得到该属性字段

对应的属性嵌入向量A_i。

需要理解，常规神经网络中对特征向量的组合一般是采用线性组合的方式。然而，在同一属性在不同事件之间发生变化的情况下，简单的线性组合不足以反映发现和处理这样的变化关系。因此，在一个实施例中，借鉴因子分解机（Factorization Machine，简称FM）的框架，在第一组合层23中引入高阶向量间组合运算。

具体地，不同于线性运算中多个向量的线性相加，K阶向量间组合运算涉及K个特征向量的相乘运算，从而可以表征K个特征向量之间的关联关系。其中，阶数K为预设的超参数，例如，可以设置为2，或3，或4。

一般地，特征向量的线性组合仍然是特征的基础表征方式。因此，在一个实施例中，第一组合层23可以在线性组合运算的基础上，加入K阶向量间组合运算。具体地，第一组合层23可以对编码层输出的针对属性字段

的T个特征向量进行线性组合运算，以及进行K阶以内的向量间组合运算，将各组合运算的结果求和，基于求和结果得到属性嵌入向量。

更具体的，在K=3的情况下，第一组合层23在线性组合的基础上，还包括2阶向量组合和3阶向量组合，如以下公式(1)所示。

---公式（1）

在以上公式（1）中，

为T个特征向量的线性组合，

为2阶向量间组合运算，其中涉及2个特征向量的相乘，

为3阶向量组合运算，其中涉及3个特征向量的相乘。高阶运算中特征向量的相乘可以采取按位相乘的方式进行，其结果仍然是一个向量。并且，需要理解，以上公式（1）中的各项权重系数，包括线性权重系数

，2阶权重系数

，3阶权重系数

，均通过神经网络的训练而确定。

以上公式（1）具体给出了K=3情况下第一向量组合的运算方式。在N=2的情况下，可以略去公式（1）中的3阶向量间运算；在K为更高阶的情况下，可以在公式（1）基础上，添加更高阶的向量间运算，从而扩展到K为其他值的情况。

在一个实施例中，还可以对以上例如公式（1）示出的第一向量组合方式进行修改，例如省略其中的线性组合项，或者省略其中的部分高阶向量间组合项，得到第一向量组合方式的更多变换实施方案。

通过以上各种方式，第一组合层23将编码层22输出的针对属性字段

的T个特征向量进行组合，得到属性字段

对应的属性嵌入向量A_i。可以看到，在以上过程中，第一组合层23通过对同一属性对应不同事件的属性值进行组合，得到该属性字段的属性嵌入向量，因此，属性嵌入向量是对相应属性字段的全面表征，是属性级表达向量。

第一嵌入层24用于对各个属性字段

,

,…,

对应的各个属性嵌入向量

,…,

进行第二向量组合，得到第一事件序列对应的第一嵌入向量Y₁。

在一个实施例中，第一嵌入层24采用线性组合的方式，对各个属性嵌入向量

,

,…,

进行线性加权叠加，得到第一嵌入向量Y₁。

在另一个实施例中，第一嵌入层24也可以对输入的多个属性嵌入向量

,

,…,

进行组合运算，其中包括线性组合和高阶向量间组合，由此得到第一嵌入向量Y₁。具体地，可以预设第一嵌入层24中高阶组合运算的阶数M，其中M>=2, 该阶数M与第一组合层23中的阶数K是互相独立的超参数，可以相同，也可以不同。于是，在第一嵌入层24中，可以对上述多个属性嵌入向量

,

,…,

进行线性组合运算，以及进行M阶之内的向量间组合运算，基于各组合运算的求和，得到第一嵌入向量Y₁。具体运算过程与前述对第一组合层23的描述相似，不再赘述。

在又一个实施例中，第一嵌入层24可以基于注意力机制，对N个属性嵌入向量

,

,…,

进行融合，得到第一嵌入向量Y。在一个具体的实施例中，其中融合包括利用权重分配因子，对N个属性嵌入向量进行加权组合，得到第一嵌入向量Y₁。不同的属性字段对风险评估的帮助是不同的，因此，不同的属性字段拥有不同的权值。对于属性字段的权值，可以预先进行标定，也可以通过训练而确定。

如此，第一嵌入层24对各个属性字段对应的各个属性嵌入向量直接进行组合，得到第一嵌入向量Y₁。

接着，将该第一嵌入向量Y₁输入全连接处理层25，进行进一步全连接处理，得到处理向量P。需要理解，该全连接处理层25可以是包含多个网络层的全连接神经网络，其中每个网络层的每个神经元，都与前一网络层的所有神经元连接，从而进行全连接处理。

最后，以上的处理向量P被输入到输出层26，该输出层26可以根据处理向量P，确定并输出对用户或对当前操作事件的风险评估结果。具体地，输出层26可以对处理层P施加线性变换，或施加特定函数，例如softmax函数，得到输出结果。输出的风险评估结果可以是回归结果，例如风险度打分，也可以是分类结果，例如高风险、低风险的类别预测。

由此，图2的多个网络层所构成的深度神经网络，可以基于全面的属性信息自动地进行特征提取和组合，并基于组合后的向量对事件序列的操作用于进行风险度评估特别是，通过第一组合层23和第一嵌入层24，对事件序列中各事件的属性信息进行了分层次的特征提取和组合，并在其中引入了高阶向量间组合运算，使得得到的嵌入向量可以更好地刻画事件和事件序列的特点，提高风险评估准确性。

另一方面，在对当前操作事件进行风险评估的情况下，可以综合考虑针对事件序列的第一嵌入向量和当前操作事件对应的特征向量。基于此，在一种实施方式中，如图3所示，上述神经网络系统中还可以包括第二组合层31和融合层32，其中第二组合层31用于确定当前操作事件对应的当前事件嵌入向量Y₂，融合层32用于对第一嵌入向量Y₁和当前事件嵌入向量Y₂进行融合，得到融合向量，用于输入全连接层中进行进一步处理。

具体地，第二组合层31对当前操作事件E_T对应N个属性字段N个特征向量

,

,…,

进行第三向量组合，得到当前事件嵌入向量Y₂。在一个实施例中，第二组合层31采用线性组合的方式，对N个特征向量

,

,…,

进行线性加权叠加，得到当前事件嵌入向量Y₂。在另一个实施例中，第二组合层31也可以对输入的N个特征向量

,

,…,

进行组合运算，其中包括线性组合和高阶向量间组合，由此得到当前事件嵌入向量Y₂，其中高阶向量间组合包括涉及Q个特征向量相乘的Q阶向量间组合运算，其中Q＞=2。

接着，融合层32对第一嵌入层24输出的第一嵌入向量Y₁和第二组合层输出的当前事件嵌入向量Y₂进行融合，得到融合向量R。在一个实施例中，融合层32可以对第一嵌入向量Y₁和当前事件嵌入向量Y₂进行拼接，得到融合向量R。在另一个实施例中，融合层32可以对第一嵌入向量Y₁和当前事件嵌入向量Y₂进行求和平均，得到融合向量R。在又一个实施例中，融合层32可以对第一嵌入向量Y₁和当前事件嵌入向量Y₂进行向量间按位相乘，得到融合向量R。

进一步，在对当前操作事件进行风险评估的情况下，还可以考虑各个历史操作事件对应的历史事件嵌入向量。在一种实施方式中，如图4所示，第二组合层31还用于，针对上述T-1个历史操作事件中的各个历史操作事件E_i，将该历史操作事件对应所述N个属性字段的N个特征向量进行上述第三向量组合，得到该历史操作事件对应的历史事件嵌入向量B_i。上述神经网络系统中还包括第二嵌入层41，用于对T-1个历史操作事件对应的T-1个历史事件嵌入向量

,

,…,

进行第四向量组合，得到第二嵌入向量Y₃。融合层32具体用于，对第一嵌入向量Y₁、当前事件嵌入向量Y₂（或表示为

）和第二嵌入向量Y₃进行融合，得到融合向量R。

在一个实施例中，第二嵌入层41具体用于：采用时间递归的方式，依次迭代处理T-1个历史事件嵌入向量中的各个嵌入向量，得到第二嵌入向量。在一个具体的实施例中，第二嵌入层41可以包括基于时序的神经网络，该基于时序的神经网络可以是，循环神经网络RNN，或者长短期记忆神经网络LSTM。于是，可以将各个历史操作事件对应的历史事件嵌入向量B₁,B₂,…,B_T-1按照事件发生时间的先后顺序，依次输入RNN或LSTM。RNN或LSTM神经网络依次迭代处理该多个历史事件嵌入向量B₁,B₂,…,B_T-1，得到第二嵌入向量Y₃。

在另一个实施例中，第二嵌入层41对各个历史操作事件对应的历史事件嵌入向量B₁,B₂,…,B_T-1进行线性组合运算，以及高阶向量间组合运算。

在一个实施例中，融合层32对第一嵌入向量Y₁、当前事件嵌入向量Y₂和第二嵌入向量Y₃进行拼接，得到融合向量R。在另一个实施例中，融合层32对第一嵌入向量Y₁、当前事件嵌入向量Y₂和第二嵌入向量Y₃进行求和平均，得到融合向量R。在又一个实施例中，融合层32对第一嵌入向量Y₁、当前事件嵌入向量Y₂进行向量间按位相乘，再利用该按位相乘的结果与第二嵌入向量Y₃进行向量间按位相乘，得到融合向量R。

如此，通过融合层可以得到融合向量R，进而将融合向量R输入全连接处理层25进行处理，得到处理向量P，再由输出层对处理向量P进行运算，得到针对当前操作事件的评估结果。

需要说明，对于上述实施例中，在刻画同一属性在不同事件之间的变化的同时，还刻画同一事件内部不同属性的组合的情况，还可以参见图5。如图5所示，其中e_i表示事件维度，i的取值是从1至T，f_j表示属性维度，j的取值是从1至N，对于同一属性，引入FM机制刻画其在不同事件之间的变化情况，对于同一事件，引入FM机制刻画其在同一事件内部不同属性的组合；第一嵌入层24对各个属性字段对应的属性嵌入向量进行组合，得到第一嵌入向量Y₁；第二嵌入层41对各个历史事件对应的历史嵌入向量进行组合，得到第二嵌入向量Y₃；融合层32对第一嵌入向量Y₁、当前事件嵌入向量B_T和第二嵌入向量Y₃进行拼接，得到融合向量R；多层感知机MLP（可包括图4中的全连接处理层25和输出层26）对融合向量R进行处理，得到针对当前操作事件e_T的风险评估结果。

通过图4或图5中的神经网络系统，同时刻画同一事件内部不同属性的组合，以及同一属性在不同事件之间的变化的情况，可以进一步提升风险评估的准确性。

根据又一方面的实施例，本说明书实施例还提高一种适用于在多方隐私保护下进行风险评估的神经网络系统。该神经网络系统包括适用于多方分布式部署的第一神经网络模型和第二神经网络模型。其中第一神经网络模型包括对应于第一用户的N个属性字段的N个子模型，N个子模型用于，获取对应的属性字段在T个操作事件的T个字段值，对其分别进行编码，得到T个特征向量，再对该T个特征向量进行第一向量组合，得到该属性字段对应的属性嵌入向量；其中第一向量组合包括涉及K个特征向量相乘的K阶向量间组合运算，其中K＞=2。该第二神经网络模型用于，对该N个子模型输出的N个属性嵌入向量进行第二向量组合，得到该第一事件序列对应的第一嵌入向量，进而基于该第一嵌入向量确定与该第一用户相关的风险评估结果。

参见图6，由于上述N个子模型之间的独立性，上述神经网络系统可以以分布式的方式，部署在多个平台中。具体的，在一些实施例中，第一神经网络模型中的N个子模型部署在N个不同的独立计算平台，而第二神经网络模型部署在共享服务平台。例如，N个子模型中包括对应于IP地址的子模型A，其部署在可以获取用户IP地址的平台A；还包括对应于设备信息的子模型B，其部署在可以获取用户设备信息的计算平台B。而第二神经网络模型部署在共享平台C。于是，平台A利用子模型A，将IP地址序列处理为属性嵌入向量f_A，平台B利用子模型B，将设备信息序列处理为属性嵌入向量f_B。共享平台C汇总各个独立平台的属性嵌入向量f_A和f_B，综合处理后进行风险评估。

由此，属性字段可以来源于不同的独立计算平台，各个独立计算平台维护各自平台上的属性字段，并利用其上部署的子模型将属性字段的T个字段值处理为属性嵌入向量，发送给共享服务平台。共享服务平台综合各个独立计算平台提供的属性嵌入向量，利用第二神经网络模型确定与用户相关的风险评估结果。需要理解，由于属性嵌入向量是利用各个子模型对多个原始字段值进行处理后得到的抽象结果，因此，并不会泄露各自平台的原始用户数据。因此，以上的分布式部署方式可以实现不同计算平台的数据隔离，保护了用户隐私，提升了风险评估的安全性。

与上述对神经网络系统进行描述相对应的，本说明书实施例还披露通过神经网络系统进行风险评估的方法。

具体地，图7示出根据一个实施例的通过神经网络系统进行风险评估的方法流程图，所述方法的执行主体可以是任何具有计算、处理能力的平台、服务器或设备集群。如图7所示，所述方法包括以下步骤：

步骤S710，获取第一事件序列，所述第一事件序列包括按照时间顺序依次排列的第一用户的T个操作事件，每个操作事件对应N个属性字段；步骤S720，针对所述N个属性字段中的各个属性字段，对该属性字段对应所述T个操作事件的T个字段值分别进行编码，得到T个特征向量；步骤S730，对所述T个特征向量进行第一向量组合，得到该属性字段对应的属性嵌入向量，其中第一向量组合包括涉及K个特征向量相乘的K阶向量间组合运算，其中K＞=2；步骤S740，对所述N个属性字段对应的N个属性嵌入向量进行第二向量组合，得到所述第一事件序列对应的第一嵌入向量；步骤S750，对所述第一嵌入向量进行处理，得到处理向量；步骤S760，根据所述处理向量，确定与所述第一用户相关的风险评估结果。

在一个实施例中，所述N个属性字段包括以下中的多个：IP地址，设备类型，地理位置，支付渠道，支付卡号，支付卡的发卡行。在一个实施例中，步骤S730可以实施为：对所述T个特征向量进行线性组合运算，以及进行K阶以内的向量间组合运算；将各组合运算的结果求和，基于求和结果得到所述属性嵌入向量。

在一个实施例中，步骤S740可以实施为：对所述N个属性嵌入向量进行线性组合运算，以及进行M阶以内的向量间组合运算，基于各组合运算的求和，得到所述第一嵌入向量，其中M＞=2。

在一个实施例中，步骤S740可以实施为：基于注意力机制，对所述N个属性嵌入向量进行融合，得到所述第一嵌入向量。在一个具体的实施例中，利用权重分配因子，对所述N个属性嵌入向量进行加权组合，得到所述第一嵌入向量。

在一个实施例中，所述T个操作事件包括有待评估的当前操作事件，以及T-1个历史操作事件。在一个具体的实施例中，所述T-1历史操作事件是从当前操作事件向前回溯预定范围的历史操作事件，所述预定范围包括预定时间范围和/或预定事件数量。在另一个具体的实施例中，所述N个属性字段中包括事件操作结果，所述当前操作事件对应该事件操作结果的字段值为缺省值。

在一个实施例中，所述方法还包括：对所述当前操作事件对应所述N个属性字段的N个特征向量进行第三向量组合，得到当前事件嵌入向量，其中第三向量组合包括涉及Q个特征向量相乘的Q阶向量间组合运算，其中Q＞=2；对所述第一嵌入向量和所述当前事件嵌入向量进行融合，得到融合向量；相应地，步骤S750可以被实施为：对所述融合向量进行处理，得到处理向量。

在一个具体的实施例中，所述方法还包括：针对所述T-1个历史操作事件中的各个历史操作事件，将该历史操作事件对应所述N个属性字段的N个特征向量进行所述第三向量组合，得到该历史操作事件对应的历史事件嵌入向量；对所述T-1个历史操作事件对应的T-1个历史事件嵌入向量进行第四向量组合，得到第二嵌入向量；相应地，上述对所述第一嵌入向量和所述当前事件嵌入向量进行融合，得到融合向量可以包括：对所述第一嵌入向量、所述第二嵌入向量和所述当前事件嵌入向量进行融合，得到融合向量。

在一个更具体的实施例中，上述T-1个历史操作事件对应的T-1个历史事件嵌入向量进行第四向量组合，得到第二嵌入向量，可以包括：采用时间递归的方式，依次迭代处理所述T-1个历史事件嵌入向量中的各个嵌入向量，得到第二嵌入向量。在一个示例中，其中时间递归的方式的实现可以基于长短期记忆LSTM或循环神经网络RNN。

图8示出根据一个实施例的在多方隐私保护下通过神经网络系统进行风险评估的方法流程图，其中，所述神经网络系统包括适用于多方分布式部署的第一神经网络模型和第二神经网络模型，所述第一神经网络模型包括对应于第一用户的N个属性字段的N个子模型。所述方法的执行主体可以是任何具有计算、处理能力的平台、服务器或设备集群。如图8所示，所述方法包括以下步骤：

步骤S810，利用第一神经网络模型中的N个子模型，获取对应的属性字段在T个操作事件的T个字段值，对其分别进行编码，得到T个特征向量，再对该T个特征向量进行第一向量组合，得到该属性字段对应的属性嵌入向量；其中第一向量组合包括涉及K个特征向量相乘的K阶向量间组合运算，其中K＞=2；步骤S820，利用第二神经网络对N个子模型输出的N个属性嵌入向量进行第二向量组合，得到所述第一事件序列对应的第一嵌入向量，进而基于该第一嵌入向量确定与所述第一用户相关的风险评估结果。

根据又一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图7或图8所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图7或图8所述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (18)

1.一种用于进行风险评估的神经网络系统，包括：

输入层，用于获取第一事件序列，所述第一事件序列包括按照时间顺序依次排列的第一用户的T个操作事件，每个操作事件对应N个属性字段；

编码层，用于针对所述N个属性字段中的各个属性字段，对该属性字段对应所述T个操作事件的T个字段值分别进行编码，得到T个特征向量；

第一组合层，用于对所述T个特征向量进行第一向量组合，得到该属性字段对应的属性嵌入向量，其中第一向量组合包括涉及K个特征向量相乘的K阶向量间组合运算，其中K＞=2；

第一嵌入层，用于对所述N个属性字段对应的N个属性嵌入向量进行第二向量组合，得到所述第一事件序列对应的第一嵌入向量；

全连接处理层，用于对所述第一嵌入向量进行处理，得到处理向量；

输出层，用于根据所述处理向量，确定与所述第一用户相关的风险评估结果。

2.根据权利要求1所述的神经网络系统，其中，所述N个属性字段包括以下中的多个：IP地址，设备类型，地理位置，支付渠道，支付卡号，支付卡的发卡行。

3.根据权利要求1所述的神经网络系统，其中，所述第一组合层具体用于：

对所述T个特征向量进行线性组合运算，以及进行K阶以内的向量间组合运算；

将各组合运算的结果求和，基于求和结果得到所述属性嵌入向量。

4.根据权利要求1所述的神经网络系统，其中所述第一嵌入层具体用于：

对所述N个属性嵌入向量进行线性组合运算，以及进行M阶以内的向量间组合运算，基于各组合运算的求和，得到所述第一嵌入向量，其中M＞=2。

5.根据权利要求1 所述的神经网络系统，其中所述第一嵌入层具体用于：

基于注意力机制，对所述N个属性嵌入向量进行融合，得到所述第一嵌入向量。

6.根据权利要求5所述的神经网络系统，其中所述第一嵌入层具体用于：

利用权重分配因子，对所述N个属性嵌入向量进行加权组合，得到所述第一嵌入向量。

7.根据权利要求1所述的方法，其中，所述T个操作事件包括有待评估的当前操作事件，以及T-1个历史操作事件。

8.根据权利要求7所述的神经网络系统，其中，所述T-1历史操作事件是从当前操作事件向前回溯预定范围的历史操作事件，所述预定范围包括预定时间范围和/或预定事件数量。

9.根据权利要求7所述的方法，其中，所述N个属性字段中包括事件操作结果，所述当前操作事件对应该事件操作结果的字段值为缺省值。

10.根据权利要求1所述的神经网络系统，其中还包括第二组合层和融合层；

所述第二组合层用于，对所述当前操作事件对应所述N个属性字段的N个特征向量进行第三向量组合，得到当前事件嵌入向量，其中第三向量组合包括涉及Q个特征向量相乘的Q阶向量间组合运算，其中Q＞=2；

所述融合层用于，对所述第一嵌入向量和所述当前事件嵌入向量进行融合，得到融合向量；

所述全连接处理层具体用于，对所述融合向量进行处理，得到处理向量。

11.根据权利要求10所述的神经网络系统，其中，

所述第二组合层还用于，针对所述T-1个历史操作事件中的各个历史操作事件，将该历史操作事件对应所述N个属性字段的N个特征向量进行所述第三向量组合，得到该历史操作事件对应的历史事件嵌入向量；

所述神经网络系统还包括第二嵌入层，用于对所述T-1个历史操作事件对应的T-1个历史事件嵌入向量进行第四向量组合，得到第二嵌入向量；

所述融合层具体用于，对所述第一嵌入向量、所述第二嵌入向量和所述当前事件嵌入向量进行融合，得到融合向量。

12.根据权利要求11所述的神经网络系统，其中，所述第二嵌入层具体用于：

采用时间递归的方式，依次迭代处理所述T-1个历史事件嵌入向量中的各个嵌入向量，得到所述第二嵌入向量。

13.根据权利要求12所述的神经网络系统，其中，所述第二嵌入层包括长短期记忆LSTM或循环神经网络RNN。

14.一种适用于在多方隐私保护下进行风险评估的神经网络系统，包括：适用于多方分布式部署的第一神经网络模型和第二神经网络模型；

所述第一神经网络模型包括对应于第一用户的N个属性字段的N个子模型，N个子模型用于，获取对应的属性字段在T个操作事件的T个字段值，对其分别进行编码，得到T个特征向量，再对该T个特征向量进行第一向量组合，得到该属性字段对应的属性嵌入向量；其中第一向量组合包括涉及K个特征向量相乘的K阶向量间组合运算，其中K＞=2；

所述第二神经网络模型用于，对所述N个子模型输出的N个属性嵌入向量进行第二向量组合，得到所述第一事件序列对应的第一嵌入向量，进而基于该第一嵌入向量确定与所述第一用户相关的风险评估结果。

15.一种通过神经网络系统进行风险评估的方法，包括：

获取第一事件序列，所述第一事件序列包括按照时间顺序依次排列的第一用户的T个操作事件，每个操作事件对应N个属性字段；

针对所述N个属性字段中的各个属性字段，对该属性字段对应所述T个操作事件的T个字段值分别进行编码，得到T个特征向量；

对所述T个特征向量进行第一向量组合，得到该属性字段对应的属性嵌入向量，其中第一向量组合包括涉及K个特征向量相乘的K阶向量间组合运算，其中K＞=2；

对所述N个属性字段对应的N个属性嵌入向量进行第二向量组合，得到所述第一事件序列对应的第一嵌入向量；

对所述第一嵌入向量进行处理，得到处理向量；

根据所述处理向量，确定与所述第一用户相关的风险评估结果。

16.一种在多方隐私保护下通过神经网络系统进行风险评估的方法，其中，所述神经网络系统包括适用于多方分布式部署的第一神经网络模型和第二神经网络模型，所述第一神经网络模型包括对应于第一用户的N个属性字段的N个子模型；所述方法包括：

利用所述N个子模型，获取对应的属性字段在T个操作事件的T个字段值，对其分别进行编码，得到T个特征向量，再对该T个特征向量进行第一向量组合，得到该属性字段对应的属性嵌入向量；其中第一向量组合包括涉及K个特征向量相乘的K阶向量间组合运算，其中K＞=2；

利用所述第二神经网络对所述N个子模型输出的N个属性嵌入向量进行第二向量组合，得到所述第一事件序列对应的第一嵌入向量，进而基于该第一嵌入向量确定与所述第一用户相关的风险评估结果。

17.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求15-16中任一项的所述的方法。

18.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求15-16中任一项所述的方法。

Images