CN111507461B - 可解释性信息确定方法及装置 - Google Patents

Abstract

本说明书实施例提供一种可解释性信息确定方法及装置，该方法首先获取目标对象对应的二维数据表，然后将二维数据表输入预先训练的卷积神经网络，提取各项事件特征的累积特征的特征值，得到至少一张第一特征图，下游网络进行下游卷积处理，获得全局特征；基于全局特征可计算出风险分数值，接下来针对全局特征，执行反卷积算法，得到第二特征图，第二特征图与第一特征图对应，根据第二特征图，可确定导致风险分数值的累积特征，作为可解释性信息。该方法无需产生扰动样本也可确定可解释性信息，不受扰动样本限制，且信息精度较高。

Description

可解释性信息确定方法及装置

技术领域

本说明书实施例涉及人工智能技术领域，具体地，涉及可解释性信息确定方法及装置。

背景技术

近年来，神经网络在人工智能领域取得的成就中发挥了重要作用，但目前多数神经网络相当于一个“黑盒”，神经网络特征或决策逻辑在语义层面是难以理解的，且缺少相应的工具去诊断与评测网络的特征表达能力。出于需要进一步验证网络模型可靠性等原因，人们在利用神经网络解决问题，得到输出结果的同时，也希望能够明确相关的可解释性信息。

例如，采用卷积神经网络模型针对输入数据进行风险预测时，输出的风险分数值较高，表示当前输入数据中含有至少一个高风险项，但无法确定是输入数据中的哪个具体特征或哪些特征导致了当前的高风险分数值。由此，在采用卷积神经网络等模型进行数据处理时，有必要进一步确定相关的可解释性信息。

发明内容

本说明书描述了一种可解释性信息确定方法及装置，用以解决需要明确可解释性信息的技术问题，该方法至少能够针对卷积神经网络确定相应的可解释性信息。

根据第一方面，提供一种可解释性信息确定方法，包括：

获取目标对象对应的二维数据表；二维数据表的各行对应于该目标对象在预定时间段内发生的各个行为事件，各列对应于行为事件的各项事件特征，各个行为事件按照事件发生时间排序；

将二维数据表输入预先训练的卷积神经网络，卷积神经网络至少包括特征映射单元、下游网络和输出单元，特征映射单元利用至少一个单列卷积核，提取二维数据表中各项事件特征在至少一个时间窗口内的累积特征的特征值，得到至少一张第一特征图，单列卷积核的行数对应于累积特征所在的时间窗口的长度；下游网络基于第一特征图进行下游卷积处理，获得全局特征；输出单元根据全局特征计算得到二维数据表对应的风险分数值；

针对全局特征，执行与下游卷积处理对应的反卷积算法，得到至少一张第二特征图，第二特征图与第一特征图维度相同，其中各个像素点的像素值分别表示，第一特征图中相应位置的特征值所对应的累积特征对于风险分数值的权重；

根据第二特征图，确定导致风险分数值的累积特征，作为可解释性信息。

在一个实施例中，行为事件包括以下之中的任意一种或多种：交易事件，登录事件，社交事件，挂失事件，更改绑定信息事件。

在一个实施例中，行为事件为交易事件，各项事件特征包括以下中的一项或多项：交易渠道，交易设备，交易地点，交易均值，交易对象，交易类型。

在一个实施例中，特征映射单元包括第一卷积层、第一激活层和第一池化层；特征映射单元利用至少一个单列卷积核，提取二维数据表中各项事件特征在至少一个时间窗口内的累积特征的特征值，得到至少一张第一特征图，具体包括：在特征映射单元的第一卷积层，基于至少一个单列卷积核，执行针对二维数据表的卷积运算；在第一激活层，利用非线性激活函数执行激活运算，在第一池化层执行池化运算，得到携带有各个累积特征对应的特征值的至少一张第一特征图。

在一个实施例中，下游网络包括至少一个下游卷积单元，下游卷积单元包括第二卷积层、第二激活层和第二池化层，第二卷积层包括至少一个多行多列卷积核。

在一个更具体的实施例中，下游网络还包括全连接层；下游网络基于第一特征图进行下游卷积处理，获得全局特征，具体包括：以第一特征图作为输入，在第二卷积层，利用多行多列卷积核执行卷积运算；在第二激活层，利用相应的非线性激活函数执行激活运算；在第二池化层，执行池化运算，获得多张局部特征图；在全连接层，将多张局部特征图融合为表征全局特征的全局特征图。

在一个实施例中，获得全局特征，具体包括：获得表征全局特征的二维的全局特征图；或者将全局特征图进一步处理为特征向量。

在一个实施例中，获得全局特征之后，针对全局特征，执行反卷积算法之前，还包括：从全局特征中，确定与风险分数值负相关的特征，将确定的特征对应的像素点的像素值或者元素值设为0。

在一个实施例中，针对全局特征，执行与下游卷积处理对应的反卷积算法，包括：在风险分数值超过预设门限值时，针对全局特征，执行与下游卷积处理对应的反卷积算法。

在一个更具体的实施例中，针对全局特征，执行与下游卷积处理对应的反卷积算法，得到至少一张第二特征图，具体包括：将全局特征输入预设的反卷积网络，反卷积网络包括反池化层、反激活层和反卷积层；在反池化层，执行与第二池化层中的池化运算对应的反池化运算，在反激活层，执行与第二激活层中的激活运算对应的反激活运算，在反卷积层，执行与第二卷积层中的卷积运算对应的反卷积运算，得到至少一张第二特征图。

在一个更具体的实施例中，在反卷积层，执行与第二卷积层中的卷积运算对应的反卷积运算，具体包括：在反卷积层，将预先读取的第二卷积层中的各个多行多列卷积核的参数矩阵转置，作为反卷积运算的卷积核的参数矩阵，执行反卷积运算。

在一个更具体的实施例中，在反池化层，执行与第二池化层中的池化运算对应的反池化运算，在反激活层，执行与第二激活层中的激活运算对应的反激活运算，具体包括：在反池化层，执行第二池化层中的池化运算的逆运算；在反激活层，执行第二激活层中的非线性激活函数的逆运算。

在一个实施例中，根据第二特征图，确定导致风险分数值的累积特征，具体包括：将第二特征图中的各个像素点的像素值按照数值大小进行排序，选出排序满足预定条件的多个像素点作为目标像素点；根据各个目标像素点在第二特征图中的位置信息，将第一特征图中相应位置的特征值对应的累积特征，确定为导致风险分数值的累积特征。

在一个更具体的实施例中，根据第二特征图，确定导致风险分数值的累积特征之后，进一步包括：根据各个目标像素点在第二特征图中的位置信息，确定在第一特征图中相应位置的特征值对应的单列卷积核，根据单列卷积核的参数矩阵，确定在特征映射单元中针对相应的累积特征所执行的卷积运算。

在一个更具体的实施例中，可解释性信息还包括针对累积特征执行的卷积运算信息；确定在特征映射单元中针对相应的累积特征所执行的卷积运算之后，还包括：获取累积特征对应的实际业务含义，将实际业务含义和卷积运算进行组合，作为可解释性信息。

根据第二方面，提供一种可解释性信息确定装置，包括：

获取模块，配置为获取目标对象对应的二维数据表；二维数据表的各行对应于该目标对象在预定时间段内发生的各个行为事件，各列对应于行为事件的各项事件特征，各个行为事件按照事件发生时间排序；

输入模块，配置为将二维数据表输入预先训练的卷积神经网络，卷积神经网络至少包括特征映射单元、下游网络和输出单元，特征映射单元用于，利用至少一个单列卷积核，提取二维数据表中各项事件特征在至少一个时间窗口内的累积特征的特征值，得到至少一张第一特征图，单列卷积核的行数对应于累积特征所在的时间窗口的长度；下游网络用于，基于第一特征图进行下游卷积处理，获得全局特征；输出单元用于，根据全局特征计算得到二维数据表对应的风险分数值；

反卷积模块，配置为针对全局特征，执行与下游卷积处理对应的反卷积算法，得到至少一张第二特征图，第二特征图与第一特征图维度相同，其中各个像素点的像素值分别表示，第一特征图中相应位置的特征值所对应的累积特征对于风险分数值的权重；

确定模块，配置为根据第二特征图，确定导致风险分数值的累积特征，作为可解释性信息。

根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面所述的方法。

根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面所述的方法。

采用本说明书实施例提供的可解释性信息确定方法，将与目标对象有关的待预测数据，统一以结构化的二维数据表格式输入，通过特征映射单元中的若干单列卷积核，提取二维数据表中各项事件特征在各自对应的若干时间窗口内的累积特征的特征值，得到第一特征图；然后下游网络进行进一步卷积处理，基于全局特征得到风险分数值，接下来通过执行反卷积算法，将全局特征反演到第二特征图，基于第二特征图与第一特征图的对应关系，能够根据第二特征图中各个像素点所表示的权重，确定第一特征图中相应位置的特征值对应的累积特征作为可解释性信息，累积特征即一段时间窗口内的一项事件特征，也就实现了将导致当前风险分数值的原因精确到了某一项具体事件特征，确定出的可解释性信息精度较高，解释性更强。

附图说明

为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出了本说明书一个实施例的模型架构图；

图2示出了本说明书提供的可解释性信息确定方法的一个实施例的流程示意图；

图3示出了本说明书一个实施例中特征映射单元的结构示意图；

图4示出了本说明书一个实施例中提取一次特征值的过程示意图；

图5示出了本说明书一个实施例中第二特征图里3个目标像素点的位置示意图；

图6示出了本说明书另一个实施例的模型架构图；

图7示出了本说明另一个实施例的可解释性信息输出结果示意图；

图8示出了本说明书提供的可解释性信息确定装置的一个实施例的结构示意图。

具体实施方式

下面结合附图，对本说明书披露的多个实施例进行描述。

在实际应用场景中，采用卷积神经网络等模型进行数据处理时，为了验证模型的可靠度、维持模型的可控性，在得到输出结果的同时，也需要获知相关的可解释性信息。

目前用于确定可解释性信息的一些技术手段中，例如以一种统一的方法来解释任何机器学习模型的输出的Kernel SHAP(KernelSHapley Additive exPlanation，与模型无关的模型解释包)和LIME(Local Interpretable Model-Agnostic Explanations，与模型无关的局部保真可理解解释)，都是基于产生扰动样本的方式，通过在施加扰动样本的数据集上进行分析，一方面这种方式算法复杂度高，另一方面，这种方式下，分析准确度依赖于扰动样本的设置，分析结果很大程度上受到扰动样本的限制，扰动样本作为一个超参数，有一定概率会出现设置不当的情形，导致得到的可解释性信息失去参考价值。

鉴于此，本说明书实施例披露一种可解释性信息确定方法，该方法可应用于确定卷积神经网络的可解释性信息，该方法所采用的发明构思可以包括：

首先调整卷积运算中的卷积核，使得卷积神经网络能够学习输入数据中的每一列特征，且以累积特征为卷积运算单位，提取出相应的特征值，然后由下游网络做进一步卷积处理后得到全局特征以及风险分数值，然后以全局特征为反向输入，执行反卷积算法，得到与各个特征值对应的各个权重值，该权重值表示相应的累积特征对于全局风险分数值的贡献度，也就是影响全局结果的重要程度，这样根据反卷积得到的各个权重值，可确定对于全局影响较大的累积特征。

为便于理解本说明书实施例提供的方法，先介绍一个实施例中执行该方法的模型架构，具体参阅图1所示。

在本说明书实施例中，采用的网络模型为预先训练的卷积神经网络，卷积层以及全连接层等各层的参数均已通过训练得到优化。该模型架构可以包括特征映射单元、下游网络、输出单元和反卷积网络。其中特征映射单元、下游网络以及输出单元用于执行正向卷积处理，而反卷积网络用于执行反卷积算法。

根据第一方面的实施例，具体地，参阅图2并结合图1所示，本说明书提供的可解释性信息确定方法，具体包括：

S201，获取目标对象对应的二维数据表；S202，将二维数据表输入预先训练的卷积神经网络，特征映射单元利用至少一个单列卷积核，提取二维数据表中各项事件特征在至少一个时间窗口内的累积特征的特征值，得到至少一张第一特征图；S203：下游网络基于第一特征图进行下游卷积处理，获得全局特征；S204，输出单元根据全局特征计算得到二维数据表对应的风险分数值；S205，针对全局特征，执行与下游卷积处理对应的反卷积算法，得到至少一张第二特征图；S206，根据第二特征图，确定导致风险分数值的累积特征，作为可解释性信息。

在S201中，目标对象包括各种参与实际业务的可预测对象，例如设备、银行卡、用户的注册账户等。其中设备包括各种可产生行为事件的终端设备，例如手机(mobilephone)、笔记本电脑(Laptop Computer)、平板电脑(tablet computer/ipad)、智能手表、手环等便携式智能终端，以及存取款一体机、机器人、收银机等非便携终端设备。

二维数据表的各行对应于该目标对象在预定时间段内发生的各个行为事件，各列对应于行为事件的各项事件特征，各个行为事件按照事件发生时间排序。即二维数据表中，每一列对应一个事件特征，每一行对应一个单位时段内的事件，且各行数据按照时间先后顺序排序。

其中，行为事件，包括交易事件，登录事件，社交事件，挂失事件，更改绑定信息事件等各种与实际业务相关的事件。例如，交易事件包括与目标对象有关的转账、收银、取款、支付等事件，例如支付事件可以包括购买商品事件，对应的事件特征可以包括商品价格、商品产地等商品特征信息以及下单时间等信息。登录事件包括与目标对象有关的登录、退出等事件，尤其是异地登录、异常时间登录等；社交事件包括与目标对象有关的主动添加陌生人、主动联系陌生人、谈及钱款等事件；更改绑定信息事件包括与目标对象有关的更改绑定的手机号、更改个人资料信息等事件，例如目标对象为银行卡，更改绑定信息事件则包括更改银行卡绑定的手机号，重置指纹、声纹等生物特征或者重置密保问题等。

需要说明的是，在本说明书实施例中，事件特征不包括事件发生时间，二维数据表中的一个行为事件可包括除发生时间以外的多个事件特征，例如，交易事件对应的事件特征可以包括交易渠道、交易设备、交易地点、交易均值、交易对象、交易类型中的任意一种或多种。例如，交易通道表示交易操作所通过的渠道为银行卡或者支付宝等APP、交易地点(例如省内或者省外，常驻地或者非常驻地，国内或者国外等)、操作设备(手机、电脑或其他设备)等。其中，二维数据表中，每个事件特征对应的数据值，可根据各个行为事件具体量化，例如，对于交易事件，交易金额可以作为二维数据表中每个单元格内的数据值。

参阅图3所示，在一个实施例中，特征映射单元包括第一卷积层、第一激活层和第一池化层。在第一卷积层中设有多个单列卷积核，即m*1卷积核，m表示卷积核的行数。作为一种可实施方式，特征映射单元中的卷积核均为多行一列卷积核。

在S202中，可以采用如下方式提取二维数据表中各项事件特征在若干时间窗口内的累积特征的特征值：

基于特征映射单元中的至少一个单列卷积核，执行针对二维数据表的卷积运算，一个单列卷积核对应于多个累积特征执行相应的卷积运算；然后在第一激活层，利用非线性激活函数执行激活运算，在第一池化层执行池化运算，得到携带有各个累积特征对应的特征值的一张或多张第一特征图。

其中，累积特征(velocity feature)表示，在一段时间内对一项基础特征进行累积或统计得到的特征，例如，最近一周内的交易次数，最近三天内的交易总额等，均属于累积特征。由于前述二维数据表中的各个行按照事件发生时间排序，包含有时间信息，因此，对二维数据表中一段时间窗口内的一个事件特征，执行第一卷积层的卷积运算，将单列卷积核的参数矩阵与相应的累积特征进行卷积运算，便可以得到一个与该累积特征对应的特征值。累积特征占用的一段时间窗口对应于多行，占用的时间窗口的长度即为二维数据表中对应行的行数。单列卷积核的行数与时间窗口的长度对应，在一些实施例中，单列卷积核的行数等于累积特征所占用的时间窗口的长度。

例如，参阅图4所示，图4示出了一个实施例中提取一次特征值的过程示意图，其中图4中的二维数据表A中的加粗线条矩形框内的3行一列数据，可以对应于一项累积特征a，该累积特征a占用的时间窗口的长度为3。例如，当第一列的事件特征为交易金额，一行对应一天的时段时，那么矩形框内的数据即对应于，对三天内的交易金额进行综合得到的累积特征。对应于需要提取的累积特征a，第一卷积层中的单列卷积核设置为3*1，采用3*1的卷积核依次与二维数据表中的各个3*1的累积特征执行卷积运算，并经激活、池化处理后，对应一个累积特征可得到一个特征值，例如其中累积特征a可得到对应的特征值f1，多个特征值组成了第一特征图F1，F1中的每一个小方格表示一个像素点，特征值相当于各个像素点的像素值。

同样地，当需要提取的累积特征为5行一列时，则对应的单列卷积核为5*1。累积特征的时间窗口长度以及单列卷积核的行数可调，例如取值范围可以是[2,30]之间的正整数。

在一些实施例中，第一卷积层中的单列卷积核的维度可以不同，例如，可以在第一卷积层中设置多个3*1卷积核、多个5*1卷积核和多个8*1卷积核。其中，作为一种可实施方式，每种维度的卷积核的个数对应于卷积运算的类型数目，例如，第一卷积层中的卷积运算包括加权求和、取最大值以及求平均值等3种类型卷积运算，类型数目为3，则各维度的卷积核的个数也为3，即设置3个3*1卷积核、3个5*1卷积核和3个8*1卷积核。

在一个实施例中，卷积神经网络还包括下游网络和输出单元，其中下游网络包括一个或多个下游卷积单元和一全连接层。

其中，下游卷积单元包括第二卷积层、第二激活层和第二池化层。与特征映射单元中的第一卷积层不同的是，第二卷积层中的卷积核为多行多列卷积核。

在S203中，下游网络对特征映射单元得到的第一特征图进一步进行处理，以获得全局特征。具体地，在一个实施例中，下游卷积单元以第一特征图为输入，在第二卷积层，利用多行多列卷积核执行卷积运算，在第二激活层，利用相应的非线性激活函数执行激活运算，在第二池化层，执行池化运算，获得多张局部特征图。

接下来，在全连接层，将多张局部特征图融合为一张全局特征图。在部分实施例中，还可以将全局特征图进一步处理，处理为一维的特征向量。因此，全局特征可以体现为，二维的全局特征图，或者一维的特征向量。

在S204中，输出单元根据全连接层输出的全局特征，计算当前输入的二维数据表对应的风险分数值。

具体地，在一个实施例中，基于获得的全局特征图中各个像素点的像素值，或者基于特征向量中各个元素的值，结合全连接层的r个权重参数w₁……w_r，进行加权求和，得到全局的风险分数值。在另一实施例中，对于加权求和的结果施加进一步的非线性运算函数，例如sigmoid函数，得到风险分数值。r表示全局特征中像素点数量或者特征向量中的元素数量。在一些实施例中，全局特征中被激活的特征继续参与计算风险分数值的运算，未被激活的特征则停止参与后续运算。

在一些实施例中，从全局特征中，确定导致风险分数值负增长的特征，或者说，与风险分数值负相关的特征，将这些对应的像素点的像素值或者元素值设为0。这样以执行补0操作后的全局特征为输入，可以减少反卷积运算过程中参与卷积、激活和池化运算的元素或者像素点的数量，降低反卷积过程的运算压力。

具体地，特征向量中被激活的各个元素值包括正数和负数，而权重参数w₁-w_r也包括正数和负数，全局特征中被激活的元素值与权重w₁-w_r分别相乘后，得到的各个子预测值可能为正数，也可能为负数，基于这些子预测值相加即得到总的风险分数值。本说明书实施例中，将得到的子预测值为负数的元素，视为与风险分数值负相关的特征，这些特征在计算总的风险分数值时，会拉低风险分数值，因此导致高风险分数值的概率非常低，因此这部分元素的值可以替换为0。

在得到全局的风险分数值后，在一些实施例中，当风险分数值超过预设门限值时，则针对全局特征，执行反卷积算法，例如风险分数值最高为1，当超过0.8时，则针对全局特征执行反卷积算法。这种方式能够节省执行反卷积过程所占用的运算资源。在另外一些实施例中，无论风险分数值是否超过预设门限值，均执行反卷积算法，这种方式会更消耗运算资源，但可确定出更多可解释性信息，有助于进一步验证卷积神经网络模型输出的风险分数值的可信度。

在S205中，基于预设的反卷积网络，以全连接层输出的全局特征为反向输入，执行反卷积算法，得到至少一张第二特征图。

其中，一部分实施例中，将未执行上述补0操作的原始全局特征输入反卷积网络；在另外一部分实施例中，将执行上述补0操作后的全局特征输入反卷积网络，以降低反卷积过程的运算压力。

在本说明书实施例中，与下游卷积单元的网络结构相对应，反卷积网络包括反池化层、反激活层和反卷积层。具体的反卷积算法可以包括：在反池化层，执行与第二池化层中的池化运算对应的反池化运算，例如可以是第二池化层中的池化运算的逆运算；在反激活层，执行与第二激活层中的激活运算对应的反激活运算，例如执行与第二激活层中的非线性激活函数的逆函数运算。

在反卷积层，则执行与第二卷积层中的卷积运算对应的反卷积运算。例如，将第二卷积层中的各个多行多列卷积核的参数矩阵转置，作为反卷积运算的卷积核的参数矩阵，执行反卷积运算。其中第二卷积层中的各个多行多列卷积核的参数矩阵可预先读取。

在本说明书一些实施例中，反卷积算法也可基于Deconvolution、backpropagation、guided-backpropagation等算法实现，在不同实施例中，这三种算法对于线性整流函数(Rectified Linear Unit,ReLU)的梯度选择是不同的。

并且需要说明的是，本说明书实施例中，反卷积算法为相对于下游卷积单元的反卷积过程，反卷积算法不执行与特征映射单元对应的反卷积过程。

如此，经过上述反卷积过程可得到至少一张第二特征图，第二特征图的维度与第二特征图的维度一致，并且第二特征图中的每个像素点的像素值表示相应位置对应的累积特征对于全局风险分数值的贡献值，也就是影响全局风险的权重值。

在S206中，获得第二特征图后，可采用如下方式确定导致风险分数值的累积特征：

在一些实施例中，将第二特征图中的各个像素点的像素值按照数值大小进行排序，选出排序满足预定条件的多个像素点作为目标像素点，例如，当按照数值由大到小进行排序时，排序在先的前几个像素点则视为满足预定条件；或者按照数值由小到大的顺序排序，则排序在后的几个像素点则视为满足预定条件，将这些像素点作为目标像素点。然后根据各个目标像素点在第二特征图中的位置信息，将第一特征图中相应位置的特征值对应的累积特征，确定为导致风险分数值的累积特征。

例如，参阅图5所示，假设需要确定至少三个累积特征，一个实施例中得到的第二特征图F2中，将各像素点的值按照数值大小进行排序，取排在前三位的像素点，分别是第一行第一列的f23，权重值0.15，第三行第四列的f22，权重值为0.31，以及第五行第二列的f21，权重值为0.45，则对应地，在第一特征图F1中，将第五行第二列、第三行第四列以及第一行第一列的特征值所对应的累积特征，确定为导致当前模型输出高风险分数值的主要原因，即作为可解释性信息输出。

当需要仅确定一个累积特征时，则从第二特征图中选出权重值最高的像素点，确定其位置并查找第一特征图中相应位置的特征值，进而确定导致高风险分数值的最主要因素。

在本说明书一些实施例中，确定的可解释性信息还包括针对累积特征执行的卷积运算信息。在确定至少一个累积特征后，还根据各个目标像素点在第二特征图中的位置信息，确定在第一特征图中相应位置的特征值对应的单列卷积核，根据单列卷积核的参数矩阵，确定在特征映射单元中针对相应的累积特征所执行的卷积运算。

例如，当3*1的卷积核的参数矩阵为[0.45,0.05,0.01]时，则将该单列卷积核对应的卷积运算确定为求取最大值；当3*1的卷积核的参数矩阵为[0.33,0.32,0.31]时，则将该单列卷积核对应的卷积运算确定为求取均值；当3*1的卷积核为[0.3,0.5,0.4]时，则将相应的卷积运算确定为加权求和；当5*1的卷积核为[0.5,0.02,0.01,0.003,0.05]时，则将相应的卷积运算确定为求取最大值，当5*1的卷积核为[0.1,0.2,0.4,0.3,0.2]时，则确定相应的卷积运算为加权求和，等等，本说明书实施例不再赘述。

在确定了累积特征，以及针对这些累积特征执行的运算后，结合累积特征对应的实际业务含义，将实际业务含义和卷积运算进行组合，能够得到更为全面的可解释性信息。

例如，第一特征图中第五行第二列的特征值对应的累积特征，其实际业务含义与卷积运算的组合为：交易渠道为支付宝的第4天至第6天交易金额的加权求和；第三行第四列对应的累积特征，其实际业务含义与卷积运算的组合为：交易地点为省内的第8至第10天的交易金额最大值，如此，输出的可解释性信息更具体，更具参考价值。

下面再列举具体的一个实施例，对本说明书提供的可解释性信息确定方法进一步说明。

以某用户持有的银行卡为目标对象，根据当前时间的前16天内的交易记录，生成相应的二维数据表，该二维数据表中的事件特征包括交易地点、交易渠道、操作设备、交易类型、交易对象等16个特征，交易时间具体到某一天，16天对应于16行，将相应的交易金额转换为相应像素点的像素值，该二维数据表可进一步转换为一张16*16的二维图像，例如将交易金额转换为灰度值，则二维数据表相当于一张二维灰度图像。

参阅图6所示，将该二维灰度图像输入特征映射单元，特征映射单元中设有多个3*1卷积核、多个4*1卷积核和多个8*1卷积核。经特征映射单元得到维度不同的多张第一特征图，然后将这些第一特征图输入下游卷积单元，得到多张局部特征图，然后通过全连接层整合为一张全局特征图，并且处理为一维的特征向量，之后经输出单元计算得到风险分数值为0.998。

接下来，以全连接层整合的全局特征图为反向输入，执行与下游卷积单元对应的反卷积算法，得到多张第二特征图。将第二特征图中的各个像素点的像素值排序，取前四个像素点，根据这四个像素点在第二特征图中的位置，到第一特征图的对应位置查找到相应的像素点的值，即特征值，根据卷积运算的特点，能够确定这四个特征值所分别对应的累积特征和相应的单列卷积核，根据卷积核的参数矩阵，确定针对这四个累积特征所执行的卷积运算，结合累积特征的实际业务含义，输出如图7所示的结果，即确定了四个用于明确高风险项的可解释性信息，分别为：

交易地点为省内的前2天至前5天的用户交易金额加权求和、以个人电脑为操作设备的前2天至前5天用户交易金额最大值、以信用卡为交易渠道的前2天至前5天用户交易金额加权求和、交易地点为省外的前1天至前4天交易金额最大值。

本说明书第二方面，还提供一种可解释性信息确定装置。参阅图8所示，该装置800包括获取模块810、输入模块820、反卷积模830、确定模块840。

获取模块810，配置为获取目标对象对应的二维数据表。

其中，二维数据表的各行对应于该目标对象在预定时间段内发生的各个行为事件，各列对应于行为事件的各项事件特征，各个行为事件按照事件发生时间排序。关于二维数据表以及行为事件、事件特征，请参见上述第一方面中的描述，此处不再赘述。

输入模块820，配置为将二维数据表输入预先训练的卷积神经网络。该卷积神经网络至少包括特征映射单元、下游网络和输出单元。

特征映射单元用于，利用至少一个单列卷积核，提取二维数据表中各项事件特征在至少一个时间窗口内的累积特征的特征值，得到至少一张第一特征图，单列卷积核的行数对应于累积特征所在的时间窗口的长度。

下游网络用于，基于第一特征图进行下游卷积处理，获得全局特征。

输出单元用于，根据全局特征计算得到二维数据表对应的风险分数值。

反卷积模块830，配置为针对全局特征，执行与下游卷积处理对应的反卷积算法，得到至少一张第二特征图。其中，第二特征图与第一特征图维度相同，其中各个像素点的像素值分别表示，第一特征图中相应位置的特征值所对应的累积特征对于风险分数值的权重。

确定模块840，配置为根据第二特征图，确定导致风险分数值的累积特征，作为可解释性信息。

在一个实施例中，参阅图3所示，特征映射单元包括第一卷积层、第一激活层和第一池化层。在该实施例中，特征映射单元具体用于：在特征映射单元的第一卷积层，基于至少一个单列卷积核，执行针对二维数据表的卷积运算；在第一激活层，利用非线性激活函数执行激活运算，在第一池化层执行池化运算，得到携带有各个累积特征对应的特征值的至少一张第一特征图。

在一个实施例中，参阅图6或者图1所示，下游网络包括至少一个下游卷积单元，下游卷积单元包括第二卷积层、第二激活层和第二池化层，第二卷积层包括至少一个多行多列卷积核。

在一个更具体的实施例中，下游网络还包括全连接层。在该实施例中，下游网络具体用于：以第一特征图作为输入，在第二卷积层，利用多行多列卷积核执行卷积运算；在第二激活层，利用相应的非线性激活函数执行激活运算；在第二池化层，执行池化运算，获得多张局部特征图；在全连接层，将多张局部特征图融合为表征全局特征的全局特征图。

在一个实施例中，下游网络，具体用于：获得表征全局特征的二维的全局特征图；或者将全局特征图进一步处理为特征向量。

在一个更具体的实施例中，下游网络还用于：从全局特征中，确定与风险分数值负相关的特征，将确定的特征对应的像素点的像素值或者元素值设为0。

在一个实施例中，反卷积模块830，配置为：在风险分数值超过预设门限值时，针对全局特征，执行与下游卷积处理对应的反卷积算法。

在一个更具体的实施例中，反卷积模块830，配置为：将全局特征输入预设的反卷积网络，反卷积网络包括反池化层、反激活层和反卷积层；在反池化层，执行与第二池化层中的池化运算对应的反池化运算，在反激活层，执行与第二激活层中的激活运算对应的反激活运算，在反卷积层，执行与第二卷积层中的卷积运算对应的反卷积运算，得到至少一张第二特征图。

在一个更具体的实施例中，反卷积模块830，具体配置为：在反卷积层，将预先读取的第二卷积层中的各个多行多列卷积核的参数矩阵转置，作为反卷积运算的卷积核的参数矩阵，执行反卷积运算。

在一个更具体的实施例中，反卷积模块830，具体配置为：在反池化层，执行第二池化层中的池化运算的逆运算；在反激活层，执行第二激活层中的非线性激活函数的逆运算。

在一个实施例中，确定模块840，具体配置为：将第二特征图中的各个像素点的像素值按照数值大小进行排序，选出排序满足预定条件的多个像素点作为目标像素点；根据各个目标像素点在第二特征图中的位置信息，将第一特征图中相应位置的特征值对应的累积特征，确定为导致风险分数值的累积特征。

在一个更具体的实施例中，确定模块840，进一步配置为：根据各个目标像素点在第二特征图中的位置信息，确定在第一特征图中相应位置的特征值对应的单列卷积核，根据单列卷积核的参数矩阵，确定在特征映射单元中针对相应的累积特征所执行的卷积运算。

在一个更具体的实施例中，可解释性信息还包括针对累积特征执行的卷积运算信息；确定模块，进一步配置为：获取累积特征对应的实际业务含义，将实际业务含义和卷积运算进行组合，作为可解释性信息。

如上，根据再一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所描述的方法。

综上，本说明书提供的可解释性信息确定方法及装置，确定出的可解释性信息精度较高，可具体到输入数据中的某一个事件特征，而且不需要产生扰动样本，不会收到扰动样本的影响，更具稳定性。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。

Claims (28)

1.一种可解释性信息确定方法，包括：

获取目标对象对应的二维数据表；所述二维数据表的各行对应于该目标对象在预定时间段内发生的各个行为事件，各列对应于行为事件的各项事件特征，所述各个行为事件按照事件发生时间排序；所述行为事件包括交易事件，所述各项事件特征至少包括交易事件对应的事件特征，所述交易事件对应的事件特征包括以下中的一项或多项：交易渠道，交易设备，交易地点，交易均值，交易对象，交易类型；

将所述二维数据表输入预先训练的卷积神经网络，所述卷积神经网络至少包括特征映射单元、下游网络和输出单元，所述特征映射单元利用至少一个单列卷积核，提取所述二维数据表中各项事件特征在至少一个时间窗口内的累积特征的特征值，得到至少一张第一特征图，所述单列卷积核的行数对应于所述累积特征所在的时间窗口的长度；所述下游网络基于所述第一特征图进行下游卷积处理，获得全局特征；所述输出单元根据所述全局特征计算得到所述二维数据表对应的风险分数值；

针对所述全局特征，执行与所述下游卷积处理对应的反卷积算法，得到至少一张第二特征图，所述第二特征图与所述第一特征图维度相同，其中各个像素点的像素值分别表示，所述第一特征图中相应位置的特征值所对应的累积特征对于所述风险分数值的权重；

根据所述第二特征图，确定导致所述风险分数值的累积特征，作为所述可解释性信息。

2.根据权利要求1所述的方法，其中，所述特征映射单元包括第一卷积层、第一激活层和第一池化层；

所述特征映射单元利用至少一个单列卷积核，提取所述二维数据表中各项事件特征在至少一个时间窗口内的累积特征的特征值，得到至少一张第一特征图，具体包括：

在所述特征映射单元的第一卷积层，基于至少一个单列卷积核，执行针对所述二维数据表的卷积运算；在所述第一激活层，利用非线性激活函数执行激活运算，在所述第一池化层执行池化运算，得到携带有所述各个累积特征对应的特征值的至少一张第一特征图。

3.根据权利要求1所述的方法，其中，所述下游网络包括至少一个下游卷积单元，所述下游卷积单元包括第二卷积层、第二激活层和第二池化层，第二卷积层包括至少一个多行多列卷积核。

4.根据权利要求3所述的方法，其中，所述下游网络还包括全连接层；

所述下游网络基于所述第一特征图进行下游卷积处理，获得全局特征，具体包括：

以所述第一特征图作为输入，在所述第二卷积层，利用所述多行多列卷积核执行卷积运算；在所述第二激活层，利用相应的非线性激活函数执行激活运算；在所述第二池化层，执行池化运算，获得多张局部特征图；

在所述全连接层，将所述多张局部特征图融合为表征全局特征的全局特征图。

5.根据权利要求1所述的方法，其中，获得全局特征，具体包括：

获得表征全局特征的二维的全局特征图；或者将所述全局特征图进一步处理为特征向量。

6.根据权利要求1所述的方法，其中，获得全局特征之后，针对所述全局特征，执行反卷积算法之前，还包括：

从所述全局特征中，确定与所述风险分数值负相关的特征，将确定的所述特征对应的像素点的像素值或者元素值设为0。

7.根据权利要求1所述的方法，其中，针对所述全局特征，执行与所述下游卷积处理对应的反卷积算法，包括：

在所述风险分数值超过预设门限值时，针对所述全局特征，执行与所述下游卷积处理对应的反卷积算法。

8.根据权利要求3所述的方法，其中，针对所述全局特征，执行与所述下游卷积处理对应的反卷积算法，得到至少一张第二特征图，具体包括：

将所述全局特征输入预设的反卷积网络，所述反卷积网络包括反池化层、反激活层和反卷积层；

在所述反池化层，执行与所述第二池化层中的池化运算对应的反池化运算，在所述反激活层，执行与所述第二激活层中的激活运算对应的反激活运算，在所述反卷积层，执行与所述第二卷积层中的卷积运算对应的反卷积运算，得到至少一张第二特征图。

9.根据权利要求8所述的方法，其中，在所述反卷积层，执行与所述第二卷积层中的卷积运算对应的反卷积运算，具体包括：

在所述反卷积层，将预先读取的所述第二卷积层中的各个多行多列卷积核的参数矩阵转置，作为反卷积运算的卷积核的参数矩阵，执行反卷积运算。

10.根据权利要求8所述的方法，其中，在所述反池化层，执行与所述第二池化层中的池化运算对应的反池化运算，在所述反激活层，执行与所述第二激活层中的激活运算对应的反激活运算，具体包括：

在所述反池化层，执行所述第二池化层中的池化运算的逆运算；在所述反激活层，执行所述第二激活层中的非线性激活函数的逆运算。

11.根据权利要求1所述的方法，其中，根据所述第二特征图，确定导致所述风险分数值的累积特征，具体包括：

将所述第二特征图中的各个像素点的像素值按照数值大小进行排序，选出排序满足预定条件的多个像素点作为目标像素点；根据各个所述目标像素点在所述第二特征图中的位置信息，将所述第一特征图中相应位置的特征值对应的累积特征，确定为导致所述风险分数值的累积特征。

12.根据权利要求11所述的方法，其中，根据所述第二特征图，确定导致所述风险分数值的累积特征之后，进一步包括：

根据各个所述目标像素点在所述第二特征图中的位置信息，确定在所述第一特征图中相应位置的特征值对应的单列卷积核，根据所述单列卷积核的参数矩阵，确定在所述特征映射单元中针对相应的累积特征所执行的卷积运算。

13.根据权利要求12所述的方法，其中，所述可解释性信息还包括针对所述累积特征执行的卷积运算信息；

确定在所述特征映射单元中针对相应的累积特征所执行的卷积运算之后，还包括：

获取所述累积特征对应的实际业务含义，将所述实际业务含义和所述卷积运算进行组合，作为所述可解释性信息。

14.一种可解释性信息确定装置，包括：

获取模块，配置为获取目标对象对应的二维数据表；所述二维数据表的各行对应于该目标对象在预定时间段内发生的各个行为事件，各列对应于行为事件的各项事件特征，所述各个行为事件按照事件发生时间排序；所述行为事件包括交易事件，所述各项事件特征至少包括交易事件对应的事件特征，所述交易事件对应的事件特征包括以下中的一项或多项：交易渠道，交易设备，交易地点，交易均值，交易对象，交易类型；

输入模块，配置为将所述二维数据表输入预先训练的卷积神经网络，所述卷积神经网络至少包括特征映射单元、下游网络和输出单元，所述特征映射单元用于，利用至少一个单列卷积核，提取所述二维数据表中各项事件特征在至少一个时间窗口内的累积特征的特征值，得到至少一张第一特征图，所述单列卷积核的行数对应于所述累积特征所在的时间窗口的长度；所述下游网络用于，基于所述第一特征图进行下游卷积处理，获得全局特征；所述输出单元用于，根据所述全局特征计算得到所述二维数据表对应的风险分数值；

反卷积模块，配置为针对所述全局特征，执行与所述下游卷积处理对应的反卷积算法，得到至少一张第二特征图，所述第二特征图与所述第一特征图维度相同，其中各个像素点的像素值分别表示，所述第一特征图中相应位置的特征值所对应的累积特征对于所述风险分数值的权重；

确定模块，配置为根据所述第二特征图，确定导致所述风险分数值的累积特征，作为所述可解释性信息。

15.根据权利要求14所述的装置，其中，所述特征映射单元包括第一卷积层、第一激活层和第一池化层；所述特征映射单元具体用于：

在所述特征映射单元的第一卷积层，基于至少一个单列卷积核，执行针对所述二维数据表的卷积运算；在所述第一激活层，利用非线性激活函数执行激活运算，在所述第一池化层执行池化运算，得到携带有所述各个累积特征对应的特征值的至少一张第一特征图。

16.根据权利要求14所述的装置，其中，所述下游网络包括至少一个下游卷积单元，所述下游卷积单元包括第二卷积层、第二激活层和第二池化层，第二卷积层包括至少一个多行多列卷积核。

17.根据权利要求16所述的装置，其中，所述下游网络还包括全连接层；所述下游网络具体用于：

以所述第一特征图作为输入，在所述第二卷积层，利用所述多行多列卷积核执行卷积运算；在所述第二激活层，利用相应的非线性激活函数执行激活运算；在所述第二池化层，执行池化运算，获得多张局部特征图；

在所述全连接层，将所述多张局部特征图融合为表征全局特征的全局特征图。

18.根据权利要求14所述的装置，其中，所述下游网络，具体用于：

获得表征全局特征的二维的全局特征图；或者将所述全局特征图进一步处理为特征向量。

19.根据权利要求14所述的装置，其中，所述下游网络还用于：

从所述全局特征中，确定与所述风险分数值负相关的特征，将确定的所述特征对应的像素点的像素值或者元素值设为0。

20.根据权利要求14所述的装置，其中，所述反卷积模块，配置为：

在所述风险分数值超过预设门限值时，针对所述全局特征，执行与所述下游卷积处理对应的反卷积算法。

21.根据权利要求16所述的装置，其中，所述反卷积模块，配置为：

将所述全局特征输入预设的反卷积网络，所述反卷积网络包括反池化层、反激活层和反卷积层；

在所述反池化层，执行与所述第二池化层中的池化运算对应的反池化运算，在所述反激活层，执行与所述第二激活层中的激活运算对应的反激活运算，在所述反卷积层，执行与所述第二卷积层中的卷积运算对应的反卷积运算，得到至少一张第二特征图。

22.根据权利要求21所述的装置，其中，所述反卷积模块，具体配置为：

在所述反卷积层，将预先读取的所述第二卷积层中的各个多行多列卷积核的参数矩阵转置，作为反卷积运算的卷积核的参数矩阵，执行反卷积运算。

23.根据权利要求21所述的装置，其中，所述反卷积模块，具体配置为：

在所述反池化层，执行所述第二池化层中的池化运算的逆运算；在所述反激活层，执行所述第二激活层中的非线性激活函数的逆运算。

24.根据权利要求14所述的装置，其中，所述确定模块，具体配置为：

将所述第二特征图中的各个像素点的像素值按照数值大小进行排序，选出排序满足预定条件的多个像素点作为目标像素点；根据各个所述目标像素点在所述第二特征图中的位置信息，将所述第一特征图中相应位置的特征值对应的累积特征，确定为导致所述风险分数值的累积特征。

25.根据权利要求24所述的装置，其中，所述确定模块，进一步配置为：

根据各个所述目标像素点在所述第二特征图中的位置信息，确定在所述第一特征图中相应位置的特征值对应的单列卷积核，根据所述单列卷积核的参数矩阵，确定在所述特征映射单元中针对相应的累积特征所执行的卷积运算。

26.根据权利要求25所述的装置，其中，所述可解释性信息还包括针对所述累积特征执行的卷积运算信息；所述确定模块，进一步配置为：

获取所述累积特征对应的实际业务含义，将所述实际业务含义和所述卷积运算进行组合，作为所述可解释性信息。

27.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-13中任一项的所述的方法。

28.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-13中任一项所述的方法。

Images