CN114091684A - 增强业务结果可解释性的方法及装置 - Google Patents

Abstract

本说明书实施例提供一种增强业务结果可解释性的方法及装置。该方法包括：获取原始行为序列和对应的业务标签，所述原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为；利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果；所述M个第一序列通过从所述原始行为序列中分别屏蔽M组行为而得到；基于所述业务标签，确定所述M个业务预测结果对应的M个预测损失；基于所述M个预测损失，从所述M组行为中确定关键行为，用于解释所述原始行为序列的业务预测结果。

Description

增强业务结果可解释性的方法及装置

技术领域

本说明书一个或多个实施例涉及机器学习技术领域，尤其涉及一种增强业务结果可解释性的方法及装置。

背景技术

在许多业务场景下，需要对用户操作行为等进行分析和处理，例如，评估与用户相关的风险程度，以便进行风险防控等。通常，可以基于用户做出的某项操作行为本身的特征进行分析，进一步地，还可以更全面地考虑用户的行为序列。行为序列是用户在日常操作使用中产生的一系列点击、访问、购买等行为的发生过程，可表示为行为集合的时间序列，它蕴含了用户的细粒度习惯偏好等特点，便于更全面地分析用户的操作历史和操作模式。

随着机器学习的发展，构建机器学习模型分析用户行为序列已成为研究热点。有些情况下，需要对利用机器学习模型得到的针对用户行为序列的业务预测结果进行解释，例如在风险防控场景下，当用户因感知其操作行为被干预或阻断而向客服人员询问相关事由时，客服人员需要向用户进行解释说明。

然而，目前对业务分析结果的解释大多依赖于对用户行为序列的人工分析，导致成本高，且效率和准确率都十分有限。因此，迫切需要一种方案，可以有效增强业务结果的可解释性。

发明内容

本说明书一个或多个实施例描述增强业务结果可解释性的方法，可以自动确定出原始行为序列中的关键行为，和/或，行为的关键属性，从而有效增强业务结果的可解释性。

根据第一方面，提供一种增强业务结果可解释性的方法，包括：获取原始行为序列和对应的业务标签，所述原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为；利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果；所述M个第一序列通过从所述原始行为序列中分别屏蔽M组行为而得到；基于所述业务标签，确定所述M个业务预测结果对应的M个预测损失；基于所述M个预测损失，从所述M组行为中确定关键行为，用于解释所述原始行为序列的业务预测结果。

在一个实施例中，所述业务标签通过人工标注而得到。

在一个实施例中，获取原始行为序列和对应的业务标签，包括：获取所述原始行为序列；利用所述业务预测模型，确定所述原始行为序列的业务预测结果，作为所述业务标签。

在一个实施例中，所述业务标签包括对应多个预测任务的多个子标签，所述业务预测结果包括对应所述多个预测任务的多个子结果。

在一个实施例中，所述业务预测模型中包括行为注意力层；其中，在利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果之前，所述方法还包括：获取利用所述行为注意力层确定出的对应所述T个操作行为的T个注意力权重；确定所述T个注意力权重中大于权重阈值或排在预设靠前范围内的部分注意力权重；对所述部分注意权重对应的操作行为进行分组，得到所述M组行为。

在一个实施例中，所述M组行为中任意两组行为之间互斥。

在一个实施例中，在利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果之前，所述方法还包括：针对所述M组行为中的任意一组行为，将所述原始行为序列中包含的该组行为替换为缺省值，得到对应的第一序列。

在一个实施例中，所述业务预测模型包括行为表征层、序列表征层和输出层；其中，利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果，包括：利用所述行为表征层，确定所述T个操作行为对应的T个行为表征向量；针对所述M组行为中的任意一组行为，对所述T个行为表征向量包含的与该组行为对应的行为表征向量进行置零处理；利用所述序列表征层，对经过置零处理后得到的T个行为表征向量进行处理，得到该组行为所对应第一序列的序列表征向量；利用所述输出层处理所述序列表征向量，得到该第一序列对应的业务预测结果。

在一个实施例中，所述业务预测模型包括行为表征层、序列表征层和输出层；其中，利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果，包括：利用所述行为表征层，确定所述T个操作行为对应的T个行为表征向量；针对所述M组行为中的任意一组行为，对所述序列表征层中用于处理该组行为的模型参数进行置零处理；利用经过所述置零处理后的序列表征层处理所述T个行为表征向量，得到该组行为所对应第一序列的序列表征向量；利用所述输出层处理所述序列表征向量，得到该第一序列对应的业务预测结果。

在一个实施例中，基于所述M个预测损失，从所述M组行为中确定关键行为，包括：确定所述M个预测损失中大于损失阈值或排在预设靠前范围内的若干预测损失；将所述若干预测损失对应的若干组行为，确定为所述关键行为。

在一个具体的实施例中，所述T个操作行为中的各个操作行为对应N个属性字段；其中，在基于所述M个预测损失，从所述M组行为中确定关键行为之后，所述方法还包括：利用所述业务预测模型，确定Q个第二序列对应的Q个业务预测结果；所述Q个第二序列对应于，在由所述关键行为形成的行为序列中分别屏蔽Q组属性字段而得到的序列；基于所述业务标签，确定所述Q个业务预测结果对应的Q个预测损失；基于所述Q个预测损失，从所述Q组属性字段中确定关键属性字段，用于解释所述原始行为序列的业务预测结果。

根据第二方面，提供一种增强业务结果可解释性的方法，包括：获取原始行为序列和对应的业务标签，所述原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为，其中各个操作行为包括N个属性字段；利用训练好的业务预测模型，确定S个第三序列对应的S个业务预测结果；所述S个第三序列通过从所述原始行为序列中分别屏蔽S组属性字段而得到；基于所述业务标签，确定所述S个业务预测结果对应的S个预测损失；基于所述S个预测损失，从所述S组属性字段中确定关键属性字段，用于解释所述原始行为序列的业务预测结果。

在一个实施例中，所述S组属性字段中任意两组属性字段之间互斥。

在一个实施例中，在利用训练好的业务预测模型，确定S个第三序列对应的S个业务预测结果之前，所述方法还包括：针对所述S组属性字段中的任意一组属性字段，将所述原始行为序列中各个行为对应该组中属性字段的字段值替换为缺省值，得到对应的第三序列。

在一个实施例中，所述业务预测模型包括属性编码层、行为表征层、序列表征层和输出层；其中，利用训练好的业务预测模型，确定S个第三序列对应的S个业务预测结果，包括：针对所述T个操作行为中的每个操作行为，利用所述属性编码层处理该行为中包含的对应N个属性字段的字段值，得到对应的N个属性编码向量；针对所述S组属性字段中的任意一组属性字段，将所述N个属性编码向量中与该组属性字段对应的属性编码向量进行置零处理；利用行为表征层，对经过置零处理后得到的N个属性编码向量进行处理，得到该行为对应的行为表征向量；利用所述序列表征层，对所述T个操作行为对应的T个行为表征向量进行处理，得到该组属性字段所对应第三序列的序列表征向量；利用所述输出层处理所述序列表征向量，得到该第三序列对应的业务预测结果。

在一个实施例中，所述业务预测模型包括属性编码层、行为表征层、序列表征层和输出层；其中，利用训练好的业务预测模型，确定S个第三序列对应的S个业务预测结果，包括：针对所述T个操作行为中的每个操作行为，利用所述属性编码层处理该行为中包含的对应N个属性字段的字段值，得到对应的N个属性编码向量；针对所述S组属性字段中的任意一组属性字段，将所述行为表征层中用于处理该组属性字段的模型参数进行置零处理；利用经过所述置零处理后的行为表征层，处理所述N个属性编码向量，得到该行为对应的行为表征向量；利用所述序列表征层，对所述T个操作行为对应的T个行为表征向量进行处理，得到该组属性字段所对应第三序列的序列表征向量；利用所述输出层处理所述序列表征向量，得到该第三序列对应的业务预测结果。

在一个实施例中，基于所述S个预测损失，从所述S组属性字段中确定关键属性字段，包括：确定所述S个预测损失中大于损失阈值或排在预设靠前范围内的若干预测损失；将所述若干预测损失对应的若干组属性字段，确定为所述关键属性字段。

根据第三方面，提供一种增强业务结果可解释性的装置，包括：序列获取单元，配置为获取原始行为序列和对应的业务标签，所述原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为；结果预测单元，配置为利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果；所述M个第一序列通过从所述原始行为序列中分别屏蔽M组行为而得到；损失确定单元，配置为基于所述业务标签，确定所述M个业务预测结果对应的M个预测损失；行为确定单元，配置为基于所述M个预测损失，从所述M组行为中确定关键行为，用于解释所述原始行为序列的业务预测结果。

根据第四方面，提供一种增强业务结果可解释性的装置，包括：序列获取单元，配置为获取原始行为序列和对应的业务标签，所述原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为，其中各个操作行为包括N个属性字段；结果预测单元，配置为利用训练好的业务预测模型，确定S个第三序列对应的S个业务预测结果；所述S个第三序列通过从所述原始行为序列中分别屏蔽S组属性字段而得到；损失确定单元，配置为基于所述业务标签，确定所述S个业务预测结果对应的S个预测损失；属性确定单元，配置为基于所述S个预测损失，从所述S组属性字段中确定关键属性字段，用于解释所述原始行为序列的业务预测结果。

根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。

根据第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，该处理器执行所述可执行代码时，实现第一方面或第二方面的方法。

采用本说明书实施例提供的方法和装置，通过计算预测损失评估原始行为序列中包含的各组行为对业务预测结果的影响，从而确定支撑原始行为序列的业务预测结果的关键行为和/或关键损失，有效增强业务预测结果的可解释性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出本说明书实施例披露的增强业务结果可解释性方案的实施架构示意图；

图2示出根据一个实施例的增强业务结果可解释性的方法流程示意图；

图3示出根据一个实施例的业务预测模型的模型结构示意图；

图4示出根据另一个实施例的业务预测模型的模型结构示意图；

图5示出根据另一个实施例的增强业务结果可解释性的方法流程示意图；

图6示出根据又一个实施例的业务预测模型的模型结构示意图；

图7示出根据还一个实施例的业务预测模型的模型结构示意图；

图8示出根据一个实施例的增强业务结果可解释性的装置结构示意图；

图9示出根据另一个实施例的增强业务结果可解释性的装置结构示意图。

具体实施方式

下面结合附图，对本说明书提供的方案进行描述。

如前所述，需要增强业务结果的可解释性。图1示出本说明书实施例披露的增强业务结果可解释性方案的实施架构示意图。如图1所示，在方案的实施过程中，先获取原始行为序列和对应的业务标签，其中原始行为序列包括按时间顺序排列的T个操作行为(或称操作事件)，即E₁至E_T；再利用训练好的业务预测模型，确定从原始行为序列中分别屏蔽M组行为而得到的M个第一序列所对应的M个预测结果，图1中被屏蔽行为用斜线阴影框示出；之后，利用基于业务标签和M个预测结果确定出的M个预测损失，从上述M组行为中确定关键行为，图1中示意为E₁、E₃、E₅和E_T。如此，可以自动确定出原始行为序列中的关键行为，用于对该原始行为序列的业务预测结果(或简称业务结果、预测结果)进行解释，从而实现了对业务结果可解释性的有效增强。

下面详细描述上述方案的实施步骤。图2示出根据一个实施例的增强业务结果可解释性的方法流程示意图，所述方法的执行主体可以为任何具有计算、处理能力的装置、服务器或设备集群。如图2所示，所述方法包括以下步骤：

步骤S210，获取原始行为序列和对应的业务标签，所述原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为；步骤S220，利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果；所述M个第一序列通过从所述原始行为序列中分别屏蔽M组行为而得到；步骤S230，基于所述业务标签，确定所述M个业务预测结果对应的M个预测损失；步骤S240，基于所述M个预测损失，从所述M组行为中确定关键行为，用于解释所述原始行为序列的业务预测结果。

对以上步骤的展开介绍如下：

首先，在步骤S210，获取原始行为序列和对应的业务标签。

参见图1，原始行为序列中包括按照时间顺序排列的T个操作行为E₁,E₂,…,E_T；并且，这T个操作行为均由目标用户做出，其中T为大于1的整数。在一个实施例中，T个操作行为都是目标用户的历史操作行为；在另一个实施例中，T个操作行为可以包括目标用户的当前操作行为以及向前回溯的T-1个历史操作行为。另一方面，在一个实施例中，可以采集具有同一类型的T个操作行为，如登录类行为或交易类行为；在另一个实施例中，可以根据预先设定的多种行为类型，如点击行为、购买行为等，采集T个操作行为。

原始行为序列中的每个操作行为具有相关的属性信息，包括对应N个属性字段的N个属性值，其中N为大于1的整数。为了业务分析的全面性，在此可以获取各个行为的细粒度的全面的属性信息以供后续处理。示例性地，属性信息可以包括行为类型(如登录操作，充值操作，支付操作，交易操作等)、行为时间、地理位置、用户操作所使用的设备信息(如设备类型、设备型号、MAC地址，IP地址等)，以及所使用的软件方面的信息(如浏览器类型，app版本等)；进一步，如果操作行为是交易类行为，属性信息还可以包括交易行为的涉及金额，支付渠道，支付卡号，支付卡的发卡行，交易对象，等等。

此外，对于历史操作事件而言，对应的属性信息还可以包括，历史操作行为的操作结果，例如操作成功，失败，超时，等等。而对于当前操作事件，一般是有待进行分析预测的事件，其尚未产生操作结果，其对应操作结果的字段值可以是缺省值；通常来说，对于当前操作事件进行业务分析，正是用于决定是否允许本次操作，也就是决定其操作结果。

以上介绍原始行为序列。对于该原始行为序列对应的业务标签，其与需执行的业务预测任务有关，业务预测任务针对的业务对象可以是用户，也可以是用户的当前操作行为。在一个实施例中，业务预测任务为针对用户或当前操作的风险评估任务，相应，业务标签为风险类别标签，如高风险、中风险、低风险，或有风险和无风险，等等；在另一个实施例中，业务预测任务为针对用户的信用预测任务，相应，业务标签可以是信用分数或信用等级。另一方面，需执行的业务预测任务也可以包括多项，相应，原始行为序列对应的业务标签为多个。在一个实施例中，业务预测任务包括识别风险用户以及选取针对高风险用户的行为干预方式，相应，业务标签包括风险类别标签，如高风险和低风险，还包括干预类别标签，如电话询问、要求二次核身、短信提醒等。

又一方面，对于上述业务标签的获取方式，在一个实施例中，可以直接获取通过人工标注得到的业务标签。在另一个实施例中，对于没有人工标注的业务标签的情况，例如，上述原始行为序列响应于当前操作行为E_T而采集，来不及进行人工标注，此时，可以将上述原始行为序列输入训练好的业务预测模型中，得到对应的业务预测结果，作为该原始行为序列对应的业务标签。

以上，对获取的原始行为序列和业务标签进行介绍。基于此，在步骤S220，利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果，该M个第一序列通过从原始行为序列中分别屏蔽M组行为而得到。

需说明，对于上述业务预测模型，可以采用监督学习的方式进行训练而得到。具体，可以采集多个历史行为序列和对应的多个人工标注标签，然后，基于采集的这些训练数据，对该业务预测模型进行多轮次迭代训练，从而得到训练好的业务预测模型。

为便于理解，下面先介绍上述被屏蔽的M组行为的确定方式。需说明，在一种实施场景中，业务预测任务针对的业务对象是当前操作行为E_T，此时，可以基于上述T个操作行为中除E_T以外的T-1个操作行为进行分组处理；在另一种实施场景中，业务预测任务针对的业务对象是用户，此时，可以基于上述T个操作行为进行分组处理。为简洁描述，以下主要以基于T个操作行为进行分组处理为示例进行说明，对基于T-1个操作行为进行分组处理的情况，可参照执行，包括将T替换为T-1。

在一个实施例中，可以直接将T个操作行为划分为M组，每组可以包括一个或多个操作行为，并且，组内操作行为的数量小于T，或者，小于预定的数量阈值，其中数量阈值通常为小于T的数值。进一步，在一个具体的实施例中，可以对T个操作行为进行等量划分，使得每组都包含相同数量的行为。在一个例子中，可以将T个操作行为中的每个操作行为分别单独作为一组行为，此时，M＝T。另一方面，在一个具体的实施例中，任意两组行为之间互斥，也即，任意两组行为之间不包含相同的操作行为。

在另一个实施例中，可以先对T个操作行为进行预筛选，再基于预筛选后保留的操作行为确定上述M组行为。具体，如图3所示，业务预测模型包括行为注意层32，据此，可以获取利用行为注意层32确定出的对应上述T个操作行为的T个注意力权重；接着，确定该T个注意力权重中大于权重阈值或排在预设靠前范围内的部分注意力权重；之后，对该部分注意力权重对应的操作行为进行分组，得到上述M组行为。

进一步，在一个具体的实施例中，参见图3，T个注意力权重的获取可以包括：利用行为表征层31分别对T个操作行为E₁,E₂,…,E_T进行处理，得到对应的T个行为表征向量X₁,X₂,…,X_T；之后，在行为注意力层32，处理该T个行为表征向量，得到对应的T个注意力权重w₁,w₂,…,w_T(图3中未示出注意力权重)，该T个注意力权重用于对T个行为表征向量进行加权求和，以得到行为序列表征向量V。需理解，对于行为注意力层32中注意力权重的确定，可以采用已有的注意力机制实现，在此不作赘述。由此，可以获取T个注意力权重。此外需说明，针对基于上述T-1个操作行为进行预筛选的情况，其注意力权重可以基于图4中示出的行为注意力层42而确定。

在一个具体的实施例中，上述权重阈值可以是人工设定得到。在一个具体的实施例中，预设靠前范围可以是靠前的预定数量，如top5，或者，可以是靠前的预定百分比，如top50％。

在一个具体的实施例中，对上述部分注意力权重对应的操作行为进行分组，如随机划分或等量划分等，对此还可以参见前述相关描述。

由此，可以确定M组行为。进一步，可以确定该M组行为所对应的上述M个第一序列的业务预测结果。需说明，可以从多个维度实现对各组行为所包含信息的屏蔽(mask)，例如，对输入层获取的行为数据、行为数据所对应的表征向量或用于处理该表征向量的模型参数进行屏蔽。具体，在一个实施例中，针对M组行为中的任意一组行为，将上述原始行为序列中包含的该组行为替换为缺省值(如null)，得到对应的第一序列；然后，可以将得到的对应该M组行为的M个第一序列，分别输入训练好的业务预测模型中，得到对应的M个业务预测结果。如此，可以通过对各组行为的原始信息进行屏蔽，确定对应的部分行为被屏蔽序列的业务预测结果。

在另一个实施例中，上述业务预测模型包括行为表征层、序列表征层和输出层。需理解，业务预测模型中的各层均可以采用神经网络实现。在一个示例中，其中序列表征层可以实现为图3中示出的行为注意力层32，相应，行为表征层和输出层可以实现为图3示出的行为表征层31和输出层33；在另一个示例中，其中序列表征层可以实现为图4中示出的行为注意力层42，相应，行为表征层和输出层可以实现为图4示出的行为表征层41和输出层43。

进一步，在一个具体的实施例中，上述M个业务预测结果的确定可以包括：先利用行为表征层，确定T个操作行为对应的T个行为表征向量X₁,X₂,…,X_T；然后，针对上述M组行为中的任意一组行为，对该T个行为表征向量X₁,X₂,…,X_T包含的与该组行为对应的行为表征向量进行置零处理，例如，假定某组行为中包括操作行为E₁，则可以将其对应的行为表征向量X₁替换为零向量，从而得到置零处理的T个行为表征向量0,X₂,…,X_T；接着，利用序列表征层，对经过置零处理后得到的T个行为表征向量进行处理，得到该组行为所对应第一序列的序列表征向量；之后，利用输出层处理该序列表征向量，得到该第一序列对应的业务预测结果。如此，可以通过对各组行为对应的表征向量进行屏蔽，确定对应的部分行为被屏蔽序列的业务预测结果。

在另一个具体的实施例中，上述M个业务预测结果的确定可以包括：先利用行为表征层，确定上述T个操作行为对应的T个行为表征向量；进一步，针对M组行为中的任意一组行为，对所述序列表征层中用于处理该组行为的模型参数进行置零处理，并且，利用经过所述置零处理后的序列表征层处理该T个行为表征向量，得到该组行为所对应第一序列的序列表征向量，再利用输出层处理该序列表征向量，得到该第一序列对应的业务预测结果。如此，可以通过对用于处理各组行为的表征向量的模型参数进行屏蔽，确定对应的部分行为被屏蔽序列的业务预测结果。

由上，可以确定M个第一序列对应的M个业务预测结果。接着，在步骤S230，基于上述原始行为序列对应的业务标签，确定该M个业务预测结果对应的M个预测损失。具体，针对其中任一的业务预测结果，将其和业务标签输入预设的损失函数中，并将该损失函数的输出结果作为该业务预测结果对应的预测损失。由此，可以得到M个业务结果对应的M个预测损失。

然后，在步骤S240，基于上述M个预测损失，从所述M组行为中确定关键行为。在一个实施例中，可以确定M个预测损失中大于损失阈值的若干预测损失，再将该若干预测损失对应的若干组行为，确定为上述关键行为。需理解，其中损失阈值可以是人工预先设定的。在另一个实施例中，可以对M个预测损失进行由大到小的排序，从而其中将排在预设靠前范围的若干预测损失所对应的若干组行为，确定为上述关键行为。需理解，其中预设靠前范围可以是人工预先设定的，具体可以是名次范围，如top5，或者，还可以是占比范围，如top30％。

如此，通过将预测损失作为行为重要性的评估指标，可以确定出对原始行为预测的业务预测结果起到支撑作用的关键行为，用于解释该原始行为序列的业务预测结果。

需说明，以上主要对业务预测模型用于执行单个预测任务的场景进行介绍，实际上，本说明书实施例披露的方案同样适用于业务预测模型用于执行多个预测任务的场景，在此场景下，上述业务标签包括对应该多个预测任务的多个子标签，上述业务预测结果包括对应该多个预测任务的多个子结果。进一步，在一个实施例中，业务预测模型的模型结构可以包括图3中示出的多个输出层33，或者，图4中示出的多个输出层43，其中的多个输出层分别用于输出各自所对应预测任务的预测结果。

另一方面，在一个实施例中，在确定各个业务预测结果所对应的预测损失时，可以先确定各个预测任务对应的子损失，再确定多个预测任务对应的综合损失，作为该业务预测结果对应的预测损失。具体，先针基于各个预测任务对应的子标签和该业务预测结果中对应该预测任务的子结果，确定对应的子损失；再对多个预测任务对应的多个子损失进行加权求和，得到对应的预测损失。在一个例子中，其中加权求和用到的权重可以是人工预先设定的，例如，设定多个预测任务对应相同的权重。在另一个例子中，加权求和的权重可以是训练参数，跟业务预测模型一起进行训练而得到。

以上，对本说明书披露的方案应用于多任务预测场景进行介绍。

综上，采用本说明书实施例披露的增强业务结果可解释性的方法，通过计算预测损失评估原始行为序列中包含的各组行为对业务预测结果的影响，从而确定支撑原始行为序列的业务预测结果的关键行为，有效增强业务预测结果的可解释性。

以上主要对确定原始行为序列中关键行为的方法进行介绍。根据另一方面的实施例，本说明书实施例还披露确定行为中关键属性的方法，确定出的关键属性同样可以用于解释原始行为序列的业务预测结果。

图5示出根据另一个实施例的增强业务结果可解释性的方法流程示意图，所述方法的执行主体可以实现为任何具有计算、处理能力的服务器、装置或设备集群等。如图5所示，所述方法包括以下步骤：

步骤S510，获取原始行为序列和对应的业务标签，所述原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为，其中各个操作行为包括N个属性字段；步骤S520，利用训练好的业务预测模型，确定S个第三序列对应的S个业务预测结果，其中S个第三序列通过从所述原始行为序列中分别屏蔽S组属性字段而得到；步骤S530，基于所述业务标签，确定所述S个业务预测结果对应的S个预测损失；步骤S540，基于所述S个预测损失，从所述S组属性字段中确定关键属性字段，用于解释所述原始行为序列的业务预测结果。

对以上步骤的展开介绍如下：

首先，在步骤S510，获取原始行为序列和对应的业务标签，该原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为，其中各个操作行为包括N个属性字段。需说明，对步骤S510的介绍，可以参见前述对步骤S210的介绍，在此不作赘述。

接着，在步骤S520，利用训练好的业务预测模型，确定S个第三序列对应的S个业务预测结果，其中S个第三序列通过从所述原始行为序列中分别屏蔽S组属性字段而得到。

需说明，上述业务预测模型可以采用监督学习的方式进行训练而得到。

为便于理解，下面先介绍S组属性字段的确定方式。在一个实施例中，可以直接将上述N个属性字段划分为S组，每组可以包括一个或多个属性字段，并且，组内属性字段的数量小于N，或者，小于预定的数量阈值，其中数量阈值通常为小于N的数值。进一步，在一个具体的实施例中，可以对N个属性字段进行等量划分，使得每组都包含相同数量的属性字段。在一个例子中，可以将N属性字段中的每个属性字段分别单独作为一组属性字段，此时，S＝N。另一方面，在一个具体的实施例中，任意两组属性字段之间互斥，也即，任意两组属性字段之间没有相同的属性字段。如此，可以确定S组属性字段。

进一步，可以确定上述S组属性字段所对应的S个第一序列的业务预测结果。需说明，可以从多个维度实现对各组属性字段所包含信息的屏蔽，例如，对输入层获取的属性字段值、或属性字段值所对应的编码向量、又或用于处理该编码向量的模型参数进行屏蔽。具体，在一个实施例中，针对S组属性字段中的任意一组，将上述原始行为序列中各个行为对应该组属性字段的字段值替换为缺省值(如null)，得到对应的第三序列；然后，可以将得到的对应该S组属性字段的S个第三序列，分别输入训练好的业务预测模型中，得到对应的S个业务预测结果。如此，可以通过对各组属性字段的字段值进行屏蔽，确定对应的部分属性被屏蔽序列的业务预测结果。

在另一个实施例中，上述业务预测模型包括属性编码层、行为表征层、序列表征层和输出层。在一个示例中，业务预测模型可以包括图6中示出的属性编码层61、行为表征层62、序列表征层63和输出层64，需理解，上述图3中示出的行为表征层31可以用于一并实现图6中属性编码层61和行为表征层62的功能。在另一个示例中，业务预测模型可以包括图7中示出的属性编码层71、行为表征层72、序列表征层73和输出层74，需理解，上述图4中示出的行为表征层41可以用于一并实现图7中属性编码层71和行为表征层72的功能。

基于此，在一个具体的实施例中，上述S个业务预测结果的确定可以包括：针对上述T个行为中的每个行为E_i，利用属性编码层处理该行为中包含的对应N个属性字段的N个字段值F₁,F₂,…,F_N，得到对应的N个属性编码向量f₁,f₂,…,f_N；接着，针对上述S组属性字段中的任意一组属性字段，将该N个属性编码向量中与该组属性字段对应的属性编码向量进行置零处理，例如，假定某组属性字段中包括属性字段F₂，则可以将其对应的属性编码向量f₂替换为零向量，从而得到置零处理的N个属性编码向量f₁,0,…,f_N；然后，利用行为表征层，对经过置零处理后得到的N个属性编码向量进行处理，得到该行为E_i对应的行为表征向量X_i；再接着，利用序列表征层，对上述T个操作行为对应的T个行为表征向量X₁,X₂,…,X_T进行处理，得到该组属性字段所对应第三序列的序列表征向量V；之后，利用所述输出层处理序列表征向量V，得到该第三序列对应的业务预测结果。如此，可以通过对各组属性字段对应的属性编码向量进行屏蔽，确定对应的部分属性被屏蔽序列的业务预测结果。

在另一个具体的实施例中，上述S个业务预测结果的确定可以包括：针对T个操作行为中的每个操作行为E_i，利用属性编码层处理该操作行为中包含的对应N个属性字段的N个字段值F₁,F₂,…,F_N，得到对应的N个属性编码向量f₁,f₂,…,f_N；接着，针对S组属性字段中的任意一组属性字段，将行为表征层中用于处理该组属性字段的模型参数进行置零处理；然后，利用经过置零处理后的行为表征层，处理该N个属性编码向量，得到该行为E_i对应的行为表征向量X_i；之后，利用序列表征层，对T个操作行为对应的T个行为表征向量X₁,X₂,…,X_T进行处理，得到该组属性字段所对应第三序列的序列表征向量V；之后，利用输出层处理序列表征向量V，得到该第三序列对应的业务预测结果。如此，可以通过对用于处理各组属性字段所对应编码向量的模型参数进行屏蔽，确定对应的部分行为被屏蔽序列的业务预测结果。

由上，可以确定S个第三序列对应的S个业务预测结果。接着，在步骤S530，基于所述业务标签，确定所述S个业务预测结果对应的S个预测损失。从而，在步骤S540，基于该S个预测损失，从所述S组属性字段中确定关键属性字段，用于解释所述原始行为序列的业务预测结果。需说明，对步骤S530和S540的描述可以参见前述对步骤S230和S240的相关介绍，在此不作赘述。

综上，采用本说明书实施例披露的增强业务结果可解释性的方法，通过计算预测损失评估原始行为序列中涉及的各组行为属性对业务预测结果的影响，从而确定支撑原始行为序列的业务预测结果的关键属性，有效增强业务预测结果的可解释性。

在上述实施例中，分别描述确定关键行为的方案和关键属性的方案，实现业务结果可解释性的增强。实际上，还可以对两种方案进行叠加使用。根据一个方面的实施例，可以先确定关键行为，再基于确定出的关键行为形成的行为序列，确定关键属性，从而确定关键行为和关键属性。

具体，在图2示出的步骤S240之后，所述方法还可以包括：利用上述业务预测模型，确定Q个第二序列对应的Q个业务预测结果，其中Q个第二序列对应于，在由上述关键行为形成的行为序列中分别屏蔽Q组属性字段而得到的序列；接着，基于上述业务标签，确定所述Q个业务预测结果对应的Q个预测损失；之后，基于该Q个预测损失，从该Q组属性字段中确定关键属性字段，用于解释所述原始行为序列的业务预测结果。需说明，对此实施例的详细介绍可以参见对图5示出方法的描述，在此不作赘述。

根据另一方面的实施例，还可以先确定关键属性，再基于包含关键属性的行为所形成的行为序列，确定关键属性，从而确定关键属性和关键行为。

由上，可以先后确定出原始行为序列中的关键行为和关键属性，从而进一步增强该原始行为序列的业务预测结果的可解释性。

与上述增强解释性方法相对应的，本说明书实施例还披露增强解释性装置。

图8示出根据一个实施例的增强业务结果可解释性的装置结构示意图，如图8所示，所述装置800包括以下单元：

序列获取单元810，配置为获取原始行为序列和对应的业务标签，所述原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为；结果预测单元820，配置为利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果；所述M个第一序列通过从所述原始行为序列中分别屏蔽M组行为而得到；损失确定单元830，配置为基于所述业务标签，确定所述M个业务预测结果对应的M个预测损失；行为确定单元840，配置为基于所述M个预测损失，从所述M组行为中确定关键行为，用于解释所述原始行为序列的业务预测结果。

在一个实施例中，所述业务标签通过人工标注而得到。

在一个实施例中，序列获取单元810配置为：获取所述原始行为序列；利用所述业务预测模型，确定所述原始行为序列的业务预测结果，作为所述业务标签。

在一个实施例中，所述业务标签包括对应多个预测任务的多个子标签，所述业务预测结果包括对应所述多个预测任务的多个子结果。

在一个实施例中，所述业务预测模型中包括行为注意力层；所述装置800还包括行为分组单元850，配置为：获取利用所述行为注意力层确定出的对应所述T个操作行为的T个注意力权重；确定所述T个注意力权重中大于权重阈值或排在预设靠前范围内的部分注意力权重；对所述部分注意权重对应的操作行为进行分组，得到所述M组行为。

在一个实施例中，所述M组行为中任意两组行为之间互斥。

在一个实施例中，所述装置800还包括：序列生成单元860，配置为针对所述M组行为中的任意一组行为，将所述原始行为序列中包含的该组行为替换为缺省值，得到对应的第一序列。

在一个实施例中，所述结果预测单元820具体配置为：利用所述行为表征层，确定所述T个操作行为对应的T个行为表征向量；针对所述M组行为中的任意一组行为，对所述T个行为表征向量包含的与该组行为对应的行为表征向量进行置零处理；利用所述序列表征层，对经过置零处理后得到的T个行为表征向量进行处理，得到该组行为所对应第一序列的序列表征向量；利用所述输出层处理所述序列表征向量，得到该第一序列对应的业务预测结果。

在一个实施例中，所述业务预测模型包括行为表征层、序列表征层和输出层；所述结果预测单元820具体配置为：利用所述行为表征层，确定所述T个操作行为对应的T个行为表征向量；针对所述M组行为中的任意一组行为，对所述序列表征层中用于处理该组行为的模型参数进行置零处理；利用经过所述置零处理后的序列表征层处理所述T个行为表征向量，得到该组行为所对应第一序列的序列表征向量；利用所述输出层处理所述序列表征向量，得到该第一序列对应的业务预测结果。

在一个实施例中，所述行为确定单元840具体配置为：确定所述M个预测损失中大于损失阈值或排在预设靠前范围内的若干预测损失；将所述若干预测损失对应的若干组行为，确定为所述关键行为。

在一个具体的实施例中，所述T个操作行为中的各个操作行为对应N个属性字段；所述装置800还包括属性确定单元870，配置为：利用所述业务预测模型，确定Q个第二序列对应的Q个业务预测结果；所述Q个第二序列对应于，在由所述关键行为形成的行为序列中分别屏蔽Q组属性字段而得到的序列；基于所述业务标签，确定所述Q个业务预测结果对应的Q个预测损失；基于所述Q个预测损失，从所述Q组属性字段中确定关键属性字段，用于解释所述原始行为序列的业务预测结果。

图9示出根据另一个实施例的增强业务结果可解释性的装置结构示意图。如图9所示，所述装置900包括以下单元：

序列获取单元910，配置为获取原始行为序列和对应的业务标签，所述原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为，其中各个操作行为包括N个属性字段；结果预测单元920，配置为利用训练好的业务预测模型，确定S个第三序列对应的S个业务预测结果；所述S个第三序列通过从所述原始行为序列中分别屏蔽S组属性字段而得到；损失确定单元930，配置为基于所述业务标签，确定所述S个业务预测结果对应的S个预测损失；属性确定单元940，配置为基于所述S个预测损失，从所述S组属性字段中确定关键属性字段，用于解释所述原始行为序列的业务预测结果。

在一个实施例中，所述S组属性字段中任意两组属性字段之间互斥。

在一个实施例中，所述装置900还包括序列生成单元950，配置为针对所述S组属性字段中的任意一组属性字段，将所述原始行为序列中各个行为对应该组中属性字段的字段值替换为缺省值，得到对应的第三序列。

在一个实施例中，所述业务预测模型包括属性编码层、行为表征层、序列表征层和输出层；所述结果预测单元920具体配置为：针对所述T个操作行为中的每个操作行为，利用所述属性编码层处理该行为中包含的对应N个属性字段的字段值，得到对应的N个属性编码向量；针对所述S组属性字段中的任意一组属性字段，将所述N个属性编码向量中与该组属性字段对应的属性编码向量进行置零处理；利用行为表征层，对经过置零处理后得到的N个属性编码向量进行处理，得到该行为对应的行为表征向量；利用所述序列表征层，对所述T个操作行为对应的T个行为表征向量进行处理，得到该组属性字段所对应第三序列的序列表征向量；利用所述输出层处理所述序列表征向量，得到该第三序列对应的业务预测结果。

在一个实施例中，所述业务预测模型包括属性编码层、行为表征层、序列表征层和输出层；所述结果预测单元920具体配置为：针对所述T个操作行为中的每个操作行为，利用所述属性编码层处理该行为中包含的对应N个属性字段的字段值，得到对应的N个属性编码向量；针对所述S组属性字段中的任意一组属性字段，将所述行为表征层中用于处理该组属性字段的模型参数进行置零处理；利用经过所述置零处理后的行为表征层，处理所述N个属性编码向量，得到该行为对应的行为表征向量；利用所述序列表征层，对所述T个操作行为对应的T个行为表征向量进行处理，得到该组属性字段所对应第三序列的序列表征向量；利用所述输出层处理所述序列表征向量，得到该第三序列对应的业务预测结果。

在一个实施例中，所述属性确定单元940具体配置为：确定所述S个预测损失中大于损失阈值或排在预设靠前范围内的若干预测损失；将所述若干预测损失对应的若干组属性字段，确定为所述关键属性字段。

根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图5所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图5所描述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (21)

1.一种增强业务结果可解释性的方法，包括：

获取原始行为序列和对应的业务标签，所述原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为；

利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果；所述M个第一序列通过从所述原始行为序列中分别屏蔽M组行为而得到；

基于所述业务标签，确定所述M个业务预测结果对应的M个预测损失；

基于所述M个预测损失，从所述M组行为中确定关键行为，用于解释所述原始行为序列的业务预测结果。

2.根据权利要求1所述的方法，其中，所述业务标签通过人工标注而得到。

3.根据权利要求1所述的方法，其中，获取原始行为序列和对应的业务标签，包括：

获取所述原始行为序列；

利用所述业务预测模型，确定所述原始行为序列的业务预测结果，作为所述业务标签。

4.根据权利要求1所述的方法，其中，所述业务标签包括对应多个预测任务的多个子标签，所述业务预测结果包括对应所述多个预测任务的多个子结果。

5.根据权利要求1所述的方法，其中，所述业务预测模型中包括行为注意力层；其中，在利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果之前，所述方法还包括：

获取利用所述行为注意力层确定出的对应所述T个操作行为的T个注意力权重；

确定所述T个注意力权重中大于权重阈值或排在预设靠前范围内的部分注意力权重；

对所述部分注意权重对应的操作行为进行分组，得到所述M组行为。

6.根据权利要求1或5所述的方法，其中，所述M组行为中任意两组行为之间互斥。

7.根据权利要求1所述的方法，其中，在利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果之前，所述方法还包括：

针对所述M组行为中的任意一组行为，将所述原始行为序列中包含的该组行为替换为缺省值，得到对应的第一序列。

8.根据权利要求1所述的方法，其中，所述业务预测模型包括行为表征层、序列表征层和输出层；其中，利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果，包括：

利用所述行为表征层，确定所述T个操作行为对应的T个行为表征向量；

针对所述M组行为中的任意一组行为，对所述T个行为表征向量包含的与该组行为对应的行为表征向量进行置零处理；

利用所述序列表征层，对经过置零处理后得到的T个行为表征向量进行处理，得到该组行为所对应第一序列的序列表征向量；

利用所述输出层处理所述序列表征向量，得到该第一序列对应的业务预测结果。

9.根据权利要求1所述的方法，其中，所述业务预测模型包括行为表征层、序列表征层和输出层；其中，利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果，包括：

利用所述行为表征层，确定所述T个操作行为对应的T个行为表征向量；

针对所述M组行为中的任意一组行为，对所述序列表征层中用于处理该组行为的模型参数进行置零处理；

利用经过所述置零处理后的序列表征层处理所述T个行为表征向量，得到该组行为所对应第一序列的序列表征向量；

利用所述输出层处理所述序列表征向量，得到该第一序列对应的业务预测结果。

10.根据权利要求1所述的方法，其中，基于所述M个预测损失，从所述M组行为中确定关键行为，包括：

确定所述M个预测损失中大于损失阈值或排在预设靠前范围内的若干预测损失；

将所述若干预测损失对应的若干组行为，确定为所述关键行为。

11.根据权利要求10所述的方法，其中，所述T个操作行为中的各个操作行为对应N个属性字段；其中，在基于所述M个预测损失，从所述M组行为中确定关键行为之后，所述方法还包括：

利用所述业务预测模型，确定Q个第二序列对应的Q个业务预测结果；所述Q个第二序列对应于，在由所述关键行为形成的行为序列中分别屏蔽Q组属性字段而得到的序列；

基于所述业务标签，确定所述Q个业务预测结果对应的Q个预测损失；

基于所述Q个预测损失，从所述Q组属性字段中确定关键属性字段，用于解释所述原始行为序列的业务预测结果。

12.一种增强业务结果可解释性的方法，包括：

获取原始行为序列和对应的业务标签，所述原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为，其中各个操作行为包括N个属性字段；

利用训练好的业务预测模型，确定S个第三序列对应的S个业务预测结果；所述S个第三序列通过从所述原始行为序列中分别屏蔽S组属性字段而得到；

基于所述业务标签，确定所述S个业务预测结果对应的S个预测损失；

基于所述S个预测损失，从所述S组属性字段中确定关键属性字段，用于解释所述原始行为序列的业务预测结果。

13.根据权利要求12所述的方法，其中，所述S组属性字段中任意两组属性字段之间互斥。

14.根据权利要求12所述的方法，其中，在利用训练好的业务预测模型，确定S个第三序列对应的S个业务预测结果之前，所述方法还包括：

针对所述S组属性字段中的任意一组属性字段，将所述原始行为序列中各个行为对应该组中属性字段的字段值替换为缺省值，得到对应的第三序列。

15.根据权利要求12所述的方法，其中，所述业务预测模型包括属性编码层、行为表征层、序列表征层和输出层；其中，利用训练好的业务预测模型，确定S个第三序列对应的S个业务预测结果，包括：

针对所述T个操作行为中的每个操作行为，利用所述属性编码层处理该行为中包含的对应N个属性字段的字段值，得到对应的N个属性编码向量；

针对所述S组属性字段中的任意一组属性字段，将所述N个属性编码向量中与该组属性字段对应的属性编码向量进行置零处理；

利用行为表征层，对经过置零处理后得到的N个属性编码向量进行处理，得到该行为对应的行为表征向量；

利用所述序列表征层，对所述T个操作行为对应的T个行为表征向量进行处理，得到该组属性字段所对应第三序列的序列表征向量；

利用所述输出层处理所述序列表征向量，得到该第三序列对应的业务预测结果。

16.根据权利要求12所述的方法，其中，所述业务预测模型包括属性编码层、行为表征层、序列表征层和输出层；其中，利用训练好的业务预测模型，确定S个第三序列对应的S个业务预测结果，包括：

针对所述T个操作行为中的每个操作行为，利用所述属性编码层处理该行为中包含的对应N个属性字段的字段值，得到对应的N个属性编码向量；

针对所述S组属性字段中的任意一组属性字段，将所述行为表征层中用于处理该组属性字段的模型参数进行置零处理；

利用经过所述置零处理后的行为表征层，处理所述N个属性编码向量，得到该行为对应的行为表征向量；

利用所述序列表征层，对所述T个操作行为对应的T个行为表征向量进行处理，得到该组属性字段所对应第三序列的序列表征向量；

利用所述输出层处理所述序列表征向量，得到该第三序列对应的业务预测结果。

17.根据权利要求12所述的方法，其中，基于所述S个预测损失，从所述S组属性字段中确定关键属性字段，包括：

确定所述S个预测损失中大于损失阈值或排在预设靠前范围内的若干预测损失；

将所述若干预测损失对应的若干组属性字段，确定为所述关键属性字段。

18.一种增强业务结果可解释性的装置，包括：

序列获取单元，配置为获取原始行为序列和对应的业务标签，所述原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为；

结果预测单元，配置为利用训练好的业务预测模型，确定M个第一序列对应的M个业务预测结果；所述M个第一序列通过从所述原始行为序列中分别屏蔽M组行为而得到；

损失确定单元，配置为基于所述业务标签，确定所述M个业务预测结果对应的M个预测损失；

行为确定单元，配置为基于所述M个预测损失，从所述M组行为中确定关键行为，用于解释所述原始行为序列的业务预测结果。

19.一种增强业务结果可解释性的装置，包括：

序列获取单元，配置为获取原始行为序列和对应的业务标签，所述原始行为序列中包括由目标用户做出的按照时间顺序排列的T个操作行为，其中各个操作行为包括N个属性字段；

结果预测单元，配置为利用训练好的业务预测模型，确定S个第三序列对应的S个业务预测结果；所述S个第三序列通过从所述原始行为序列中分别屏蔽S组属性字段而得到；

损失确定单元，配置为基于所述业务标签，确定所述S个业务预测结果对应的S个预测损失；

属性确定单元，配置为基于所述S个预测损失，从所述S组属性字段中确定关键属性字段，用于解释所述原始行为序列的业务预测结果。

20.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-17中任一项所述的方法。

21.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-17中任一项所述的方法。

Images