CN116028880B

CN116028880B - 训练行为意图识别模型的方法、行为意图识别方法及装置

Info

Publication number: CN116028880B
Application number: CN202310133497.3A
Authority: CN
Inventors: 陆奕强
Original assignee: Alipay Hangzhou Information Technology Co Ltd
Current assignee: Alipay Hangzhou Information Technology Co Ltd
Priority date: 2023-02-07
Filing date: 2023-02-07
Publication date: 2023-07-04
Anticipated expiration: 2043-02-07
Also published as: CN116028880A

Abstract

本说明书实施例提供了一种训练行为意图识别模型的方法、行为意图识别方法及装置。主要技术方案包括：获取包括多个训练样本的训练数据；利用训练数据训练多分类模型和附加模型；其中，多分类模型输出行为样本在多层级行为意图类别中各最下层类别上的第一概率；附加模型利用行为样本在各最下层类别上的第一概率，确定行为样本在上层类别上的分配权重，利用行为样本在上层类别上的分配权重以及上述第一概率，确定行为样本在各最下层类别上的第二概率；训练目标包括：最小化依据第二概率得到的行为样本所属的最下层类别与行为样本内标注的类别标签之间的差异；训练结束后，利用多分类模型得到行为意图识别模型。本申请能够提高行为意图识别的准确度。

Description

训练行为意图识别模型的方法、行为意图识别方法及装置

技术领域

本说明书一个或多个实施例涉及机器学习技术领域，尤其涉及一种训练行为意图识别模型的方法、行为意图识别方法及装置。

背景技术

随着互联网技术的迅猛发展，人们越来越多地利用互联网进行通信、学习、工作，甚至通过互联网进行交易、支付、转账、投资等行为。这些行为可能存在一定的风险，对网络行为的安全性带来了威胁，因此对于行为意图的识别就非常重要。对行为意图进行识别能够为后续风险识别提供参考依据和分析基础。

传统的行为意图识别模型采用的是一种多分类模型，将行为特征映射到具体的意图类别上。然而在很多场景中，常常会涉及到诸如二层级类别、三层级类别等多层级类别的分类任务。假设最下层类别为

个，行为意图识别模型采用的是一个多分类模型将用户行为特征映射至/>

个行为意图类别上，采用诸如softmax函数作为输出层的激活函数。目前在模型训练过程中使用交叉熵损失函数以最小化行为意图识别模型输出的意图类别与对应标签之间的差异。但这种方式得到的行为意图识别模型的识别准确度有待提高。

发明内容

有鉴于此，本说明书一个或多个实施例公开了一种训练行为意图识别模型的方法、行为意图识别方法及装置，以便于提高行为意图识别的准确度。

根据第一方面，本申请提供了一种训练行为意图识别模型的方法，所述方法包括：

获取包括多个训练样本的训练数据，所述训练样本包括行为样本以及所述行为样本被标注的类别标签，所述类别标签为多层级行为意图类别中的最下层类别的标签；

利用所述训练数据训练多分类模型和附加模型；其中，将所述行为样本输入所述多分类模型，由所述多分类模型输出所述行为样本在所述多层级行为意图类别中各最下层类别上的第一概率；所述附加模型利用所述行为样本在所述各最下层类别上的第一概率，确定所述行为样本在所述多层级行为意图类别中第N层类别上的分配权重，所述第N层类别为非最下层类别，所述N为预设的正整数，利用所述行为样本在所述第N层类别上的分配权重以及所述行为样本在所述各最下层类别上的第一概率，确定所述行为样本在所述各最下层类别上的第二概率；所述训练的目标包括：最小化依据所述第二概率得到的所述行为样本所属的最下层类别与所述行为样本内标注的类别标签之间的差异；

训练结束后，利用所述多分类模型得到行为意图识别模型。

根据本申请实施例中一可实现的方式，利用所述行为样本在所述各最下层类别上的第一概率，确定所述行为样本在所述多层级行为意图类别中第N层类别上的分配权重包括：

分别对各第N层类别下所述行为样本在最下层类别上的第一概率进行池化处理，得到各第N层类别对应的池化结果；

利用各第N层类别对应的池化结果进行映射处理，得到所述行为样本在各第N层类别上的分配权重。

根据本申请实施例中一可实现的方式，所述利用各第N层类别对应的池化结果进行映射处理，得到所述行为样本在各第N层类别上的分配权重包括：

将所述各第N层类别对应的池化结果进行拼接，将拼接得到的结果进行softmax处理得到所述行为样本在各第N层类别上的分配权重。

根据本申请实施例中一可实现的方式，利用所述行为样本在所述第N层类别上的分配权重以及所述行为样本在所述各最下层类别上的第一概率，确定所述行为样本在所述各最下层类别上的第二概率包括：

将所述行为样本在最下层类别上的第一概率乘以所述行为样本在该最下层类别所属第N层类别上的分配权重，得到所述行为样本在该最下层类别上的第二概率。

根据本申请实施例中一可实现的方式，所述训练还包括：

在每一轮迭代中利用交叉熵损失函数的取值，更新所述多分类模型和附加模型的模型参数，直至满足预设的训练结束条件，所述交叉熵损失函数是利用所述训练的目标构造的。

根据本申请实施例中一可实现的方式，所述行为样本为用户的交易行为数据；

所述多层级行为意图类别为二层级行为意图类别，其中第一层类别包括经营意图和个人意图；所述经营意图下对应的第二层类别包括多种行业对应的经营意图，所述个人意图下对应的第二层类别包括多种关系之间的交易意图。

第二方面，提供了一种行为意图识别方法，所述方法包括：

获取用户行为数据；

将所述用户行为数据输入行为意图识别模型，依据所述行为意图识别模型得到的所述用户行为数据在多层级行为意图类别中各最下层类别上的第一概率，确定所述用户行为数据所属的行为意图类别；

其中所述行为意图识别模型是采用如上第一方面中任一项所述的方法预先训练得到的。

第三方面，提供了一种训练行为意图识别模型的装置，所述装置包括：

样本获取单元，被配置为获取包括多个训练样本的训练数据，所述训练样本包括行为样本以及所述行为样本被标注的类别标签，所述类别标签为多层级行为意图类别中的最下层类别的标签；

模型训练单元，被配置为利用所述训练数据训练多分类模型和附加模型；其中，将所述行为样本输入所述多分类模型，由所述多分类模型输出所述行为样本在所述多层级行为意图类别中各最下层类别上的第一概率；所述附加模型利用所述行为样本在所述各最下层类别上的第一概率，确定所述行为样本在所述多层级行为意图类别中第N层类别上的分配权重，所述第N层类别为非最下层类别，所述N为预设的正整数，利用所述行为样本在所述第N层类别上的分配权重以及所述行为样本在所述各最下层类别上的第一概率，确定所述行为样本在所述各最下层类别上的第二概率；所述训练的目标包括：最小化依据所述第二概率得到的所述行为样本所属的最下层类别与所述行为样本内标注的类别标签之间的差异；

模型获取单元，被配置为训练结束后，利用所述多分类模型得到行为意图识别模型。

第四方面，提供了一种行为意图识别装置，所述装置包括：

行为获取单元，被配置为获取用户行为数据；

意图识别单元，被配置为将所述用户行为数据输入行为意图识别模型，依据所述行为意图识别模型得到的所述用户行为数据在多层级行为意图类别中各最下层类别上的第一概率，确定所述用户行为数据所属的行为意图类别；

其中所述行为意图识别模型是采用如上第三方面所述的装置预先训练得到的。

根据第五方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行如上所述的方法。

根据第六方面，本申请提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现如上所述的方法。

由以上技术方案可以看出，本申请可以具备以下优点：

本申请在训练行为意图识别模型的过程中，利用了最下层类别所属的上层类别（即第N层类别）的信息，确定行为样本在各上层类别上的分配权重，并利用分配权重和多分类模型输出的第一概率生成行为样本在各最下层类别上的第二概率，利用该第二概率进行模型训练，实现了上层类别对模型训练方向的指导，从而提升了意图识别模型的识别准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了可以应用本申请实施例的示例性系统架构图；

图2为本申请实施例提供的训练行为意图识别模型的方法流程图；

图3为本申请实施例提供的多层意图类别的示意图；

图4为本申请实施例提供的训练意图识别模型的结构原理图；

图5为本申请实施例提供的附加模型的结构原理图；

图6为本申请实施例提供的行为意图识别方法的流程图；

图7为本申请实施例提供的训练行为意图识别模型的装置的结构图；

图8为本申请实施例提供的行为意图识别装置的结构图。

实施方式

下面结合附图，对本说明书提供的方案进行描述。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。

在背景技术中已经提及，目前在训练行为意图识别模型的过程中，使用交叉熵损失函数以最小化行为意图识别模型输出的意图类别与对应标签之间的差异。这种方式之所以识别准确率有待提高，是因为没有考虑到最下层类别可能属于同一上层类别，从而导致训练时没有参考这一特性。模型训练缺乏正确方向。特别是在最下层类别数量较多，且样本量在各最下层标签上的分布不均时，这一问题将被进一步放大，对样本量较少的最下层类别的区分能力差，导致行为意图识别效果差。

有鉴于此，本申请提供了一种全新的行为意图识别模型的训练思路。为了方便对本申请实施例的理解，首先对本申请所适用的系统架构进行简单描述。图1示出了可以应用本申请实施例的示例性系统架构。如图1中所示，该系统架构包括采用离线方式训练行为意图识别模型的模型训练装置，以及在线对用户行为数据进行行为意图识别的行为意图识别装置。

其中，模型训练装置在获取训练数据后，可以采用本申请实施例提供的方法进行模型训练，得到行为意图识别模型。

行为意图识别装置利用已经建立的行为意图识别模型，对用户行为数据进行行为意图识别，得到意图类别。

模型训练装置和行为意图识别装置可以分别设置为独立的服务器，也可以设置于同一个服务器或服务器群组，还可以设置于独立的或者同一云服务器。云服务器又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决传统物理主机与虚拟专用服务器（VPs，Virtual Private Server）服务中存在的管理难度大，服务扩展性弱的缺陷。模型训练装置和行为意图识别装置还可以设置于具有较强计算能力的计算机终端。

需要说明的是，上述行为意图识别装置除了在线上进行识别之外，也可以采用离线的方式进行识别，例如针对批量的用户行为数据分别进行行为意图识别。

应该理解，图1中的模型训练装置、行为意图识别装置以及行为意图识别模型的数目仅仅是示意性的。根据实现需要，可以具有任意数目的模型训练装置、行为意图识别装置以及行为意图识别模型。

图2为本申请实施例提供的训练行为意图识别模型的方法流程图。可以理解，该方法可以通过图1所示系统中的模型训练装置来执行。如图2中所示，该方法可以包括：

步骤202：获取包括多个训练样本的训练数据，训练样本包括行为样本以及行为样本被标注的类别标签，类别标签为多层级行为意图类别中的最下层类别的标签。

步骤204：利用训练数据训练多分类模型和附加模型；其中，将行为样本输入多分类模型，由多分类模型输出行为样本在多层级行为意图类别中各最下层类别上的第一概率；附加模型利用行为样本在各最下层类别上的第一概率，确定行为样本在多层级行为意图类别中第N层类别上的分配权重，第N层类别为非最下层类别，N为预设的正整数，利用行为样本在第N层类别上的分配权重以及行为样本在各最下层类别上的第一概率，确定行为样本在各最下层类别上的第二概率；训练的目标包括：最小化依据所述第二概率得到的行为样本所属的最下层类别与行为样本内标注的类别标签之间的差异。

步骤206：训练结束后，利用上述多分类模型得到行为意图识别模型。

由以上实施例提供的技术内容可以看出，本申请在训练行为意图识别模型的过程中，利用了最下层类别所属的上层类别（即上述第N层类别）的信息，确定行为样本在各上层类别上的分配权重，并利用分配权重和多分类模型输出的第一概率生成行为样本在各最下层类别上的第二概率，利用该第二概率进行模型训练，实现了上层类别对模型训练方向的指导，从而提升了意图识别模型的识别准确率。

下面对图2所示的各个步骤进行说明。首先结合实施例对上述步骤202即“获取包括多个训练样本的训练数据”进行详细描述。

用户在使用网络的过程中被服务器端记录了大量的行为数据，这些行为数据通常记录于数据仓库中，这些行为数据体现用户的行为意图。其中一些行为是具有风险的，而多数行为是可信的。用户的行为数据所体现出的行为意图能够成为风险识别的参考依据，本申请实施例中可以将一些具有明确类别的用户行为数据比如用户利用互联网进行通信、学习、工作、交易、支付、转账或者投资等历史行为的历史行为数据作为样本，即行为样本，并将行为样本标注类别标签。其中，行为样本具有的明确类别以及被标注的类别标签为多层级行为意图类别中的最下层类别。

本申请实施例中涉及的多层级行为意图类别可以是两层、三层等。在本申请实施例的后续描述中均以常见的两层行为意图类别为例。如图3中所示，第一层假设包含两个类别：B和C。第二层包含20个类别：B1、B2、…、B17、C1、C2和C3，其中，B1、B2、…、B17从属于类别B，是类别B的子类别。C1、C2和C3从属于类别C，是类别C的子类别。

上述用户的行为数据会因不同场景而不同。以网络交易场景为例，上述的用户可以是诸如账户、银行卡、红包id等。网络行为可以是诸如支付行为、存取款行为、签约绑定行为、收发红包行为、收款行为等等与金融类相关的行为。例如所采用的可以是两层意图类别，第一层包括两个行为类别：经营意图和个人意图。在经营意图下又进一步包含不同行业对应的交易意图，在个人意图下又进一步包含不同关系对应的交易意图，等等。

在对行为样本标注标签时，直接按照最下层的类别进行标注，以图3中为例，对行为样本标注B1、B2、…、B17、C1、C2和C3中的一个。

下面结合实施例对上述步骤204即“利用训练数据训练多分类模型和附加模型”进行详细描述。

在本申请实施例中，多分类模型的结构即为行为意图识别模型的结构，主要包括特征提取网络和分类网络。其中特征提取网络用以对行为样本进行特征提取，得到行为样本的特征表示，分类网络用以利用行为样本的特征表示进行分类映射，得到行为样本在各最下层类别上的第一概率。本申请对多分类模型的结构并未进行改动，因此对多分类模型的结构不做进一步详述。

其中，以交易行为为例，特征提取网络在进行特征提取时，可以从诸如交易类型、交易金额、交易渠道、交易时间、交易地点、交易频率等维度进行特征提取，提取的特征均能够在一定程度上体现用户的行为意图。

需要说明的是，本申请中涉及的“第一”、“第二”等限定并不具备大小、顺序和数量等方面的限制，仅仅用以在名称上加以区分，例如“第一概率”和“第二概率”用以在名称上区分两种概率。

在本申请实施例中进行意图识别模型的训练时，并非直接利用多分类模型输出的第一概率得到交叉熵损失函数，而是在多分类模型输出的基础上进一步结合了一个附加模型来进行辅助训练。如图4中所示，附加模型利用多分类模型的输出，即行为样本在各最下层类别上的第一概率，确定行为样本在多层级行为意图类别中第N层类别上的分配权重，第N层类别为非最下层类别，N为预设的正整数，利用行为样本在第N层类别上的分配权重以及行为样本在各最下层类别上的第一概率，确定行为样本在各最下层类别上的第二概率。

其中上述第N层指的是非最下层，可以是第一层。如果行为意图类别是多于2层的，也可以是第二层，或者第三层。

下面对上述附加模型的具体实现进行描述。作为其中一种可实现的方式，附加模型的结构原理可以如图5中所示。首先对各第N层类别下，行为样本在最下层类别上的第一概率进行池化处理，得到各第N层类别对应的池化结果。

以两层行为意图类别为例，上述第N层为第1层。如图5中所示，假设第一层类别由U个类别，对应标签表示为

。每个第一层类别下又包含多个最下层标签，例如/>

下又包含/>

下又包含/>

下又包含/>

等等。其中，

表示/>

下分别包含的最下层类别标签的数量。

在得到行为样本

在/>

上的第一概率（分别表示为/>

）后，对训练样本在/>

上的第一概率进行池化处理，例如进行最大值池化（max-pooling），得到类别/>

对应的池化结果/>

。对训练样本在/>

上的第一概率进行池化处理，例如进行最大值池化，得到类别/>

对应的池化结果/>

。以此类推，分别得到/>

对应的池化结果。

然后附加模型利用各第N层类别对应的池化结果进行映射处理，得到行为样本在各第N层类别上的分配权重。作为其中一种可实现的方式，如图5中所示，可以先将各第N层类别对应的池化结果进行拼接，将拼接得到的结果进行softmax处理得到行为样本在各第N层类别上的分配权重。其中，softmax是一种函数，能够将一个向量映射得到另一个向量，使得新向量的每一个元素的取值范围都在0到1之间，并且所有元素的和为1。

接续上例，将

进行拼接，得到拼接结果/>

其中，

为拼接处理的函数。

然后对

进行softmax处理，得到行为样本在第一层各类别上的分配权重，即行为样本在/>

上的分配权重/>

。

除了上述实现方式之外，还可以采用其他方式进行映射处理得到行为样本在各第N层类别上的分配权重，例如将各第N层类别对应的最大值池化结果进行归一化处理后，得到行为样本在各第N层类别上的分配权重，等等。在此不做一一列举。

再进行各最下层类别上概率的重分配：将行为样本在最下层类别上的第一概率乘以行为样本在该最下层类别所属第N层类别上的分配权重，得到行为样本在该最下层类别上的第二概率。

接续上例，假设行为样本

在最下层类别/>

上的第一概率表示为/>

若该类别/>

属于

，则行为样本/>

在最下层类别/>

上的第二概率/>

为：/>

得到行为样本

在/>

上的第二概率分别表示为/>

。

本申请实施例中采用的训练目标包括：最小化依据第二概率得到的行为样本所属的最下层类别与行为样本内标注的类别标签之间的差异。在利用该训练目标构建损失函数时，若采用交叉熵损失函数，则可以采用如下损失函数Loss：

其中，/>

为行为样本的数量。/>

为符号函数，如果行为样本/>

被标注的标签为/>

，则/>

取1，否则

取0。/>

为最下层类别的总数量。

在每一轮迭代中利用损失函数Loss的取值，采用诸如梯度下降等方式更新模型参数，包括多分类模型和附加模型的参数，直至满足预设的训练结束条件。其中训练结束条件可以包括诸如损失函数Loss的取值小于或等于预设的损失函数阈值，迭代次数达到预设的次数阈值等。

通过上述过程，利用了上层标签得到最下层类别的分配权重，利用分配权重重新生成行为样本在各最下层类别上的第二概率，利用该第二概率进行模型训练，实现了上层类别对模型训练方向的指导，从而提升意图识别模型的识别准确率。

上述分配权重的使用，使得当在最下层类别上分类错误且在上层标签分类也错误时，会给予比仅在最下层类别上分类错误更大的惩罚，从而给予正确的训练方向，避免模型训练过程中陷入错误的局部最优。即便最下层类别的样本量分布不均，这种训练方向的指导也可以提升模型的准确率。

训练结束后，在上述步骤206中，去除附加模型，仅保留多分类模型作为行为意图识别模型。

图6为本申请实施例提供的行为意图识别方法的流程图，该流程可以由图1所示系统架构中的行为意图识别装置执行，基于图2所示流程预先训练得到的行为意图识别模型实现。如图6中所示，该方法可以包括以下步骤：

步骤602：获取用户行为数据。

本步骤中获取的用户行为数据为待识别的行为数据，该用户行为数据可以是在线获取实时获取的用户行为数据，也可以是从行为日志中获取的用户行为数据。

步骤604：将用户行为数据输入行为意图识别模型，依据行为意图识别模型得到的用户行为数据在多层级行为意图类别中各最下层类别上的第一概率，确定用户行为数据所属的行为意图类别。

通常依据意图识别模型得到的用户行为数据在各最下层类别上的第一概率，将最高的第一概率对应的最下层类别确定为用户行为数据所属的行为意图类别。

本申请实施例提供的上述行为意图识别方法可以应用于多种应用场景，在此列举其中一种：

可以采用本申请实施例提供的方式，对用户在目标产品（例如收款码）上实施的交易行为数据进行行为意图识别。所采用的可以是两层意图类别，第一层包括两个行为类别：经营意图和个人意图。在经营意图下又进一步包含多种行业对应的交易意图，例如医疗行业、服装行业、交通行业、矿产行业、教育行业等等。在个人意图下又进一步包含多种关系对应的交易意图，例如通讯录关系、家庭成员关系、陌生人关系等等。

采用传统方式训练得到的行为意图识别模型仅仅考虑最下层意图类别之间的差异，但由于最下层意图类别是比较细致的划分，类别之间的差异可能比较细微，最下层意图类别的粒度越小，越难以区分。例如服装行业、交通行业等的交易行为通常发生在陌生人之间的交易，因此与陌生人关系的交易意图比较难以区分。教育行业的交易行为通常发生在学生家长和老师之间，与通讯录关系的交易意图比较难以区分。

本申请则考虑到，虽然一些行业与陌生人关系的交易意图比较难以区分，但对于上层类别而言，被划分为经营意图的，基本上不可能是个人意图，被划分为个人意图的，基本上不可能是经营意图。也就是说，上层行为意图类别相比较最下层行为意图类别而言是比较容易区分的，因此本申请实施例提供的模型训练方式中，利用经营意图和个人意图对最下层不同行业、不同关系等对应的交易意图进行了训练约束和训练方向的指导，使得训练得到的行为意图识别模型准确率更高。

当用户在目标产品（例如收款码）上实施交易行为后，利用行为意图识别模型对该交易行为进行行为意图识别，得到该交易行为所属的最下层类别，例如具体行业或者具体关系的交易。可以将识别得到的行为意图类别提供给后续风险识别系统，风险识别系统可以将该识别得到的行为意图类别作为参考因素之一进行风险识别。例如，若用户发生的交易行为被频繁识别出属于医疗行业，但该用户的营业范围是服装行业，则该用户的交易行为有可能存在风险。具体的风险识别策略本申请不加以限制。

以上是对本申请所提供方法进行的详细描述，下面对本申请所提供的装置进行详细描述。

图7示出根据本申请一个实施例的训练行为意图识别模型的装置的结构图，如图7所示，该装置700可以包括：样本获取单元701、模型训练单元702和模型获取单元703。其中各组成单元的主要功能如下：

样本获取单元701，被配置为获取包括多个训练样本的训练数据，训练样本包括行为样本以及行为样本被标注的类别标签，类别标签为多层级行为意图类别中的最下层类别的标签。

模型训练单元702，被配置为利用训练数据训练多分类模型和附加模型；其中，将行为样本输入多分类模型，由多分类模型输出行为样本在多层级行为意图类别中各最下层类别上的第一概率；附加模型利用行为样本在各最下层类别上的第一概率，确定行为样本在多层级行为意图类别中第N层类别上的分配权重，第N层类别为非最下层类别，N为预设的正整数，利用行为样本在第N层类别上的分配权重以及行为样本在各最下层类别上的第一概率，确定行为样本在各最下层类别上的第二概率；训练的目标包括：最小化依据第二概率得到的行为样本所属的最下层类别与行为样本内标注的类别标签之间的差异。

模型获取单元703，被配置为训练结束后，利用多分类模型得到行为意图识别模型。

作为其中一种可实现的方式，模型训练单元702可以具体被配置为：分别对各第N层类别下行为样本在最下层类别上的第一概率进行池化处理，得到各第N层类别对应的池化结果；利用各第N层类别对应的池化结果进行映射处理，得到行为样本在各第N层类别上的分配权重。

作为其中一种可实现的方式，模型训练单元702在用各第N层类别对应的池化结果进行映射处理，得到行为样本在各第N层类别上的分配权重时，可以将各第N层类别对应的池化结果进行拼接，将拼接得到的结果进行softmax处理得到行为样本在各第N层类别上的分配权重。

作为其中一种可实现的方式，模型训练单元702可以具体被配置为：将行为样本在最下层类别上的第一概率乘以行为样本在该最下层类别所属第N层类别上的分配权重，得到行为样本在该最下层类别上的第二概率。

作为其中一种可实现的方式，模型训练单元702在每一轮迭代中可以利用交叉熵损失函数的取值，更新多分类模型和附加模型的模型参数，直至满足预设的训练结束条件，交叉熵损失函数是利用训练的目标构造的。

图8示出根据本申请一个实施例的行为意图识别装置的结构图，如图8所示，该装置800可以包括：行为获取单元801和意图识别单元802。其中各组成单元的主要功能如下：

行为获取单元801，被配置为获取用户行为数据。

意图识别单元802，被配置为将用户行为数据输入行为意图识别模型，依据行为意图识别模型得到的用户行为数据在多层级行为意图类别中各最下层类别上的第一概率，确定用户行为数据所属的行为意图类别。

其中行为意图识别模型是采用图7所示的装置预先训练得到的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。

以及一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行前述方法实施例中任一项所述的方法的步骤。

本申请还提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现前述方法实施例中任一项所述的方法的步骤。

上述处理器可包括一个或多个单核处理器或多核处理器。处理器可包括任何一般用途处理器或专用处理器（如图像处理器、应用处理器基带处理器等）的组合。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序产品的形式体现出来，该计算机程序产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的方法。

随着时间、技术的发展，介质含义越来越广泛，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载等。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM）、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims

1.一种训练行为意图识别模型的方法，其特征在于，所述方法包括：

训练结束后，利用所述多分类模型得到行为意图识别模型；

利用所述行为样本在所述各最下层类别上的第一概率，确定所述行为样本在所述多层级行为意图类别中第N层类别上的分配权重包括：

2.根据权利要求1所述的方法，其特征在于，所述利用各第N层类别对应的池化结果进行映射处理，得到所述行为样本在各第N层类别上的分配权重包括：

3.根据权利要求1所述的方法，其特征在于，利用所述行为样本在所述第N层类别上的分配权重以及所述行为样本在所述各最下层类别上的第一概率，确定所述行为样本在所述各最下层类别上的第二概率包括：

4.根据权利要求1所述的方法，其特征在于，所述训练还包括：

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述行为样本为用户的交易行为数据；

6.一种行为意图识别方法，其特征在于，所述方法包括：

获取用户行为数据；

其中所述行为意图识别模型是采用如权利要求1至5中任一项所述的方法预先训练得到的。

7.一种训练行为意图识别模型的装置，其特征在于，所述装置包括：

模型获取单元，被配置为训练结束后，利用所述多分类模型得到行为意图识别模型；

所述模型训练单元具体被配置为：分别对各第N层类别下行为样本在最下层类别上的第一概率进行池化处理，得到各第N层类别对应的池化结果；利用各第N层类别对应的池化结果进行映射处理，得到行为样本在各第N层类别上的分配权重。

8.一种行为意图识别装置，其特征在于，所述装置包括：

行为获取单元，被配置为获取用户行为数据；

其中所述行为意图识别模型是采用如权利要求7所述的装置预先训练得到的。

9.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1至6中任一项所述的方法。