CN111445282A - 基于用户行为的业务处理方法、装置及设备 - Google Patents

Abstract

本说明书一个或多个实施例提供了一种基于用户行为的业务处理方法、装置及设备，在基于用户行为的业务处理方法中，分别对第一用户行为特征向量和第一广告特征向量进行压缩后，将得到的第二用户行为特征向量以及第二广告特征向量进行特征交叉，得到注意力机制参数，再将该注意力机制参数与第一用户行为特征向量进行特征交叉，得到用户行为的向量表示，从而可根据用户的行为充分学习到用户对每个广告的差别，有助于更好的挖掘用户的兴趣的多样性。

Description

基于用户行为的业务处理方法、装置及设备

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种基于用户行为的业务处理方法、装置及设备。

背景技术

在推荐场景中，通常会引入不同维度的特征信息来提高对预估场景的预测。多数情况下，需要对不同维度的特征进行交叉组合来提取更高维度的特征，提高模型的预测能力。DIN(Deep Interest Network，深度兴趣网络)通过引入注意力机制，针对不同的广告构造不同的用户抽象表示，从而实现了在数据维度一定的情况下，更精准地捕捉用户当前的兴趣。

发明内容

有鉴于此，本说明书的一个或多个实施例提出一种基于用户行为的业务处理方法、装置及设备，以实现对用户的更高维度的特征的挖掘。

本说明书的一个或多个实施例提供了一种基于用户行为的业务处理方法，包括：获取第一用户行为特征向量以及第一广告特征向量；分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，得到第二用户行为特征向量以及第二广告特征向量；将所述第二用户行为特征向量以及所述第二广告特征向量进行特征交叉，得到注意力机制参数；将所述注意力机制参数以及所述第一用户行为特征向量进行特征交叉，得到用户行为的向量表示；基于所述用户行为的向量表示进行业务处理。

本说明书的一个或多个实施例还提供了一种基于用户行为的业务处理装置，包括：获取模块，用于获取第一用户行为特征向量以及第一广告特征向量；压缩模块，用于分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，得到第二用户行为特征向量以及第二广告特征向量；第一特征交叉模块，用于将所述第二用户行为特征向量以及所述第二广告特征向量进行特征交叉得到注意力机制参数；第二特征交叉模块，用于将所述注意力机制参数以及所述第一用户行为特征向量进行特征交叉，得到用户行为的向量表示；处理模块，用于基于所述用户行为的向量表示进行业务处理。

本说明书的一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的任意一种基于用户行为的业务处理方法。

从上面所述可以看出，本说明书一个或多个实施例的基于用户行为的业务处理方法，分别对第一用户行为特征向量和第一广告特征向量进行压缩后，将得到的第二用户行为特征向量以及第二广告特征向量进行特征交叉，得到注意力机制参数，再将得到的该注意力机制参数与第一用户行为特征向量进行特征交叉，得到用户行为的向量表示，可根据用户的行为充分学习到用户对每个广告的差别，有助于更好的挖掘用户的兴趣的多样性。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本说明书一个或多个实施例示出的基于第一用户行为特征向量以及第一广告特征向量得到用户行为的向量表示的示意图；

图2是根据本说明书一个或多个实施例示出的一种基于用户行为的业务处理方法的流程图；

图3是根据本说明书一个或多个实施例示出的一种基于用户行为的业务处理装置的框图；

图4是根据本说明书一个或多个实施例示出的一种电子设备的硬件结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

在对本说明书一个或多个实施例的基于用户行为的业务处理方法进行说明之前，首先对该方法中涉及到的一些概念进行简要说明。

特征交叉组合(下文也简称特征交叉)：在推荐场景下，为了提高推荐模型的准确性，会提取各个维度的用户行为，用户画像和广告的特征。这些特征的组合生成出更细化的特征，对不同维度的特征进行组合就是特征交叉，这样可以提取出更高维的特征。

注意力机制：在时间序列的深度学习模型中，通过文本或特征的前后依赖提取时间维度的特征，但是随着时间窗口过长，开始时刻的特征在最后时刻的影响会减少，通过注意力机制利用每个时刻的隐藏层信息可以提取额外的权重信息，以提高模型的特征提取能力。

DIN模型包括：Embedding Layer(嵌入层)，由于原始数据是高维且稀疏的0-1矩阵，嵌入层用于将原始高维数据压缩成低维矩阵；Pooling Layer(池化层)：由于不同的用户有不同个数的行为数据，导致嵌入矩阵的向量大小不一致，而全连接层只能处理固定维度的数据，因此，利用池化层得到一个固定长度的向量。Concat Layer(级联层)：经过嵌入层和池化层后，原始稀疏特征被转换成多个固定长度的用户兴趣的抽象表示向量，然后利用级联层聚合抽象表示向量，输出该用户兴趣的唯一抽象表示向量；MLP

(Multilayer Perceptron，多层感知机)：将级联层输出的抽象表示向量作为MLP的输入，自动学习数据之间的交叉特征。其中，MLP可包括输入层、隐藏层以及输出层，其层与层之间是全连接的。假设输入层用向量X表示，则隐藏层的输出就是f(W1X+b1)，其中，W1是权重(也叫连接系数)，b1是偏置，函数f可以是常用的sigmoid函数。其中，sigmoid用于隐藏层神经元输出，取值范围为(0,1)，它可将一个实数映射到(0,1)的区间，可用来做二分类。在DIN模型中，嵌入层在生成用户的嵌入式向量时是通过Activation Unit(特征激活单元)层实现的，该层用于产生针对候选广告每个用户行为的权重，该层包括Fuse Layer(融合层)、以及一个浅层的神经网络，其中，融合层用于将每个时间点的用户行为特征和候选广告之间的特征进行了简单的加减提取新的特征，之后将提取到的特征输出给浅层的神经网络，得到Activation weight(特征权重)，将该特征权重和上述用户行为序列特征做内积，得到用户行为的抽象表示向量，该向量即为上文所述的级联层输出的抽象表示向量，该抽象向量作为MLP的输入，自动学习数据之间的交叉特征。但DIN模型中的特征激活单元对用户行为特征和候选广告特征之间的交叉方式较为简单，特征的提取也仅仅局限在相同层级的特征加工，这种方式挖掘的特征缺少可解释性，对于更高维度的特征挖掘能力有限，而且这种方式会导致模型参数扩大至少三倍，增加了模型训练的难度。本说明书一个或多个实施例的基于用户行为的业务处理方法对DIN网络中的Activation Unit部分进行了改造，使得该部分更注重更高维度的特征的挖掘。

以下结合图1以一个例子对本说明书一个或多个实施例的基于用户行为的业务处理方法进行说明，在该例子中，需对用户对候选广告的点击率进行预测，首先获取到用于表征用户行为特征的第一用户行为特征向量，以及用于表征候选广告特征的第一广告特征向量。其中，用户行为特征向量可从用户的历史行为数据中获取，例如，可从用户历史行为中动态学习用户兴趣的embedding向量，即用户行为特征向量，该用户行为特征向量可包括：用户查看的商品的标识、用户手指在移动终端上的位置、用户查看的广告的标识以及用户购买的商品的标识。第二广告特征向量可从候选广告的信息中获取，该广告特征向量可包括：广告的标识、广告的成本、广告的种类、用户查看广告所获得的奖励金的金额。在获取到用于第一用户行为特征向量以及第一广告特征向量之后，分别通过共享权重对第一用户行为特征向量以及第一广告特征向量进行压缩，得到第二用户行为特征向量以及第二广告特征向量；在将第二用户行为特征向量以及第二广告特征向量进行特征交叉，得到注意力机制参数；将该注意力机制参数与第一用户行为特征向量进行特征交叉，得到用户的向量表示；将该用户的向量表示输出至预先训练得到的网络模型，以使该网络模型基于该用户的向量表示，对用户对候选广告的行为进行预测，例如，可预测出用户点击候选广告的概率。

图2是根据本说明书一个或多个实施例的一种基于用户行为的业务处理方法的流程图，如图2所示，该方法包括：

步骤202：获取第一用户行为特征向量以及第一广告特征向量；

其中，第一用户行为特征向量可以从用户的历史行为数据中进行提取，该特征向量用于表示在各时间点上用户行为的特征；第一广告特征向量可从候选广告的信息中获取，该特征向量用于表示候选广告的特征。

其中，用户的行为可包括浏览广告、浏览商品或店铺，又或者，还可包括将商品加入购物车、购买商品、收藏商品或收藏店铺。

步骤204：分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，得到第二用户行为特征向量以及第二广告特征向量；

在一个例子中，可通过预先设置好的共享权重(shared weights)，分别与第一用户行为特征向量以及第一广告特征向量进行内积运算，从而得到第二用户行为特征向量以及第二广告特征向量，以实现对第一用户行为特征向量以及第一广告特征向量的维度进行压缩，从而可在网络模型训练中避免较高维度的特征运算，从而可利用维度较小的特征向量来实现交叉特征的挖掘。

步骤206：将所述第二用户行为特征向量以及所述第二广告特征向量进行特征交叉得到注意力机制参数；

沿用上述例子，在分别对第一用户行为特征向量以及第一广告特征向量进行压缩后，分别得到第二用户行为特征向量以及第二广告特征向量，可将第二用户行为特征向量与第二广告特征向量进行内积运算，以实现二者的特征交叉，从而得到注意力机制参数，该注意力机制参数可体现上述第二用户行为特征向量和第二广告特征向量之间的交叉特征。

在一个例子中，上述步骤202至步骤206可由DIN网络中的特征激活单元来执行，例如，可通过特征激活单元中的Fuse Layer(融合层)来实现，故，本说明书一个或多个实例中的特征激活单元中可不包括上述浅层的神经网络模型，该特征激活单元可仅通过上述步骤202至步骤206的处理得到用于表示针对不同的广告，用户历史行为的权重，即上述注意力机制参数。

步骤208：将所述注意力机制参数以及所述第一用户行为特征向量进行特征交叉，得到用户行为的向量表示；

沿用上述例子，在以向量形式表示的注意力机制参数之后，为了将注意力机制参数与第一用户行为特征向量进行特征交叉，可将注意力机制参数与第一用户行为特征向量进行内积运算，得到用户行为的向量表示。该用户行为的向量表示可表示每一个用户行为针对当前的候选广告，对总的用户兴趣表示的用户行为特征向量的贡献大小。

步骤210：基于所述用户行为的向量表示进行业务处理。

在一个例子中，可将所述用户行为的向量表示输入预先训练好的DNN(DeepNeural Networks，深度神经网络)，使该模型基于用户行为的向量表示进行业务处理，此处业务处理以对用户的行为为例，其中，预先训练好的DNN模型可用于根据用户行为的向量表示预测用户进行某种行为的概率，举个例子，可用于根据用户行为的向量表示预测用户针对当前的候选广告，会查看该广告的概率，以及不会查看该广告的概率。在另一个例子中，还可将用户行为的向量表示输入DIN网络的MLP，使MLP基于用户行为的向量表示对用户的行为进行预测。

在本说明书一个或多个实施例的基于用户行为的业务处理方法中，分别对第一用户行为特征向量和第一广告特征向量进行压缩后，将得到的第二用户行为特征向量以及第二广告特征向量进行特征交叉，得到注意力机制参数，再将该注意力机制参数与第一用户行为特征向量进行特征交叉，得到用户行为的向量表示，实现了根据用户的行为充分学习到用户对每个广告的差别，有助于更好的挖掘用户的兴趣的多样性。

在本说明书的一个或多个实施例中，分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，可包括：利用共享权重参数分别对第一用户行为特征向量以及所述第二用户行为特征向量进行压缩得到所述第二用户行为特征向量以及所述第二广告特征向量。

在本说明书的一个或多个实施例中，分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，可包括：

通过共享权重分别与所述第一用户行为特征向量以及所述第二用户行为特征向量进行内积运算，以对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，实现了将原始高维数据压缩成稠密的低维数据的目的，可在网络模型的训练中避免高维度的特征运算，可利用较小的特征向量来得到较好交叉特征信息的挖掘。

在本说明书的一个或多个实施例中，考虑到在将上述第一用户行为特征向量与第一广告特征向量进行内积之后可能出现分布上的差异，故，在二者进行内积运算得到第二用户行为特征向量以及第二广告特征向量之后，可利用激活函数对第二用户行为特征向量以及第二广告特征向量进行调整。基于此，上述基于用户行为的业务处理方法还可包括：在分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩之后，通过激活函数将所述第二用户行为特征向量以及所述第二广告特征向量的分布进行调整，以使所述第二用户行为特征向量以及所述第二广告特征向量的分布在预设范围之内。其中，上述激活函数例如可以采用数据动态自适应激活函数Dice或Relu来实现。

在本说明书的一个或多个实施例中，在用户的行为可包括浏览广告、浏览商品或店铺、将商品加入购物车、购买商品、收藏商品或收藏店铺的情况下，所述第一用户行为特征向量至少可包括以下一种：

用户查看的商品的标识，例如用户查看的商品的ID、商品的名称以及商品所属的店铺、用户手指在移动终端上的位置、用户查看的广告的标识以及用户购买的商品的标识等。

在本说明书的一个或多个实施例中，所述第一广告特征向量至少可包括以下一种：

广告中的商品信息、广告中的店铺信息、广告的标识、广告的成本、广告的种类、用户查看广告所获得的奖励金的金额等。

在本说明书的一个或多个实施例中，基于用户行为的业务处理方法还可包括：

在获取第一用户行为特征向量以及第一广告特征向量之后，将所述第一用户行为特征向量以及所述第一广告特征向量输入DIN模型中的特征激活单元，以使所述特征激活单元基于所述第一用户行为特征向量以及所述第一广告特征向量得到所述注意力机制参数。如上所述，第一用户行为特征向量可从用户历史行为数据中获取，第一广告特征向量可通过候选广告的信息来获取。

在本说明书的一个或多个实施例中，基于所述用户行为的向量表示进行业务处理，可包括：

将所述用户行为的向量表示输入深度兴趣网络DIN模型的多层感知机MLP，以使MLP输出业务处理结果，其中，该以为处理结果例如可以是候选广告的点击率。

在本说明书的一个或多个实施例中，所述业务处理结果可包括所述用户查看所述广告的概率，例如，用户对候选广告的点击率。

以下仍以图1为例，通过一个例子形象地对本说明书一个或多个实施例的基于用户行为的业务处理方法进行说明。如图1所示，Activation Unit的输入分别来自用户行为特征(Inputs from Users)用h_u表示，和广告的特征(Inputs from Ad)用h_a表示，其中，该输入满足以下条件：

h_u∈R^n*2d，h_u∈R^M*2d，其中，M用于表示广告的个数，n用来表示时间。

整体计算步骤如下：

步骤一：先利用共享权重Weight分别将用户行为特征和广告的特征进行压缩：

步骤二：考虑到参数做内积之后得到的attn_u以及attn_a可能会出现分布上的差异，故可利用激活函数Relu来调整attn_u以及attn_a的分布；

经过步骤一以及步骤二，得到attnu＝Relu(huw),attna＝Relu(haw)，其中，w为共享权重。

步骤三：利用得到的两个新的特征attn_u以及attn_a来做特征交叉得到新的注意力机制的参数attn：

attn＝attn_u·attn_a；

步骤四：最后将产生的注意力机制参数attn和原始的用户行为特征h_u做内积，使得用户行为感知各个广告的差别：

Weight_u＝attn·h_u

步骤五：得到的Weight_u为上述用户行为的向量表示的一个示例，可将Weight_u输入到预先训练好的神经网络中进行学习。

上述步骤一至步骤五利用共享权重来分别对用户行为和广告的特征进行内积，可以在训练中避免高维度的特征运算，同时，当多次重复执行上述步骤一至步骤五时，每次均使用上述共享参数来对用户行为特征以及广告的特征进行压缩，可有效节省内存。且可利用较小的参数来得到较好的交叉特征的挖掘，同时将学习到的权重加权到原始的用户行为中，使得用户的行为充分学习到每个广告的差别，有助于更好的挖掘客户的兴趣的多样性。

图3是根据本说明书一个或多个实施例示出的一种基于用户行为的业务处理装置的框图，如图3所示，该装置30包括：

获取模块32，用于获取第一用户行为特征向量以及第一广告特征向量；

压缩模块34，用于分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，得到第二用户行为特征向量以及第二广告特征向量；

第一特征交叉模块36，用于将所述第二用户行为特征向量以及所述第二广告特征向量进行特征交叉，得到注意力机制参数；

第二特征交叉模块38，用于将所述第三特征向量以及所述第一用户行为特征向量进行特征交叉，得到第四特征向量；

处理模块310，用于基于所述用户行为的向量表示进行业务处理。

在本说明书的一个或多个实施例中，所述处理模块可用于：将所述用户行为的向量表示输入深度兴趣网络DIN模型的多层感知机MLP，得到基于用户行为的业务处理结果。

在本说明书的一个或多个实例中，所述压缩模块可用于：利用共享权重参数分别对第一用户行为特征向量以及所述第二用户行为特征向量进行压缩得到所述第二用户行为特征向量以及所述第二广告特征向量。

在本说明书的一个或多个实施例中，所述压缩模块可用于：通过共享权重参数分别与所述第一用户行为特征向量以及所述第二用户行为特征向量进行内积运算，以对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩。

在本说明书的一个或多个实施例中，上述基于用户行为的业务处理装置，还可包括：调整模块，用于在分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩之后，通过激活函数将所述第二用户行为特征向量以及所述第二广告特征向量的分布进行调整，以使所述第二用户行为特征向量以及所述第二广告特征向量的分布在预设范围之内。

在本说明书的一个或多个实施例中，所述第一用户行为特征向量至少可包括以下一种参数：

用户查看的商品的标识、用户手指在移动终端上的位置、用户查看的广告的标识以及用户购买的商品的标识。

在本说明书的一个或多个实施例中，所述第一广告特征向量至少可包括以下一种参数：

广告的标识、广告的成本、广告的种类、用户查看广告所获得的奖励金的金额。

在本说明书的一个或多个实施例中，基于用户行为的业务处理装置还可包括：输入模块，用于在获取第一用户行为特征向量以及第一广告特征向量之后，将所述第一用户行为特征向量以及所述第一广告特征向量输入DIN模型中的特征激活单元，以使所述特征激活单元基于所述第一用户行为特征向量以及所述第一广告特征向量得到所述注意力机制参数。

在本说明书的一个或多个实施例中，所述业务处理结果可包括所述用户查看所述广告的概率。

本说明书的一个或多个实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任意一种基于用户行为的业务处理方法。

图4示出了本说明一个或多个实施例所提供的一种更为具体的电子设备硬件结构示意图，如图4所示，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (19)

1.一种基于用户行为的业务处理方法，包括：

获取第一用户行为特征向量以及第一广告特征向量；

分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，得到第二用户行为特征向量以及第二广告特征向量；

将所述第二用户行为特征向量以及所述第二广告特征向量进行特征交叉，得到注意力机制参数；

将所述注意力机制参数以及所述第一用户行为特征向量进行特征交叉，得到用户行为的向量表示；

基于所述用户行为的向量表示进行业务处理。

2.根据权利要求1所述的方法，基于所述用户行为的向量表示进行业务处理，包括：

将所述用户行为的向量表示输入深度兴趣网络DIN模型的多层感知机MLP，得到业务处理结果。

3.根据权利要求1所述的方法，分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，包括：

利用共享权重参数分别对第一用户行为特征向量以及所述第二用户行为特征向量进行压缩得到所述第二用户行为特征向量以及所述第二广告特征向量。

4.根据权利要求3所述的方法，利用共享权重参数分别对第一用户行为特征向量以及所述第二用户行为特征向量进行压缩得到所述第二用户行为特征向量以及所述第二广告特征向量，包括：

通过共享权重参数分别与所述第一用户行为特征向量以及所述第二用户行为特征向量进行内积运算，以对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩。

5.根据权利要求1所述的方法，所述方法还包括：

在分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩之后，通过激活函数将所述第二用户行为特征向量以及所述第二广告特征向量的分布进行调整，以使所述第二用户行为特征向量以及所述第二广告特征向量的分布在预设范围之内。

6.根据权利要求1所述的方法，所述第一用户行为特征向量至少包括以下一种：

用户查看的商品的标识、用户手指在移动终端上的位置、用户查看的广告的标识以及用户购买的商品的标识。

7.根据权利要求1所述的方法，所述第一广告特征向量至少包括以下一种：

广告中的商品信息、广告中的店铺信息、广告的标识、广告的成本、广告的种类、用户查看广告所获得的奖励金的金额。

8.根据权利要求1所述的方法，所述方法还包括：

在获取第一用户行为特征向量以及第一广告特征向量之后，将所述第一用户行为特征向量以及所述第一广告特征向量输入DIN模型中的特征激活单元，以使所述特征激活单元基于所述第一用户行为特征向量以及所述第一广告特征向量得到所述注意力机制参数。

9.根据权利要求1至8任一项所述的方法，所述业务处理结果包括所述用户查看所述广告的概率。

10.一种基于用户行为的业务处理装置，包括：

获取模块，用于获取第一用户行为特征向量以及第一广告特征向量；

压缩模块，用于分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩，得到第二用户行为特征向量以及第二广告特征向量；

第一特征交叉模块，用于将所述第二用户行为特征向量以及所述第二广告特征向量进行特征交叉得到注意力机制参数；

第二特征交叉模块，用于将所述注意力机制参数以及所述第一用户行为特征向量进行特征交叉，得到用户行为的向量表示；

处理模块，用于基于所述用户行为的向量表示进行业务处理。

11.根据权利要求10所述的装置，所述处理模块用于：将所述用户行为的向量表示输入深度兴趣网络DIN模型的多层感知机MLP，得到业务处理结果。

12.根据权利要求10所述的装置，所述压缩模块用于：

利用共享权重参数分别对第一用户行为特征向量以及所述第二用户行为特征向量进行压缩得到所述第二用户行为特征向量以及所述第二广告特征向量。

13.根据权利要求12所述的装置，所述压缩模块用于：

通过共享权重参数分别与所述第一用户行为特征向量以及所述第二用户行为特征向量进行内积运算，以对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩。

14.根据权利要求10所述的装置，所述装置还包括：

调整模块，用于在分别对所述第一用户行为特征向量以及所述第一广告特征向量进行压缩之后，通过激活函数将所述第二用户行为特征向量以及所述第二广告特征向量的分布进行调整，以使所述第二用户行为特征向量以及所述第二广告特征向量的分布在预设范围之内。

15.根据权利要求10所述的装置，所述用户行为特征向量至少包括以下一种参数：

用户查看的商品的标识、用户手指在移动终端上的位置、用户查看的广告的标识以及用户购买的商品的标识。

16.根据权利要求10所述的装置，所述广告特征向量至少包括以下一种参数：

广告的标识、广告的成本、广告的种类、用户查看广告所获得的奖励金的金额。

17.根据权利要求10所述的装置，所述装置还包括：

输入模块，用于在获取第一用户行为特征向量以及第一广告特征向量之后，将所述第一用户行为特征向量以及所述第一广告特征向量输入DIN模型中的特征激活单元，以使所述特征激活单元基于所述第一用户行为特征向量以及所述第一广告特征向量得到所述注意力机制参数。

18.根据权利要求10至17任一项所述的装置，所述业务处理结果包括所述用户查看所述广告的概率。

19.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至9任一项所述的基于用户行为的业务处理方法。

Images