CN108256631A - 一种基于注意力模型的用户行为推荐系统 - Google Patents

Abstract

本发明中提出的一种基于注意力模型的用户行为推荐系统，其主要内容包括：行为建模框架、注意力连接层、行为推荐网络，其过程为，首先统计用户行为并且用三元数组来表示该行为的类型、目标身体部位和时间信息；然后依次使用原始特征空间、行为内嵌空间和潜在语义空间来划分不同的目标形态和行为，对行为组数据内嵌原始特征和映射单个行为到全局空间建立时间联系；接着使用基于注意力的连接层来对不同的行为分配响应的权重；最后通过优化损失函数推荐正确的行为类型。本发明可以实现对人体行为的估计，提供了多种空间划分方法来细分特征空间，引入神经网络来优化损失函数，有效地提高行为分析理解的能力。

Description

一种基于注意力模型的用户行为推荐系统

技术领域

本发明涉及人体行为估计领域，尤其是涉及了一种基于注意力模型的用户行为推荐系统。

背景技术

在计算机视觉中，姿态估计和行为识别是一个非常热门的研究主题，它包括非常多的应用，比如人体计算机接口、全视频搜索、机器人和视频监控等领域。近年来，随着经济的高速发展和计算机软、硬件技术的提升及处理能力的快速更新换代，计算机技术对人们的生活方式产生了越来越大的影响，人们对于计算机技术的依赖也与日俱增。同时，人们越来越希望计算机可以逐渐具有人类的部分功能，帮助甚至代替人们对外界事物进行观察和感知。而在过往，视觉的行为识别被分成很多子问题，比如手势识别，面部表情识别和视频监控中的运动行为识别。然而人体行为包括许多不同的动作并需要统一的方法进行识别。人体行为识别就是在这种背景下利用现有的计算机视觉技术，帮助我们在特定条件下分析人体动作，而且可以帮助我们识别和理解人体行为。人体行为识别在很多方面都有着广泛的应用前景，例如智能监控领域，可以实时地对人的姿态进行分析估计，判断甚至推断异常行为并报警；在增强现实领域，可以通过对各个端点用户的姿态、动作进行建模，重新投影到同一个空间内，可以营造世界各地的人同时身处一室的感觉；在智能人机交互领域，可以更智能地通过主人的动作姿态分析实现更丰富的服务内容，大大增加工作、生活的便捷性；在病人监护领域，可以24小时无间断地、更可靠地监控不同程度病重的病人，自动记录病人的肢体或姿态，以防出现意外时人为疏忽不能及时救助，此外，在图像理解、增强现实、运动员辅助训练等方面，都有着可预见的应用潜力。然而，在图像背景差异、光照条件不同的情况下，或者在人体姿势变化很大甚至外观剧烈变化的时候，传统的识别方法便很难处理。

本发明提出了本发明中提出的一种基于注意力模型的用户行为推荐系统，首先统计用户行为并且用三元数组来表示该行为的类型、目标身体部位和时间信息；然后依次使用原始特征空间、行为内嵌空间和潜在语义空间来划分不同的目标形态和行为，对行为组数据内嵌原始特征和映射单个行为到全局空间建立时间联系；接着使用基于注意力的连接层来对不同的行为分配响应的权重；最后通过优化损失函数推荐正确的行为类型。本发明可以实现对人体行为的估计，提供了多种空间划分方法来细分特征空间，引入神经网络来优化损失函数，有效地提高行为分析理解的能力。

发明内容

针对解决在人体行为估计的问题，本发明的目的在于提供一种基于注意力模型的用户行为推荐系统，首先统计用户行为并且用三元数组来表示该行为的类型、目标身体部位和时间信息；然后依次使用原始特征空间、行为内嵌空间和潜在语义空间来划分不同的目标形态和行为，对行为组数据内嵌原始特征和映射单个行为到全局空间建立时间联系；接着使用基于注意力的连接层来对不同的行为分配响应的权重；最后通过优化损失函数推荐正确的行为类型。本发明可以实现对人体行为的估计，提供了多种空间划分方法来细分特征空间，引入神经网络来优化损失函数，有效地提高行为分析理解的能力。

为解决上述问题，本发明提供一种基于注意力模型的用户行为推荐系统，其主要内容包括：

(一)行为建模框架；

(二)注意力连接层；

(三)行为推荐网络。

其中，所述的行为建模框架，统计一般的用户行为，利用一种二值指示关系来解读该行为，即：利用某用户和某个具体的完整的部位，使用包括原始特征空间、行为内嵌空间和潜在语义空间在内的特征空间去分解和描述该统计行为；用三元数组{a,o,t}表示一个用户行为，其中，a表示行为类型，o表示实施该行为的目标身体部位，t表示该行为发生的时间戳，因此某用户所有的行为可用U＝{(a_j,o_j,t_j)|j＝1,2,…,m}来表示。

所述的原始特征空间，收集被统计用户的行为三元数组U，再按照不同的目标形态，将该数组划分到不同的行为组G＝(bg₁,bg₂,…,bg_n)，其中该划分过程必须满足：任意两个bg_i和bg_j交集为空集且所有的bgi合集为U。

所述的行为内嵌空间，使用相同的内嵌模块u_i,_j＝f_i(a_j,o_j,t_j)对每个行为组bg_i嵌入任意行为数组U的原始特征，其中，目标类型特征o_j全部拼接起来输送到前向神经网络，a_j和t_j分别用两种编码方式记录内嵌信息，有：

其中，emb(·)是拼接函数，bucketize(·)是时间匹配函数，lookup(·)行为类型查找函数；

然后对每个行为组bg_i内的所有内嵌信息u_ij进行合并，有：

最后，行为内嵌空间的输出为

所述的潜在语义空间，接收行为内嵌空间的输出B，首先将可变长度的变量转变成固定长度的编码向量，有：

其中，符号函数表示映射函数，将位于第i组的单个行为映射到全局空间，使得该行为对其他时间戳的行为建立联系；

定义K个语义空间用于解读行为特征，对于每个语义空间有响应的映射函数将其对应的编码向量进行映射操作，即：

其中，符号函数是以θ为参数的单层感知器，使用线性修正单元函数作为其激活函数。

所述的注意力连接层，对统计的用户行为类型进行评分，按照评分高低给予不同的权重，即分配不同大小的注意力，具体为，对第k个语义空间，计算其注意力分值矩阵A_k：

A_k＝softmax(a(S_k，S；θ_k)) (5)

该分值矩阵中，每个行向量代表一个子空间中所有的行为操作评分，softmax(·)则用于计算每个行为的概率值，来代表注意力分配的权重关系；a(·)表示一个双线性评分函数，具体为：

a(S_k，S；θ_k)＝S_kW_kS^T (6)

由此，注意力连接层对第k个语义空间计算出的注意力向量为：

其中，是使用线性修正单元函数作为激活函数的单层感知器，用于将S分配到语义空间；然后，将所有注意力向量首尾相连，作为该连接层的最终输出向量：

其中，是具有一个隐藏层的前馈网络，在保持输入输出向量维度不变的情况下，提供非线性变换、残差连接、归一化操作。

所述的行为推荐网络，对于从注意力连接层中得到的输出，建立一个神经网络用于评价该连接层推荐的行为类型，从而学习到如何推荐正确的行为，包括损失函数建立、训练超参数和评价标准。

所述的损失函数建立，对于用户u和其对应的内嵌编码向量q_t，首先使用公式组(9)的方法产生最终的上下文环境向量

然后，使用sigmoid函数交叉熵计算神经网络的损失：

其中，f(·)表示排序函数。

所述的训练超参数，在神经网络训练过程中设置以下参数，以获得最优解：

1)内嵌空间维度设置为64，单层感知器的隐含层神经元个数全部设置为128，语义空间维度设置为8；

2)每批次训练的图像样本数设置为32；

3)正则化参数中，L2范数损失函数的权重设置为0.0005；

4)训练方法采用随机梯度下降的方法，初始学习率为1，衰减率设置为0.1。

所述的评价标准，使用AUC(受试者工作特征曲线下方面积)作为衡量指标：

其中，表示一个用户u∈U^Test在第i个测试集中会实施动作的概率，δ(·)表示指示函数。

附图说明

图1是本发明一种基于注意力模型的用户行为推荐系统的系统流程图。

图2是本发明一种基于注意力模型的用户行为推荐系统的推荐概率示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于注意力模型的用户行为推荐系统的系统流程图。主要包括行为建模框架；注意力连接层；行为推荐网络。

其中，行为建模框架，统计一般的用户行为，利用一种二值指示关系来解读该行为，即：利用某用户和某个具体的完整的部位，使用包括原始特征空间、行为内嵌空间和潜在语义空间在内的特征空间去分解和描述该统计行为；用三元数组{a,o,t}表示一个用户行为，其中，a表示行为类型，o表示实施该行为的目标身体部位，t表示该行为发生的时间戳，因此某用户所有的行为可用U＝{(a_j,o_j,t_j)|j＝1,2,…,m}来表示。

原始特征空间，收集被统计用户的行为三元数组U，再按照不同的目标形态，将该数组划分到不同的行为组G＝(bg₁,bg₂,…,bg_n)，其中该划分过程必须满足：任意两个bg_i和bg_j交集为空集且所有的bg_i合集为U。

行为内嵌空间，使用相同的内嵌模块u_i,j＝f_i(a_j,o_j,t_j)对每个行为组bg_i嵌入任意行为数组U的原始特征，其中，目标类型特征o_j全部拼接起来输送到前向神经网络，a_j和t_j分别用两种编码方式记录内嵌信息，有：

其中，emb(·)是拼接函数，bucketize(·)是时间匹配函数，lookup(·)行为类型查找函数；

然后对每个行为组bg_i内的所有内嵌信息u_ij进行合并，有：

最后，行为内嵌空间的输出为

潜在语义空间，接收行为内嵌空间的输出B，首先将可变长度的变量转变成固定长度的编码向量，有：

其中，符号函数表示映射函数，将位于第i组的单个行为映射到全局空间，使得该行为对其他时间戳的行为建立联系；

定义K个语义空间用于解读行为特征，对于每个语义空间有响应的映射函数将其对应的编码向量进行映射操作，即：

其中，符号函数是以θ为参数的单层感知器，使用线性修正单元函数作为其激活函数。

注意力连接层，对统计的用户行为类型进行评分，按照评分高低给予不同的权重，即分配不同大小的注意力，具体为，对第k个语义空间，计算其注意力分值矩阵A_k：

A_k＝softmax(a(S_k，S；θ_k)) (5)

该分值矩阵中，每个行向量代表一个子空间中所有的行为操作评分，softmax(·)则用于计算每个行为的概率值，来代表注意力分配的权重关系；a(·)表示一个双线性评分函数，具体为：

a(S_k，S；θ_k)＝S_kW_kS^T (6)

由此，注意力连接层对第k个语义空间计算出的注意力向量为：

其中，是使用线性修正单元函数作为激活函数的单层感知器，用于将S分配到语义空间；然后，将所有注意力向量首尾相连，作为该连接层的最终输出向量：

其中，是具有一个隐藏层的前馈网络，在保持输入输出向量维度不变的情况下，提供非线性变换、残差连接、归一化操作。

行为推荐网络，对于从注意力连接层中得到的输出，建立一个神经网络用于评价该连接层推荐的行为类型，从而学习到如何推荐正确的行为，包括损失函数建立、训练超参数和评价标准。

损失函数建立，对于用户u和其对应的内嵌编码向量q_t，首先使用公式组(9)的方法产生最终的上下文环境向量

然后，使用sigmoid函数交叉熵计算神经网络的损失：

其中，f(·)表示排序函数。

训练超参数，在神经网络训练过程中设置以下参数，以获得最优解：

1)内嵌空间维度设置为64，单层感知器的隐含层神经元个数全部设置为128，语义空间维度设置为8；

2)每批次训练的图像样本数设置为32；

3)正则化参数中，L2范数损失函数的权重设置为0.0005；

4)训练方法采用随机梯度下降的方法，初始学习率为1，衰减率设置为0.1。

评价标准，使用AUC(受试者工作特征曲线下方面积)作为衡量指标：

其中，表示一个用户u∈U^Test在第i个测试集中会实施动作的概率，δ(·)表示指示函数。

图2是本发明一种基于注意力模型的用户行为推荐系统的推荐概率示意图，如图所示，在给定输入图像即一名女士的上半身(右半部分)时，会在跟女生相关的物件或人体部位中计算概率，可以看到，左半部分所列中，另外一名女士的下半身被分配了最高的概率，体现了动作估计的强相关性。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于注意力模型的用户行为推荐系统，其特征在于，主要包括行为建模框架(一)；注意力连接层(二)；行为推荐网络(三)。

2.基于权利要求书1所述的行为建模框架(一)，其特征在于，统计一般的用户行为，利用一种二值指示关系来解读该行为，即：利用某用户和某个具体的完整的部位，使用包括原始特征空间、行为内嵌空间和潜在语义空间在内的特征空间去分解和描述该统计行为；用三元数组{a,o,t}表示一个用户行为，其中，a表示行为类型，o表示实施该行为的目标身体部位，t表示该行为发生的时间戳，因此某用户所有的行为可用U＝{(a_j,o_j,t_j)|j＝1,2,…,m}来表示。

3.基于权利要求书2所述的原始特征空间，其特征在于，收集被统计用户的行为三元数组U，再按照不同的目标形态，将该数组划分到不同的行为组G＝(bg₁,bg₂,…,bg_n)，其中该划分过程必须满足：任意两个bg_i和bg_j交集为空集且所有的bg_i合集为U。

4.基于权利要求书2所述的行为内嵌空间，其特征在于，使用相同的内嵌模块u_i,j＝f_i(a_j,o_j,t_j)对每个行为组bg_i嵌入任意行为数组U的原始特征，其中，目标类型特征o_j全部拼接起来输送到前向神经网络，a_j和t_j分别用两种编码方式记录内嵌信息，有：

其中，emb(·)是拼接函数，bucketize(·)是时间匹配函数，lookup(·)行为类型查找函数；

然后对每个行为组bg_i内的所有内嵌信息u_ij进行合并，有：

最后，行为内嵌空间的输出为

5.基于权利要求书2所述的潜在语义空间，其特征在于，接收行为内嵌空间的输出B，首先将可变长度的变量转变成固定长度的编码向量，有：

其中，符号函数表示映射函数，将位于第i组的单个行为映射到全局空间，使得该行为对其他时间戳的行为建立联系；

定义K个语义空间用于解读行为特征，对于每个语义空间有响应的映射函数将其对应的编码向量进行映射操作，即：

其中，符号函数是以θ为参数的单层感知器，使用线性修正单元函数作为其激活函数。

6.基于权利要求书1所述的注意力连接层(二)，其特征在于，对统计的用户行为类型进行评分，按照评分高低给予不同的权重，即分配不同大小的注意力，具体为，对第k个语义空间，计算其注意力分值矩阵A_k：

A_k＝softmax(a(S_k,S；θ_k)) (5)

该分值矩阵中，每个行向量代表一个子空间中所有的行为操作评分，softmax(·)则用于计算每个行为的概率值，来代表注意力分配的权重关系；a(·)表示一个双线性评分函数，具体为：

a(S_k,S；θ_k)＝S_kW_kS^T (6)

由此，注意力连接层对第k个语义空间计算出的注意力向量为：

其中，是使用线性修正单元函数作为激活函数的单层感知器，用于将S分配到语义空间；然后，将所有注意力向量首尾相连，作为该连接层的最终输出向量：

其中，是具有一个隐藏层的前馈网络，在保持输入输出向量维度不变的情况下，提供非线性变换、残差连接、归一化操作。

7.基于权利要求书1所述的行为推荐网络(三)，其特征在于，对于从注意力连接层中得到的输出，建立一个神经网络用于评价该连接层推荐的行为类型，从而学习如何推荐正确的行为，包括损失函数建立、训练超参数和评价标准。

8.基于权利要求书7所述的损失函数建立，其特征在于，对于用户u和其对应的内嵌编码向量q_t，首先使用公式组(9)的方法产生最终的上下文环境向量

然后，使用sigmoid函数交叉熵计算神经网络的损失：

其中，f(·)表示排序函数。

9.基于权利要求书7所述的训练超参数，其特征在于，在神经网络训练过程中设置以下参数，以获得最优解：

1)内嵌空间维度设置为64，单层感知器的隐含层神经元个数全部设置为128，语义空间维度设置为8；

2)每批次训练的图像样本数设置为32；

3)正则化参数中，L2范数损失函数的权重设置为0.0005；

4)训练方法采用随机梯度下降的方法，初始学习率为1，衰减率设置为0.1。

10.基于权利要求书7所述的评价标准，其特征在于，使用AUC(受试者工作特征曲线下方面积)作为衡量指标：

其中，表示一个用户u∈U^Test在第i个测试集中会实施动作的概率，δ(·)表示指示函数。