CN112733004A - 一种基于多臂老虎机算法的影视作品推荐方法 - Google Patents

Abstract

本发明涉及一种基于多臂老虎机算法的影视作品推荐方法，包括以下步骤：1)获取每个影视作品和当前待推荐用户的特征表示，获得初始的作品聚类和用户聚类；2)遍历所有影视作品，计算对应的预估计回报，选取预估计回报最大的推荐给待推荐用户；3)待推荐用户在接收到推荐后，做出真实反馈；4)基于用户真实反馈更新聚类和预估计回报模型，调整模型中部分超参数，并重新推荐。与现有技术相比，本发明能够较好的平衡推荐方法中的EE问题以及解决推荐方法冷启动问题，具有收敛速度快、推荐精准有效的优点。

Description

一种基于多臂老虎机算法的影视作品推荐方法

技术领域

本发明涉及影视作品推荐及强化学习领域，尤其是涉及一种基于多臂老虎机算法的影视作品推荐方法。

背景技术

在推荐方法领域中，有两个比较经典的问题：一个是EE问题，另一个是用户冷启动问题。

其中，EE问题全称为Exploit-Explore问题，在影视作品推荐方法中，有已经确定用户感兴趣的领域，也有不明确用户是否会感兴趣的领域，而如何在推荐的过程中平衡这两种领域的推荐，就是EE问题；冷启动问题是指面对新的用户，如果在尽可能短的时间内，确定用户所感兴趣的大致方向。

多臂老虎机算法本身是在探索和开发之间做平衡的算法，它量化了错误的选择到底带来了多大的遗憾，现有的多臂老虎机算法，忽略了上下文相关的信息，而这正是推荐方法中十分重要的部分，同时，传统的推荐方法算法中往往离不开协同过滤，如何利用多臂老虎机算法和协同过滤的思想，也是一大技术问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多臂老虎机算法的影视作品推荐方法。

本发明的目的可以通过以下技术方案来实现：

一种基于多臂老虎机算法的影视作品推荐方法，包括以下步骤：

1)获取每个影视作品和当前待推荐用户的特征表示，获得初始的作品聚类和用户聚类；

2)遍历所有影视作品，计算对应的预估计回报，选取预估计回报最大的推荐给待推荐用户；

3)待推荐用户在接收到推荐后，做出真实反馈；

4)基于用户真实反馈更新聚类和预估计回报模型，调整模型中部分超参数，并重新推荐。

所述的步骤1)具体包括以下步骤：

11)通过特征抽取模型获取所有作品的特征表示X_a，0以及当前待推荐用户的特征表示U_i，0；

12)初始化作品聚类和用户聚类，将所有的影视作品和待推荐用户分别归为一类，并分别获取每个聚类的特征向量均值作为对应聚类的特征中心；

13)在初始化的作品聚类和用户聚类之间建立连接，并记录在聚类记录文件中。

所述的步骤11)中，将每个作品的题目、标签和简介以文本的形式作为输入，通过特征抽取模型E获取每个作品a的特征表示X_a，0，即作品特征向量，并且以当前待推荐用户的兴趣信息、历史观看和反馈记录以作为输入，通过特征抽取模型E获取当前待推荐用户i的特征表示U_i，0，即用户特征向量。

所述的步骤12)中，当加入新的用户或影视作品时，按照其特征向量将其归类至与其距离最近的聚类中，并更新聚类记录文件，其中，距离具体为特征向量与聚类的特征中心的欧氏距离。

所述的步骤2)具体包括以下步骤：

21)获取所有与当前待推荐用户i有连接关系的作品聚类，记为集合I＝{A|U→A，i∈U}，其中，i∈U表示当前待推荐用户i所在的用户聚类为U，U→A表示作品聚类A和用户聚类A之间存在连接关系；

22)根据预估计回报模型计算当前时刻t的预估计回报p_a，t，则有：

其中，θ_a为中间参量，A_a为作品a对应的特征矩阵且初始化为单位阵，b_a为作品a对应的特征偏置且初始化为零向量，X_a，t为当前时刻t作品a的特征表示，α为设定的探索参数，用以控制为用户推荐未看过品类的影视作品数量。

23)在所有预估计回报最高的作品中随机选出一个作品a_t推荐给当前待推荐用户，则有：

a_t＝argmaxp_a，t。

所述的步骤3)具体为：

收集所有当前待推荐用户包括点击情况、点赞情况和评价情况的反馈信息，其中，对于点击情况和点赞情况采取分别记分的方式打分，对于评价情况，则采用CNN-LSTM架构的情感分析模型进行打分，将三种情况的打分求和得到前待推荐用户对当前推荐作品的打分r_i，t。

所述的步骤4)具体包括以下步骤：

41)根据打分r_i，t更新预估计回报模型中的参数；

42)根据打分r_i，t更新用户聚类；

43)更新过用户聚类后更新作品聚类；

44)若用户仍有需求，则返回步骤2)重新为用户提供新的推荐作品；

45)根据实际情况，调整探索参数α，增大探索参数α则会为用户推荐更多用户未看过品类的作品，减小探索参数α则会为用户减少未看过品类的推荐。

所述的步骤41)中，预估计回报模型中的参数更新具体为：

其中，

为作品a_t对应的特征矩阵，

为作品a_t对应的特征偏置，

为作品a_t在当前时刻t对应的特征向量。

所述的步骤42)中，用户聚类的更新方式具体为：

在当前待推荐用户i所在的用户聚类中，计算所有其他用户对作品a_t的预估计回报，若该预估计回报与当前待推荐用户i的打分值之差在设定的阈值范围内，则保留当前待推荐用户i在当前聚类中，否则，将当前待推荐用户i从当前用户聚类中剔出，并将其归到与其打分值最接近的用户聚类中，若不存在最接近的用户聚类，则自成一类。

所述的步骤43)中，作品聚类的更新方式具体为：

对所有与作品a_t存在边相连的作品a_j，构造一个对当前待推荐用户i的近邻集合，计算当前待推荐用户i对作品a_j的预估计回报，以及更新后的当前待推荐用户i所在用户聚类的聚类中心对作品a_j的预估计回报，判断两者的差值是否在设定的阈值范围内，若是，则保留作品a_t与a_j之间的边连接关系，若否，则删除作品a_t与a_j之间的边连接关系。

与现有技术相比，本发明具有以下优点：

一、现有的多臂老虎机算法(例如：UCB算法、EXP3算法和EXP4算法等)在影视作品推荐方法中缺少了对作品附带的上下文信息，如影片分类、影片标签、影片封面等信息的考量，而这些信息对推荐效果有直接影响，在本发明中，通过建立对影片作品的特征抽取，对用户画像的特征抽取，使得多臂老虎机算法收敛速度更快，建立了更有效的推荐方式。

二、在本发明中，采用了多臂老虎机算法，该算法对于解决推荐方法中的EE问题和冷启动问题有天生的优势，对于EE问题多臂老虎机算法中采用了上置信确界对每种推荐方式做出了乐观估计，保证了推荐过程的探索广度，在后续接受到用户反馈后利用蒙特卡洛估计，修正对不同推荐的判断，优化了开发过程，其中初始阶段对探索广度的保证也解决了推荐系统初期的冷启动问题。

三、本发明同时将现有的推荐方法算法中的协同过滤方式采用进来，即假定同类型的用户更容易对同类型的影视作品感兴趣，建立了用户聚类方式和影视作品聚类方式，并建立了两者之间的关联性，使得推荐更加精准。

附图说明

图1为本发明的流程示意图。

图2为本发明特征抽取模型的结构示意图。

图3为本发明算法流程图。

图4为本发明的具体实施过程。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明提供一种基于多臂老虎机算法的影视作品推荐方法，通过引入合适的特征表示模型，大大降低了对每种推荐选择的预估计回报的拟合误差，同时利用聚类连接的方法将协同过滤的思想引入了多臂老虎机系统，如图1所示，本方法包括以下步骤：

1)获取每一个影视作品和当前待推荐用户画像的特征表示，并获得初始的作品聚类和用户聚类；

2)在系统中遍历所有待推荐作品，计算对应的预估计回报，选取预估计回报最大的推荐给用户；

3)用户在接收到推荐后，给予系统真实的反馈；

4)基于用户真实反馈更新聚类和回报估计模型，调整系统中部分超参数，重新推荐。

各步骤具体过程如下：

步骤1)具体包括以下步骤：

11)将每个作品的题目、标签和简介以文本的形式作为输入，利用特征抽取模型E的获取每个作品的对应特征表示X_a，0，其中参数a表示的是对应作品编号，其中特征抽取模型E包含一个字符嵌入层，三个1维卷积层，一个双向LSTM层，输入为字符，输出为一个512维的特征向量，具体模型架构和模型中每层的参数设置如图2所示。

12)按同样的方式获取当前待推荐用户i的特征表示U_i，0，所使用的特征抽取模型和上一步相同，输入变为用户i的兴趣信息、历史观看和反馈记录。

13)初始化聚类记录文件，将所有用户归为同一聚类，将所有待推荐作品归为同一聚类，并将每个聚类的特征向量均值记为该聚类的特征中心，统一记录在文件内，特别地，当系统中加入新的用户或作品时，按照其特征向量将其归类至与其距离最近的聚类中，其中距离指特征向量到聚类特征中心的欧氏距离，更新聚类记录文件。

14)初始化聚类关系文件，将当前聚类记录文件中初始化的用户聚类和作品聚类内部以及两者之间建立联系，记录在聚类关系文件中。

步骤2)具体包括以下步骤：

21)找到所有与当前待推荐用户i存在连接关系的作品聚类，记为集合I＝{A|U→A，i∈U}，其中i∈U表示用户i所在的用户聚类为U，U→A表示作品聚类I和用户聚类A之间有边的连接关系。

22)计算所有I中作品聚类中每一个作品聚类中所有作品的预估计回报，具体t时刻的预估计回报p_a，t的计算方式为：

其中

A_a为作品a对应的特征矩阵且初始化为单位阵，b_a为作品a对应的特征偏置且初始化为零向量，X_a，t为在步骤1)中得到的作品a对应的特征向量，α为人为设定的探索参数。

23)在所有预估计回报最高的作品中随机选出一个作品推荐给当前用户，具体计算方式为：

a_t＝argmaxp_a，t

步骤3)具体包括以下步骤：

31)收取所有的用户反馈信息，包括点击情况，点赞情况和评价情况。

32)将反馈信息转化为用户对当前推荐作品的打分，具体来说点击为1分，点赞为5分，另外利用现有的CNN-LSTM架构的情感分析模型对用户评价情况进行打分，最终将这三个打分加和得到用户对当前推荐作品的打分r_i，t。

步骤4)具体包括以下步骤：

41)利用打分更新预估计回报模型中的参数，参数的具体更新方式为：

其中

为作品a_t对应的特征矩阵，

为作品a_t对应的特征偏置，

为作品a_t在t时刻对应的特征向量，r_i，t为步骤32)中得到的用户反馈打分。

42)在当前待推荐用户i所在的用户聚类中，计算所有其他用户对作品a_t的预估计回报，若该预估计回报与当前待推荐用户i的打分值之差在设定的阈值范围内，则保留当前待推荐用户i在当前聚类中，否则，将当前待推荐用户i从当前用户聚类中剔出，并将其归到与其打分值最接近的用户聚类中，若不存在最接近的用户聚类，则自成一类。

43)对所有与作品a_t存在边相连的作品a_j，构造一个对当前待推荐用户i的近邻集合，计算当前待推荐用户i对作品a_j的预估计回报，以及更新后的当前待推荐用户i所在用户聚类的聚类中心对作品a_j的预估计回报，判断两者的差值是否在设定的阈值范围内，若是，则保留作品a_t与a_j之间的边连接关系，若否，则删除作品a_t与a_j之间的边连接关系，特别地，步骤42)和步骤43)中的聚类更新和聚类关系更新全部记录在步骤1)中建立的对应文件中。

44)若用户仍有需求，返回步骤2)重新为用户提供新的推荐。

45)根据实际情况，调整探索参数α，具体为增大参数α会导致为用户推荐更多用户未看过品类的作品，反之，则减少未看过品类的推荐。

本发明通过引入合适的特征表示模型，大大降低了对每种推荐选择的预估计回报的拟合误差，同时利用聚类连接的方法将协同过滤的思想引入了多臂老虎机系统。与现有技术相比，本发明具有可以较好平衡推荐方法中的EE问题和解决推荐方法冷启动的优点。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于多臂老虎机算法的影视作品推荐方法，其特征在于，包括以下步骤：

1)获取每个影视作品和当前待推荐用户的特征表示，获得初始的作品聚类和用户聚类；

2)遍历所有影视作品，计算对应的预估计回报，选取预估计回报最大的推荐给待推荐用户；

3)待推荐用户在接收到推荐后，做出真实反馈；

4)基于用户真实反馈更新聚类和预估计回报模型，调整模型中部分超参数，并重新推荐。

2.根据权利要求1所述的一种基于多臂老虎机算法的影视作品推荐方法，其特征在于，所述的步骤1)具体包括以下步骤：

11)通过特征抽取模型获取所有作品的特征表示X_a，0以及当前待推荐用户的特征表示U_i，0；

12)初始化作品聚类和用户聚类，将所有的影视作品和待推荐用户分别归为一类，并分别获取每个聚类的特征向量均值作为对应聚类的特征中心；

13)在初始化的作品聚类和用户聚类之间建立连接，并记录在聚类记录文件中。

3.根据权利要求2所述的一种基于多臂老虎机算法的影视作品推荐方法，其特征在于，所述的步骤11)中，将每个作品的题目、标签和简介以文本的形式作为输入，通过特征抽取模型E获取每个作品a的特征表示X_a，0，即作品特征向量，并且以当前待推荐用户的兴趣信息、历史观看和反馈记录以作为输入，通过特征抽取模型E获取当前待推荐用户i的特征表示U_i，0，即用户特征向量。

4.根据权利要求2所述的一种基于多臂老虎机算法的影视作品推荐方法，其特征在于，所述的步骤12)中，当加入新的用户或影视作品时，按照其特征向量将其归类至与其距离最近的聚类中，并更新聚类记录文件，其中，距离具体为特征向量与聚类的特征中心的欧氏距离。

5.根据权利要求2所述的一种基于多臂老虎机算法的影视作品推荐方法，其特征在于，所述的步骤2)具体包括以下步骤：

21)获取所有与当前待推荐用户i有连接关系的作品聚类，记为集合I＝{A|U→A，i∈U}，其中，i∈U表示当前待推荐用户i所在的用户聚类为U，U→A表示作品聚类A和用户聚类A之间存在连接关系；

22)根据预估计回报模型计算当前时刻t的预估计回报p_a，t，则有：

其中，θ_a为中间参量，A_a为作品a对应的特征矩阵且初始化为单位阵，b_a为作品a对应的特征偏置且初始化为零向量，X_a，t为当前时刻t作品a的特征表示，α为设定的探索参数，用以控制为用户推荐未看过品类的影视作品数量。

23)在所有预估计回报最高的作品中随机选出一个作品a_t推荐给当前待推荐用户，则有：

a_t＝arg max p_a，t。

6.根据权利要求5所述的一种基于多臂老虎机算法的影视作品推荐方法，其特征在于，所述的步骤3)具体为：

收集所有当前待推荐用户包括点击情况、点赞情况和评价情况的反馈信息，其中，对于点击情况和点赞情况采取分别记分的方式打分，对于评价情况，则采用CNN-LSTM架构的情感分析模型进行打分，将三种情况的打分求和得到前待推荐用户对当前推荐作品的打分r_i，t。

7.根据权利要求6所述的一种基于多臂老虎机算法的影视作品推荐方法，其特征在于，所述的步骤4)具体包括以下步骤：

41)根据打分r_i，t更新预估计回报模型中的参数；

42)根据打分r_i，t更新用户聚类；

43)更新过用户聚类后更新作品聚类；

44)若用户仍有需求，则返回步骤2)重新为用户提供新的推荐作品；

45)根据实际情况，调整探索参数α，增大探索参数α则会为用户推荐更多用户未看过品类的作品，减小探索参数α则会为用户减少未看过品类的推荐。

8.根据权利要求7所述的一种基于多臂老虎机算法的影视作品推荐方法，其特征在于，所述的步骤41)中，预估计回报模型中的参数更新具体为：

其中，

为作品a_t对应的特征矩阵，

为作品a_t对应的特征偏置，

为作品a_t在当前时刻t对应的特征向量。

9.根据权利要求7所述的一种基于多臂老虎机算法的影视作品推荐方法，其特征在于，所述的步骤42)中，用户聚类的更新方式具体为：

在当前待推荐用户i所在的用户聚类中，计算所有其他用户对作品a_t的预估计回报，若该预估计回报与当前待推荐用户i的打分值之差在设定的阈值范围内，则保留当前待推荐用户i在当前聚类中，否则，将当前待推荐用户i从当前用户聚类中剔出，并将其归到与其打分值最接近的用户聚类中，若不存在最接近的用户聚类，则自成一类。

10.根据权利要求7所述的一种基于多臂老虎机算法的影视作品推荐方法，其特征在于，所述的步骤43)中，作品聚类的更新方式具体为：

对所有与作品a_t存在边相连的作品a_j，构造一个对当前待推荐用户i的近邻集合，计算当前待推荐用户i对作品a_j的预估计回报，以及更新后的当前待推荐用户i所在用户聚类的聚类中心对作品a_j的预估计回报，判断两者的差值是否在设定的阈值范围内，若是，则保留作品a_t与a_j之间的边连接关系，若否，则删除作品a_t与a_j之间的边连接关系。

Images