CN113836392B - 一种基于bert与用户评论的深度学习可解释推荐方法 - Google Patents

一种基于bert与用户评论的深度学习可解释推荐方法 Download PDF

Info

Publication number
CN113836392B
CN113836392B CN202110901554.9A CN202110901554A CN113836392B CN 113836392 B CN113836392 B CN 113836392B CN 202110901554 A CN202110901554 A CN 202110901554A CN 113836392 B CN113836392 B CN 113836392B
Authority
CN
China
Prior art keywords
user
comment
article
attention mechanism
item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110901554.9A
Other languages
English (en)
Other versions
CN113836392A (zh
Inventor
孔祥维
唐鑫泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202110901554.9A priority Critical patent/CN113836392B/zh
Publication of CN113836392A publication Critical patent/CN113836392A/zh
Application granted granted Critical
Publication of CN113836392B publication Critical patent/CN113836392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于BERT与用户评论的深度学习可解释推荐方法。包括以下步骤：首先，分别对用户评论文本数据和物品评论文本数据依次进行数字编码和预处理后，分别获得预处理后的用户评论文本数据和物品评论文本数据；接着利用预训练语言模型分别提取出用户和物品的初始特征向量；再将用户的初始特征向量和物品请求向量以及物品的特征向量和用户请求向量分别一起输入到对应的注意力机制层中进行最终特征的提取，获得用户和物品的最终特征向量；最后分别与用户和物品潜在因子相结合后，获得评论乘积特征并均输入预测层中，输出用户对物品的评分预测。本发明可以在更短的训练时间内达到更好的推荐效果，同时还能产生基于评论的推荐解释。

Description

一种基于BERT与用户评论的深度学习可解释推荐方法
技术领域
本发明涉及了自然语言处理领域的一种基于用户评论的可解释推荐方法，具体涉及到了一种基于BERT与用户评论的深度学习可解释推荐方法。
背景技术
互联网的普及和数字化转型很大程度上扩张了用户信息获取的渠道，增加了流通信息的量级，使得信息过载成为常态。超载的用户选择成为难题，如何将合适的内容呈现给合适的用户，需要利用个性化的推荐系统，目前推荐系统已经在各个领域都有了广泛的应用。推荐系统中，推荐算法是其核心。在传统的基于内容的推荐、基于协同过滤的推荐方法在遇到性能和发展的瓶颈时，深度学习的出现很大程度上提升了目前推荐系统的性能。一个好的推荐算法，不仅能够提升企业推荐系统的准确度，进而增加用户粘性，给企业带来可以变现的流量，而且能够减少算法定期训练的硬件和时间成本。一言概之，对于推荐算法的研究是必不可少的。传统的推荐算法研究由于受到算法设计和算力的限制，使用单一类型数据居多，如评分、购买、点击等，而深度学习模型具备利用更多数据源的条件，如文本、图像等。自深度学习算法在计算机视觉领域和自然语言处理领域取得了惊人甚至超人的能力之后，深度学习的方法也被应用到了推荐算法中，深度学习推荐成为当前推荐算法研究的主流和前沿。其中有一类算法是主要借助文本数据进行推荐，现有的算法设计中大多使用CNN、RNN等工具进行文本特征抽取，具有一定的局限性，而缺少在自然语言处理领域更加优秀的基于Transformer的模型的应用。
仅仅向用户展示他们可能感兴趣的物品而没有更加细节的解释，用户可能比较难相信系统为其推荐的物品确实是适合的，提供推荐解释是必要的。但深度学习模型固有的黑盒、难以解释的属性，给推荐解释的研究带来了新的挑战。深度学习可解释性是可解释人工智能(XAI，Explainable Artificial Intelligence)的其中一个重要领域，XAI是指能够让人们理解、适度信任并有效管理人工智能的技术。人工智能可解释性大致可以分为两类：事前可解释性与事后可解释性。事前可解释性是指，模型的可解释性存在于训练模型之前，是内置于模型内部的，如结构简单的逻辑回归模型、决策树模型等，或者可以通过自主设计构建将可解释性内置到整个模型中去，比如在模型的设计中加入注意力机制；事后可解释性是指，模型的可解释性存在于训练模型之后，给定一个训练好的模型，采用规则提取、模型蒸馏等方式，利用不同的方法尝试探照模型内部的运行机理，以此给出解释。采用事前可解释性的方法，可以减少企业另外研究可解释模型所花费的成本。因此，本发明希望设计出性能更好的深度学习可解释推荐算法，借鉴自然语言处理领域的BERT模型，利用嵌入式的注意力机制解释方法，再结合传统的潜在因子推荐模型，在提高推荐算法性能的同时能够提供推荐解释。
发明内容
为了解决背景技术中存在的问题和需求，本发明提供了一种基于BERT与用户评论的深度学习可解释推荐方法(BARER)。本发明是一种既能够提高推荐性能，又能够产生推荐解释的深度学习可解释推荐算法，利用BERT从用户评论中抽取出文本特征，利用注意力机制提升推荐效果并生成推荐解释，利用潜在因子模型进行评分预测。
本发明的技术方案如下：
本发明包括如下步骤：
步骤1)分别对用户评论文本数据和物品评论文本数据依次进行数字编码和预处理后，分别获得预处理后的用户评论文本数据和物品评论文本数据；
步骤2)将预处理后的用户评论文本数据和物品评论文本数据分别输入到预训练用户评论语言模型BERT1和预训练物品评论语言模型BERT2中，分别提取出用户的初始特征向量和物品的初始特征向量；
步骤3)将用户的初始特征向量和初始化的物品请求向量一起输入到用户评论注意力机制层中进行最终特征的提取，获得用户的最终特征向量；同时将物品的特征向量和初始化的用户请求向量一起输入到物品评论注意力机制层中进行最终特征的提取，获得物品的最终特征向量；
步骤4)将用户评论和物品评论的最终特征向量分别与用户和物品潜在因子相结合后，获得评论乘积特征并均输入预测层中，预测层输出用户对物品的评分预测。
所述步骤2)具体为：
将预处理后的用户评论文本数据和物品评论文本数据分别输入到预训练用户评论语言模型BERT1和预训练物品评论语言模型BERT2中，分别提取出用户的初始特征向量和物品的初始特征向量，用户的初始特征向量和物品的初始特征向量分别为预训练用户评论语言模型BERT1和预训练物品评论语言模型BERT2中倒数第二层的输出向量，计算过程如下式所示：
Tuj＝BERT1(Euj)
Tik＝BERT2(Eik)
其中，BERT1代表预训练用户评论语言模型，BERT2代表预训练物品评论语言模型，Euj，Eik分别代表用户u的第j条预处理后的用户评论文本数据和物品i的第k条评论的物品评论文本数据，Tuj，Tik分别代表用户u的第j条评论的初始特征向量和物品i的第k条评论的初始特征向量。
所述步骤3)具体为：
将用户的初始特征向量和初始化的物品请求向量一起输入到用户评论注意力机制层中，同时将物品的特征向量和初始化的用户请求向量一起输入到物品评论注意力机制层中，首先用户评论注意力机制层和物品评论注意力机制层中分别计算用户的注意力值和物品的注意力值，通过以下公式进行设置：
其中，aik表示评论过物品i的K个用户中第k个用户的注意力值，auj表示用户u评论过的J个物品中第j个物品的注意力值， WTI，WUI分别为用户评论注意力机制层和物品评论注意力机制层的初始特征向量权重，WU，WI分别为用户评论注意力机制层和物品评论注意力机制层的请求向量权重，b1，b3分别为用户评论注意力机制层和物品评论注意力机制层的第一偏置系数，b2，b4分别为用户评论注意力机制层和物品评论注意力机制层的第二偏置系数，ha，hb分别为用户评论注意力机制层和物品评论注意力机制层的全连接隐层权重，/>表示维度为t×k1的实数集，/>Tik代表物品i的第k条评论的初始特征向量，Tuj代表用户u的第j条评论的初始特征向量，k1为初始特征向量的维度，/>uik代表对物品i做出第k条评论的用户请求向量，/>iuj代表用户u做出的第j条评论的物品请求向量，k2为用户请求向量和物品请求向量的维度，t为用户评论注意力机制层和物品评论注意力机制层中添加的全连接隐层的维度，softmax()表示softmax激活函数，RELU()表示RELU激活函数，T表示转置操作；
接着，用户评论注意力机制层和物品评论注意力机制层中将用户的注意力值和物品的注意力值分别与预处理后的用户评论文本数据和对预处理后的物品评论文本数据进行加权平均后，分别获得用户的最终特征向量和物品的最终特征向量，具体的计算过程如下式所示：
其中，Ti代表物品的加权特征向量，/>Tu代表用户的加权特征向量，K表示物品评论文本数据中用户的总数，J表示用户评论文本数据中物品的总数；
最终，利用全连接层分别对用户的加权特征向量和物品的加权特征向量进行维度的统一后，分别获得用户的最终特征向量和物品的最终特征向量，具体的计算过程如下式所示：
Xu＝WXTu+bX
Yi＝WYTi+bY
其中，Yi表示物品i的最终特征向量，/>Xu表示用户u的最终特征向量，/>WX，WY分别为用户评论注意力机制层和物品评论注意力机制层中对应的最后一层全连接层的权重，bX，bY分别为用户评论注意力机制层和物品评论注意力机制层中对应的最后一层全连接层的偏置系数，n为潜在因子维度。
所述步骤4)具体为：
将用户评论和物品评论的最终特征向量分别与用户和物品潜在因子相结合后，获得评论乘积特征并均输入预测层中，预测层具体为神经化后的潜在因子模型，神经化后的潜在因子模型输出用户对物品的评分预测，具体的计算过程如下式所示：
hp＝(qu+Xu)⊙(pi+Yi)
其中，⊙代表元素级别的相乘，qu表示用户潜在因子，pi表示物品潜在因子，Xu表示用户u的最终特征向量，Yi表示物品i的最终特征向量，hp评论乘积特征，Wp是权重向量，T表示转置操作；bu，bi，μ分别为潜在因子模型中的用户偏置系数、物品偏置系数以及整体偏置系数；/>表示用户对物品的评分预测。
本发明具有的有益效果是：
本发明结合了预训练语言模型BERT，结合了注意力机制，将传统的推荐算法潜在因子模型作为预测输出。
与现有技术相比，预训练语言模型BERT提取的特征能更加有效、准确地代表评论文本数据，进而提升最终的推荐性能。同时，相比于CNN、RNN等特征抽取技术，BERT作为预训练模型，只用作特征抽取而并不参与参数的训练迭代，可以在整体训练过程中节省时间。
本发明所提出算法在推荐性能指标RMSE、MAE上、在多个数据集上超越学界的多个基线推荐算法，在训练时间上也具有比较大的优势，同时能够产生基于用户评论文本的推荐解释。
附图说明
图1为本发明所提出算法的架构图。
图2为本发明的用户评论注意力机制层的网络结构示意图。
图3为本发明所提出算法所产生的推荐解释的实施例。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细说明。
从亚马逊电商评论数据集中选取5个类目的子数据集作为算法的训练数据集进行说明。
如图1所示，本发明的可解释推荐模型BARER包括预训练用户评论语言模型BERT1、预训练物品评论语言模型BERT2、用户评论注意力机制层、物品评论注意力机制层和预测层。预训练用户评论语言模型BERT1和预训练物品评论语言模型BERT2的结构相同。预处理后的用户评论文本数据和物品评论文本数据分别输入预训练用户评论语言模型BERT1和预训练物品评论语言模型BERT2，预训练用户评论语言模型BERT1提取出的初始特征向量与物品请求向量一起输入用户评论注意力机制层，预训练物品评论语言模型BERT2提取出的初始特征向量与用户请求向量一起输入物品评论注意力机制层，用户评论注意力机制层的输出、用户潜在因子与物品评论注意力机制层的输出、物品潜在因子一起输入预测层中，预测层输出用户对物品的评分预测。其中，主要由预训练用户评论语言模型BERT1、用户评论注意力机制层、物品的请求向量和用户的潜在因子构成用户模型，主要由预训练物品评论语言模型BERT2、物品评论注意力机制层、用户的请求向量和物品的潜在因子构成物品模型。
本发明包括如下步骤：
步骤1)分别对用户评论文本数据和物品评论文本数据依次进行数字编码和预处理后，分别获得预处理后的用户评论文本数据和物品评论文本数据；再按照8：2的比例切分好训练集和测试集。具体实施中，数字编码以及预处理具体是指：将评论文本中的单词对照BERT模型词库中的单词编号进行数字编码，同时，取每个用户所做出评论的数量的九分位数并作为输入模型中的每个用户所对应的评论数量，对于单个用户，超出的评论数量舍去，不足的评论数量用单位向量填充；同理，取每个物品被评论的数量的九分位数并作为输入模型中的每个物品所对应的评论数量，对于单个物品，超出的评论数量舍去，不足的评论数量用单位向量填充。
用户评论文本数据由每个用户对其购买过的物品做出的评论组成，物品评论文本数据由购买过该物品的用户所做出的评论组成。
步骤2)使用Python加载TensorFlow开源软件包作为深度学习模型的构建工具，再将输入到Transformers开源软件包封装好的BERT模型中，将预处理后的用户评论文本数据和物品评论文本数据分别输入到预训练用户评论语言模型BERT1和预训练物品评论语言模型BERT2中，分别提取出用户的初始特征向量和物品的初始特征向量；
步骤2)具体为：
将预处理后的用户评论文本数据和物品评论文本数据分别输入到预训练用户评论语言模型BERT1和预训练物品评论语言模型BERT2中，分别提取出用户的初始特征向量和物品的初始特征向量，用户的初始特征向量和物品的初始特征向量分别为预训练用户评论语言模型BERT1和预训练物品评论语言模型BERT2中倒数第二层的输出向量，计算过程如下式所示：
Tuj＝BERT1(Euj)
Tik＝BERT2(Eik)
其中，BERT1代表预训练用户评论语言模型，BERT2代表预训练物品评论语言模型，Euj，Eik分别代表用户u的第j条预处理后的用户评论文本数据和物品i的第k条评论的物品评论文本数据，Tuj，Tik分别代表用户u的第j条评论的初始特征向量和物品i的第k条评论的初始特征向量。
步骤3)将用户的初始特征向量和随机初始化的物品请求向量一起输入到用户评论注意力机制层中进行最终特征的提取，获得用户的最终特征向量；同时将物品的特征向量和随机初始化的用户请求向量一起输入到物品评论注意力机制层中进行最终特征的提取，获得物品的最终特征向量；
步骤3)具体为：
将用户的初始特征向量和随机初始化的物品请求向量一起输入到用户评论注意力机制层中，同时将物品的特征向量和随机初始化的用户请求向量一起输入到物品评论注意力机制层中，首先用户评论注意力机制层和物品评论注意力机制层中分别计算用户的注意力值和物品的注意力值，根据注意力值的高低得到每条评论的可解释性，通过以下公式进行设置：
其中，aik表示评论过物品i的K个用户中第k个用户的注意力值，auj表示用户u评论过的J个物品中第j个物品的注意力值， WTI，WUI分别为用户评论注意力机制层和物品评论注意力机制层的初始特征向量权重，WU，WI分别为用户评论注意力机制层和物品评论注意力机制层的请求向量权重，b1，b3分别为用户评论注意力机制层和物品评论注意力机制层的第一偏置系数，b2，b4分别为用户评论注意力机制层和物品评论注意力机制层的第二偏置系数，ha，hb分别为用户评论注意力机制层和物品评论注意力机制层的全连接隐层权重，/>表示维度为t×k1的实数集，/>Tik代表物品i的第k条评论的初始特征向量，Tuj代表用户u的第j条评论的初始特征向量，k1为初始特征向量的维度，k1＝768，即BERT输出文本特征的维度。/>uik代表对物品i做出第k条评论的用户请求向量，iuj代表用户u做出的第j条评论的物品请求向量，用户请求向量和物品请求向量在[-1,1]之间随机初始化获得，k2为用户请求向量和物品请求向量的维度，t为用户评论注意力机制层和物品评论注意力机制层中添加的全连接隐层的维度，softmax()表示softmax激活函数，RELU()表示RELU激活函数，T表示转置操作。
接着，用户评论注意力机制层和物品评论注意力机制层中将用户的注意力值和物品的注意力值分别与预处理后的用户评论文本数据和对预处理后的物品评论文本数据进行加权平均后，分别获得用户的最终特征向量和物品的最终特征向量，具体的计算过程如下式所示：
其中，Ti代表物品的加权特征向量，/>Tu代表用户的加权特征向量，K表示物品评论文本数据中用户的总数，J表示用户评论文本数据中物品的总数；
最终，利用用户评论注意力机制层和物品评论注意力机制层中对应的最后一层全连接层分别对用户的加权特征向量和物品的加权特征向量进行维度的统一后，分别获得用户的最终特征向量和物品的最终特征向量，具体的计算过程如下式所示：
Xu＝WXTu+bX
Yi＝WYTi+bY
其中，Yi表示物品i的最终特征向量，/>Xu表示用户u的最终特征向量，/>WX，WY分别为用户评论注意力机制层和物品评论注意力机制层中对应的最后一层全连接层的权重，bX，bY分别为用户评论注意力机制层和物品评论注意力机制层中对应的最后一层全连接层的偏置系数，n为潜在因子维度。
用户评论注意力机制层与物品评论注意力机制层的网络结构相同，用户评论注意力机制层的网络结构如图2所示。
步骤4)将用户评论和物品评论的最终特征向量分别与用户和物品潜在因子相结合后，获得评论乘积特征并均输入预测层中，预测层输出用户对物品的评分预测。
步骤4)具体为：
将用户评论和物品评论的最终特征向量分别与用户和物品潜在因子相结合后，获得评论乘积特征并均输入预测层中，预测层具体为神经化后的潜在因子模型，神经化后的潜在因子模型输出用户对物品的评分预测，具体的计算过程如下式所示：
hp＝(qu+Xu)⊙(pi+Yi)
其中，⊙代表元素级别的相乘，qu表示用户潜在因子，可以代表用户的偏好；pi表示物品潜在因子，可以代表物品的特征，Xu表示用户u的最终特征向量，Yi表示物品i的最终特征向量，hp评论乘积特征，Wp是权重向量，定义了不同潜在因子的权重，T表示转置操作；bu，bi，μ分别为潜在因子模型中的用户偏置系数、物品偏置系数以及整体偏置系数；表示用户对物品的评分预测，可用于后续的排序与实际推荐，其范围在[1，5]的实数中变化。
构建平方损失和惩罚项相结合的损失函数，利用Adam优化优化器对可解释推荐模型BARER的参数进行迭代优化。
通过多次的训练总结，将训练迭代次数设定为50次，潜在因子数量设定为32，初始学习率设定为0.0001，超参数β1和β2分别设置为0.9和0.999。
每一轮训练结束后，计算测试集的RMSE与MAE指标值，保存指标值最小的模型作为最优模型。
针对给用户推荐的物品，回溯计算得到物品所属评论中注意力值最高的若干评论，即对于推荐最重要的若干评论，呈现给用户作为推荐解释。
表1、表2分别为本发明所提出算法在推荐指标RMSE、MAE上、在多个亚马逊电商评论数据集上与其他基线算法的对比。整体来说，本发明所提出算法在大部分情况下显著超过所对比的基线算法，在个别情况下不差于基线算法SVD++与NARRE。
表1在多个亚马逊电商评论数据集上本发明BARER与其他基线算法的RMSE对比
表2在多个亚马逊电商评论数据集上本发明BARER与其他基线算法的MAE对比
表3为本发明所提出算法在训练时间上与其他深度学习基线算法的对比，单位为小时。同为深度学习推荐算法，本发明所提出算法可以从推荐性能上超越所对比的DeepCoNN算法，在推荐性能和训练时效两个方面超越所对比的NARRE算法，证明本发明所提出算法的实际应用价值更加明显。
表3在多个亚马逊电商评论数据集上本发明BARER与其他基线算法的MAE对比
图3为本发明所提出算法所产生的推荐解释的真实实例。实例中，用户的历史评论和物品的历史评论中有很多契合的文本，证明本发明所提出算法能够在给出合理的评分预测的基础上，捕捉到用户的偏好，给物品评论进行合理的注意力值打分，产生出合理的解释。
由此可见，本发明所提出算法在推荐性能上超越学界的多个基线推荐算法，在训练时间上也具有比较大的优势，同时能够产生基于用户评论文本的推荐解释。

Claims (4)

1.一种基于BERT与用户评论的深度学习可解释推荐方法，其特征在于，包括如下步骤：
步骤1)分别对用户评论文本数据和物品评论文本数据依次进行数字编码和预处理后，分别获得预处理后的用户评论文本数据和物品评论文本数据；
步骤2)将预处理后的用户评论文本数据和物品评论文本数据分别输入到预训练用户评论语言模型BERT1和预训练物品评论语言模型BERT2中，分别提取出用户的初始特征向量和物品的初始特征向量；
步骤3)将用户的初始特征向量和初始化的物品请求向量一起输入到用户评论注意力机制层中进行最终特征的提取，获得用户的最终特征向量；同时将物品的特征向量和初始化的用户请求向量一起输入到物品评论注意力机制层中进行最终特征的提取，获得物品的最终特征向量；
步骤4)将用户评论和物品评论的最终特征向量分别与用户和物品潜在因子相结合后，获得评论乘积特征并均输入预测层中，预测层输出用户对物品的评分预测。
2.根据权利要求1所述的一种基于BERT与用户评论的深度学习可解释推荐方法，其特征在于：所述步骤2)具体为：
将预处理后的用户评论文本数据和物品评论文本数据分别输入到预训练用户评论语言模型BERT1和预训练物品评论语言模型BERT2中，分别提取出用户的初始特征向量和物品的初始特征向量，用户的初始特征向量和物品的初始特征向量分别为预训练用户评论语言模型BERT1和预训练物品评论语言模型BERT2中倒数第二层的输出向量，计算过程如下式所示：
Tuj＝BERT1(Euj)
Tik＝BERT2(Eik)
其中，BERT1代表预训练用户评论语言模型，BERT2代表预训练物品评论语言模型，Euj，Eik分别代表用户u的第j条预处理后的用户评论文本数据和物品i的第k条评论的物品评论文本数据，Tuj，Tik分别代表用户u的第j条评论的初始特征向量和物品i的第k条评论的初始特征向量。
3.根据权利要求1所述的一种基于BERT与用户评论的深度学习可解释推荐方法，其特征在于：所述步骤3)具体为：
将用户的初始特征向量和初始化的物品请求向量一起输入到用户评论注意力机制层中，同时将物品的特征向量和初始化的用户请求向量一起输入到物品评论注意力机制层中，首先用户评论注意力机制层和物品评论注意力机制层中分别计算用户的注意力值和物品的注意力值，通过以下公式进行设置：
其中，aik表示评论过物品i的K个用户中第k个用户的注意力值，auj表示用户u评论过的J个物品中第j个物品的注意力值， WTI，WUI分别为用户评论注意力机制层和物品评论注意力机制层的初始特征向量权重，WU，WI分别为用户评论注意力机制层和物品评论注意力机制层的请求向量权重，b1，b3分别为用户评论注意力机制层和物品评论注意力机制层的第一偏置系数，b2，b4分别为用户评论注意力机制层和物品评论注意力机制层的第二偏置系数，ha，hb分别为用户评论注意力机制层和物品评论注意力机制层的全连接隐层权重，/>表示维度为t×k1的实数集，/>Tik代表物品i的第k条评论的初始特征向量，Tuj代表用户u的第j条评论的初始特征向量，k1为初始特征向量的维度，/>uik代表对物品i做出第k条评论的用户请求向量，/>iuj代表用户u做出的第j条评论的物品请求向量，k2为用户请求向量和物品请求向量的维度，t为用户评论注意力机制层和物品评论注意力机制层中添加的全连接隐层的维度，softmax()表示softmax激活函数，RELU()表示RELU激活函数，T表示转置操作；
接着，用户评论注意力机制层和物品评论注意力机制层中将用户的注意力值和物品的注意力值分别与预处理后的用户评论文本数据和对预处理后的物品评论文本数据进行加权平均后，分别获得用户的最终特征向量和物品的最终特征向量，具体的计算过程如下式所示：
其中，Ti代表物品的加权特征向量，/>Tu代表用户的加权特征向量，K表示物品评论文本数据中用户的总数，J表示用户评论文本数据中物品的总数；
最终，利用全连接层分别对用户的加权特征向量和物品的加权特征向量进行维度的统一后，分别获得用户的最终特征向量和物品的最终特征向量，具体的计算过程如下式所示：
Xu＝WXTu+bX
Yi＝WYTi+bY
其中，Yi表示物品i的最终特征向量，/>Xu表示用户u的最终特征向量，/>WX，WY分别为用户评论注意力机制层和物品评论注意力机制层中对应的最后一层全连接层的权重，bX，bY分别为用户评论注意力机制层和物品评论注意力机制层中对应的最后一层全连接层的偏置系数，n为潜在因子维度。
4.根据权利要求1所述的一种基于BERT与用户评论的深度学习可解释推荐方法，其特征在于：所述步骤4)具体为：
将用户评论和物品评论的最终特征向量分别与用户和物品潜在因子相结合后，获得评论乘积特征并均输入预测层中，预测层具体为神经化后的潜在因子模型，神经化后的潜在因子模型输出用户对物品的评分预测，具体的计算过程如下式所示：
hp＝(qu+Xu)⊙(pi+Yi)
其中，⊙代表元素级别的相乘，qu表示用户潜在因子，pi表示物品潜在因子，Xu表示用户u的最终特征向量，Yi表示物品i的最终特征向量，hp评论乘积特征，Wp是权重向量，T表示转置操作；bu，bi，μ分别为潜在因子模型中的用户偏置系数、物品偏置系数以及整体偏置系数；/>表示用户对物品的评分预测。
CN202110901554.9A 2021-08-06 2021-08-06 一种基于bert与用户评论的深度学习可解释推荐方法 Active CN113836392B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110901554.9A CN113836392B (zh) 2021-08-06 2021-08-06 一种基于bert与用户评论的深度学习可解释推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110901554.9A CN113836392B (zh) 2021-08-06 2021-08-06 一种基于bert与用户评论的深度学习可解释推荐方法

Publications (2)

Publication Number Publication Date
CN113836392A CN113836392A (zh) 2021-12-24
CN113836392B true CN113836392B (zh) 2024-03-26

Family

ID=78962986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110901554.9A Active CN113836392B (zh) 2021-08-06 2021-08-06 一种基于bert与用户评论的深度学习可解释推荐方法

Country Status (1)

Country Link
CN (1) CN113836392B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902229A (zh) * 2019-02-01 2019-06-18 中森云链(成都)科技有限责任公司 一种基于评论的可解释推荐方法
CN111046166A (zh) * 2019-12-10 2020-04-21 中山大学 一种基于相似度修正的半隐式多模态推荐方法
CN112231577A (zh) * 2020-11-06 2021-01-15 重庆理工大学 一种融合文本语义向量和神经协同过滤的推荐方法
CN112270700A (zh) * 2020-10-30 2021-01-26 浙江大学 一种愚弄深度神经网络可解释算法的攻击判断方法
WO2021023249A1 (zh) * 2019-08-06 2021-02-11 北京三快在线科技有限公司 推荐理由的生成

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109902229A (zh) * 2019-02-01 2019-06-18 中森云链(成都)科技有限责任公司 一种基于评论的可解释推荐方法
WO2021023249A1 (zh) * 2019-08-06 2021-02-11 北京三快在线科技有限公司 推荐理由的生成
CN111046166A (zh) * 2019-12-10 2020-04-21 中山大学 一种基于相似度修正的半隐式多模态推荐方法
CN112270700A (zh) * 2020-10-30 2021-01-26 浙江大学 一种愚弄深度神经网络可解释算法的攻击判断方法
CN112231577A (zh) * 2020-11-06 2021-01-15 重庆理工大学 一种融合文本语义向量和神经协同过滤的推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于文本评论的可解释推荐研究;赵丽娅;现代计算机;20191005(第028期);24-28 *

Also Published As

Publication number Publication date
CN113836392A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN109299396B (zh) 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN109241424B (zh) 一种推荐方法
CN111275521B (zh) 一种基于用户评论与满意层面嵌入的商品推荐方法
CN111797321B (zh) 一种面向不同场景的个性化知识推荐方法及系统
CN108363695B (zh) 一种基于双向依赖语法树表征的用户评论属性抽取方法
CN111127146B (zh) 基于卷积神经网络与降噪自编码器的信息推荐方法及系统
CN111932336A (zh) 一种基于长短期兴趣偏好的商品列表推荐方法
CN110807154A (zh) 一种基于混合深度学习模型的推荐方法与系统
CN111222332A (zh) 一种结合注意力网络和用户情感的商品推荐方法
CN110209789A (zh) 一种用户注意力引导的多模态对话系统及方法
CN111563770A (zh) 一种基于特征差异化学习的点击率预估方法
CN109033294B (zh) 一种融入内容信息的混合推荐方法
CN112016002A (zh) 融合评论文本层级注意力和时间因素的混合推荐方法
CN113918832B (zh) 基于社交关系的图卷积协同过滤推荐系统
CN116128461B (zh) 一种用于在线招聘的双向推荐系统及方法
CN111274375A (zh) 一种基于双向gru网络的多轮对话方法及系统
Wang et al. A new approach for advertising CTR prediction based on deep neural network via attention mechanism
CN112085158A (zh) 一种基于堆栈降噪自编码器的图书推荐方法
CN116976505A (zh) 基于信息共享的解耦注意网络的点击率预测方法
CN116228368A (zh) 一种基于深度多行为网络的广告点击率预测方法
CN115270004A (zh) 一种基于场因子分解的教育资源推荐方法
CN115221387A (zh) 一种基于深度神经网络的企业信息整合方法
CN114781503A (zh) 一种基于深度特征融合的点击率预估方法
Hassan et al. Performance analysis of neural networks-based multi-criteria recommender systems
CN113987330A (zh) 一种基于多层次潜在特征的个性化推荐模型的构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant