CN116150480A - 一种融合多模态评论信息的用户个性化需求预测方法 - Google Patents

一种融合多模态评论信息的用户个性化需求预测方法 Download PDF

Info

Publication number
CN116150480A
CN116150480A CN202310011459.0A CN202310011459A CN116150480A CN 116150480 A CN116150480 A CN 116150480A CN 202310011459 A CN202310011459 A CN 202310011459A CN 116150480 A CN116150480 A CN 116150480A
Authority
CN
China
Prior art keywords
node
user
representing
commodity
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310011459.0A
Other languages
English (en)
Inventor
姜元春
周凡
钱洋
刘业政
袁坤
柴一栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202310011459.0A priority Critical patent/CN116150480A/zh
Publication of CN116150480A publication Critical patent/CN116150480A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种融合多模态评论信息的用户个性化需求预测方法，其步骤包括：1.基于用户的购买历史记录，构建用户‑商品的购买关系网络；2.利用用户发表的多模态评论内容，构建网络图中边的属性；3.利用多模态变分自编码器挖掘用户在文本和图像两种模态上的主题分布；4.利用图注意力网络建模用户与商品之间的交互信息和多模态评论内容的语义信息；5.选取合适的损失函数来训练和优化模型。本发明结合了变分自编码器和图注意力网络，既能够分别从文本和图像这两种模态的数据中充分且全面地挖掘出用户对商品的偏好信息，又能够准确地对用户和商品进行表征，从而能达到更加精确的用户个性化需求的预测效果。

Description

一种融合多模态评论信息的用户个性化需求预测方法
技术领域
本发明涉及用户偏好挖掘以及用户个性化需求预测领域，特别是涉及一种融合多模态评论信息的用户个性化需求预测方法。
背景技术
随着互联网和电子商务平台的发展，线上购物逐渐成为主流的购物方式，且用户可以发表多模态的评论内容(例如，文本，图像等)。这些多模态的评论内容之间既表达着跨模态的语义信息，又具有独立于各模态的信息，且蕴含着丰富的用户偏好信息。而线上购物导致商家和用户之间缺乏面对面的交流，用户的偏好和需求信息难以准确捕捉，因此，如何组织海量的用户购买历史数据、多模态的评论数据来全面地挖掘用户的偏好，从而准确地完成用户个性化需求的预测是必要的。
在已有的用户偏好识别和需求预测领域，传统的方法忽略了对用户评论文本和评论图像数据的联合建模，以致于无法获得用户多模态的、细粒度的偏好表征；此外，现有方法无法联合建模用户的购买历史记录以及多模态的评论内容，以致于无法准确识别用户的细粒度偏好，缺乏对用户购买动机的解释。
发明内容
本发明为克服现有技术存在的不足之处，提供一种融合多模态评论信息的用户个性化需求预测方法，以期能通过变分自编码器模型实现对用户评论文本和评论图像数据的联合建模，从而学习出用户多模态的偏好分布，并结合图注意力网络联合建模用户商品的交互记录以及用户商品的交互原因(即用户多模态的偏好分布)，进而能提升多模态数据在用户偏好上的表示能力、细化用户偏好识别的粒度以及个性化需求预测的准确性。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种融合多模态评论信息的用户个性化需求预测方法的特点在于，是按如下步骤进行：
步骤1、构建数据集；
步骤1.1、利用有向图G＝(V,M)表征用户-商品之间的购买关系网络，其中，用户和商品为有向图G中的各个节点，V表示所有节点的集合，若用户节点i购买商品节点j，则表示用户节点i和商品节点j之间存在边，并记为eij∈M，M表示所有边的集合，且边eij对应一个注意力系数αij和主题分布λij；并将用户节点i和商品节点j互相作为邻居节点；
步骤1.2、获取用户节点i对商品节点j的评论文本，并经过分词、去停用词处理后得到评论文本的单词列表，记为
Figure BDA0004038845400000021
其中，/>
Figure BDA0004038845400000022
表示单词列表Yij中的第n′个单词；nt表示单词列表的单词总数；
计算用户节点i对商品节点j的评论文本在词典中所有单词上的词频表征向量
Figure BDA0004038845400000023
其中，/>
Figure BDA0004038845400000024
表示评论文本在词典中第w个单词出现的次数，W表示所有用户节点对商品节点的评论文本中所有不重复的单词的数量；/>
将用户节点i对商品节点j的评论文本的长度nt用零向量填充以达到长度N后，输入BERT模型中进行处理后得到文本初始表征向量，记为
Figure BDA0004038845400000025
其中，/>
Figure BDA0004038845400000026
表示文本初始表征向量Tij中的第n个单词的表征；
步骤1.3、获取用户节点i对商品节点j的评论图像数据并进行像素统一处理后，得到评论图像的初始表征向量，记为
Figure BDA0004038845400000027
其中，/>
Figure BDA0004038845400000028
表示评论图像Pij在第s维上的特征值，S表示初始特征向量的维度；
步骤2、构建多模态变分自编码器网络，包括：模态编码模块、模态融合模块和模态解码模块；
步骤2.1、构建模态编码模块，包括：文本编码网络和图像编码网络；其中，所述文本编码网络包括：Bi-LSTM网络、第一全连接层；所述图像编码网络包括：预训练的VGG-19网络、第二全连接层；
步骤2.1.1、以n为当前时间步，将所述评论文本Tij中的第n个单词的表征
Figure BDA0004038845400000029
输入所述Bi-LSTM网络中，从而利用式(1)-式(5)分别得到遗忘门状态/>
Figure BDA00040388454000000210
输入门状态/>
Figure BDA00040388454000000211
输出门状态/>
Figure BDA00040388454000000212
当前第n个时间步的单元状态/>
Figure BDA00040388454000000213
和当前第n个时间步的单元输出/>
Figure BDA00040388454000000214
Figure BDA00040388454000000215
Figure BDA00040388454000000216
Figure BDA00040388454000000217
Figure BDA00040388454000000218
Figure BDA0004038845400000031
式(1)-式(5)中，
Figure BDA0004038845400000032
表示逐元素相乘，σ(·)是sigmoid激活函数，tanh是双曲正切函数，Wf和Uf分别表示遗忘门的两个权重系数，bf表示遗忘门的偏置向量，WI和UI分别表示输入门的两个权重系数，bI表示输入门的偏置向量，Wo和Uo分别表示输出门的两个权重系数，bo表示输出门的偏置向量，Wc和Uc分别表示细胞单元的两个权重系数，bc表示细胞单元的偏置向量，/>
Figure BDA0004038845400000033
表示第n-1个时间步的单元状态，/>
Figure BDA0004038845400000034
表示第n-1个时间步的单元输出，当n＝1时，令/>
Figure BDA0004038845400000035
步骤2.1.2、所述第一全连接层利用式(6)输出文本隐特征
Figure BDA0004038845400000036
Figure BDA0004038845400000037
式(6)中，W1表示所述第一全连接层的权重矩阵；
Figure BDA0004038845400000038
表示第N个时间步的单元输出；
步骤2.1.3、利用预训练的VGG-19网络对评论图像Pij进行表征，得到图像特征向量
Figure BDA0004038845400000039
从而利用式(7)对图像特征向量/>
Figure BDA00040388454000000310
进行编码，获得图像隐特征/>
Figure BDA00040388454000000311
Figure BDA00040388454000000312
式(7)中，W2表示第二全连接层的权重矩阵；
步骤2.2、所述模态融合模块利用式(8)计算文本和图像融合后的多模态共享表征λij；
Figure BDA00040388454000000313
式(8)中，λij～LN(μij,σij)，LN表示逻辑正态分布，
Figure BDA00040388454000000314
是逻辑正态分布的均值，其中，/>
Figure BDA00040388454000000315
表示用户节点i对商品节点j的多模态评论内容在第k个主题上的均值，/>
Figure BDA00040388454000000316
是逻辑正态分布的方差，其中，/>
Figure BDA00040388454000000317
表示用户节点i对商品节点j的多模态评论内容在第k个主题上的方差，εij是一个服从均值为0，方差为1的正态分布的随机变量；
步骤2.3、构建模态解码模块，包括：文本解码器网络和图像解码器网络；
所述文本解码器网络对λij进行解码重构，得到文本重构特征向量
Figure BDA0004038845400000041
其中，/>
Figure BDA0004038845400000042
表示文本重构特征向量Tij′中第n个单词重构后的表征；
所述图像解码器网络对λij进行解码重构，得到图像重构特征向量
Figure BDA0004038845400000043
其中，/>
Figure BDA0004038845400000044
表示评论图像Pij在第s维重构后的特征值；
步骤3、图注意力网络的处理：
步骤3.1、定义更新次数为d，并初始化d＝1；
步骤3.1.1、利用式(9)计算第d-1次更新的用户节点i的特征
Figure BDA0004038845400000045
Figure BDA0004038845400000046
式(9)中，Ni表示用户节点i的所有邻居商品节点集合，|Ni|表示用户节点i的所有邻居商品节点的数量；
步骤3.1.2、利用式(10)计算第d-1次更新的商品节点j的特征
Figure BDA0004038845400000047
Figure BDA0004038845400000048
式(10)中，Nj表示商品节点j的所有邻居用户节点集合，|Nj|表示商品节点j的所有邻居用户节点的数量；
步骤3.2、利用式(11)计算第d-1次更新的用户节点i及其邻居商品节点j之间的第k头注意力系数
Figure BDA0004038845400000049
Figure BDA00040388454000000410
式(7)中，LeakeyReLU(·)表示激活函数，a和W3是两个待学习的参数矩阵，
Figure BDA00040388454000000411
表示第d-1次更新的用户节点i的邻居商品节点集中除邻居商品节点j之外的某个邻居商品节点j′的特征，||表示对向量的拼接操作，T表示矩阵转置操作；
步骤3.3、分别利用式(12)和式(13)计算第d次更新的用户节点i的特征向量
Figure BDA00040388454000000412
和商品节点j的特征/>
Figure BDA00040388454000000413
Figure BDA00040388454000000414
/>
Figure BDA0004038845400000051
式(12)-式(13)中，
Figure BDA0004038845400000052
表示节点i和节点j之间的边eij在第k个主题上的概率；
Figure BDA0004038845400000053
且/>
Figure BDA0004038845400000054
K表示主题数量；
步骤4、构建由多模态变分自编码器网络和图注意力网络构成的用户个性化需求预测模型并进行训练和优化；
步骤4.1、利用式(14)构造图注意力网络在第d-1次更新的损失函数
Figure BDA0004038845400000055
Figure BDA0004038845400000056
式(14)中，
Figure BDA0004038845400000057
表示用户节点i的非邻居节点集合，Qi表示用户节点i的非邻居节点集合/>
Figure BDA0004038845400000058
中节点的数量；/>
Figure BDA0004038845400000059
表示用户节点i的非邻居节点集合/>
Figure BDA00040388454000000521
中所有节点的期望，/>
Figure BDA00040388454000000510
表在第d次更新的用户节点i的非邻居节点集合/>
Figure BDA00040388454000000511
中任一节点jn的特征；
利用式(15)构造评论图像数据的重构损失
Figure BDA00040388454000000520
Figure BDA00040388454000000512
式(15)中，Eeij～M表示边集合M中所有边的期望；
利用式(16)构造文本数据的重构损失
Figure BDA00040388454000000522
Figure BDA00040388454000000513
式(16)中，
Figure BDA00040388454000000514
表示初始表征向量Tij中的第n个单词的表征/>
Figure BDA00040388454000000515
是否为词典中第w个单词的表征，若是，则令/>
Figure BDA00040388454000000516
为1；否则，令/>
Figure BDA00040388454000000517
为0；
利用式(17)构造真实分布和变分分布之间的KL损失Lkl：
Figure BDA00040388454000000518
利用式(18)构造用户个性化需求预测模型在第d次更新的整体损失函数
Figure BDA00040388454000000519
Figure BDA0004038845400000061
步骤5.2、利用Adam算法对所述用户个性化需求预测模型进行训练，并计算所述整体损失函数
Figure BDA0004038845400000062
当更新次数d达到最大值dmax时或是整体损失函数Ltotal收敛时，停止训练，从而得到最优需求预测模型，用于对任一用户进行商品个性化需求的预测。
本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述用户个性化需求预测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述用户个性化需求预测方法的步骤。
与已有技术相比，本发明有益效果体现在：
1、本发明通过对用户购买行为数据的预处理，过滤掉交互关系稀疏的节点，对每个节点交互过的所有边上的文本和图像的初始特征求和取平均，并作为每个节点的初始特征，从而完成对海量行为数据的预处理过程，有利于提升后续用户个性化需求预测的效率。
2、本发明通过构建一个多模态变分自编码器模型，联合建模用户评论中的文本数据和图像数据，学习出一个能够表达多模态语义信息的共享表征，有利于细化用户偏好信息的粒度，更加全面和完整地表达用户个性化的偏好信息。
3、本发明构建图注意力网络，基于用户与商品之间的交互信息来构建图，基于用户多模态的偏好信息来构建图中边的属性。在图的优化学习过程中，最终能够得到既融合了图的结构信息，又融合了边上多模态语义信息的用户商品节点表征，从而大大提升了节点的表征能力、提升了用户需求的预测准确性。
4、本发明可用于电商平台的用户个性化需求预测任务中，既能预测用户会购买什么商品，又能解释用户购买的原因，应用范围广泛，有实用价值。
附图说明
图1是本发明的用户个性化需求预测的流程图。
具体实施方式
本实施例中，一种融合多模态评论信息的用户个性化需求预测方法，具体的说，如图1所示，是按如下步骤进行：
步骤1、构建数据集；
步骤1.1、利用有向图G＝(V,M)表征用户-商品之间的购买关系网络，其中，用户和商品为有向图G中的各个节点，V表示所有节点的集合，若用户节点i购买商品节点j，则表示用户节点i和商品节点j之间存在边，并记为eij∈M，M表示所有边的集合，且边eij对应一个注意力系数αij和主题分布λij；并将用户节点i和商品节点j互相作为邻居节点；最终的注意力系数为多头注意力系数求和或取平均；
步骤1.2、获取用户节点i对商品节点j的评论文本，并经过分词、去停用词处理后得到评论文本的单词列表，记为
Figure BDA0004038845400000071
其中，/>
Figure BDA0004038845400000072
表示单词列表Yij中的第n′个单词；nt表示单词列表的单词总数；
计算用户节点i对商品节点j的评论文本在词典中所有单词上的词频表征向量
Figure BDA0004038845400000073
其中，/>
Figure BDA0004038845400000074
表示评论文本在词典中第w个单词出现的次数，W表示所有用户节点对商品节点的评论文本中所有不重复的单词的数量；
将用户节点i对商品节点j的评论文本的长度nt用零向量填充以达到长度N后，评论文本中单词数量不足N个单词的，补零操作，超出N个单词的，删除多于N个单词的部分。输入BERT模型中进行处理后得到文本初始表征向量，记为
Figure BDA0004038845400000075
其中，/>
Figure BDA0004038845400000076
表示文本初始表征向量Tij中的第n个单词的表征；
步骤1.3、获取用户节点i对商品节点j的评论图像数据并进行像素统一处理后，得到评论图像的初始表征向量，记为
Figure BDA0004038845400000077
其中，/>
Figure BDA0004038845400000078
表示评论图像Pij在第s维上的特征值，S表示初始特征向量的维度；
步骤2、构建多模态变分自编码器网络，包括：模态编码模块、模态融合模块和模态解码模块；
步骤2.1、构建模态编码模块，包括：文本编码网络和图像编码网络；其中，文本编码网络包括：Bi-LSTM网络、第一全连接层；图像编码网络包括：预训练的VGG-19网络、第二全连接层；
步骤2.1.1、以n为当前时间步，将评论文本Tij中的第n个单词的表征
Figure BDA0004038845400000079
输入Bi-LSTM网络中，从而利用式(1)-式(5)分别得到遗忘门状态/>
Figure BDA00040388454000000710
输入门状态/>
Figure BDA00040388454000000711
输出门状态
Figure BDA00040388454000000712
当前第n个时间步的单元状态/>
Figure BDA00040388454000000713
和当前第n个时间步的单元输出/>
Figure BDA00040388454000000714
Figure BDA0004038845400000081
Figure BDA0004038845400000082
Figure BDA0004038845400000083
Figure BDA0004038845400000084
Figure BDA0004038845400000085
式(1)-式(5)中，
Figure BDA0004038845400000086
表示逐元素相乘，σ(·)是sigmoid激活函数，tanh是双曲正切函数，Wf和Uf分别表示遗忘门的两个权重系数，bf表示遗忘门的偏置向量，WI和UI分别表示输入门的两个权重系数，bI表示输入门的偏置向量，Wo和Uo分别表示输出门的两个权重系数，bo表示输出门的偏置向量，Wc和Uc分别表示细胞单元的两个权重系数，bc表示细胞单元的偏置向量，/>
Figure BDA0004038845400000087
表示第n-1个时间步的单元状态，/>
Figure BDA0004038845400000088
表示第n-1个时间步的单元输出，当n＝1时，令/>
Figure BDA0004038845400000089
步骤2.1.2、第一全连接层利用式(6)输出文本隐特征
Figure BDA00040388454000000810
Figure BDA00040388454000000811
式(6)中，W1表示第一全连接层的权重矩阵；
Figure BDA00040388454000000812
表示第N个时间步的单元输出；
步骤2.1.3、利用预训练的VGG-19网络对评论图像Pij进行表征，VGG-19网络架构一共包含了19个隐藏层(其中包括16个卷积层和3个全连接层)，每一层神经网络都会利用上一层的输出来进一步提取图像中更复杂的特征，每一层都可以看作是多个局部特征的提取器，大大提升了网络提取特征的性能。得到图像特征向量
Figure BDA00040388454000000813
从而利用式(7)对图像特征向量/>
Figure BDA00040388454000000814
进行编码，获得图像隐特征/>
Figure BDA00040388454000000815
且图像隐特征/>
Figure BDA00040388454000000816
和文本隐特征/>
Figure BDA00040388454000000817
的向量维度相同；
Figure BDA00040388454000000818
式(7)中，W2表示第二全连接层的权重矩阵；
步骤2.2、模态融合模块利用式(8)计算文本和图像融合后的多模态共享表征λij；
Figure BDA00040388454000000819
/>
式(8)中，λij～LN(μij,σij)，LN表示逻辑正态分布，
Figure BDA0004038845400000091
是逻辑正态分布的均值，其中，/>
Figure BDA0004038845400000092
表示用户节点i对商品节点j的多模态评论内容在第k个主题上的均值，/>
Figure BDA0004038845400000093
是逻辑正态分布的方差，其中，/>
Figure BDA0004038845400000094
表示用户节点i对商品节点j的多模态评论内容在第k个主题上的方差，εij是一个服从均值为0，方差为1的正态分布的随机变量；
步骤2.3、构建模态解码模块，包括：文本解码器网络和图像解码器网络；
文本解码器网络对λij进行解码重构，得到文本重构特征向量
Figure BDA0004038845400000095
其中，/>
Figure BDA0004038845400000096
表示文本重构特征向量Tij′中第n个单词重构后的表征；
图像解码器网络对λij进行解码重构，得到图像重构特征向量
Figure BDA0004038845400000097
其中，/>
Figure BDA0004038845400000098
表示评论图像Pij在第s维重构后的特征值；
其中，文本解码器部分先将多模态共享表征λij通过全连接层创建为Bi-LSTM模型的输入，然后重构出原始文本内容中每个单词出现的概率；图像解码器将多模态共享表征λij通过多个全连接层来重构原始图像的VGG-19特征。
步骤3、图注意力网络的处理：
步骤3.1、定义更新次数为d，并初始化d＝1；
步骤3.1.1、利用式(9)计算第d-1次更新的用户节点i的特征
Figure BDA0004038845400000099
Figure BDA00040388454000000910
式(9)中，Ni表示用户节点i的所有邻居商品节点集合，|Ni|表示用户节点i的所有邻居商品节点的数量；
步骤3.1.2、利用式(10)计算第d-1次更新的商品节点j的特征
Figure BDA00040388454000000911
Figure BDA00040388454000000912
式(10)中，Nj表示商品节点j的所有邻居用户节点集合，|Nj|表示商品节点j的所有邻居用户节点的数量；
步骤3.2、利用式(11)计算第d-1次更新的用户节点i及其邻居商品节点j之间的第k头注意力系数
Figure BDA0004038845400000101
Figure BDA0004038845400000102
式(7)中，LeakeyReLU(·)表示激活函数，a和W3是两个待学习的参数矩阵，
Figure BDA0004038845400000103
表示第d-1次更新的用户节点i的邻居商品节点集中除邻居商品节点j之外的某个邻居商品节点j′的特征，||表示对向量的拼接操作，T表示矩阵转置操作；
步骤3.3、分别利用式(12)和式(13)计算第d次更新的用户节点i的特征向量hi d和商品节点j的特征
Figure BDA0004038845400000104
/>
Figure BDA0004038845400000105
Figure BDA0004038845400000106
式(12)-式(13)中，
Figure BDA0004038845400000107
表示节点i和节点j之间的边eij在第k个主题上的概率；
Figure BDA0004038845400000108
且/>
Figure BDA0004038845400000109
K表示主题数量；一方面，对每个邻居节点计算影响力权重从而基于注意力系数聚合邻居节点特征，另一方面，在此基础上再聚合邻居节点的主题偏好特征；
步骤4、构建由多模态变分自编码器网络和图注意力网络构成的用户个性化需求预测模型并进行训练和优化；
步骤4.1、利用式(14)构造图注意力网络在第d-1次更新的损失函数
Figure BDA00040388454000001010
Figure BDA00040388454000001011
式(14)中，
Figure BDA00040388454000001012
表示用户节点i的非邻居节点集合，Qi表示用户节点i的非邻居节点集合Ni中节点的数量；/>
Figure BDA00040388454000001013
表示用户节点i的非邻居节点集合/>
Figure BDA00040388454000001014
中所有节点的期望，/>
Figure BDA00040388454000001015
表在第d次更新的用户节点i的非邻居节点集合/>
Figure BDA00040388454000001016
中任一节点jn的特征；
利用式(15)构造评论图像数据的重构损失Lrecvgg：
Figure BDA0004038845400000111
式(15)中，Eeij～M表示边集合M中所有边的期望；
利用式(16)构造文本数据的重构损失Lreclstm：
Figure BDA0004038845400000112
式(16)中，
Figure BDA0004038845400000113
表示初始表征向量Tij中的第n个单词的表征/>
Figure BDA0004038845400000114
是否为词典中第w个单词的表征，若是，则令/>
Figure BDA0004038845400000115
为1；否则，令/>
Figure BDA0004038845400000116
为0；
利用式(17)构造真实分布和变分分布之间的KL损失Lkl：
Figure BDA0004038845400000117
利用式(18)构造用户个性化需求预测模型在第d次更新的整体损失函数
Figure BDA0004038845400000118
Figure BDA0004038845400000119
步骤5.2、利用Adam算法对用户个性化需求预测模型进行训练，并计算整体损失函数
Figure BDA00040388454000001110
当更新次数d达到最大值dmax时或是整体损失函数Ltotal收敛时，停止训练，从而得到最优需求预测模型，用于对任一用户进行商品个性化需求的预测。
本实施例中，一种电子设备，包括存储器以及处理器，该存储器用于存储支持处理器执行上述用户个性化需求预测方法的程序，该处理器被配置为用于执行该存储器中存储的程序。
本实施例中，一种计算机可读存储介质，是在计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述用户个性化需求预测方法的步骤。

Claims (3)

1.一种融合多模态评论信息的用户个性化需求预测方法，其特征在于，是按如下步骤进行：
步骤1、构建数据集；
步骤1.1、利用有向图G＝(V,M)表征用户-商品之间的购买关系网络，其中，用户和商品为有向图G中的各个节点，V表示所有节点的集合，若用户节点i购买商品节点j，则表示用户节点i和商品节点j之间存在边，并记为eij∈M，M表示所有边的集合，且边eij对应一个注意力系数αij和主题分布λij；并将用户节点i和商品节点j互相作为邻居节点；
步骤1.2、获取用户节点i对商品节点j的评论文本，并经过分词、去停用词处理后得到评论文本的单词列表，记为
Figure FDA0004038845390000011
其中，/>
Figure FDA0004038845390000012
表示单词列表Yij中的第n′个单词；nt表示单词列表的单词总数；
计算用户节点i对商品节点j的评论文本在词典中所有单词上的词频表征向量
Figure FDA0004038845390000013
其中，/>
Figure FDA0004038845390000014
表示评论文本在词典中第w个单词出现的次数，W表示所有用户节点对商品节点的评论文本中所有不重复的单词的数量；
将用户节点i对商品节点j的评论文本的长度nt用零向量填充以达到长度N后，输入BERT模型中进行处理后得到文本初始表征向量，记为
Figure FDA0004038845390000015
其中，/>
Figure FDA0004038845390000016
表示文本初始表征向量Tij中的第n个单词的表征；
步骤1.3、获取用户节点i对商品节点j的评论图像数据并进行像素统一处理后，得到评论图像的初始表征向量，记为
Figure FDA0004038845390000017
其中，/>
Figure FDA0004038845390000018
表示评论图像Pij在第s维上的特征值，S表示初始特征向量的维度；
步骤2、构建多模态变分自编码器网络，包括：模态编码模块、模态融合模块和模态解码模块；
步骤2.1、构建模态编码模块，包括：文本编码网络和图像编码网络；其中，所述文本编码网络包括：Bi-LSTM网络、第一全连接层；所述图像编码网络包括：预训练的VGG-19网络、第二全连接层；
步骤2.1.1、以n为当前时间步，将所述评论文本Tij中的第n个单词的表征
Figure FDA0004038845390000019
输入所述Bi-LSTM网络中，从而利用式(1)-式(5)分别得到遗忘门状态/>
Figure FDA0004038845390000021
输入门状态/>
Figure FDA0004038845390000022
输出门状态/>
Figure FDA0004038845390000023
当前第n个时间步的单元状态/>
Figure FDA0004038845390000024
和当前第n个时间步的单元输出/>
Figure FDA0004038845390000025
Figure FDA0004038845390000026
Figure FDA0004038845390000027
Figure FDA0004038845390000028
Figure FDA0004038845390000029
Figure FDA00040388453900000210
式(1)-式(5)中，
Figure FDA00040388453900000211
表示逐元素相乘，σ(·)是sigmoid激活函数，tanh是双曲正切函数，Wf和Uf分别表示遗忘门的两个权重系数，bf表示遗忘门的偏置向量，WI和UI分别表示输入门的两个权重系数，bI表示输入门的偏置向量，Wo和Uo分别表示输出门的两个权重系数，bo表示输出门的偏置向量，Wc和Uc分别表示细胞单元的两个权重系数，bc表示细胞单元的偏置向量，/>
Figure FDA00040388453900000212
表示第n-1个时间步的单元状态，/>
Figure FDA00040388453900000213
表示第n-1个时间步的单元输出，当n＝1时，令
Figure FDA00040388453900000214
步骤2.1.2、所述第一全连接层利用式(6)输出文本隐特征
Figure FDA00040388453900000215
Figure FDA00040388453900000216
式(6)中，W1表示所述第一全连接层的权重矩阵；
Figure FDA00040388453900000217
表示第N个时间步的单元输出；
步骤2.1.3、利用预训练的VGG-19网络对评论图像Pij进行表征，得到图像特征向量
Figure FDA00040388453900000218
从而利用式(7)对图像特征向量/>
Figure FDA00040388453900000219
进行编码，获得图像隐特征/>
Figure FDA00040388453900000220
Figure FDA00040388453900000221
式(7)中，W2表示第二全连接层的权重矩阵；
步骤2.2、所述模态融合模块利用式(8)计算文本和图像融合后的多模态共享表征λij；
Figure FDA00040388453900000222
式(8)中，λij～LN(μij,σij)，LN表示逻辑正态分布，
Figure FDA0004038845390000031
是逻辑正态分布的均值，其中，/>
Figure FDA0004038845390000032
表示用户节点i对商品节点j的多模态评论内容在第k个主题上的均值，/>
Figure FDA0004038845390000033
是逻辑正态分布的方差，其中，/>
Figure FDA0004038845390000034
表示用户节点i对商品节点j的多模态评论内容在第k个主题上的方差，εij是一个服从均值为0，方差为1的正态分布的随机变量；
步骤2.3、构建模态解码模块，包括：文本解码器网络和图像解码器网络；
所述文本解码器网络对λij进行解码重构，得到文本重构特征向量
Figure FDA0004038845390000035
其中，/>
Figure FDA0004038845390000036
表示文本重构特征向量Tij′中第n个单词重构后的表征；
所述图像解码器网络对λij进行解码重构，得到图像重构特征向量
Figure FDA0004038845390000037
其中，/>
Figure FDA0004038845390000038
表示评论图像Pij在第s维重构后的特征值；
步骤3、图注意力网络的处理：
步骤3.1、定义更新次数为d，并初始化d＝1；
步骤3.1.1、利用式(9)计算第d-1次更新的用户节点i的特征
Figure FDA00040388453900000313
Figure FDA0004038845390000039
式(9)中，Ni表示用户节点i的所有邻居商品节点集合，|Ni|表示用户节点i的所有邻居商品节点的数量；
步骤3.1.2、利用式(10)计算第d-1次更新的商品节点j的特征
Figure FDA00040388453900000310
Figure FDA00040388453900000311
式(10)中，Nj表示商品节点j的所有邻居用户节点集合，|Nj|表示商品节点j的所有邻居用户节点的数量；
步骤3.2、利用式(11)计算第d-1次更新的用户节点i及其邻居商品节点j之间的第k头注意力系数
Figure FDA00040388453900000312
Figure FDA0004038845390000041
式(7)中，LeakeyReLU(·)表示激活函数，a和W3是两个待学习的参数矩阵，
Figure FDA0004038845390000042
表示第d-1次更新的用户节点i的邻居商品节点集中除邻居商品节点j之外的某个邻居商品节点j′的特征，||表示对向量的拼接操作，T表示矩阵转置操作；
步骤3.3、分别利用式(12)和式(13)计算第d次更新的用户节点i的特征向量
Figure FDA0004038845390000043
和商品节点j的特征/>
Figure FDA0004038845390000044
Figure FDA0004038845390000045
Figure FDA0004038845390000046
式(12)-式(13)中，
Figure FDA0004038845390000047
表示节点i和节点j之间的边eij在第k个主题上的概率；/>
Figure FDA0004038845390000048
且
Figure FDA0004038845390000049
K表示主题数量；
步骤4、构建由多模态变分自编码器网络和图注意力网络构成的用户个性化需求预测模型并进行训练和优化；
步骤4.1、利用式(14)构造图注意力网络在第d-1次更新的损失函数
Figure FDA00040388453900000410
Figure FDA00040388453900000411
式(14)中，
Figure FDA00040388453900000412
表示用户节点i的非邻居节点集合，Qi表示用户节点i的非邻居节点集合
Figure FDA00040388453900000413
中节点的数量；/>
Figure FDA00040388453900000414
表示用户节点i的非邻居节点集合/>
Figure FDA00040388453900000415
中所有节点的期望，/>
Figure FDA00040388453900000416
表在第d次更新的用户节点i的非邻居节点集合/>
Figure FDA00040388453900000417
中任一节点jn的特征；
利用式(15)构造评论图像数据的重构损失Lrecvgg：
Figure FDA00040388453900000418
式(15)中，Eeij～M表示边集合M中所有边的期望；
利用式(16)构造文本数据的重构损失Lreclstm：
Figure FDA0004038845390000051
式(16)中，
Figure FDA0004038845390000052
表示初始表征向量Tij中的第n个单词的表征/>
Figure FDA0004038845390000053
是否为词典中第w个单词的表征，若是，则令/>
Figure FDA0004038845390000054
为1；否则，令/>
Figure FDA0004038845390000055
为0；
利用式(17)构造真实分布和变分分布之间的KL损失Lkl：
Figure FDA0004038845390000056
利用式(18)构造用户个性化需求预测模型在第d次更新的整体损失函数
Figure FDA0004038845390000057
Figure FDA0004038845390000058
步骤5.2、利用Adam算法对所述用户个性化需求预测模型进行训练，并计算所述整体损失函数
Figure FDA0004038845390000059
当更新次数d达到最大值dmax时或是整体损失函数Ltotal收敛时，停止训练，从而得到最优需求预测模型，用于对任一用户进行商品个性化需求的预测。
2.一种电子设备，包括存储器以及处理器，其特征在于，所述存储器用于存储支持处理器执行权利要求1所述用户个性化需求预测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1所述用户个性化需求预测方法的步骤。
CN202310011459.0A 2023-01-05 2023-01-05 一种融合多模态评论信息的用户个性化需求预测方法 Pending CN116150480A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310011459.0A CN116150480A (zh) 2023-01-05 2023-01-05 一种融合多模态评论信息的用户个性化需求预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310011459.0A CN116150480A (zh) 2023-01-05 2023-01-05 一种融合多模态评论信息的用户个性化需求预测方法

Publications (1)

Publication Number Publication Date
CN116150480A true CN116150480A (zh) 2023-05-23

Family

ID=86355617

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310011459.0A Pending CN116150480A (zh) 2023-01-05 2023-01-05 一种融合多模态评论信息的用户个性化需求预测方法

Country Status (1)

Country Link
CN (1) CN116150480A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116680323A (zh) * 2023-06-20 2023-09-01 吉林省澳美科技有限公司 基于大数据安全平台的用户需求挖掘方法及系统
CN117609611A (zh) * 2023-11-24 2024-02-27 中邮消费金融有限公司 多模态信息处理方法、设备、存储介质及装置
CN117611245A (zh) * 2023-12-14 2024-02-27 浙江博观瑞思科技有限公司 用于电商运营活动策划的数据分析管理系统及方法
CN117726721A (zh) * 2024-02-08 2024-03-19 湖南君安科技有限公司 基于主题驱动与多模态融合的图像生成方法、设备及介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116680323A (zh) * 2023-06-20 2023-09-01 吉林省澳美科技有限公司 基于大数据安全平台的用户需求挖掘方法及系统
CN116680323B (zh) * 2023-06-20 2024-02-06 深圳市优品投资顾问有限公司 基于大数据安全平台的用户需求挖掘方法及系统
CN117609611A (zh) * 2023-11-24 2024-02-27 中邮消费金融有限公司 多模态信息处理方法、设备、存储介质及装置
CN117611245A (zh) * 2023-12-14 2024-02-27 浙江博观瑞思科技有限公司 用于电商运营活动策划的数据分析管理系统及方法
CN117611245B (zh) * 2023-12-14 2024-05-31 浙江博观瑞思科技有限公司 用于电商运营活动策划的数据分析管理系统及方法
CN117726721A (zh) * 2024-02-08 2024-03-19 湖南君安科技有限公司 基于主题驱动与多模态融合的图像生成方法、设备及介质
CN117726721B (zh) * 2024-02-08 2024-04-30 湖南君安科技有限公司 基于主题驱动与多模态融合的图像生成方法、设备及介质

Similar Documents

Publication Publication Date Title
CN116150480A (zh) 一种融合多模态评论信息的用户个性化需求预测方法
CN108648049B (zh) 一种基于用户行为区别建模的序列推荐方法
CN111695965B (zh) 基于图神经网络的产品筛选方法、系统及设备
CN116720004B (zh) 推荐理由生成方法、装置、设备及存储介质
CN113918833B (zh) 通过社交网络关系的图卷积协同过滤实现的产品推荐方法
CN109670161B (zh) 商品相似度计算方法及装置、存储介质、电子设备
CN113918834B (zh) 融合社交关系的图卷积协同过滤推荐方法
CN112529071B (zh) 一种文本分类方法、系统、计算机设备和存储介质
CN109614611B (zh) 一种融合生成非对抗网络与卷积神经网络的情感分析方法
CN114298851A (zh) 基于图表征学习的网络用户社交行为分析方法、装置及存储介质
Xia et al. Modeling consumer buying decision for recommendation based on multi-task deep learning
CN115099886B (zh) 一种长短兴趣序列推荐方法、装置及存储介质
CN115982467A (zh) 一种去偏化用户多兴趣推荐方法、装置及存储介质
CN116401542A (zh) 一种多意图多行为解耦推荐方法及装置
Chaudhuri Visual and text sentiment analysis through hierarchical deep learning networks
CN110874392A (zh) 基于深度双向注意力机制的文本网络信息融合嵌入方法
CN111178986A (zh) 用户-商品偏好的预测方法及系统
CN111382619B (zh) 图片推荐模型的生成、图片推荐方法、装置、设备及介质
CN114048754A (zh) 一种融合上下文信息图卷积的中文短文本分类方法
Jaroli et al. Deep learning model based novel semantic analysis
US20240037133A1 (en) Method and apparatus for recommending cold start object, computer device, and storage medium
CN112364236A (zh) 目标对象推荐系统、方法、装置、数据处理方法及装置
CN114022192A (zh) 一种基于智能营销场景的数据建模方法及系统
CN116340635A (zh) 物品推荐方法、模型训练方法、装置及设备
CN116361643A (zh) 实现对象推荐的模型训练方法及对象推荐方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination