CN113590965A - 一种融合知识图谱与情感分析的视频推荐方法 - Google Patents

一种融合知识图谱与情感分析的视频推荐方法 Download PDF

Info

Publication number
CN113590965A
CN113590965A CN202110896190.XA CN202110896190A CN113590965A CN 113590965 A CN113590965 A CN 113590965A CN 202110896190 A CN202110896190 A CN 202110896190A CN 113590965 A CN113590965 A CN 113590965A
Authority
CN
China
Prior art keywords
video
vector
vectors
emotion
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110896190.XA
Other languages
English (en)
Other versions
CN113590965B (zh
Inventor
薛峰
盛一城
刘学亮
郝世杰
闵海
罗月童
汪萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Hefei University of Technology
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology, Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Hefei University of Technology
Priority to CN202110896190.XA priority Critical patent/CN113590965B/zh
Publication of CN113590965A publication Critical patent/CN113590965A/zh
Application granted granted Critical
Publication of CN113590965B publication Critical patent/CN113590965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种融合知识图谱与情感分析的视频推荐方法，包括：1、使用知识图谱作为额外辅助信息，通过文本卷积神经网络提取视频特征生成视频向量；2、构建情感兴趣预测模型，眼动仪采集的眼动数据通过广义回归神经网络生成情感向量；3、将历史视频向量与对应的视频情感向量进行拼接经过神经网络DNN生成历史视频最终向量，计算所有历史视频最终向量的加和平均值动态的构建用户向量；4、候选视频向量和用户向量拼接后通过多层感知计算用户点击候选视频的概率，得到Top‑N推荐列表。本发明通过建立融合知识图谱与情感分析的视频推荐模型，用于用户的个性化推荐，并能提高推荐精度。

Description

一种融合知识图谱与情感分析的视频推荐方法
技术领域
本发明属于计算机机器学习与人工智能技术领域，主要是涉及一种融合知识图谱与情感分析的视频推荐方法。
背景技术
近些年来互联网技术的进步突飞猛进，互联网用户的数量也呈几何倍的速度爆炸增长，这其中就产生了海量的数据，传统的搜索引擎技术虽然可以帮助我们寻找到满意的信息，但当我们没有明显的需求情况下，面对海量的数据，很难找到自己感兴趣的信息。因此，为了解决这种“信息过载”的问题，推荐系统应运而生。简单来说，推荐系统会根据用户的使用习惯，如用户的历史记录等，去了解用户的兴趣，通过建模用户兴趣偏好，将用户可能感兴趣的信息推荐给用户，从而满足用户的个性化需求。推荐算法被广泛地应用于各种领域如电子商务、社交应用以及新闻媒体等，对有效减轻信息过载尤为重要。
传统的推荐系统只使用用户和物品的交互信息作为输入，通过描述用户或物品的现有特性(如ID属性)映射来获得用户或物品的Embedding表示。然而这样的方法应用到视频推荐中会存在以下的缺点，即无法发现视频之间潜在的知识级连接，也无法利用用户在观看视频时产生的情感，不能区分出用户对不同视频的兴趣偏好程度。这样一来，用户观看视频的模式就会被限制在一个有限的范围内，无法在现有的基础上合理扩展推荐的方法。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种融合知识图谱与情感分析的视频推荐方法，以期能发现视频之间潜在的知识级连接，并且充分利用用户在观看视频时产生的情感，以提高不同用户对不同视频的兴趣偏好程度的区分度，从而达到更好的推荐效果和较高的精度。
本发明为解决技术问题采用如下技术方案：
本发明一种融合知识图谱与情感分析的视频推荐方法的特点是按照如下步骤进行：
步骤1、融合通用知识图谱：
步骤1.1、获取用户u在一段时间内观看过的视频作为历史视频，并将历史视频的视频标题记为
Figure BDA0003198006330000011
表示用户u观看过的第i个历史视频的视频标题，i∈[1,Nu]，Nu为用户u观看过的视频总量；同时获取推荐给用户u的M个候选视频的视频标题
Figure BDA0003198006330000021
表示第j个候选视频的视频标题，j∈[1,M]，M为推荐给用户u的候选视频数目；
步骤1.2、分别提取所述第i个历史视频的视频标题
Figure BDA0003198006330000022
与第j个候选视频的视频标题
Figure BDA0003198006330000023
中的词向量，记为
Figure BDA0003198006330000024
和
Figure BDA0003198006330000025
其中，
Figure BDA0003198006330000026
表示第i个历史视频的视频标题
Figure BDA0003198006330000027
中第n个词向量，
Figure BDA0003198006330000028
表示第j个候选视频的视频标题
Figure BDA0003198006330000029
中第n个词向量，N为视频标题中词向量数量的最大值；
步骤1.3、标注视频标题{tu,th}中的每个单词为实体词，并获取通用知识图谱中对应的实体，从而利用实体链接和消除歧义构建知识子图；
步骤1.4、利用知识图谱表示学习模型TransE分别提取所述知识子图中第i个历史视频的视频标题
Figure BDA00031980063300000210
中的实体词对应的实体向量
Figure BDA00031980063300000211
以及第j个候选视频的视频标题
Figure BDA00031980063300000212
中的实体词对应的实体向量
Figure BDA00031980063300000213
其中，
Figure BDA00031980063300000214
表示第i个历史视频的视频标题
Figure BDA00031980063300000215
中第n个单词对应的实体向量；
Figure BDA00031980063300000216
表示第j个候选视频的视频标题
Figure BDA00031980063300000217
中第n个单词对应的实体向量；
步骤1.5、根据所述实体向量
Figure BDA00031980063300000218
和
Figure BDA00031980063300000219
分别获取所述知识子图中与相应实体向量相互关联的其他实体向量，并将与相应实体向量相互关联的其他实体向量的平均值分别作为对应实体向量的实体上下文向量
Figure BDA00031980063300000220
和
Figure BDA00031980063300000221
步骤1.6、将第n个词向量
Figure BDA00031980063300000222
实体向量
Figure BDA00031980063300000223
和实体上下文向量
Figure BDA00031980063300000224
进行拼接，得到拼接后的第n个历史视频特征向量
Figure BDA00031980063300000225
从而得到N个历史视频特征向量；
将第n个词向量
Figure BDA00031980063300000226
实体向量
Figure BDA00031980063300000227
和实体上下文向量
Figure BDA00031980063300000228
进行拼接，得到拼接后的第n个候选视频特征向量
Figure BDA00031980063300000229
从而得到N个候选视频特征向量；
步骤1.7、将N个历史视频特征向量和N个候选视频特征向量分别送入文本卷积神经网络中，并经过卷积、池化操作后，得到视频向量e(t)，包括：历史视频向量
Figure BDA00031980063300000230
候选视频向量
Figure BDA00031980063300000231
步骤2、建立基于眼动数据的情感兴趣预测模型；
步骤2.1、利用眼动仪装置捕捉用户u观看第i个历史视频的眼动数据并进行归一化处理，得到第i个眼动向量
Figure BDA0003198006330000031
从而得到眼动向量集合
Figure BDA0003198006330000032
步骤2.2、将第i个眼动向量
Figure BDA0003198006330000033
输入广义回归神经网络的输入层中，并经过模式层的处理后，得到如式(1)所示的模式层中第k个神经元输出
Figure BDA0003198006330000034
Figure BDA0003198006330000035
式(2)中，
Figure BDA0003198006330000036
为广义回归神经网络的输入，
Figure BDA0003198006330000037
为眼动向量集合Xu中第k个眼动向量，σ为平滑参数，k∈[1,Nu]；
步骤2.3、利用式(2)和式(3)分别计算广义回归神经网络的求和层中S型神经元的第i个输出
Figure BDA0003198006330000038
以及第r个T型神经元的第i个输出
Figure BDA0003198006330000039
Figure BDA00031980063300000310
Figure BDA00031980063300000311
式(3)中，yk,r为模式层中第k个神经元与求和层中第r个T型神经元之间的连接权值，r＝1,2,3；
步骤2.4、利用式(4)得到广义回归神经网络的输出层中第r个神经单元的第i个输出值
Figure BDA00031980063300000312
从而得到第i个眼动向量
Figure BDA00031980063300000313
对应的视频情感向量
Figure BDA00031980063300000314
进而得到
Figure BDA00031980063300000315
Figure BDA00031980063300000316
步骤2.5、使用r个神经单元的输出值分别对应中文简化版PAD情绪量表中P维情感值
Figure BDA00031980063300000317
A维情感值
Figure BDA00031980063300000318
和D维情感值
Figure BDA00031980063300000319
从而利用式(5)、式(6)和式(7)将三维情感值与广义回归神经网络的输出进行关联，得到关联后的视频情感向量
Figure BDA00031980063300000320
Figure BDA00031980063300000321
Figure BDA0003198006330000041
Figure BDA0003198006330000042
步骤3、在用户向量e(u)嵌入过程中引入视频情感向量Yu；
步骤3.1、将第i个历史视频的视频标题
Figure BDA0003198006330000043
所对应的历史视频向量
Figure BDA0003198006330000044
与用户u观看完第i个历史视频得到的视频情感向量
Figure BDA0003198006330000045
进行拼接后，输入神经网络DNN进行情感融合，得到第i个历史视频的视频标题
Figure BDA0003198006330000046
对应的历史视频最终向量
Figure BDA0003198006330000047
从而得到历史视频最终向量集合
Figure BDA0003198006330000048
步骤3.2、利用式(8)构建用户向量e(u)；
Figure BDA0003198006330000049
步骤4、建立融合知识图谱与情感分析的视频推荐模型的损失函数；
步骤4.1、利用式(9)建立基于眼动数据的情感兴趣预测模型的损失函数L1：
Figure BDA00031980063300000410
式(9)中，
Figure BDA00031980063300000411
为用户u观看完第i个历史视频后填写中文简化版PAD情绪量表所获取的真实值，且
Figure BDA00031980063300000412
为中文简化版PAD情绪量表中P维情感值的真实值，
Figure BDA00031980063300000413
为中文简化版PAD情绪量表中A维情感值的真实值，
Figure BDA00031980063300000414
为中文简化版PAD情绪量表中D维情感值的真实值；
步骤4.2、利用式(10)建立推荐模型的损失函数L2：
Figure BDA00031980063300000415
式(10)中，
Figure BDA00031980063300000416
表示用户u、用户u观看过的视频以及未看过的候选视频组成的三元组，sigmoid表示激活函数，
Figure BDA00031980063300000417
和
Figure BDA00031980063300000418
分别表示用户u对观看过的历史视频和未观看过的候选视频的偏好得分，λ2表示正则化系数，||·||2表示二范数正则化，W表示多层感知机的权值系数矩阵；
步骤4.3、利用式(11)建立情感兴趣预测模型与推荐模型组成的融合视频推荐模型的损失函数L：
L＝λ1L1+L2 (11)
式(11)中，λ1表示另一正则化系数；
步骤5、将用户向量e(u)与候选视频向量e(th)进行拼接后，输入所述多层感知机中预测点击率，并利用Adam优化器对所述融合视频推荐模型进行训练，使得损失函数L达到最小，从而得到最优融合视频推荐模型，并用于用户的个性化视频推荐。
与现有技术相比，本发明的有益效果在于：
1.本发明通过使用知识图谱作为额外辅助内容去丰富视频的语义信息，融入了用户的情感向量的协同过滤框架，建立了融合知识图谱与情感分析的视频推荐模型的损失函数，不仅能发现视频之间潜在的知识级连接，还可以利用用户在观看视频时产生的情感，区分出用户对不同视频的兴趣偏好程度，从而可以更加准确的学习用户与视频的交互关系，实现了更好的推荐效果。
2.本发明通过融合通用知识图谱发现视频内容间的深层逻辑关系，使用文本卷积神经网络同时提取视频标题中的实体向量、词向量与实体上下文向量，得到视频向量，以丰富视频的语义信息，从而能有效发现视频之间潜在的知识级连接。
3.本发明构建了基于眼动数据的情感兴趣预测模型，通过眼动仪装置获取用户在观看视频后的眼动数据，使用广义回归神经网络提取眼动数据特征，输出该视频的视频情感向量，即将视频映射到了用户的情感空间之中，从而可以利用眼动数据预测用户的情感状态，并将情感量化以用于融合历史视频向量去构建用户向量。
4.本发明在用户向量嵌入过程中引入情感向量，将历史视频向量与其对应的视频情感向量进行拼接经过神经网络DNN生成历史视频最终向量，计算所有历史视频最终向量的加和平均值动态的构建用户向量，从而提高了不同用户对不同视频的兴趣偏好程度的区分。
5.本发明建立了融合知识图谱与情感分析的视频推荐模型的损失函数，利用Adam优化器对模型进行训练，可以更加准确的学习用户与视频的交互关系，实现了更好的推荐效果。
附图说明
图1为本发明的模型结构图；
图2为本发明的实施流程图。
具体实施方式
本实施例中，一种融合知识图谱与情感分析的视频推荐方法是通过使用知识图谱作为额外辅助内容去丰富视频的语义信息，发现视频之间潜在的知识级连接。构建情感兴趣预测模型将眼动仪装置采集到的眼动数据与用户的情感状态关联起来，并将情感量化，并且在用户向量嵌入过程中引入了情感向量，克服了不同用户对不同视频的兴趣偏好程度的区分不足的弱点。本方法的模型结构图如图1所示，模型的输入部分有三个方面，候选视频的视频标题构成的集合th、历史视频的视频标题构成的集合tu以及用户在观看完视频后被眼动仪捕捉下来的眼动数据构成的集合Xu，从视频标题{tu,th}中生成的词向量、实体向量和实体上下文向量拼接后分别通过文本卷积神经网络提取特征，形成相应的候选视频向量集合e(th)和历史视频向量集合e(tu)，被记录下来的眼动数据集合Xu经过处理后送入情感兴趣预测模型之中，情感兴趣预测模型由广义回归神经网络构成，输出视频情感向量的集合
Figure BDA0003198006330000061
即将用户的眼动数据与观看视频时的情感状态关联起来，将该视频映射到了用户的情感空间之中。历史视频向量e(tu)会与其对应的视频情感向量
Figure BDA0003198006330000062
进行拼接送入神经网络DNN中形成历史视频最终向量的集合s(tu)，将这些历史视频最终向量s(tu)做加和平均动态的构建用户向量e(u)，用户向量e(u)与候选视频向量e(tu)经过拼接后通过多层感知得到用户的点击概率，从而完成视频的个性化推荐。具体的说，如图2所示，该方法是按照如下步骤进行：
步骤1、融合通用知识图谱，用来丰富视频的语义信息，发现视频之间潜在的知识级连接；
步骤1.1、获取用户u在一段时间内观看过的视频作为历史视频，并将历史视频的视频标题记为
Figure BDA0003198006330000063
表示用户u观看过的第i个历史视频的视频标题，i∈[1,Nu]，Nu为用户u观看过的视频总量；同时获取推荐给用户u的M个候选视频的视频标题
Figure BDA0003198006330000064
表示第j个候选视频的视频标题，j∈[1,M]，M为推荐给用户u的候选视频数目；
步骤1.2、分别提取第i个历史视频的视频标题
Figure BDA00031980063300000612
与第j个候选视频的视频标题
Figure BDA0003198006330000065
中的词向量，记为
Figure BDA0003198006330000066
和
Figure BDA0003198006330000067
其中，
Figure BDA0003198006330000068
表示第i个历史视频的视频标题
Figure BDA0003198006330000069
中第n个词向量，
Figure BDA00031980063300000610
表示第j个候选视频的视频标题
Figure BDA00031980063300000611
中第n个词向量，N为视频标题中词向量数量的最大值，在本实例中，wu,i和wh,j长度未达到N的部分，用零向量填充；
步骤1.3、标注视频标题{tu,th}中的每个单词为实体词，并获取通用知识图谱中对应的实体，从而利用实体链接和消除歧义构建知识子图；
步骤1.4、利用知识图谱表示学习模型TransE分别提取知识子图中第i个历史视频的视频标题
Figure BDA0003198006330000071
中的实体词对应的实体向量
Figure BDA0003198006330000072
以及第j个候选视频的视频标题
Figure BDA0003198006330000073
中的实体词对应的实体向量
Figure BDA0003198006330000074
其中，
Figure BDA0003198006330000075
表示第i个历史视频的视频标题
Figure BDA0003198006330000076
中第n个单词对应的实体向量；
Figure BDA0003198006330000077
表示第j个候选视频的视频标题
Figure BDA0003198006330000078
中第n个单词对应的实体向量，在本实施例中，若第i个历史视频的视频标题
Figure BDA0003198006330000079
中第n个单词或第j个候选视频的视频标题
Figure BDA00031980063300000710
中第n个单词没有对应的实体向量，则用零向量填充；
步骤1.5、根据实体向量
Figure BDA00031980063300000711
和
Figure BDA00031980063300000712
分别获取知识子图中与相应实体向量相互关联的其他实体向量，并将与相应实体向量相互关联的其他实体向量的平均值分别作为对应实体向量的实体上下文向量
Figure BDA00031980063300000713
和
Figure BDA00031980063300000714
步骤1.6、将第n个词向量
Figure BDA00031980063300000715
实体向量
Figure BDA00031980063300000716
和实体上下文向量
Figure BDA00031980063300000717
进行拼接，得到拼接后的第n个历史视频特征向量
Figure BDA00031980063300000718
从而得到N个历史视频特征向量；
将第n个词向量
Figure BDA00031980063300000719
实体向量
Figure BDA00031980063300000720
和实体上下文向量
Figure BDA00031980063300000721
进行拼接，得到拼接后的第n个候选视频特征向量
Figure BDA00031980063300000722
从而得到N个候选视频特征向量；
步骤1.7、将N个历史视频特征向量和N个候选视频特征向量分别送入文本卷积神经网络中，并经过卷积、池化操作后，得到视频向量e(t)，包括：历史视频向量
Figure BDA00031980063300000723
候选视频向量
Figure BDA00031980063300000724
步骤2、建立基于眼动数据的情感兴趣预测模型，将眼动数据与用户观看视频后的情感状态关联起来，将视频映射到用户的情感空间之中，从而可以利用眼动数据预测用户的情感状态，并将情感量化以用于融合历史视频向量去构建用户向量；
步骤2.1、利用眼动仪装置捕捉用户u观看第i个历史视频的眼动数据并进行归一化处理，得到第i个眼动向量
Figure BDA00031980063300000725
从而得到眼动向量集合
Figure BDA00031980063300000726
步骤2.2、将第i个眼动向量
Figure BDA0003198006330000081
输入广义回归神经网络的输入层中，并经过模式层的处理后，得到如式(1)所示的模式层中第k个神经元输出
Figure BDA0003198006330000082
Figure BDA0003198006330000083
式(2)中，
Figure BDA0003198006330000084
为广义回归神经网络的输入，
Figure BDA0003198006330000085
为眼动向量集合Xu中第k个眼动向量，σ为平滑参数，在本实例中σ的初始化取值为1.0，k∈[1,Nu]；
步骤2.3、利用式(2)和式(3)分别计算广义回归神经网络的求和层中S型神经元的第i个输出
Figure BDA0003198006330000086
以及第r个T型神经元的第i个输出
Figure BDA0003198006330000087
Figure BDA0003198006330000088
Figure BDA0003198006330000089
式(3)中，yk,r为模式层中第k个神经元与求和层中第r个T型神经元之间的连接权值，r＝1,2,3，在本实例中，yk，r的取值为第i个输出样本
Figure BDA00031980063300000810
中的第r个元素；
步骤2.4、利用式(4)得到广义回归神经网络的输出层中第r个神经单元的第i个输出值
Figure BDA00031980063300000811
从而得到第i个眼动向量
Figure BDA00031980063300000812
对应的视频情感向量
Figure BDA00031980063300000813
进而得到
Figure BDA00031980063300000814
Figure BDA00031980063300000815
步骤2.5、使用r个神经单元的输出值分别对应中文简化版PAD情绪量表中P维情感值
Figure BDA00031980063300000816
A维情感值
Figure BDA00031980063300000817
和D维情感值
Figure BDA00031980063300000818
从而利用式(5)、式(6)和式(7)将三维情感值与广义回归神经网络的输出进行关联，得到关联后的视频情感向量
Figure BDA00031980063300000819
Figure BDA00031980063300000820
Figure BDA00031980063300000821
Figure BDA00031980063300000822
步骤3、在用户向量e(u)嵌入过程中引入视频情感向量Yu，提高了不同用户对不同视频的兴趣偏好程度的区分；
步骤3.1、将第i个历史视频的视频标题
Figure BDA0003198006330000091
所对应的历史视频向量
Figure BDA0003198006330000092
与用户u观看完第i个历史视频得到的视频情感向量
Figure BDA0003198006330000093
进行拼接后，输入神经网络DNN进行情感融合，得到第i个历史视频的视频标题
Figure BDA0003198006330000094
对应的历史视频最终向量
Figure BDA0003198006330000095
从而得到历史视频最终向量集合
Figure BDA0003198006330000096
步骤3.2、利用式(8)构建用户向量e(u)；
Figure BDA0003198006330000097
步骤4、建立融合知识图谱与情感分析的视频推荐模型的损失函数；
步骤4.1、利用式(9)建立基于眼动数据的情感兴趣预测模型的损失函数L1：
Figure BDA0003198006330000098
式(9)中，
Figure BDA0003198006330000099
为用户u观看完第i个历史视频后填写中文简化版PAD情绪量表所获取的真实值，且
Figure BDA00031980063300000910
为中文简化版PAD情绪量表中P维情感值的真实值，
Figure BDA00031980063300000911
为中文简化版PAD情绪量表中A维情感值的真实值，
Figure BDA00031980063300000912
为中文简化版PAD情绪量表中D维情感值的真实值；
步骤4.2、利用式(10)建立推荐模型的损失函数L2：
Figure BDA00031980063300000913
式(10)中，
Figure BDA00031980063300000914
表示用户u、用户u观看过的视频以及未看过的候选视频组成的三元组，sigmoid表示激活函数，
Figure BDA00031980063300000915
和
Figure BDA00031980063300000916
分别表示用户u对观看过的历史视频和未观看过的候选视频的偏好得分，λ2表示正则化系数，||·||2表示二范数正则化，W表示多层感知机的权值系数矩阵；
步骤4.3、利用式(11)建立情感兴趣预测模型与推荐模型组成的融合视频推荐模型的损失函数L：
L＝λ1L1+L2 (11)
式(11)中，λ1表示另一正则化系数；
步骤5、模型的预测与优化：将用户向量e(u)与候选视频向量e(th)进行拼接后，输入上述多层感知机中预测点击率，并利用Adam优化器对融合视频推荐模型进行训练，使得损失函数L达到最小，从而得到最优融合视频推荐模型，并用于用户的个性化视频推荐。
综上所述，通过使用知识图谱作为额外辅助信息，通过文本卷积神经网络提取视频的知识表示和语义表示，可以发现视频之间潜在的知识级连接，构建基于眼动数据的情感兴趣预测模型可以很好的预测用户情感状态，在用户向量嵌入过程中引入情感向量，可以提高不同用户对不同视频的兴趣偏好程度的区分。此外，还考虑建立了融合知识图谱与情感分析的视频推荐模型的损失函数，利用Adam优化器进行训练，使得模型可以实现更好的推荐效果。

Claims (1)

1.一种融合知识图谱与情感分析的视频推荐方法，其特征是按照如下步骤进行：
步骤1、融合通用知识图谱：
步骤1.1、获取用户u在一段时间内观看过的视频作为历史视频，并将历史视频的视频标题记为
Figure FDA0003198006320000011
Figure FDA0003198006320000012
表示用户u观看过的第i个历史视频的视频标题，i∈[1,Nu]，Nu为用户u观看过的视频总量；同时获取推荐给用户u的M个候选视频的视频标题
Figure FDA0003198006320000013
Figure FDA0003198006320000014
表示第j个候选视频的视频标题，j∈[1,M]，M为推荐给用户u的候选视频数目；
步骤1.2、分别提取所述第i个历史视频的视频标题
Figure FDA0003198006320000015
与第j个候选视频的视频标题
Figure FDA0003198006320000016
中的词向量，记为
Figure FDA0003198006320000017
和
Figure FDA0003198006320000018
其中，
Figure FDA0003198006320000019
表示第i个历史视频的视频标题
Figure FDA00031980063200000110
中第n个词向量，
Figure FDA00031980063200000111
表示第j个候选视频的视频标题
Figure FDA00031980063200000112
中第n个词向量，N为视频标题中词向量数量的最大值；
步骤1.3、标注视频标题{tu,th}中的每个单词为实体词，并获取通用知识图谱中对应的实体，从而利用实体链接和消除歧义构建知识子图；
步骤1.4、利用知识图谱表示学习模型TransE分别提取所述知识子图中第i个历史视频的视频标题
Figure FDA00031980063200000113
中的实体词对应的实体向量
Figure FDA00031980063200000114
以及第j个候选视频的视频标题
Figure FDA00031980063200000115
中的实体词对应的实体向量
Figure FDA00031980063200000116
其中，
Figure FDA00031980063200000117
表示第i个历史视频的视频标题
Figure FDA00031980063200000118
中第n个单词对应的实体向量；
Figure FDA00031980063200000119
表示第j个候选视频的视频标题
Figure FDA00031980063200000120
中第n个单词对应的实体向量；
步骤1.5、根据所述实体向量
Figure FDA00031980063200000121
和
Figure FDA00031980063200000122
分别获取所述知识子图中与相应实体向量相互关联的其他实体向量，并将与相应实体向量相互关联的其他实体向量的平均值分别作为对应实体向量的实体上下文向量
Figure FDA00031980063200000123
和
Figure FDA00031980063200000124
步骤1.6、将第n个词向量
Figure FDA00031980063200000125
实体向量
Figure FDA00031980063200000126
和实体上下文向量
Figure FDA00031980063200000127
进行拼接，得到拼接后的第n个历史视频特征向量
Figure FDA00031980063200000128
从而得到N个历史视频特征向量；
将第n个词向量
Figure FDA00031980063200000129
实体向量
Figure FDA00031980063200000130
和实体上下文向量
Figure FDA00031980063200000131
进行拼接，得到拼接后的第n个候选视频特征向量
Figure FDA00031980063200000132
从而得到N个候选视频特征向量；
步骤1.7、将N个历史视频特征向量和N个候选视频特征向量分别送入文本卷积神经网络中，并经过卷积、池化操作后，得到视频向量e(t)，包括：历史视频向量
Figure FDA0003198006320000021
候选视频向量
Figure FDA0003198006320000022
步骤2、建立基于眼动数据的情感兴趣预测模型；
步骤2.1、利用眼动仪装置捕捉用户u观看第i个历史视频的眼动数据并进行归一化处理，得到第i个眼动向量
Figure FDA0003198006320000023
从而得到眼动向量集合
Figure FDA0003198006320000024
步骤2.2、将第i个眼动向量
Figure FDA0003198006320000025
输入广义回归神经网络的输入层中，并经过模式层的处理后，得到如式(1)所示的模式层中第k个神经元输出
Figure FDA0003198006320000026
Figure FDA0003198006320000027
式(2)中，
Figure FDA0003198006320000028
为广义回归神经网络的输入，
Figure FDA0003198006320000029
为眼动向量集合Xu中第k个眼动向量，σ为平滑参数，k∈[1,Nu]；
步骤2.3、利用式(2)和式(3)分别计算广义回归神经网络的求和层中S型神经元的第i个输出
Figure FDA00031980063200000210
以及第r个T型神经元的第i个输出
Figure FDA00031980063200000211
Figure FDA00031980063200000212
Figure FDA00031980063200000213
式(3)中，yk,r为模式层中第k个神经元与求和层中第r个T型神经元之间的连接权值，r＝1,2,3；
步骤2.4、利用式(4)得到广义回归神经网络的输出层中第r个神经单元的第i个输出值
Figure FDA00031980063200000214
从而得到第i个眼动向量
Figure FDA00031980063200000215
对应的视频情感向量
Figure FDA00031980063200000216
进而得到
Figure FDA00031980063200000217
Figure FDA00031980063200000218
步骤2.5、使用r个神经单元的输出值分别对应中文简化版PAD情绪量表中P维情感值
Figure FDA0003198006320000031
A维情感值
Figure FDA0003198006320000032
和D维情感值
Figure FDA0003198006320000033
从而利用式(5)、式(6)和式(7)将三维情感值与广义回归神经网络的输出进行关联，得到关联后的视频情感向量
Figure FDA0003198006320000034
Figure FDA0003198006320000035
Figure FDA0003198006320000036
Figure FDA0003198006320000037
步骤3、在用户向量e(u)嵌入过程中引入视频情感向量Yu；
步骤3.1、将第i个历史视频的视频标题
Figure FDA0003198006320000038
所对应的历史视频向量
Figure FDA0003198006320000039
与用户u观看完第i个历史视频得到的视频情感向量
Figure FDA00031980063200000310
进行拼接后，输入神经网络DNN进行情感融合，得到第i个历史视频的视频标题
Figure FDA00031980063200000311
对应的历史视频最终向量
Figure FDA00031980063200000312
从而得到历史视频最终向量集合
Figure FDA00031980063200000313
步骤3.2、利用式(8)构建用户向量e(u)；
Figure FDA00031980063200000314
步骤4、建立融合知识图谱与情感分析的视频推荐模型的损失函数；
步骤4.1、利用式(9)建立基于眼动数据的情感兴趣预测模型的损失函数L1：
Figure FDA00031980063200000315
式(9)中，
Figure FDA00031980063200000316
为用户u观看完第i个历史视频后填写中文简化版PAD情绪量表所获取的真实值，且
Figure FDA00031980063200000317
Figure FDA00031980063200000318
为中文简化版PAD情绪量表中P维情感值的真实值，
Figure FDA00031980063200000319
为中文简化版PAD情绪量表中A维情感值的真实值，
Figure FDA00031980063200000320
为中文简化版PAD情绪量表中D维情感值的真实值；
步骤4.2、利用式(10)建立推荐模型的损失函数L2：
Figure FDA00031980063200000321
式(10)中，
Figure FDA0003198006320000041
表示用户u、用户u观看过的视频以及未看过的候选视频组成的三元组，sigmoid表示激活函数，
Figure FDA0003198006320000042
和
Figure FDA0003198006320000043
分别表示用户u对观看过的历史视频和未观看过的候选视频的偏好得分，λ2表示正则化系数，||·||2表示二范数正则化，W表示多层感知机的权值系数矩阵；
步骤4.3、利用式(11)建立情感兴趣预测模型与推荐模型组成的融合视频推荐模型的损失函数L：
L＝λ1L1+L2 (11)
式(11)中，λ1表示另一正则化系数；
步骤5、将用户向量e(u)与候选视频向量e(th)进行拼接后，输入所述多层感知机中预测点击率，并利用Adam优化器对所述融合视频推荐模型进行训练，使得损失函数L达到最小，从而得到最优融合视频推荐模型，并用于用户的个性化视频推荐。
CN202110896190.XA 2021-08-05 2021-08-05 一种融合知识图谱与情感分析的视频推荐方法 Active CN113590965B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110896190.XA CN113590965B (zh) 2021-08-05 2021-08-05 一种融合知识图谱与情感分析的视频推荐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110896190.XA CN113590965B (zh) 2021-08-05 2021-08-05 一种融合知识图谱与情感分析的视频推荐方法

Publications (2)

Publication Number Publication Date
CN113590965A true CN113590965A (zh) 2021-11-02
CN113590965B CN113590965B (zh) 2023-06-13

Family

ID=78255365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110896190.XA Active CN113590965B (zh) 2021-08-05 2021-08-05 一种融合知识图谱与情感分析的视频推荐方法

Country Status (1)

Country Link
CN (1) CN113590965B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114567815A (zh) * 2022-01-20 2022-05-31 清华大学 一种基于预训练的慕课自适应学习系统构建方法和装置
CN116010583A (zh) * 2023-03-17 2023-04-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种级联耦合的知识增强对话生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061856A (zh) * 2019-06-06 2020-04-24 北京理工大学 一种基于知识感知的新闻推荐方法
CN111858972A (zh) * 2020-07-28 2020-10-30 山东大学 一种基于家庭知识图谱的电影推荐方法
CN112559764A (zh) * 2020-12-10 2021-03-26 北京中视广信科技有限公司 一种基于领域知识图谱的内容推荐方法
CN113127627A (zh) * 2021-04-23 2021-07-16 中国石油大学(华东) 基于lda主题模型结合诗词知识图谱的诗词推荐方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111061856A (zh) * 2019-06-06 2020-04-24 北京理工大学 一种基于知识感知的新闻推荐方法
CN111858972A (zh) * 2020-07-28 2020-10-30 山东大学 一种基于家庭知识图谱的电影推荐方法
CN112559764A (zh) * 2020-12-10 2021-03-26 北京中视广信科技有限公司 一种基于领域知识图谱的内容推荐方法
CN113127627A (zh) * 2021-04-23 2021-07-16 中国石油大学(华东) 基于lda主题模型结合诗词知识图谱的诗词推荐方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陈嘉颖;于炯;杨兴耀;: "一种融合语义分析特征提取的推荐算法" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114567815A (zh) * 2022-01-20 2022-05-31 清华大学 一种基于预训练的慕课自适应学习系统构建方法和装置
CN116010583A (zh) * 2023-03-17 2023-04-25 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种级联耦合的知识增强对话生成方法
CN116010583B (zh) * 2023-03-17 2023-07-18 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种级联耦合的知识增强对话生成方法

Also Published As

Publication number Publication date
CN113590965B (zh) 2023-06-13

Similar Documents

Publication Publication Date Title
CN108920641B (zh) 一种信息融合个性化推荐方法
CN110598130B (zh) 一种融合异构信息网络和深度学习的电影推荐方法
CN113642604B (zh) 一种基于云边协同的音视频辅助触觉信号重建方法
CN113268633B (zh) 一种短视频推荐方法
WO2021139415A1 (zh) 数据处理方法、装置、计算机可读存储介质及电子设备
CN113590965A (zh) 一种融合知识图谱与情感分析的视频推荐方法
CN112818251B (zh) 视频推荐方法、装置、电子设备以及存储介质
CN114461907B (zh) 一种基于知识图谱的多元环境感知推荐方法及系统
CN113761383A (zh) 一种基于统一用户行为建模的搜索和推荐融合系统
CN117836765A (zh) 基于多模态超图的点击预测
CN109034953B (zh) 一种电影推荐方法
CN114357201B (zh) 基于信息感知的视听推荐方法、系统
CN114020999A (zh) 一种电影社交网络的社区结构检测方法及系统
CN113094587A (zh) 一种基于知识图谱路径的隐式推荐方法
CN115964560A (zh) 基于多模态预训练模型的资讯推荐方法及设备
CN115905838A (zh) 一种视听辅助的细粒度触觉信号重建方法
CN117077735A (zh) 基于卷积神经网络的维度相关集成服务质量预测方法
CN116956183A (zh) 多媒体资源推荐方法、模型训练方法、装置及存储介质
CN114647787A (zh) 一种基于多模态数据的用户个性化推荐方法
CN116977701A (zh) 视频分类模型训练的方法、视频分类的方法和装置
CN112084415B (zh) 一种基于用户和项目长短期时间耦合关系分析的推荐方法
CN116932862A (zh) 冷启动对象推荐方法、装置、计算机设备和存储介质
CN113449193A (zh) 基于多分类图像的信息推荐方法及装置
CN111737591A (zh) 一种基于异质重边信息网络翻译模型的产品推荐方法
CN118013060B (zh) 数据处理方法、装置、设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant