CN113449182A - 一种知识信息个性化推荐方法及系统 - Google Patents

一种知识信息个性化推荐方法及系统 Download PDF

Info

Publication number
CN113449182A
CN113449182A CN202110644567.2A CN202110644567A CN113449182A CN 113449182 A CN113449182 A CN 113449182A CN 202110644567 A CN202110644567 A CN 202110644567A CN 113449182 A CN113449182 A CN 113449182A
Authority
CN
China
Prior art keywords
information
knowledge
user
vector
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110644567.2A
Other languages
English (en)
Other versions
CN113449182B (zh
Inventor
史玉良
程林
李琳
陈志勇
李晖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110644567.2A priority Critical patent/CN113449182B/zh
Publication of CN113449182A publication Critical patent/CN113449182A/zh
Application granted granted Critical
Publication of CN113449182B publication Critical patent/CN113449182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种知识信息个性化推荐方法及系统，利用双向门口循环单元和时间调整函数，通过分析用户的学习轨迹数据来了解用户的学习演化；考虑知识项目类别和知识项文本信息的影响，通过卷积神经网络和多头注意力相结合的方式捕捉知识项目中的信息；最后，引入个性化注意力网络来更深入的捕获用户的学习行为和知识项类别之间的关联关系，从而进行更准确的知识推荐。

Description

一种知识信息个性化推荐方法及系统
技术领域
本发明属于技术大数据信息处理领域，具体涉及一种知识信息个性化推荐方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
知识学习平台目前已成为流行的互联网应用，越来越多的用户选择网上学习的方式。面对软件知识学习平台上众多的课程，用户很难快速发现所需的项目，这就需要研究知识推荐系统来改变现状。由于用户的学习路线是变化和转移的，与常规推荐系统不同的是，知识推荐系统需要着重考虑不同知识类别项目间的相关性和无关性。
发明人发现，用户对于每门知识体系的学习往往是逐步递进、由浅及深的。如python学习路线，python初学者一般从“安装Python”进行学习，到目标模块结束。由于访问平台的用户学习目标不同，用户间的知识水平也存在差异，这就导致不同用户学习知识的路线不一。然而，可以从用户的不同学习路线中，分析用户的历史学习情况，挖掘用户的当前知识水平和所需知识项之间的关联关系。
在线学习平台上的知识推荐系统和一般推荐系统类似，目的同样是建模访问用户的需求和偏好，从而为用户提供更便捷的学习环境。而对于软件知识学习平台来说，平台上的知识是多元的，包括文本知识、图像知识、视频教程及半结构化代码段等。它与常规推荐系统的区别在于：(1)知识项可以由知识图谱组织在一起的，数据源是多源异构的；(2)用户访问平台的特点呈会话型，往往在一个集中时间内进行一定次数的交互访问；(3)访问平台的用户间的知识水平存在着差异，不同的用户访问同一知识的效率和频率会有明显差别，需要为不同知识水平的用户推荐更为适合的知识项。
发明内容
本发明为了解决上述问题，提出了一种知识信息个性化推荐方法及系统，本发明考虑了知识项的类别及用户学习水平的进程等因素，能够针对用户的学习行为和和知识项类别之间的关联关系，进行更准确的知识推荐。
根据一些实施例，本发明采用如下技术方案：
一种知识信息个性化推荐方法，包括以下步骤：
对数据源的数据进行预处理，获取知识项文本信息和候选项向量；
基于知识项目的文本信息，通过单词嵌入方法将文本信息映射成相应的单词向量；
基于用户历史访问学习平台的信息序列，通过嵌入操作将信息序列映射成相应的向量表示，完成对用户序列信息编码；
基于获得的单词向量，捕获知识项目中单词的上下文信息向量，基于单词的上下文信息向量，引入多头注意力机制从不同维度和空间来捕捉单词序列的内部结构，学习单词向量内信息之间的依赖关系；
基于用户序列的信息编码和知识项的表示向量，从两个方向获取每个时间步的隐藏状态来得到历史序列中的信息传递情况，得到隐含状态向量集合；
基于得到的隐含状态向量集合，将用户嵌入向量转换为查询向量，引入类别感知的个性化注意力机制计算用户对各类别知识的注意力权重，实现用户表示向量的学习；
将候选项向量与用户表示向量进行内积操作，得到综合向量，选取合适的综合向量进行知识项的推荐。
作为可选择的实施方式，对数据源的数据进行预处理的具体过程包括：对数据源的数据进行数据预处理，包含数据清洗、缺失数据补全、数据定义以及规范化处理。
作为可选择的实施方式，捕获知识项目中单词的上下文信息向量，引入多头注意力机制从不同维度和空间来捕捉单词序列的内部结构的具体过程包括：
基于单词向量矩阵，将知识项中的一系列上下文单词信息转换为一系列低维密集向量；
利用卷积神经网络捕获上下文信息来学习单词在知识项中的表示，引入多头注意机制来捕获来自不同维度和子空间的信息。
作为可选择的实施方式，完成对用户序列信息编码的具体过程包括：基于用户访问历史信息序列，表示用户历史学习的轨迹，基于所述轨迹，根据知识项的类别得到隐含序列，通过嵌入矩阵将用户知识项类别转换成空间向量表示。
作为可选择的实施方式，从两个方向获取每个时间步的隐藏状态来得到历史序列中的信息传递情况的具体过程包括：基于获得的用户学习序列信息，利用双向GRU的方法从前后两个方向获取每个时间步的上下文信息，同时考虑到知识项的表示信息对用户学习行为的影响。
作为可选择的实施方式，引入类别感知的个性化注意力机制计算用户对各类别知识的注意力权重的具体过程包括：
加入注意力机制，学习用户的偏好查询向量；
引入个性化注意力网络来学习知识项类别对用户学习偏好的影响。
作为可选择的实施方式，选取合适的综合向量进行知识项的推荐的过程还包括训练和优化步骤，具体包括：
构建softmax函数；计算softmax函数输出值的损失函数，采用反向传播算法训练学习参数，完成模型的训练；
模型训练完成后，输出实验样本集的推荐结果，与实际的用户行为进行对比，基于对比结果反馈调整个性化注意力机制中各个向量之间的相关性，反馈更新底层数据信息，从而不断优化模型中的数据权重值，不断完善用户知识推荐。
一种知识信息个性化推荐系统，包括：
预处理模块，被配置为对数据源的数据进行预处理，获取知识项文本信息和候选项向量；
文本映射模块，被配置为基于知识项目的文本信息，通过单词嵌入方法将文本信息映射成相应的单词向量；
用户信息编码模块，被配置为基于用户历史访问学习平台的信息序列，通过嵌入操作将信息序列映射成相应的向量表示，完成对用户序列信息编码；
知识项目编码模块，被配置为基于获得的单词向量，捕获知识项目中单词的上下文信息向量，基于单词的上下文信息向量，引入多头注意力机制从不同维度和空间来捕捉单词序列的内部结构，学习单词向量内信息之间的依赖关系；
隐含状态向量学习模块，被配置为基于用户序列的信息编码和知识项的表示向量，从两个方向获取每个时间步的隐藏状态来得到历史序列中的信息传递情况，得到隐含状态向量集合；
注意力权重计算模块，被配置为基于得到的隐含状态向量集合，将用户嵌入向量转换为查询向量，引入类别感知的个性化注意力机制计算用户对各类别知识的注意力权重，实现用户表示向量的学习；
知识信息推荐模块，被配置为将候选项向量与用户表示向量进行内积操作，得到综合向量，选取合适的综合向量进行知识项的推荐。
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法中的步骤。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法中的步骤。
与现有技术相比，本发明的有益效果为：
(1)本发明以用户历史访问学习平台的信息数据为基础，考虑了知识项的类别和知识项文本信息对用户知识推荐的影响，采用CNN 学习知识项的上下文信息，并引入多头注意力机制从不同维度和空间来捕捉文本信息的内部结构，学习上下文信息之间的依赖关系，从而提高知识项目表示向量的学习能力；；
(2)本发明考虑到知识项目类别与用户学习行为之间的相互依赖关系，基于知识项表示向量和用户表示向量，引入一个类别感知的个性化注意力网络，计算每个知识项的重要性，量化知识项和用户学习行为之间相关性，并获得用户的综合向量表示，从而提高推荐效果。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为实施例一提供的用户知识推荐方法的整体流程图；
图2为实施例一提供的用户知识推荐的处理流程图；
图3为实施例一提供的注意力机制对用户推荐影响的效果图；
图4为实施例一提供的用户知识水平随时间变化的效果图；
图5为实施例一提供的用户知识推荐实施例流程图；
图6为实施例二提供的用户知识推荐装置结构示意图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明提供一种考虑用户学习水平和知识项类别感知的个性化推荐方法(UserLearni ng Leve l and Category-Aware，ULLCA)。本方法考虑了知识项的类别及用户学习水平的进程等因素。首先，利用双向门口循环单元(Gated Recurrent Unit，GRU)和时间调整函数，通过分析用户的学习轨迹数据来了解用户的学习演化；其次，考虑知识项目类别和知识项文本信息的影响，通过卷积神经网络 (Convo l ut iona l Neura l Networks，CNN)和多头注意力相结合的方式捕捉知识项目中的信息；最后，引入个性化注意力网络来更深入的捕获用户的学习行为和知识项类别之间的关联关系，从而进行更准确的知识推荐。
作为一种典型实施例，实施例一：
如图1和图2所示，本实施例的一种考虑用户学习水平和知识项类别感知的个性化推荐方法，包括：
A.对用户访问网站数据的采集，包含历史数据和当前交互数据，对获取的海量用户访问数据进行数据预处理，包含数据清洗、缺失数据补全、数据定义并存储。
具体地，基于某软件知识学习平台获取用户历史访问数据为应用实例，获取到的用户访问数据主要包括用户I D、用户访问课程I D、用户访问课程的时间T、用户访问进度P、用户访问课程的难易程度 H、用户访问课程所属的类别C等。首先，对获取到的数据进行了处理，将过少和过长的用户数据样本进行了筛选，得到了统一长度的用户访问数据。具体用户数据描述如表1所示。
表1数据集的基本统计信息
记录 数量 筛选后数量
用户记录 114827 109696
课程 837 445
用户 12600 10398
章节 3227 2164
课程类别 26 26
B.基于用户访问软件知识学习平台的历史信息序列，可以分层次的分析用户当前的知识水平以及推测用户当前所需的知识。
令u表示用户，Ru用户历史学习的轨迹：
Ru＝{(K1，P1)，...，(Ki，Pi)，...，(Kn，Pn)} (1)
其中，Ki表示用户在学习轨迹中的第i个知识项，Pi表示的是用户进程。
进一步的，根据知识项的类别得到隐含序列
Figure BDA0003108607140000091
Figure BDA0003108607140000092
其中j，m∈n表示知识项的类别数量，并且Kj，Ki并不一定是轨迹序列中的连续知识项。
最后，通过嵌入矩阵将用户知识项类别
Figure BDA0003108607140000093
转换成空间向量表示：
Figure BDA0003108607140000094
C.在传统的推荐方法中，通常使用用户ID和知识项ID来构建推荐模型。但是，在实际的推荐方案中，发明人发现知识项的上下文信息也可以反映用户的学习偏好。因此，本实施通过学习知识项的上下文信息来增强用户偏好建模。
C1.基于单词向量矩阵
Figure BDA0003108607140000095
将知识项中的一系列上下文单词信息转换为一系列低维密集向量E：
Ki，c＝[w1，c，w2，c，...，wm，c] (4)
E＝[ec1，ec2，…，ecm]＝WeKi，c (5)
其中，Wm，c表示的是知识项中的单词向量。
C2.卷积神经网络(Convolutional Neural Networks，CNN)是一种有效的捕捉局部信息的神经结构。在本实施中，发明人将CNN网络应用于单词向量序列中，通过捕获它们的上下文信息来学习单词在知识项中的表示。即，第i个单词的表示Cci＝[Cc1，Cc2，...，Ccm]为：
Cci＝ReLU(Pc×ec[i-Δ：i+Δ]+bc) (6)
其中，ec[i-Δ：i+Δ]表示的是从位置i-Δ到i+Δ中单词的嵌入向量的拼接，Δ表示的是窗口大小，Pc和bc表示的是CNN过滤器中的参数， ReLU表示的是非线性激活函数。
C3.在步骤C2的基础上，引入多头注意机制来捕获来自不同维度和子空间的信息，以提高知识项的表示能力。
首先，计算自注意力分数Ω：
y＝softmax(W·tanh(C)) (7)
Ω＝CγT (8)
其中，C＝[Cc1，Cc2，...，Ccm]是步骤C2中CNN输出的向量矩阵， W表示参数矩阵。
经过自注意力分数计算，一个单自注意力表示为：
C*＝tanh(Ω) (9)
最后，经过多头注意力计算后，知识项的表示向量rc为：
Figure BDA0003108607140000101
其中，Wf表示的是参数矩阵。
D.对于给定用户user的一个学习序列Ki，i∈{1，2，...，n}，通过一个权重矩阵A∈R|n|×k得到其对应的向量表示e＝[e1，e2，...，en]。
D1.基于获得的用户学习序列信息，利用双向GRU的方法从前后两个方向获取每个时间步的上下文信息；同时考虑到知识项的表示信息对用户学习行为的影响，本实施例将知识项表示向量和用户学习序列的嵌入向量相结合，共同作为双向GRU网络的输入，其中单向GRU 的实现过程如下：
Figure BDA0003108607140000111
Figure BDA0003108607140000112
Figure BDA0003108607140000113
Figure BDA0003108607140000114
其中，ht，τt，πt分别是隐藏层、重置门和更新门的状态向量； Wr，Wπ，Wτ是GRU的参数；
Figure BDA0003108607140000115
表示的是激活函数；
双向GRU由前向GRU和后向GRU组成，双向GRU最后的输出状态如下：
Figure BDA0003108607140000116
其中，
Figure BDA0003108607140000117
表示的是前向GRU输出的隐藏状态；
Figure BDA0003108607140000118
表示的是后向GRU输出的隐藏状态。
D2.在推荐过程中，每个学习序列对当前时刻的贡献是不相同的，因此在步骤D1的基础上加入注意力机制。
首先，将UserID嵌入映射为一个表示向量eu；然后dense层用来学习用户的偏好查询向量qk：
qk＝ReLU(Vk×eu+bk) (16)
其中，Vk和bk都是可学习的参数向量。
注意力层实现如下：
Figure BDA0003108607140000121
Figure BDA0003108607140000122
其中，Wα∈RL×n和b∈RL分别表示对应的权重和基础向量；L 表示的是用户学习轨迹的长度；ut表示的是重要性向量；αt是通过计算后得出的注意力分数。
为了量化用户知识水平的变化，引入了一个时间调整因子Δt来构造一个时间调整函数：
Figure BDA0003108607140000123
Δt＝ti-tj (20)
其中，
Figure BDA0003108607140000124
和
Figure BDA0003108607140000125
均是可学习的参数；Δt表示的是ti时刻和tj时刻之间的时间间隔；并使用sigmoid函数将
Figure BDA0003108607140000126
转换为0-1之间的概率。
最后，注意力层的输出表示为：
Figure BDA0003108607140000127
D3.为了提高用户表示学习，引入个性化注意力网络来学习知识项类别对用户学习偏好的影响，图4为引入注意力后对用户推荐影响的效果图。
首先，使用一个权重矩阵B∈Rg×K将知识项类别映射为一个向量表示
Figure BDA0003108607140000131
此外，使用dense层来学习用户的偏好查询向量qc：
qc＝ReLU(Vs×eu+bs) (22)
其中，Vs和bs均表示可学习的参数。
然后，基于知识项类别的注意力分数计算如下：
vt＝ecategoryσ(Wk×qc+bc) (23)
Figure BDA0003108607140000132
其中，Wk和bk分别表示对应的权重向量和基础向量。
最后，将注意力权重加权总和得到用户表示：
Figure BDA0003108607140000133
E.对于给定的候选知识项Ki，通过项目表示向量和用户表示向量的内积计算候选知识项Ki的分数
Figure BDA0003108607140000134
然后用softmax函数进行归一化：
Figure BDA0003108607140000135
Figure BDA0003108607140000136
其中，es表示的是候选知识项的嵌入向量；rc表示知识项的上下文表示；up的表示向量。
F.采用交叉熵作为损失函数，若y为真实的类别分布，则损失函数定义如下：
Figure BDA0003108607140000137
然后，使用随机梯度下降优化器进行优化。
在本实施中，单词嵌入和类别嵌入的维度分别设置为300和100，并使用预先训练好的单词嵌入词库向量。CNN过滤器的数量设置为 200，窗口大小等于5，多头注意网络有8个头，注意查询的大小被设置为200，批次大小设置为64。为了比较模型的性能，采用了曲线下面积(Area Under Curve，AUC)、命中率(H its Rat i o，HR)和归一化折损累计增益(Norma l i zed Di scounted Cumu l at i ve Gai n，NDCG) 作为评价指标。在优化过程中，使用Adam优化器进行参数优化。
对待测试样本进行用户知识推荐，将推荐结果进行推送，并与实际的用户行为进行结果对比，表2描述了用户推荐中方法的性能比较：
表2性能比较
Figure BDA0003108607140000141
Figure BDA0003108607140000151
基于表2中的结果可得，本实施例所提出的用户推荐模型的性能优于其他方法。
实施例二：
如图4所示，本实施例提供了一种考虑用户学习水平和知识项类别感知的个性化推荐系统，包括：
(1)知识项编码模块，其用于利用单词嵌入方法将文本信息映射成相应的单词向量，然后通过CNN来捕获知识项目中单词的上下文信息向量，并引入多头注意力机制从不同维度和空间来捕捉单词序列的内部结构，学习单词向量内信息之间的依赖关系，以提高知识项表示向量的学习能力；
(2)用户序列信息编码模块，其用于利用用户历史访问学习平台的信息序列，通过嵌入操作，将用户序列信息映射成相应的向量表示，从而实现用户序列信息编码；
(3)隐含状态向量学习模块，其用于基于用户序列信息的编码向量和知识项目的表示向量，通过双向GRU方法来得到历史序列中的信息传递情况，从而学习隐含状态向量集合；
(4)用户表示学习模块，其用于基于得到的隐含状态向量集合，按照原标签进行分类，得到相同类别的知识对应的隐含向量；同时，将用户嵌入向量转换为类别查询向量，并引入类别感知的个性化注意力机制计算用户对各类别知识水平的注意力权重，从而实现用户表示向量的学习；
(5)推荐模型训练模块，其用于利用用户对各类别感知的表示向量和候选知识项集进行内积操作，构建softmax函数；计算softmax 函数输出值的损失函数，采用反向传播算法训练GRU的学习参数，完成模型的训练；
具体地，在所述推荐模型训练模块中，采用交叉熵作为推荐模型的损失函数，实现模型的训练。
(5)反馈更新模块，其用于模型训练完成后，输出实验样本集的推荐结果，与实际的用户行为进行对比，反馈更新底层数据信息，不断优化数据的权重值，从而不断完善用户知识推荐。
在另一实施例中，一种考虑用户学习水平和知识项类别感知的个性化推荐系统，其特征在于，还包括：
预处理模块，其用于对海量用户访问数据进行数据预处理，包含数据清洗、缺失数据补全、数据定义以及规范化处理。
实施例三：
提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如图1所示或实施例一的所提推荐方法中的步骤。
实施例四：
提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如图1所示或实施例一的推荐方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种知识信息个性化推荐方法，其特征是：包括以下步骤：
对数据源的数据进行预处理，获取知识项文本信息和候选项向量；
基于知识项目的文本信息，通过单词嵌入方法将文本信息映射成相应的单词向量；
基于用户历史访问学习平台的信息序列，通过嵌入操作将信息序列映射成相应的向量表示，完成对用户序列信息编码；
基于获得的单词向量，捕获知识项目中单词的上下文信息向量，基于单词的上下文信息向量，引入多头注意力机制从不同维度和空间来捕捉单词序列的内部结构，学习单词向量内信息之间的依赖关系；
基于用户序列的信息编码和知识项的表示向量，从两个方向获取每个时间步的隐藏状态来得到历史序列中的信息传递情况，得到隐含状态向量集合；
基于得到的隐含状态向量集合，将用户嵌入向量转换为查询向量，引入类别感知的个性化注意力机制计算用户对各类别知识的注意力权重，实现用户表示向量的学习；
将候选项向量与用户表示向量进行内积操作，得到综合向量，选取合适的综合向量进行知识项的推荐。
2.如权利要求1所述的一种知识信息个性化推荐方法，其特征是：对数据源的数据进行预处理的具体过程包括：对数据源的数据进行数据预处理，包含数据清洗、缺失数据补全、数据定义以及规范化处理。
3.如权利要求1所述的一种知识信息个性化推荐方法，其特征是：捕获知识项目中单词的上下文信息向量，引入多头注意力机制从不同维度和空间来捕捉单词序列的内部结构的具体过程包括：
基于单词向量矩阵，将知识项中的一系列上下文单词信息转换为一系列低维密集向量；
利用卷积神经网络捕获上下文信息来学习单词在知识项中的表示，引入多头注意机制来捕获来自不同维度和子空间的信息。
4.如权利要求1所述的一种知识信息个性化推荐方法，其特征是：完成对用户序列信息编码的具体过程包括：基于用户访问历史信息序列，表示用户历史学习的轨迹，基于所述轨迹，根据知识项的类别得到隐含序列，通过嵌入矩阵将用户知识项类别转换成空间向量表示。
5.如权利要求1所述的一种知识信息个性化推荐方法，其特征是：从两个方向获取每个时间步的隐藏状态来得到历史序列中的信息传递情况的具体过程包括：基于获得的用户学习序列信息，利用双向GRU的方法从前后两个方向获取每个时间步的上下文信息，同时考虑到知识项的表示信息对用户学习行为的影响。
6.如权利要求1所述的一种知识信息个性化推荐方法，其特征是：引入类别感知的个性化注意力机制计算用户对各类别知识的注意力权重的具体过程包括：
加入注意力机制，学习用户的偏好查询向量；
引入个性化注意力网络来学习知识项类别对用户学习偏好的影响。
7.如权利要求1所述的一种知识信息个性化推荐方法，其特征是：选取合适的综合向量进行知识项的推荐的过程还包括训练和优化步骤，具体包括：
构建softmax函数；计算softmax函数输出值的损失函数，采用反向传播算法训练学习参数，完成模型的训练；
模型训练完成后，输出实验样本集的推荐结果，与实际的用户行为进行对比，基于对比结果反馈调整个性化注意力机制中各个向量之间的相关性，反馈更新底层数据信息，从而不断优化模型中的数据权重值，不断完善用户知识推荐。
8.一种知识信息个性化推荐系统，其特征是：包括：
预处理模块，被配置为对数据源的数据进行预处理，获取知识项文本信息和候选项向量；
文本映射模块，被配置为基于知识项目的文本信息，通过单词嵌入方法将文本信息映射成相应的单词向量；
用户信息编码模块，被配置为基于用户历史访问学习平台的信息序列，通过嵌入操作将信息序列映射成相应的向量表示，完成对用户序列信息编码；
知识项目编码模块，被配置为基于获得的单词向量，捕获知识项目中单词的上下文信息向量，基于单词的上下文信息向量，引入多头注意力机制从不同维度和空间来捕捉单词序列的内部结构，学习单词向量内信息之间的依赖关系；
隐含状态向量学习模块，被配置为基于用户序列的信息编码和知识项的表示向量，从两个方向获取每个时间步的隐藏状态来得到历史序列中的信息传递情况，得到隐含状态向量集合；
注意力权重计算模块，被配置为基于得到的隐含状态向量集合，将用户嵌入向量转换为查询向量，引入类别感知的个性化注意力机制计算用户对各类别知识的注意力权重，实现用户表示向量的学习；
知识信息推荐模块，被配置为将候选项向量与用户表示向量进行内积操作，得到综合向量，选取合适的综合向量进行知识项的推荐。
9.一种电子设备，其特征是：包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7中任一项所述的方法中的步骤。
10.一种计算机可读存储介质，其特征是：用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7中任一项所述的方法中的步骤。
CN202110644567.2A 2021-06-09 2021-06-09 一种知识信息个性化推荐方法及系统 Active CN113449182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110644567.2A CN113449182B (zh) 2021-06-09 2021-06-09 一种知识信息个性化推荐方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110644567.2A CN113449182B (zh) 2021-06-09 2021-06-09 一种知识信息个性化推荐方法及系统

Publications (2)

Publication Number Publication Date
CN113449182A true CN113449182A (zh) 2021-09-28
CN113449182B CN113449182B (zh) 2023-06-06

Family

ID=77811148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110644567.2A Active CN113449182B (zh) 2021-06-09 2021-06-09 一种知识信息个性化推荐方法及系统

Country Status (1)

Country Link
CN (1) CN113449182B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118531A (zh) * 2021-11-05 2022-03-01 国网山东省电力公司信息通信公司 一种基于工单文本信息感知的业务预测方法及系统
CN116453385A (zh) * 2023-03-16 2023-07-18 中山市加乐美科技发展有限公司 一种跨时空盘学机

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309927A (zh) * 2020-02-17 2020-06-19 山东大学 一种基于知识图谱挖掘的个性化学习路径推荐方法及系统
CN111797321A (zh) * 2020-07-07 2020-10-20 山东大学 一种面向不同场景的个性化知识推荐方法及系统
US20210027018A1 (en) * 2019-07-22 2021-01-28 Advanced New Technologies Co., Ltd. Generating recommendation information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210027018A1 (en) * 2019-07-22 2021-01-28 Advanced New Technologies Co., Ltd. Generating recommendation information
CN111309927A (zh) * 2020-02-17 2020-06-19 山东大学 一种基于知识图谱挖掘的个性化学习路径推荐方法及系统
CN111797321A (zh) * 2020-07-07 2020-10-20 山东大学 一种面向不同场景的个性化知识推荐方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LI LIN,SHI YULIANG, ET.AL.: "A Co-Attention Model with Sequential Behaviors and Side Information for", 《2020 IEEE INTERNATIONAL CONFERENCE ON WEB SERVICES (ICWS)》 *
李琳: "面向软件知识学习平台的个性化推荐研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114118531A (zh) * 2021-11-05 2022-03-01 国网山东省电力公司信息通信公司 一种基于工单文本信息感知的业务预测方法及系统
CN116453385A (zh) * 2023-03-16 2023-07-18 中山市加乐美科技发展有限公司 一种跨时空盘学机
CN116453385B (zh) * 2023-03-16 2023-11-24 中山市加乐美科技发展有限公司 一种跨时空盘学机

Also Published As

Publication number Publication date
CN113449182B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
CN109299396B (zh) 融合注意力模型的卷积神经网络协同过滤推荐方法及系统
CN111460249B (zh) 一种基于学习者偏好建模的个性化学习资源推荐方法
CN111797321B (zh) 一种面向不同场景的个性化知识推荐方法及系统
CN109741112B (zh) 一种基于移动大数据的用户购买意向预测方法
CN111242310B (zh) 特征有效性评估方法、装置、电子设备及存储介质
WO2019029046A1 (zh) 一种视频推荐方法及系统
CN111881342A (zh) 一种基于图孪生网络的推荐方法
CN111241394B (zh) 数据处理方法、装置、计算机可读存储介质及电子设备
US20200134471A1 (en) Method for Generating Neural Network and Electronic Device
CN110619540A (zh) 一种神经网络的点击流预估方法
CN115186097A (zh) 一种基于知识图谱和强化学习的交互式推荐方法
CN112232087A (zh) 一种基于Transformer的多粒度注意力模型的特定方面情感分析方法
CN113449182A (zh) 一种知识信息个性化推荐方法及系统
CN114780831A (zh) 基于Transformer的序列推荐方法及系统
CN114186084A (zh) 在线多模态哈希检索方法、系统、存储介质及设备
CN114386513A (zh) 一种集成评论与评分的交互式评分预测方法及系统
CN117408735A (zh) 一种基于物联网的客户管理方法及系统
CN112949599B (zh) 基于大数据的候选内容推送方法
CN113673773A (zh) 一种融合知识背景和学习时间预测的学习路径推荐方法
CN110362774B (zh) 点击率预估模型的建立方法及系统
CN114254199A (zh) 基于二分图投影和node2vec的课程推荐方法
CN113641907A (zh) 一种基于进化算法的超参数自适应深度推荐方法及装置
CN111612572A (zh) 一种基于推荐系统的自适应局部低秩矩阵近似建模方法
CN113688315B (zh) 一种基于无信息损失图编码的序列推荐方法
CN114117251B (zh) 一种智慧文博下融合多因素的矩阵分解个性化推荐方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant