CN112732932A - 一种基于知识图谱嵌入的用户实体群组推荐方法 - Google Patents
一种基于知识图谱嵌入的用户实体群组推荐方法 Download PDFInfo
- Publication number
- CN112732932A CN112732932A CN202110024581.2A CN202110024581A CN112732932A CN 112732932 A CN112732932 A CN 112732932A CN 202110024581 A CN202110024581 A CN 202110024581A CN 112732932 A CN112732932 A CN 112732932A
- Authority
- CN
- China
- Prior art keywords
- user
- user entity
- vector
- entities
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于知识图谱嵌入的用户实体群组推荐方法,将知识图谱中的用户实体进行画像,根据用户实体画像特征给目标用户实体返回关联度top‑K的用户实体群组。本发明可以更加全面地利用知识图谱的结构信息和语义信息刻画动态用户实体画像,增强用户实体群组推荐方法的精度,并为推荐结果提供理由,使得用户操作变得简单高效,并且也可以对知识图谱中的用户实体构建标签与提供联系。
Description
技术领域
本发明公开了一种基于知识图谱嵌入的用户实体群组推荐方法,涉及互联网信息技术领域。
背景技术
随着信息技术和互联网的发展,人们逐渐从信息匮乏进入信息过载时代,为了解决这一问题,推荐系统(Recommendation System)应运而生。推荐系统的任务就是联系用户和信息,帮助用户发现对自己有价值的信息,同时让信息能够展现在对它感兴趣的用户面前,进而实现信息生产者和信息消费者的双赢。
用户群组推荐算法旨在刻画用户画像,从而寻找一组对物品感兴趣的用户。传统的方法主要利用显式/隐式反馈的交互数据作为输入,提取用户和物品的高低阶交互特征,从而进行推荐。目前常用的方法是此基础上引入辅助信息(Side Information)丰富用户和物品的画像,如知识图谱(Knowledge Graph)中大规模的节点(用户节点或物品节点)信息以及节点自身的属性信息。但是还存在以下三个问题:
1)无法获取用户实体之间的交互信息,未充分利用知识图谱的语义和结构信息;
2)容易忽略用户和物品画像的动态变化,缺乏一种有效的模型更新策略;
3)都是基于用户和物品之间的推荐,没有一种利用图谱(节点和关系)内部信息,实现用户实体群组推荐的方法。
目前用户群组推荐算法主要存在无法获取用户实体间交互信息、容易忽略用户和物品画像的动态变化、都是基于用户和物品之间的推荐等问题。
发明内容
本发明所要解决的技术问题是:针对现有技术的缺陷,提供一种基于知识图谱嵌入的用户实体群组推荐方法。本发明主要利用知识图谱的结构与语义信息刻画动态用户实体画像,实现用户实体群组推荐。具体而言,该任务需要对用户实体画像,并且从知识图谱数据中获取用户实体之间的交互信息(节点之间的关系),为目标用户推荐用户实体群组。
本发明为解决上述技术问题采用以下技术方案:
一种基于知识图谱嵌入的用户实体群组推荐方法,所述方法包括:
步骤一、根据三元组数据构建用户的知识图谱,用户的知识图谱包括当前用户的所有信息,由用户实体和关系组成;
步骤二、使用知识表示模型Ripple Net和预训练语言模型BERT分别将用户实体和关系进行向量化表示;
步骤三、使用基于内容的召回算法获取用户实体群组的候选集;
步骤四、使用基于attention的LSTM模型建模用户实体的时序特征;
步骤五、将嵌入向量输入到Wide&Deep模型中,获取用户实体间的高低阶交互,对用户实体进行画像;所述嵌入向量包括候选集中的用户实体时序特征或用户实体和关系的向量化表示;
步骤六、计算用户实体间的关联度,输出目标用户实体关联度top-K的用户实体群组。
作为本发明的进一步优选方案,所述知识图谱,其形式化定义为:
作为本发明的进一步优选方案,步骤二中,所述将用户实体进行向量化表示具体包括:
它的k跳三元组集合表示为:
作为本发明的进一步优选方案,步骤二中,所述将用户关系进行向量化表示具体包括:
使用词向量模型BERT初始化图谱中所有关系,表示为rj∈ER,j=1,2,...,Q。
作为本发明的进一步优选方案,所述步骤四具体包括:
其中,h*表示LSTM每个单元的隐状态;
在注意力机制下输出向量是各个元素按其重要程度加权求和得到,如公式所示:
aij看做是一个概率,反映了元素hj对Ci的重要性,使用softmax函数来表示,如公式所示:
其中,eij反映了带编码的元素和其他元素之间的匹配度,当匹配度越高时,说明该元素对其的影响越大,则aij的值也就越大;
通过基于attention的LSTM模型得到用户实体的特征嵌入向量表示fui∈Fu。
作为本发明的进一步优选方案,步骤五中,所述对用户实体进行画像具体包括:
其中,Wide&Deep为Wide&Deep模型,pi是用户实体ui和用户实体uj的关联度。
作为本发明的进一步优选方案,步骤六中,将用户实体的关联度得分结果矩阵PScore保存,以供外部使用,形式如下:
PScore=pij,i=1,2,...,P;j=1,2,...,K;
作为本发明的进一步优选方案,所述方法还包括更新推荐模型,模型更新的触发需要满足以下两个条件之一:
条件一,当前知识图谱的内容由于外部新增数据改变时,为了刻画这种改变,将用户实体和关系的向量维度增加2c维,其中c=1,2,...;
条件二,当使用者人工构建目标用户实体与其他实体的联系时,则需要改变目标用户实体的特征向量;
改变的方法是在目标用户实体的特征向量基础上增加2q维,其中q=1,2,...;
经过模型更新后的用户实体向量、关系向量以及用户实体特征向量再重新输入到Wide&Deep模型中,从而得到模型更新后的每个用户实体的关联度得分。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:本发明相比之前的基于知识图谱的推荐算法的优势有以下三点:
1)本发明利用用户实体及实体间的交互信息,深层次挖掘用户兴趣,同时采用联合训练方式,通过神经网络更新用户实体画像,从而提高算法精度。
2)本发明引用了一种新的模型更新策略用于刻画动态用户实体画像。一方面,将用户输入数据中涉及用户实体属性和关系的信息以向量形式拼接到当前用户实体特征表示。另一方面,将新增的知识图谱数据以向量形式拼接到用户实体和关系向量表示。
3)基于知识图谱推荐的传统算法将知识图谱作为辅助信息,丰富用户/物品画像,从而推荐用户感兴趣的物品。与传统方法不同,本发明基于用户实体画像及用户间交互信息,实现用户实体群组推荐,并提供关联度及推荐理由。
综上,本发明可以更加全面地利用知识图谱的结构信息和语义信息刻画动态用户实体画像,增强用户实体群组推荐方法的精度,并为推荐结果提供理由,使得用户操作变得简单高效,并且也可以对知识图谱中的用户实体构建标签与提供联系。
附图说明
图1是本发明的整体流程示意图。
图2是本发明中,知识图谱形式化定义示意图。
图3是本发明中,将知识图谱的实体和关系进行向量化表示示意图。
图5是本发明中,计算候选用户实体的关联度得分示意图。
具体实施方式
下面详细描述本发明的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
下面结合附图对本发明的技术方案做进一步的详细说明:
本发明针对知识图谱中的用户实体群组推荐问题,提出了一种基于知识图谱嵌入的用户实体群组推荐方法,将知识图谱中的用户实体进行画像,根据用户实体画像特征给目标用户实体返回关联度top-K的用户实体群组。
具体而言,首先根据三元组数据构建用户的知识图谱,用户的知识图谱包括当前用户的所有信息,由用户实体和关系组成。
然后使用知识表示模型Ripple Net和预训练语言模型BERT分别将用户实体和关系进行向量化表示。
然后使用基于内容的召回算法获取用户实体群组的候选集。
然后使用基于attention的LSTM模型建模用户实体的时序特征。
然后将候选集中的用户实体时序特征、用户实体和关系的向量化表示等作为嵌入向量输入到Wide&Deep模型中,获取用户实体间的高低阶交互,对用户实体进行画像。
最后计算用户实体间的关联度,输出目标用户实体关联度top-K的用户实体群组。
本发明所公开的一种基于知识图谱嵌入的用户实体群组推荐方法,所述方法对应的系统架构包括输入层、图谱向量化表示层、候选集产生层、特征抽取层、用户实体画像层、输出层以及模型更新模块。其整体流程如图1所示。
一、输入层
本发明基于知识图谱数据实现用户实体群组推荐任务。知识图谱形式化定义如下。知识图谱由形如(h,r,t)的三元组组成,其中h∈N,r∈R,t∈N分别表示头实体、关系或属性和尾实体,实体数量为P′,用户实体数量为P,关系数量为Q,如图2所示。
二、图谱向量化表示层
所述图谱向量化表示层将知识图谱的实体和关系进行向量化表示。具体实现步骤分为以下两步。
第一步,定义用户实体向量表示形式。
知识图谱中,一共有P个用户节点,将其表示为用户节点集合将知识图谱中的用户实体作为种子。则对于每个种子,通过Ripple Net模型都产生自己的向量表示。将RippleNet模型的思想形式化表示如下,如图3所示,对于用户节点它的k跳内用户实体集合表示为:
它的k跳ripple集合(三元组集合)表示为:
第二步,定义关系向量表示形式。
使用词向量模型BERT初始化图谱中所有关系,表示为rj∈ER,j=1,2,...,Q。
综上,将知识图谱中的用户实体和关系完成了向量化表示。
三、候选集产生层
由于知识图谱中的用户实体数量巨大,而与目标用户实体有关联的用户实体是所有用户实体集合的子集。所以采用基于内容的召回算法产生用户实体候选集。基于内容的召回算法主要基于用户实体属性以及路径长度。通过候选集产生层获得用户候选集,其中用户实体表示
四、特征抽取层
其中,h*表示LSTM每个单元的隐状态。
在注意力机制下输出向量是各个元素按其重要程度加权求和得到,如公式所示:
其中,参数i表示时刻,j表示序列中的第j个元素,Tx表示序列的长度,f(·)表示对元素每一维的编码。aij可以看做是一个概率,反映了元素hj对Ci的重要性,可以使用softmax函数来表示,如公式所示:
这里eij正是反映了带编码的元素和其他元素之间的匹配度,当匹配度越高时,说明该元素对其的影响越大,则aij的值也就越大。
通过基于attention的LSTM模型就可以得到用户实体的特征嵌入向量表示fui∈Fu。
五、用户实体画像层
其中,Wide&Deep为Wide&Deep模型,pi是用户实体ui和用户实体uj的关联度。
六、输出层
将用户实体的关联度得分结果矩阵PScore保存,以供外部使用。形式如下:
PScore=pij,i=1,2,...,P;j=1,2,...,K;
七、模型更新模块
知识图谱的大小会随着数据量而改变,知识图谱中的用户实体画像也会随之改变,这就需要更新推荐模型,以适应用户实体画像的改变。
模型更新的触发需要满足以下两个条件之一:
条件一,当前知识图谱的内容由于外部新增数据改变时,用户实体的属性和关系变得更加丰富,为了刻画这种改变,我们将用户实体和关系的向量维度增加2c维,其中c=1,2,...。
条件二,当使用者人工构建目标用户实体与其他实体的联系时,则需要改变目标用户实体的特征向量。改变的策略是在目标用户实体的特征向量基础上增加2q维,其中q=1,2,...。
经过模型更新后的用户实体向量、关系向量以及用户实体特征向量再重新输入到Wide&Deep模型中,从而得到模型更新后的每个用户实体的关联度得分。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质,在本发明的精神和原则之内,对以上实施例所作的任何简单的修改、等同替换与改进等,均仍属于本发明技术方案的保护范围之内。
Claims (10)
1.一种基于知识图谱嵌入的用户实体群组推荐方法,其特征在于,所述方法包括:
步骤一、根据三元组数据构建用户的知识图谱,用户的知识图谱包括当前用户的所有信息,由用户实体和关系组成;
步骤二、使用知识表示模型Ripple Net和预训练语言模型BERT分别将用户实体和关系进行向量化表示;
步骤三、使用基于内容的召回算法获取用户实体群组的候选集;
步骤四、使用基于attention的LSTM模型建模用户实体的时序特征;
步骤五、将嵌入向量输入到Wide&Deep模型中,获取用户实体间的高低阶交互,对用户实体进行画像;
步骤六、计算用户实体间的关联度,输出目标用户实体关联度top-K的用户实体群组。
2.如权利要求1所述的一种基于知识图谱嵌入的用户实体群组推荐方法,其特征在于:步骤五中,所述嵌入向量包括候选集中的用户实体时序特征或用户实体和关系的向量化表示。
5.如权利要求1所述的一种基于知识图谱嵌入的用户实体群组推荐方法,其特征在于,步骤二中,所述将用户关系进行向量化表示具体包括:
使用词向量模型BERT初始化图谱中所有关系,表示为rj∈ER,j=1,2,...,Q。
7.如权利要求1所述的一种基于知识图谱嵌入的用户实体群组推荐方法,其特征在于,所述步骤四具体包括:
其中,h*表示LSTM每个单元的隐状态;
在注意力机制下输出向量是各个元素按其重要程度加权求和得到,如公式所示:
aij看做是一个概率,反映了元素hj对Ci的重要性,使用softmax函数来表示,如公式所示:
其中,eij反映了带编码的元素和其他元素之间的匹配度,当匹配度越高时,说明该元素对其的影响越大,则aij的值也就越大;
通过基于attention的LSTM模型得到用户实体的特征嵌入向量表示fui∈Fu。
10.如权利要求1所述的一种基于知识图谱嵌入的用户实体群组推荐方法,其特征在于:所述方法还包括更新推荐模型,模型更新的触发需要满足以下两个条件之一:
条件一,当前知识图谱的内容由于外部新增数据改变时,为了刻画这种改变,将用户实体和关系的向量维度增加2c维,其中c=1,2,...;
条件二,当使用者人工构建目标用户实体与其他实体的联系时,则需要改变目标用户实体的特征向量;
改变的方法是在目标用户实体的特征向量基础上增加2q维,其中q=1,2,...;
经过模型更新后的用户实体向量、关系向量以及用户实体特征向量再重新输入到Wide&Deep模型中,从而得到模型更新后的每个用户实体的关联度得分。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110024581.2A CN112732932A (zh) | 2021-01-08 | 2021-01-08 | 一种基于知识图谱嵌入的用户实体群组推荐方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110024581.2A CN112732932A (zh) | 2021-01-08 | 2021-01-08 | 一种基于知识图谱嵌入的用户实体群组推荐方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112732932A true CN112732932A (zh) | 2021-04-30 |
Family
ID=75591411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110024581.2A Pending CN112732932A (zh) | 2021-01-08 | 2021-01-08 | 一种基于知识图谱嵌入的用户实体群组推荐方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112732932A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113190593A (zh) * | 2021-05-12 | 2021-07-30 | 《中国学术期刊(光盘版)》电子杂志社有限公司 | 一种基于数字人文知识图谱的搜索推荐方法 |
CN115408616A (zh) * | 2022-09-14 | 2022-11-29 | 何日妹 | 针对云服务推送的大数据分析方法及云服务推送系统 |
CN116257659A (zh) * | 2023-03-31 | 2023-06-13 | 华中师范大学 | 一种智能导学系统的动态图嵌入方法及系统 |
-
2021
- 2021-01-08 CN CN202110024581.2A patent/CN112732932A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113190593A (zh) * | 2021-05-12 | 2021-07-30 | 《中国学术期刊(光盘版)》电子杂志社有限公司 | 一种基于数字人文知识图谱的搜索推荐方法 |
CN115408616A (zh) * | 2022-09-14 | 2022-11-29 | 何日妹 | 针对云服务推送的大数据分析方法及云服务推送系统 |
CN116257659A (zh) * | 2023-03-31 | 2023-06-13 | 华中师范大学 | 一种智能导学系统的动态图嵌入方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7468929B2 (ja) | 地理知識取得方法 | |
CN112732932A (zh) | 一种基于知识图谱嵌入的用户实体群组推荐方法 | |
WO2021169367A1 (zh) | 一种基于多层注意力的推荐方法 | |
CN111488734A (zh) | 基于全局交互和句法依赖的情感特征表示学习系统及方法 | |
CN107766555B (zh) | 基于软约束无监督型跨模态哈希的图像检索方法 | |
CN110222199A (zh) | 一种基于本体和多种神经网络集成的人物关系图谱构建方法 | |
Ma et al. | Adaptive-step graph meta-learner for few-shot graph classification | |
CN108763376B (zh) | 融合关系路径、类型、实体描述信息的知识表示学习方法 | |
CN109284406B (zh) | 基于差异循环神经网络的意图识别方法 | |
CN111737535B (zh) | 一种基于元结构和图神经网络的网络表征学习方法 | |
CN113191357B (zh) | 基于图注意力网络的多层次图像-文本匹配方法 | |
CN112733027B (zh) | 一种基于局部和全局表示模型联合学习的混合推荐方法 | |
CN111522965A (zh) | 一种基于迁移学习的实体关系抽取的问答方法及系统 | |
CN111881363A (zh) | 一种基于图交互网络的推荐方法 | |
CN114265986B (zh) | 一种融合知识图谱结构与路径语义的信息推送方法和系统 | |
CN108399268B (zh) | 一种基于博弈论的增量式异构图聚类方法 | |
CN112988917A (zh) | 一种基于多种实体上下文的实体对齐方法 | |
CN110175286A (zh) | 结合成对优化和矩阵分解的产品推荐方法及系统 | |
Taheriyan et al. | A scalable approach to learn semantic models of structured sources | |
Moyano | Learning network representations | |
CN114942998B (zh) | 融合多源数据的知识图谱邻域结构稀疏的实体对齐方法 | |
Li et al. | Sentiment analysis of Weibo comments based on graph neural network | |
Liang et al. | Cross-media semantic correlation learning based on deep hash network and semantic expansion for social network cross-media search | |
CN112905906B (zh) | 一种融合局部协同与特征交叉的推荐方法及系统 | |
CN112883289B (zh) | 一种基于社交信任和标签语义相似度的pmf推荐方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |