CN116157791A - 一种文本推荐方法、模型训练方法、装置及可读存储介质 - Google Patents

一种文本推荐方法、模型训练方法、装置及可读存储介质 Download PDF

Info

Publication number
CN116157791A
CN116157791A CN202180002661.6A CN202180002661A CN116157791A CN 116157791 A CN116157791 A CN 116157791A CN 202180002661 A CN202180002661 A CN 202180002661A CN 116157791 A CN116157791 A CN 116157791A
Authority
CN
China
Prior art keywords
text
user
historical
entity
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180002661.6A
Other languages
English (en)
Inventor
欧歌
姜博然
冀潮
魏书琪
沈鸿翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Technology Development Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Technology Development Co Ltd filed Critical BOE Technology Group Co Ltd
Publication of CN116157791A publication Critical patent/CN116157791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开提供了一种文本推荐方法、模型训练方法、装置及可读存储介质，文本推荐方法包括：获取用户输入的文本检索信息；在确定存在所述用户的历史文本检索信息时，确定采用所述文本检索信息检索得到的文本集合中每个文本的文本信息；基于自注意力模型对每个所述文本的文本信息做嵌入表示，确定每个所述文本的文本嵌入向量；将每个所述文本的文本嵌入向量输入训练完成的图卷积网络模型中，得到针对所述用户对所述文本集合中每个所述文本的交互概率，所述训练完成的图卷积网络模型是基于预先构建的文本知识图谱和针对所述用户的所述历史文本检索信息所构建的；从所述文本集合中筛选出符合预设交互概率的目标文本，并将所述目标文本推荐给所述用户。

Description

一种文本推荐方法、模型训练方法、装置及可读存储介质 技术领域
本公开涉及计算机技术领域，特别涉及一种文本推荐方法、模型训练方法、装置及可读存储介质。
背景技术
随着互联网技术的快速发展，人们足不出户就可以轻松获得诸如新闻、商品等大量的信息。为了有效提升用户使用体验，往往通过推荐系统从海量的信息中筛选出用户感兴趣的领域及内容，来对用户进行针对性推荐。
发明内容
本公开提供了一种文本推荐方法、模型训练方法、装置及可读存储介质，用于提高文本推荐结果的精确度。
第一方面，本公开实施例提供了一种文本推荐方法，其中，包括：
获取用户输入的文本检索信息；
在确定存在所述用户的历史文本检索信息时，确定采用所述文本检索信息检索得到的文本集合中每个文本的文本信息，所述文本集合包括至少一个文本；
基于自注意力模型对每个所述文本的文本信息做嵌入表示，确定每个所述文本的文本嵌入向量；
将每个所述文本的文本嵌入向量输入训练完成的图卷积网络模型中，得到针对所述用户对所述文本集合中每个所述文本的交互概率，所述训练完成的图卷积网络模型是基于预先构建的文本知识图谱和针对所述用户的所述历史文本检索信息所构建的；
从所述文本集合中筛选出符合预设交互概率的目标文本，并将所述目标文本推荐给所述用户。
在一种可能的实现方式中，在所述确定采用所述文本检索信息检索得到的文本集合中每个文本的文本信息之后，所述方法还包括：
从每个所述文本的文本信息中抽取概述信息，所述概述信息表征所述文本的概括表达；
其中，所述基于自注意力模型对每个所述文本的文本信息做嵌入表示，确定每个所述文本的文本嵌入向量，包括：
基于所述自注意力模型对每个所述文本的概述信息做嵌入表示，确定每个所述文本的概述嵌入向量，将所述概述嵌入向量作为所述文本的所述文本嵌入向量。
在一种可能的实现方式中，在所述基于自注意力模型对每个所述文本的文本信息做嵌入表示，确定每个所述文本的文本嵌入向量之前，所述方法还包括：
对每个所述文本的文本信息进行数据清洗，去除停用词，获得清洗后的数据；
根据每个所述文本信息的清洗后的数据，确定对应的词嵌入向量。
在一种可能的实现方式中，所述根据每个所述文本信息的清洗后的数据，确定对应的词嵌入向量，包括：
对每个所述文本信息的清洗后的数据按字分词，并根据所述自注意力模型的字典信息，将所述清洗后的数据中的各个文字转换成相应的文字标识号；
将所述文字标识号作为所述文本信息的词嵌入向量。
在一种可能的实现方式中，在所述将所述清洗后的数据中的各个文字转换成相应的文字标识号之后，所述方法还包括：
确定每个所述文本信息对应的标识号序列以及相应的序列长度；
对每个所述文本信息对应的清洗后的数据进行处理，以将相应的标识号序列调整为预设序列长度。
在一种可能的实现方式中，在所述获取用户输入的文本检索信息之前，所述方法还包括：
根据预设文本资源库，构建所述文本知识图谱，其中，所述文本知识图谱包括格式为头实体-关系-尾实体的多个三元组，所述多个三元组包括头实体和尾实体在内的实体集合和表征头实体和尾实体之间关系的关系集合。
在一种可能的实现方式中，在所述获取用户输入的文本检索信息之前，所述方法还包括：
获取所述用户的所述历史文本检索信息；
根据所述历史文本检索信息，确定所述用户检索的历史文本集合，其中，所述历史文本集合包括至少一个历史文本；
基于所述自注意力模型，确定每个所述历史文本对应的文本嵌入向量；
将所述文本知识图谱和每个所述历史文本对应的文本嵌入向量输入待训练的图卷积网络模型，对所述待训练的图卷积网络模型进行训练，获得训练完成的图卷积网络模型。
在一种可能的实现方式中，在所述根据所述历史文本检索信息，确定所述用户检索的历史文本集合之后，所述方法还包括：
按照用户标识号-文本标识号-交互关系的预设格式，建立用于表征所述用户与各个所述历史文本之间的交互情况的交互三元组；
根据所述交互三元组和所述文本知识图谱，确定各个所述历史文本的文本信息。
在一种可能的实现方式中，所述根据所述交互三元组和所述文本知识图谱，确定各个所述历史文本的文本信息，包括：
从所述交互三元组中确定各个所述历史文本的文本标识号；
根据各个所述历史文本的文本标识号，从所述文本知识图谱中确定所述历史文本的文本信息。
在一种可能的实现方式中，所述将每个所述文本的文本嵌入向量输入训练完成的图卷积网络模型中，得到针对所述用户对所述文本集合中每个所述文本的交互概率，包括：
根据所述文本知识图谱，确定所述文本集合中各个所述文本包括的实体 集合和关系集合，所述实体集合包括多个实体，所述关系集合包括多个关系；
根据所述实体集合中目标实体的邻居数量，确定所述关系集合中目标关系对所述用户的重要性，其中，所述邻居数量越大，表明与所述目标实体相连的邻居的数量越多；
根据所述重要性，确定所述目标实体的邻居表示向量；
将所述目标实体的初始表示向量和所述邻居表示向量进行聚合，确定所述目标实体的一阶实体表示，其中，若所述目标实体为文本实体，则将所述文本的文本嵌入向量作为所述初始表示向量；
经过所述训练完成的图卷积网络模型的h层之后，得到所述目标实体的最终表示向量，h为正整数；
将所述最终表示向量与表征所述用户的用户表示向量输入预测函数，得到所述用户对相应所述文本的交互概率。
在一种可能的实现方式中，采用以下公式确定所述关系集合中目标关系对所述用户的重要性：
Figure PCTCN2021119434-APPB-000001
其中，u表示所述用户的用户表示向量，r表示所述目标关系的向量表示，α表示所述目标实体的邻居的邻居数量。
在一种可能的实现方式中，采用以下公式确定所述目标实体的一阶实体表示：
Figure PCTCN2021119434-APPB-000002
其中，σ表示激活函数，w和b表示可训练的参数，v表示所述目标实体的所述初始表示向量，
Figure PCTCN2021119434-APPB-000003
表示所述目标实体的所述邻居表示向量。
第二方面，本公开实施例提供了一种模型训练方法，其中，包括：
获取用户的历史文本检索信息；
根据所述历史文本检索信息，确定所述用户检索的历史文本集合，其中，所述历史文本集合包括至少一个历史文本；
基于自注意力模型，确定每个所述历史文本对应的文本嵌入向量；
将预先构建的文本知识图谱和每个所述历史文本对应的文本嵌入向量输入待训练的图卷积网络模型，对所述待训练的图卷积网络模型进行训练，获得训练完成的图卷积网络模型。
在一种可能的实现方式中，在所述根据所述历史文本检索信息，确定所述用户检索的历史文本集合之后，所述方法还包括：
按照用户标识号-文本标识号-交互关系的预设格式，建立用于表征所述用户与各个所述历史文本之间的交互情况的交互三元组；
根据所述交互三元组和所述文本知识图谱，确定各个所述历史文本的文本信息。
在一种可能的实现方式中，所述将预先构建的文本知识图谱和每个所述历史文本对应的文本嵌入向量输入待训练的图卷积网络模型，对所述待训练的图卷积网络模型进行训练，获得训练完成的图卷积网络模型，包括：
根据所述文本知识图谱，确定所述交互三元组中各个所述历史文本包括的实体集合和关系集合，所述实体集合包括多个实体，所述关系集合包括多个关系；
根据所述实体集合中目标实体的邻居的邻居数量，确定所述关系集合中目标关系对所述用户的重要性，其中，所述邻居数量越大，表明与所述目标实体相连的邻居的数量越多；
根据所述重要性，确定所述目标实体的邻居表示向量；
将所述目标实体的初始表示向量和所述邻居表示向量进行聚合，确定所述目标实体的一阶实体表示，其中，若所述目标实体为文本实体，则所述历史文本的文本嵌入向量作为所述初始表示向量；
经过所述待训练的图卷积网络模型的h层之后，得到所述目标实体的最终表示向量，h为正整数；
将所述最终表示向量与表征所述用户的用户表示向量输入预测函数，预测所述用户对相应历史文本的预测交互概率；
根据所述预测交互概率和所述用户对相应历史文本的交互关系计算损失值；
利用所述损失值对所述待训练的图卷积网络模型进行权重更新，获得所述训练完成的图卷积网络模型。
第三方面，本公开实施例提供了一种文本推荐装置，其中，包括：
第一存储器和第一处理器；
其中，所述第一存储器用于存储计算机程序；
所述第一处理器用于执行所述第一存储器中的计算机程序以实现包括如下步骤：
获取用户输入的文本检索信息；
在确定存在所述用户的历史文本检索信息时，确定采用所述文本检索信息检索得到的文本集合中每个文本的文本信息所述文本集合包括至少一个文本；
基于自注意力模型，确定每个所述文本的文本嵌入向量；
将每个所述文本的文本嵌入向量输入训练完成的图卷积网络模型中，得到针对所述用户对所述文本集合中每个所述文本的交互概率，所述训练完成的图卷积网络模型是基于预先构建的文本知识图谱和针对所述用户的所述历史文本检索信息所构建的；
从所述文本集合中筛选出符合预设交互概率的目标文本，并将所述目标文本推荐给所述用户。
第四方面，本公开实施例提供了一种模型训练装置，其中，包括：
第二存储器和第二处理器；
其中，所述第二存储器用于存储计算机程序；
所述第二处理器用于执行所述第一存储器中的计算机程序以实现包括如下步骤：
获取用户的历史文本检索信息；
根据所述历史文本检索信息，确定所述用户检索的历史文本集合，其中， 所述历史文本集合包括至少一个历史文本；
基于自注意力模型，确定每个所述历史文本对应的文本嵌入向量；
将预先构建的文本知识图谱和每个所述历史文本对应的文本嵌入向量输入待训练的图卷积网络模型，对所述待训练的图卷积网络模型进行训练，获得训练完成的图卷积网络模型。
第五方面，本公开实施例提供了一种计算机可读存储介质，其中：
所述可读存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如上面任一项所述的文本推荐方法或者如上面任一项所述的模型训练方法。
附图说明
图1为本公开实施例提供的一种文本推荐方法的方法流程图；
图2为在图1中步骤S103之前的其中一种方法流程图；
图3为图2中步骤S202的方法流程图；
图4为图3中步骤S301之后的其中一种方法流程图；
图5为在图1中步骤S101之后的其中一种方法流程图；
图6为在图5中步骤S502之后的方法流程图；
图7为图6中步骤S602的方法流程图；
图8为图5中步骤S504的方法流程图；
图9为本公开实施例提供的一种模型训练方法的方法流程图；
图10为在图9中步骤S902之后的其中一种方法流程图；
图11为图9中步骤S904的方法流程图；
图12为本公开实施例提供的一种模型训练方法中待训练的图卷积网络模型中的一层结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公 开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。并且在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
需要注意的是，附图中各图形的尺寸和形状不反映真实比例，目的只是示意说明本公开内容。并且自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
在相关技术中，将知识图谱作为附加信息引入到推荐系统以实现物品的个性化推荐，在一定程度上可以缓解冷启动、稀疏矩阵的问题。对于将知识图谱和图卷积结合起来的知识图卷积网络模型，比如，KGCN模型，其核心思想是通过选择性地聚合邻域信息，将知识图谱引入到图卷积网络中，通过学习知识图谱的结构信息和语义信息来挖掘用户的潜在兴趣。但现有对KGCN模型进行训练时，对初始的实体向量、用户向量和关系向量采用随机初始化的方式进行赋值，忽略了可能的文本数据的融合，导致文本推荐结果精确地较低。鉴于此，本公开实施例提供了一种文本推荐方法、模型训练方法、装置及可读存储介质，用于提高文本推荐结果的精确度。
如图1所示为本公开实施例提供的一种文本推荐方法的方法流程图，该文本推荐方法可以应用于基于自注意力模型和KGCN模型的文本推荐系统中，该文本推荐方法包括：
S101：获取用户输入的文本检索信息；
所述文本检索信息可以是诸如关键词、IPC分类号、发明人名字等文本信息，具体可以根据用户的实际使用需要来输入相应的文本检索信息，在此不 做限定。
S102：在确定存在所述用户的历史文本检索信息时，确定采用所述文本检索信息检索得到的文本集合中每个文本的文本信息，所述文本集合包括至少一个文本；
在确定存在所述用户的历史文本检索信息时，所述用户为已使用过该文本推荐系统的老用户，可以确定采用所述文本检索信息检索得到的文本集合中每个文本的文本信息，所述文本信息可以是相应文本中的全部内容，还可以是相应文本中的部分内容，可以根据用户实际应用需要来设定对文本中内容的抽取，在此不做限定。
S103：基于自注意力模型对每个所述文本的文本信息做嵌入表示，确定每个所述文本的文本嵌入向量；
所述自注意模型可以是预先构建的，可以是BERT模型，还可以是Transformer模型，在此不做限定。
S104：将每个所述文本的文本嵌入向量输入训练完成的图卷积网络模型中，得到针对所述用户对所述文本集合中每个所述文本的交互概率，所述训练完成的图卷积网络模型是基于预先构建的文本知识图谱和针对所述用户的所述历史文本检索信息所构建的；
所述训练完成的图卷积网络模型是基于预先构建的文本知识图谱和针对所述用户的所述历史文本检索信息所构建的，所述训练完成的图卷积网络模型可以是基于KGCN模型的模型，将每个所述文本的文本嵌入向量输入训练完成的图卷积网络模型中，可以得到针对所述用户对所述文本集合中每个所述文本的交互概率，根据所述交互概率可以确定所述用户对相应文本是否感兴趣。比如，所述交互概率为“1”时，表明所述用户对相应文本无兴趣，再比如，所述交互概率为“0”时，表明所述用户对相应文本无兴趣。
S105：从所述文本集合中筛选出符合预设交互概率的目标文本，并将所述目标文本推荐给所述用户。
在得到针对所述用户对所述文本集合中每个所述文本的交互概率之后， 可以从所述文本集合中筛选出符合预设交互概率的目标文本，比如，在预设交互概率为“1”时，可以从所述文本集合中筛选出交互概率为“1”的文本，然后，将所述目标文本推荐给所述用户，如此一来，可以从所述文本集合中筛选出所述用户感兴趣的至少部分文本，并将相应的文本推荐给用户，从而实现对所述用户的针对性推荐。此外，在实现对用户针对性文本推荐的同时，由于文本嵌入向量中融合相应文本的语义信息，将文本嵌入向量融合到已训练完成的知识图卷积网络模型中，为该模型引入了丰富的语义信息，从而提高了文本推荐结果的精确度。在本公开实施例中，所述基于自注意力模型对每个所述文本的文本信息做嵌入表示，确定每个所述文本的文本嵌入向量，包括：
针对所述自注意力模型的输入进行线性变换，得到查询矩阵、键矩阵和值矩阵，根据所述查询矩阵和所述键矩阵得到权重系数，并根据所述权重系数与所述值矩阵确定所述自注意力模型的输出，即可得到文本嵌入向量。
在本公开的实施例中，以所述自注意模型的输入为X，所述查询矩阵为Q，所述键矩阵为K，所述值矩阵为V为例来对得到所述文本嵌入向量的过程进行解释说明，所述自注意力模型的输入X可以是文本信息基于one-hot编码、word2vec等方法得到，也可以基于下文提到的方法确定自注意力模型的输入，在此不做限定。将所述自注意力模型的输入X进行线性变换，得到查询矩阵Q、键矩阵K和值矩阵V，将X与权重矩阵W相乘得到查询矩阵、键矩阵和值矩阵。比如，查询矩阵Q＝X*W Q，键矩阵K＝X*W K，值矩阵V＝X*W V。在一些实施例中，权重矩阵W可作为训练参数进行训练，从而得到不同的W Q、W K、W V。根据该权重系数与值矩阵确定所述自注意力模型的输出，所述自注意力模型的输出Z可基于如下公式得到：
Figure PCTCN2021119434-APPB-000004
其中，d k为所述自注意力模型的输入X的维度。
在本公开的其他实施例中，所述自注意力模型的输出Z经过前馈神经网 络后得到文本嵌入向量。
在本公开的实施例中，基于所述自注意力模型对每个所述文本的文本信息做嵌入表示得到文本嵌入向量包括基于应用该自注意力模型的Bert、Transformer等网络结构对每个文本的文本信息做嵌入表示得到文本嵌入向量，本公开在此不做限定。
在本公开实施例中，在步骤S102中确定采用所述文本检索信息检索得到的文本集合中每个文本的文本信息之后，所述方法还包括：
从每个所述文本的文本信息中抽取概述信息，所述概述信息表征所述文本的概括表达；
其中，所述基于自注意力模型对每个所述文本的文本信息做嵌入表示，确定每个所述文本的文本嵌入向量，包括：
基于所述自注意力模型对每个所述文本的概述信息做嵌入表示，确定每个所述文本的概述嵌入向量，将所述概述嵌入向量作为所述文本的所述文本嵌入向量。
在具体实施过程中，在确定采用所述文本检索信息检索得到的文本集合中每个文本信息之后，还可以从每个所述文本的文本信息中抽取概述信息，所述概述信息表征所述文本的概括表达，所述概述信息可以是诸如专利申请文件中的摘要信息，还可以是诸如论文中的摘要信息，还可以是诸如一本书中的导论，还可以是诸如新闻中的导语，可以根据实际应用需要从所述文本的文本信息中抽取相应部分的信息，在此不做限定。
在从每个所述文本的文本信息中抽取概述信息之后，可以基于所述自注意力模型对每个所述文本的概述信息做嵌入表示，从而确定每个所述文本的概述嵌入向量，可以将所述概述嵌入向量作为所述文本的所述文本嵌入向量，相应地，可以将所述概述嵌入向量输入所述训练完成的图卷积网络模型中，进而实现对所述文本集合中每个文本的交互概率的预测，由于所述概述信息不仅属于所述文本的文本信息中的部分内容，而且所述概述信息表征相应文本的概括表达，其往往包括了整个文本的主要思想，将所述概述嵌入向量融 合到已训练完成的知识图卷积网络模型中，为该模型引入了丰富的语义信息，在提高了推荐速度的同时，提高了文本推荐结果的精确度。
在本公开实施例中，如图2所示，在步骤S103：基于自注意力模型对每个所述文本的文本信息做嵌入表示，确定每个所述文本的文本嵌入向量之前，所述方法还包括：
S201：对每个所述文本的文本信息进行数据清洗，去除停用词，获得清洗后的数据；
S202：根据每个所述文本信息的清洗后的数据，确定对应的词嵌入向量。
在具体实施过程中，步骤S201至步骤S202的具体实现过程如下：
首先，对所述文本集合中的每个所述文本的文本信息进行数据清洗，去除停用词，获得清洗后的数据，其中，所述停用词包括英文字符、数字、数字字符、标点符号、语气助词、副词、介词、连接词及使用频率特高的单汉字等。在文本处理过程中，如果遇到停用词，则立即停止处理，将其扔掉，将停用词扔掉之后，减少了处理量，提高了处理效率。在获得所述清洗后的数据之后，根据每个所述文本信息的清洗后的数据，确定对应的词嵌入向量。然后，可以将每个所述文本信息对应的词嵌入向量作为所述自注意力模型的输入，后续可以基于所述自注意模型的输入得到每个所述文本对应的文本嵌入向量。
在本公开实施例中，如图3所示，步骤S202：根据每个所述文本信息的清洗后的数据，确定对应的词嵌入向量，包括：
S301：对每个所述文本信息的清洗后的数据按字分词，并根据所述自注意力模型的字典信息，将所述清洗后的数据中的各个文字转换成相应的文字标识号；
S302：将所述文字标识号作为所述文本信息的词嵌入向量。
在具体实施过程中，步骤S301至步骤S302的具体实现过程如下：
首先，对每个所述文本信息的清洗后的数据按字分词，并根据所述自注意力模型的字典信息，将所述清洗后的数据中的各个文字转换成相应的文字 标识号，比如，所述文本集合包括文本A、文本B和文本C，将文本A、文本B和文本C的文本信息中的文字转换成文字标识号。然后，可以将相应文本的文字标识号作为所述文本信息的词嵌入向量。此外，可以将根据所述文本信息中的各个文字在相应文本中不同位置的信息进行的随机初始化的结果作为相应文本的位置嵌入向量，从而实现了对相应所述文本的词嵌入向量和位置嵌入向量的确定，进而实现了对各个文本的文本信息的嵌入表示。在具体实施过程中，所述随机初始化的结果是可以训练的，以便得到较好的位置嵌入向量。
在本公开的其他实施例中，每个所述文本的词嵌入向量可以是基于one-hot编码、word2vec等方法得到的，在此不做限定。
在本公开的其他实施例中，每个所述文本的位置嵌入向量可以是直接根据各个所述文本中的各个文字所在的不同位置进行位置编码，将位置编码后的结果作为相应的位置嵌入向量，在此不做限定。
在确定出每个所述文本的所述词嵌入向量和所述位置嵌入向量之后，可以将每个所述文本的所述词嵌入向量和所述位置嵌入向量的和作为所述自注意力模型的输入，以便基于所述自注意力模型得到对应所述文本的文本嵌入向量。
需要说明的是，除了将每个所述文本的词嵌入向量和位置嵌入向量作为所述自注意力模型的输入之外，还可以确定出各个所述文本的分句嵌入向量，并将相应的分句嵌入向量与前述确定的词嵌入向量、位置嵌入向量的和作为所述自注意力模型的输入。可以是将每个文本信息的清洗后的数据按字分词，根据所述自注意模型的字典信息，确定对应的分句嵌入向量，此时，可以将每个所述文本信息对应的词嵌入向量、位置嵌入向量和分句嵌入向量的和，输入所述自注意力模型，得到每个所述文本对应的文本嵌入向量。其中，可以根据实际应用情况来确定分句嵌入向量，比如，在从每个所述文本的文本信息中抽取概述信息，并基于概述信息的概述嵌入向量来进行文本推荐的过程中，若概述信息为摘要信息，该摘要信息往往仅包括单个句子，此时，可 以将该摘要信息对应的分句嵌入向量设为0。对于其它情况下分句嵌入向量的计算可以参照相关技术中的具体实现，在此不再详述。
在本公开实施例中，如图4所示，在步骤S301中将所述清洗后的数据中的各个文字转换成相应的文字标识号之后，所述方法还包括：
S401：确定每个所述文本信息对应的标识号序列以及相应的序列长度；
S402：对每个所述文本信息对应的清洗后的数据进行处理，以将相应的标识号序列调整为预设序列长度。
在具体实施过程中，步骤S401至步骤S402的具体实现过程如下：
在将每个文本对应的清洗后的数据中的各个文字转换成相应的文字标识号之后，可以确定每个所述文本信息对应的标识号序列，比如，所述文本集合包括n个文本，n为大于1的整数，n个文本对应的标识号序列的序列长度分别为m 1、m 2、……、m n，所有标识号序列中最大序列长度为m max＝max{m 1,m 2,...,m n}。然后，对每个文本信息对应的清洗后的数据进行处理，以将相应的标识号序列调整为预设序列长度，即将每个标识号序列调整为统一长度，比如，可以设置各个标识号序列的长度为len＝max{512,m max}，若标识号序列长度少于len，则对标识号序列对应的文本信息进行补“0”操作，若标识号序列长度大于len，则对标识号序列对应的文本信息进行截断，以使各个标识号序列长度一致均为len，从而提高了后续所述自注意力模型的处理速率。
在本公开实施例中，在步骤S101：获取用户输入的文本检索信息之前，所述方法还包括：
根据预设文本资源库，构建所述文本知识图谱，其中，所述文本知识图谱包括格式为头实体-关系-尾实体的多个三元组，所述多个三元组包括头实体和尾实体在内的实体集合和表征头实体和尾实体之间关系的关系集合。
在具体实施过程中，在获取所述用户输入的所述文本检索信息之前，根据预设文本资源库，构建所述文本知识图谱，所述预设文本资源库可以是万 方数据库，该万方数据库包括论文资源，所述预设文本资源库还可以是专利数据库，该专利资源库包括专利资源，当然，还可以根据实际应用需要采用相应领域中的文本资源库来构建相应的文本知识图谱，在此不做限定。所述文本知识图谱包括格式为头实体-关系-尾实体的多个三元组，每个三元组的格式可以表示为G＝(h,r,t)，其中，h表示一个三元组中的头实体，r表示一个三元组中的关系，t表示一个三元组中的尾实体。所述多个三元组中包括头实体和尾实体在内的实体集合e和表征头实体和尾实体之间关系的关系集合r，所述关系集合可以包括发明人、关键词、公开号、IPC分类号等多种关系。比如，对于专利文件，(一种基于深度学习的医学影像分类器，关键词，深度学习)中，“一种基于深度学习的医学影像分类器”和“深度学习”表示实体，“关键词”表示关系。需要说明的是，本公开实施例中所涉及到的文本推荐场景中，所述用户和所述文本分别对应于所述文本知识图谱中的一个实体。
在本公开实施例中，如图5所示，在步骤S101：获取用户输入的文本检索信息之前，所述方法还包括：
S501：获取所述用户的所述历史文本检索信息；
S502：根据所述历史文本检索信息，确定所述用户检索的历史文本集合，其中，所述历史文本集合包括至少一个历史文本；
S503：基于所述自注意力模型，确定每个所述历史文本对应的文本嵌入向量；
S504：将所述文本知识图谱和每个所述历史文本对应的文本嵌入向量输入待训练的图卷积网络模型，对所述待训练的图卷积网络模型进行训练，获得训练完成的图卷积网络模型。
在具体实施过程中，步骤S501至步骤S504的具体实现过程如下：
在获取所述用户输入的所述文本检索信息之前，获取所述用户的所述历史文本检索信息，可以是通过收集所述用户在文本推荐系统上的历史浏览记录，根据所述历史浏览记录获取所述用户的所述历史文本检索信息，然后，根据所述历史文本检索信息，确定所述用户检索的历史文本集合，所述历史 文本集合包括至少一个历史文本，然后，基于所述自注意力模型，确定每个所述历史文本对应的文本嵌入向量，其中，可以参照前述文本的文本嵌入向量的相同技术实现，来确定每个所述历史文本对应的文本嵌入向量，在此不再赘述。在确定每个所述历史文本对应的文本嵌入向量之后，可以将所述文本知识图谱和每个所述历史文本对应的文本嵌入向量输入待训练的图卷积网络模型，对所述待训练的图卷积模型进行训练，获得训练完成的图卷积网络模型。由于所述训练完成的图卷积网络模型是基于所述文本知识图谱和所述用户的所述历史文本检索信息所包括的历史文本的文本嵌入向量，对所述待训练的图卷积网络模型进行训练所得到的模型，充分考虑了所述用户的历史检索习惯，根据所述用户的历史检索习惯来进行文本推荐，从而提高了所述训练完成的图卷积网络模型对所述用户进行文本推荐的精确度。
在本公开实施例中，如图6所示，在步骤S502：根据所述历史文本检索信息，确定所述用户检索的历史文本集合之后，所述方法还包括：
S601：按照用户标识号-文本标识号-交互关系的预设格式，建立用于表征所述用户与各个所述历史文本之间的交互情况的交互三元组；
S602：根据所述交互三元组和所述文本知识图谱，确定各个所述历史文本的文本信息。
在具体实施过程中，步骤S601至步骤S602的具体实现过程如下：
在确定所述用户检索的历史文本集合之后，按照用户标识号-文本标识号-交互关系的预设格式，建立用于表征所述用户与各个所述历史文本之间的交互情况的交互三元组，所述预设格式为根据实际需要预先所设置的格式。比如，所述预设格式可以为(用户id，文本id，是否交互y)。比如，用户数量为p，文本数量为q，则一共有p*q个三元组，其中，p和q均为正整数。然后，根据所述交互三元组和所述文本知识图谱，确定各个所述历史文本的文本信息。如此一来，通过所述用户的所述历史文本检索信息实现了对所述用户-文本交互数据的构建。
需要说明的是，在确定所述用户检索的所述历史文本集合之后，除了直 接构建所述交互三元组之外，还可以先构建用户-历史文本交互矩阵，再根据用户-历史文本交互矩阵构建所述三元组。所述交互矩阵中的行可以表示为用户标识号，所述交互矩阵中的列可以表示为文本标识号，所述交互矩阵中的元素表示是否交互，仍以上述例子为例，可以构建p*q维的用户-历史文本交互矩阵，用户数量为p，文本数量为q，y＝1表示有交互，y＝0无交互，通过表征是否交互的标签y判断所述用户是否对相应的历史文本感兴趣。
在具体实施过程中，可以设定包括浏览、下载、无交互在内的交互动作集合，设定浏览时间阈值t，若用户浏览某个文本的时长大于t，或者该用户下载该文本，则设定y＝1，说明该用户对该文本有兴趣；若用户与该文本没有诸如浏览或下载的交互行为，或者用户浏览某个文本的时长小于t，则设定y＝0，说明该用户对该文本没有兴趣。然后，再根据用户-历史文本交互矩阵，构建表征用户-文本交互数据的所述交互三元组。
在本公开实施例中，如图7所示，步骤S602：根据所述交互三元组和所述文本知识图谱，确定各个所述历史文本的文本信息，包括：
S701：从所述交互三元组中确定各个所述历史文本的文本标识号；
S702：根据各个所述历史文本的文本标识号，从所述文本知识图谱中确定所述历史文本的文本信息。
在具体实施过程中，步骤S701至步骤S702的具体实现过程如下：
在建立所述用户与各个所述历史文本之间的所述交互三元组之后，可以从所述交互三元组中确定各个所述历史文本的文本标识号，比如，各个所述历史文本的文本id，然后，根据各个所述历史文本的文本标识号，从所述文本知识图谱中确定所述历史文本的文本信息，比如，根据文本id从所述文本知识图谱中确定对应文本的公开号，然后，根据公开号与文本之间的对应关系，确定该公开号相应文本的正文文本内容，如此一来，实现对各个所述历史文本的文本信息的确定。
在本公开实施例中，如图8所示，步骤S104：将每个所述文本的文本嵌入向量输入训练完成的图卷积网络模型中，得到针对所述用户对所述文本集 合中每个所述文本的交互概率，包括：
S801：根据所述文本知识图谱，确定所述文本集合中各个所述文本包括的实体集合和关系集合，所述实体集合包括多个实体，所述关系集合包括多个关系；
S802：根据所述实体集合中目标实体的邻居数量，确定所述关系集合中目标关系对所述用户的重要性，其中，所述邻居数量越大，表明与所述目标实体相连的邻居的数量越多；
S803：根据所述重要性，确定所述目标实体的邻居表示向量；
S804：将所述目标实体的初始表示向量和所述邻居表示向量进行聚合，确定所述目标实体的一阶实体表示，其中，若所述目标实体为文本实体，则将所述文本的文本嵌入向量作为所述初始表示向量；
S805：经过所述训练完成的图卷积网络模型的h层之后，得到所述目标实体的最终表示向量，h为正整数；
S806：将所述最终表示向量与表征所述用户的用户表示向量输入预测函数，得到所述用户对相应所述文本的交互概率。
在具体实施过程中，步骤S801至步骤S806的具体实现过程如下：
首先，根据所述文本知识图谱，确定所述文本集合中各个所述文本包括的实体集合和关系集合，所述实体集合可以记作e，所述关系集合可以记作r，其中，所述实体集合包括多个实体，所述关系集合包括多个关系；然后，根据所述实体集合中目标实体的邻居的数量，确定所述关系集合中目标关系对所述用户的重要性，所述邻居数量越大，表明与所述目标实体相连的邻居的数量越大，说明所述目标实体的热门程度越高，被所述用户关注的可能性越高。然后，根据所述重要性，确定所述目标实体的邻居表示向量。然后，将所述目标实体的初始表示向量和所述邻居表示向量进行聚合，确定所述目标实体的一阶实体表示，若所述目标实体为文本实体，则将所述文本的文本嵌入向量作为所述初始表示向量。所述文本知识图谱中的数据都是以三元组的形式存储的，所有三元组中的头实体都属于文本实体，通过记录头实体的实 体标识号，建立实体标识号与文本实体之间的关联关系，从而可以通过实体标识号实现对文本实体的确定。
在确定所述目标实体的一阶实体表示之后，经过所述训练完成的图卷积网络模型的h层之后，得到所述目标实体的最终表示向量，h为正整数。所述训练完成的图卷积网络模型迭代的聚合过程，由所述用户在所述文本知识图谱中发散出的邻域迭代地聚合到所述目标实体上，假设位于中心的实体为目标实体v，在提取所述用户特征的时候，需要考虑所述文本知识图谱中n hop(跳)范围内的实体，一跳包括头实体-关系-尾实体在内的完整的三元组，其中，n为正整数，所述目标实体v在1hop范围内的邻居由与v直接相连的实体(二者之间有交互)组成，相应地，2hop范围内的邻居由1hop范围中实体e的直连实体的邻居组成，以此类推，所述训练完成的图卷积网络模型提取的邻居包括n层，则该模型的聚合操作总共迭代n次，第i次迭代是对(n-i+1)层内的所有实体进行聚合邻域信息。当该模型收敛至第0层，完成聚合操作。
在得到所述目标实体的最终表示向量之后，将所述最终表示向量与表征所述用户的用户表示向量输入预测函数，得到所述用户对相应所述文本的交互概率，如此一来，便可以基于各个所述文本的交互概率从所述文本集合中筛选出用户感兴趣的文本，从而实现对所述用户的针对性推荐。
在本公开实施例中，采用以下公式确定所述关系集合中目标关系对所述用户的重要性：
Figure PCTCN2021119434-APPB-000005
其中，u表示所述用户的用户表示向量，r表示所述目标关系的向量表示，α表示所述目标实体的邻居的数量。
在具体实施过程中，不同用户的兴趣侧重点有可能不同，比如，有的用户对于同一个发明人申请的专利感兴趣，而有的用户可能更注重专利的技术领域，在文本推荐系统中计算所述关系集合中所述目标关系对所述用户的重要性是十分重要的，其中，u.r表示所述用户u和所述目标关系r之间的得分， 可以衡量所述用户对文本不同方面的兴趣程度，比如，用户A更关注某个技术领域的文本而非某个发明人的，αr可以用来衡量实体的热门程度，其中，α越大，与实体相连的邻居数量就越多，说明该实体的热门程度越高，被所述用户关注的可能性越高。将实体的邻居数量增加到用户关系的分数计算中，从而能够更加全面的反映用户的潜在兴趣，提高了文本推荐的精确度。
在本公开实施例中，采用以下公式确定所述目标实体的一阶实体表示：
Figure PCTCN2021119434-APPB-000006
其中，σ表示激活函数，w和b表示可训练的参数，v表示所述目标实体的所述初始表示向量，
Figure PCTCN2021119434-APPB-000007
表示所述目标实体的所述邻居表示向量。
在本公开实施例中，关于对所述待训练的图卷积网络模型进行训练，获得所述训练完成的图卷积网络模型的实现过程可以参照下文中的描述，在此不再详述。
基于同一公开构思，如图9所示，本公开实施例提供了一种模型训练方法，其中，包括：
S901：获取用户的历史文本检索信息；
S902：根据所述历史文本检索信息，确定所述用户检索的历史文本集合，其中，所述历史文本集合包括至少一个历史文本；
S903：基于自注意力模型，确定每个所述历史文本对应的文本嵌入向量；
S904：将预先构建的文本知识图谱和每个所述历史文本对应的文本嵌入向量输入待训练的图卷积网络模型，对所述待训练的图卷积网络模型进行训练，获得训练完成的图卷积网络模型。
在本公开实施例中，如图10所示，在步骤S902：根据所述历史文本检索信息，确定所述用户检索的历史文本集合之后，所述方法还包括：
S1001：按照用户标识号-文本标识号-交互关系的预设格式，建立用于表征所述用户与各个所述历史文本之间的交互情况的交互三元组；
S1002：根据所述交互三元组和所述文本知识图谱，确定各个所述历史文 本的文本信息。
在本公开实施例中，如图11所示，步骤S904：将预先构建的文本知识图谱和每个所述历史文本对应的文本嵌入向量输入待训练的图卷积网络模型，对所述待训练的图卷积网络模型进行训练，获得训练完成的图卷积网络模型，包括：
S1101：根据所述文本知识图谱，确定所述交互三元组中各个所述历史文本包括的实体集合和关系集合，所述实体集合包括多个实体，所述关系集合包括多个关系；
S1102：根据所述实体集合中目标实体的邻居数量，确定所述关系集合中目标关系对所述用户的重要性，其中，所述邻居数量越大，表明与所述目标实体相连的邻居的数量越多；
S1103：根据所述重要性，确定所述目标实体的邻居表示向量；
S1104：将所述目标实体的初始表示向量和所述邻居表示向量进行聚合，确定所述目标实体的一阶实体表示，其中，若所述目标实体为文本实体，则将所述历史文本的文本嵌入向量作为所述初始表示向量；
S1105：经过所述待训练的图卷积网络模型的h层之后，得到所述目标实体的最终表示向量，h为正整数；
S1106：将所述最终表示向量与表征所述用户的用户表示向量输入预测函数，预测所述用户对相应历史文本的预测交互概率；
S1107：根据所述预测交互概率和所述用户对相应历史文本的交互关系计算损失值；
S1108：利用所述损失值对所述待训练的图卷积网络模型进行权重更新，获得所述训练完成的图卷积网络模型。
在本公开实施例中，步骤S1101～S1108的具体实现过程如下：
首先，根据所述文本知识图谱，确定所述交互三元组中各个所述历史文本包括的实体集合和关系集合，所述实体集合可以记作e，所述关系集合可以记作r，其中，所述实体集合包括多个实体，所述关系集合包括多个关系；然 后，根据所述实体集合中目标实体的邻居的数量，确定所述关系集合中目标关系对所述用户的重要性，所述邻居数量越大，表明与所述目标实体相连的邻居的数量越大，说明所述目标实体的热门程度越高，被所述用户关注的可能性越高。然后，根据所述重要性，确定所述目标实体的邻居表示向量。然后，将所述目标实体的初始表示向量和所述邻居表示向量进行聚合，确定所述目标实体的一阶实体表示，若所述目标实体为文本实体，则所述历史文本的文本嵌入向量作为所述初始表示向量。所述文本知识图谱中的数据都是以三元组的形式存储的，所有三元组中的头实体都属于文本实体，通过记录头实体的实体标识号，建立实体标识号与文本实体之间的关联关系，从而可以通过实体标识号实现对文本实体的确定。
在确定所述目标实体的一阶实体表示之后，经过所述待训练的图卷积网络模型的h层之后，得到所述目标实体的最终表示向量，h为正整数。所述待训练的图卷积网络模型迭代的聚合过程，由所述用户在所述文本知识图谱中发散出的邻域迭代地聚合到所述目标实体上，假设位于中心的实体为目标实体v，在提取所述用户特征的时候，需要考虑所述文本知识图谱中n hop(跳)范围内的实体，一跳包括头实体-关系-尾实体在内的完整的三元组，其中，n为正整数，所述目标实体v在1hop范围内的邻居由与v直接相连的实体(二者之间有交互)组成，相应地，2hop范围内的邻居由1hop范围中实体e的直连实体的邻居组成，以此类推，所述待训练的图卷积网络模型提取的邻居包括n层，则该模型的聚合操作总共迭代n次，第i次迭代是对(n-i+1)层内的所有实体进行聚合邻域信息。当该模型收敛至第0层，完成聚合操作。
在得到所述目标实体的最终表示向量之后，将所述最终表示向量与表征所述用户的用户表示向量输入预测函数，预测所述用户对相应历史文本的预测交互概率；然后，根据所述预测交互概率和所述用户对相应历史文本的交互关系计算损失值，其中，所述用户对相应历史文本的交互关系为真实标签，然后，可以利用所述损失值对所述待训练的图卷积网络模型进行权重更新，从而获得训练完成的图卷积网络模型。
下面结合图12所示的所述待训练的图卷积网络模型中的一层结构示意图，来对所述待训练的图卷积网络模型的训练过程进行解释说明。其中，实体v的邻居数量α为3，实体e 1的邻居数量为α 1，实体e 2的邻居数量为α 2，实体e 3的邻居数量为α 3，实体v与实体e 1之间的关系为r 1，实体v与实体e 2之间的关系为r 2，实体v与实体e 3之间的关系为r 3。
首先，按照公式：
Figure PCTCN2021119434-APPB-000008
计算所述关系集合中所述目标关系对所述用户的重要性，然后，计算所述目标实体的邻居的线性组合来描述所述目标实体的邻居表示信息，具体计算公式如下：
Figure PCTCN2021119434-APPB-000009
其中，v表示所述目标实体，N(v)表示所述目标实体v的所有邻居的集合，
Figure PCTCN2021119434-APPB-000010
表示归一化后的结果，r v,e表示所述目标实体v与邻居e的关系，e表示邻居表示向量。
由于所述文本知识图谱中每个实体的邻居数量往往存在较大的差异，可以采用固定常数K来随机捕捉固定数量的实体邻居信息，保证每个实体都采样固定数量的邻居，比如，K取值为4，相应地，所述目标实体v的邻居表示信息计算如下：
Figure PCTCN2021119434-APPB-000011
其中，S(v)□{e|e～N(v)and|S(v)|＝K}，集合S(v)中包含了所述目标实体v的K个邻居，集合S(v)中邻居的个数可以不等于集合N(v)中的邻居个数，二者可以是大于，也可以是小于。当邻居数量大于K时会忽略部分关系，当邻居数量小于K时则会重复采样，从而在保证文本推荐速度的同时，保证了文本推荐的精确度。
然后，采用下述公式，将所述目标实体v的自身表示向量(即初始表示向量)和所述邻居表示向量进行聚合，得到的结果作为所述目标实体v的一阶实体表示，其中，如果所述目标实体v是专利实体，则用其对应的文本嵌入向量进行初始化，反之则将随机初始化的结果作为所述目标实体v的自身表示向量，所采用的聚合公式可以是加法聚合：
Figure PCTCN2021119434-APPB-000012
其中，σ表示激活函数ReLU或者tahn，w和b表示可训练的参数，v表示所述目标实体的所述初始表示向量，
Figure PCTCN2021119434-APPB-000013
表示所述目标实体的所述邻居表示向量。
在获得所述目标实体v的一阶实体表示之后，经过所述待训练的图卷积网络模型的h层之后，可以得到所述目标实体v的最终向量表示。
然后，可以将所述最终向量表示与所述用户的用户表示向量输入预测函数f，通过以下公式来预测所述用户对相应文本的预测交互概率
Figure PCTCN2021119434-APPB-000014
Figure PCTCN2021119434-APPB-000015
其中，所述预测函数f可以通过MLP来实现。
然后，可以根据预测交互概率
Figure PCTCN2021119434-APPB-000016
和相应文本的真实标签y来计算损失值，利用损失值来进行所述待训练的图卷积网络模型的权重更新，该模型的损失函数如下：
Figure PCTCN2021119434-APPB-000017
其中，J表示交叉熵损失，T u表示所述用户对不感兴趣的专利实体集合，λ表示正则化参数，
Figure PCTCN2021119434-APPB-000018
为L2惩罚项，重复上述的训练过程，直到达到指定迭代次数，训练结束，并保存该模型的训练权重，从而获得所述训练完成的图卷积网络模型。
在前述对所述待训练的图卷积网络模型进行训练，获得所述训练完成的 图卷积网络模型之后，当所述用户再次通过文本推荐系统检索文本时，可以将检索到的专利集合输入到所述训练完成的图卷积网络模型中，返回所述训练完成的图卷积网络模型的预测结果，并将预测结果中交互概率为1的文本列表推荐给用户，从而实现了对用户的个性化文本推荐。
需要说明的是，若当前用户有在文本推荐系统上进行检索的历史信息，即存在该用户的历史文本检索信息时，可以通过在线学习方式实现对该用户的文本推荐，也就是说，每个用户使用该文本推荐系统时，需要重新训练一个该用户的推荐模型。具体实现过程如下：
首先，根据该用户的历史文本检索信息来构建训练数据；该历史文本检索信息包括了该用户搜索过哪些文本，在这些文本上浏览了多长时间，是否有下载行为，根据这些信息，按照前述数据构建过程中构建用户-文本交互数据，并提取相关文本的文本信息，利用所述自注意力模型对文本信息做嵌入表示，得到相应文本的文本嵌入向量，再加上之前构建好的文本知识图谱就可以得到在线学习的训练数据。然后，进行在线学习的训练过程；构建所述预训练的图卷积网络模型，加载之前保存好的训练权重，冻结该模型部分的权重，只训练预测函数部分的参数，当达到指定迭代次数时，训练结束，并保持当前模型的训练权重，得到训练完成的图卷积网络模型；然后，进行预测过程；当该用户再次通过文本检索信息检索文本时，将检索到的文本输入到所述训练完成的图卷积网络模型中，返回模型的预测结果，并将预测交互概率为1的文本列表返回给用户，从而实现对该用户的文本推荐。
如果用户在使用文本推荐系统进行文本检索时，不存在该用户的历史文本检索信息，即该用户为使用该文本推荐系统的新用户，则可以根据该用户输入的文本检索信息，将采用该文本检索信息所得到的文本集合直接推荐给该用户，此时，该文本推荐系统并未进行交互概率的预测，只提供文本检索功能。当为该用户积累一定的历史文本检索信息时，可以调用在线学习的方式，重新训练所述待训练的图卷积网络模型的参数，后续便可以对该用户进行文本交互概率的预测，进而提高了文本推荐的精确度。
本公开实施例提供的模型训练方法解决问题的原理和前述的文本推荐方法相似，因此，对于步骤S901～S904，S1001～S1002具体实现过程，可以参照前述文本推荐方法中的相关部分的描述，重复之处不再赘述。
基于同一公开构思，本公开实施例还提供了一种文本推荐装置，其中，包括：
第一存储器和第一处理器；
其中，所述第一存储器用于存储计算机程序；
所述第一处理器用于执行所述第一存储器中的计算机程序以实现包括如下步骤：
获取用户输入的文本检索信息；
在确定存在所述用户的历史文本检索信息时，确定采用所述文本检索信息检索得到的文本集合中每个文本的文本信息所述文本集合包括至少一个文本；
基于自注意力模型，确定每个所述文本的文本嵌入向量；
将每个所述文本的文本嵌入向量输入训练完成的图卷积网络模型中，得到针对所述用户对所述文本集合中每个所述文本的交互概率，所述训练完成的图卷积网络模型是基于预先构建的文本知识图谱和针对所述用户的所述历史文本检索信息所构建的；
从所述文本集合中筛选出符合预设交互概率的目标文本，并将所述目标文本推荐给所述用户。
基于同一公开构思，本公开实施例还提供了一种模型训练装置，其中，包括：
第二存储器和第二处理器；
其中，所述第二存储器用于存储计算机程序；
所述第二处理器用于执行所述第一存储器中的计算机程序以实现包括如下步骤：
获取用户的历史文本检索信息；
根据所述历史文本检索信息，确定所述用户检索的历史文本集合，其中，所述历史文本集合包括至少一个历史文本；
基于自注意力模型，确定每个所述历史文本对应的文本嵌入向量；
将预先构建的文本知识图谱和每个所述历史文本对应的文本嵌入向量输入待训练的图卷积网络模型，对所述待训练的图卷积网络模型进行训练，获得训练完成的图卷积网络模型。
基于同一公开构思，本公开实施例还提供了一种计算机可读存储介质，其中：
所述可读存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如上面任一项所述的文本推荐方法或者如上面任一项所述的模型训练方法。
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本公开是参照根据本公开的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本公开的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本公开范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (18)

  1. 一种文本推荐方法，其中，包括：
    获取用户输入的文本检索信息；
    在确定存在所述用户的历史文本检索信息时，确定采用所述文本检索信息检索得到的文本集合中每个文本的文本信息，所述文本集合包括至少一个文本；
    基于自注意力模型对每个所述文本的文本信息做嵌入表示，确定每个所述文本的文本嵌入向量；
    将每个所述文本的文本嵌入向量输入训练完成的图卷积网络模型中，得到针对所述用户对所述文本集合中每个所述文本的交互概率，所述训练完成的图卷积网络模型是基于预先构建的文本知识图谱和针对所述用户的所述历史文本检索信息所构建的；
    从所述文本集合中筛选出符合预设交互概率的目标文本，并将所述目标文本推荐给所述用户。
  2. 如权利要求1所述的方法，其中，在所述确定采用所述文本检索信息检索得到的文本集合中每个文本的文本信息之后，所述方法还包括：
    从每个所述文本的文本信息中抽取概述信息，所述概述信息表征所述文本的概括表达；
    其中，所述基于自注意力模型对每个所述文本的文本信息做嵌入表示，确定每个所述文本的文本嵌入向量，包括：
    基于所述自注意力模型对每个所述文本的概述信息做嵌入表示，确定每个所述文本的概述嵌入向量，将所述概述嵌入向量作为所述文本的所述文本嵌入向量。
  3. 如权利要求1或2所述的方法，其中，在所述基于自注意力模型对每个所述文本的文本信息做嵌入表示，确定每个所述文本的文本嵌入向量之前，所述方法还包括:
    对每个所述文本的文本信息进行数据清洗，去除停用词，获得清洗后的数据；
    根据每个所述文本信息的清洗后的数据，确定对应的词嵌入向量。
  4. 如权利要求3所述的方法，其中，所述根据每个所述文本信息的清洗后的数据，，确定对应的词嵌入向量，包括：
    对每个所述文本信息的清洗后的数据按字分词，并根据所述自注意力模型的字典信息，将所述清洗后的数据中的各个文字转换成相应的文字标识号；
    将所述文字标识号作为所述文本信息的词嵌入向量。
  5. 如权利要求4所述的方法，其中，在所述将所述清洗后的数据中的各个文字转换成相应的文字标识号之后，所述方法还包括：
    确定每个所述文本信息对应的标识号序列以及相应的序列长度；
    对每个所述文本信息对应的清洗后的数据进行处理，以将相应的标识号序列调整为预设序列长度。
  6. 如权利要求1所述的方法，其中，在所述获取用户输入的文本检索信息之前，所述方法还包括：
    根据预设文本资源库，构建所述文本知识图谱，其中，所述文本知识图谱包括格式为头实体-关系-尾实体的多个三元组，所述多个三元组包括头实体和尾实体在内的实体集合和表征头实体和尾实体之间关系的关系集合。
  7. 如权利要求6所述的方法，其中，在所述获取用户输入的文本检索信息之前，所述方法还包括：
    获取所述用户的所述历史文本检索信息；
    根据所述历史文本检索信息，确定所述用户检索的历史文本集合，其中，所述历史文本集合包括至少一个历史文本；
    基于所述自注意力模型，确定每个所述历史文本对应的文本嵌入向量；
    将所述文本知识图谱和每个所述历史文本对应的文本嵌入向量输入待训练的图卷积网络模型，对所述待训练的图卷积网络模型进行训练，获得训练完成的图卷积网络模型。
  8. 如权利要求7所述的方法，其中，在所述根据所述历史文本检索信息，确定所述用户检索的历史文本集合之后，所述方法还包括：
    按照用户标识号-文本标识号-交互关系的预设格式，建立用于表征所述用户与各个所述历史文本之间的交互情况的交互三元组；
    根据所述交互三元组和所述文本知识图谱，确定各个所述历史文本的文本信息。
  9. 如权利要求8所述的方法，其中，所述根据所述交互三元组和所述文本知识图谱，确定各个所述历史文本的文本信息，包括：
    从所述交互三元组中确定各个所述历史文本的文本标识号；
    根据各个所述历史文本的文本标识号，从所述文本知识图谱中确定所述历史文本的文本信息。
  10. 如权利要求1所述的方法，其中，所述将每个所述文本的文本嵌入向量输入训练完成的图卷积网络模型中，得到针对所述用户对所述文本集合中每个所述文本的交互概率，包括：
    根据所述文本知识图谱，确定所述文本集合中各个所述文本包括的实体集合和关系集合，所述实体集合包括多个实体，所述关系集合包括多个关系；
    根据所述实体集合中目标实体的邻居数量，确定所述关系集合中目标关系对所述用户的重要性，其中，所述邻居数量越大，表明与所述目标实体相连的邻居的数量越多；
    根据所述重要性，确定所述目标实体的邻居表示向量；
    将所述目标实体的初始表示向量和所述邻居表示向量进行聚合，确定所述目标实体的一阶实体表示，其中，若所述目标实体为文本实体，则将所述文本的文本嵌入向量作为所述初始表示向量；
    经过所述训练完成的图卷积网络模型的h层之后，得到所述目标实体的最终表示向量，h为正整数；
    将所述最终表示向量与表征所述用户的用户表示向量输入预测函数，得到所述用户对相应所述文本的交互概率。
  11. 如权利要求10所述的方法，其中，采用以下公式确定所述关系集合中目标关系对所述用户的重要性：
    Figure PCTCN2021119434-APPB-100001
    其中，u表示所述用户的用户表示向量，r表示所述目标关系的向量表示，α表示所述目标实体的邻居数量。
  12. 如权利要求10所述的方法，其中，采用以下公式确定所述目标实体的一阶实体表示：
    Figure PCTCN2021119434-APPB-100002
    其中，σ表示激活函数，w和b表示可训练的参数，v表示所述目标实体的所述初始表示向量，
    Figure PCTCN2021119434-APPB-100003
    表示所述目标实体的所述邻居表示向量。
  13. 一种模型训练方法，其中，包括：
    获取用户的历史文本检索信息；
    根据所述历史文本检索信息，确定所述用户检索的历史文本集合，其中，所述历史文本集合包括至少一个历史文本；
    基于自注意力模型，确定每个所述历史文本对应的文本嵌入向量；
    将预先构建的文本知识图谱和每个所述历史文本对应的文本嵌入向量输入待训练的图卷积网络模型，对所述待训练的图卷积网络模型进行训练，获得训练完成的图卷积网络模型。
  14. 如权利要求13所述的方法，其中，在所述根据所述历史文本检索信息，确定所述用户检索的历史文本集合之后，所述方法还包括：
    按照用户标识号-文本标识号-交互关系的预设格式，建立用于表征所述用户与各个所述历史文本之间的交互情况的交互三元组；
    根据所述交互三元组和所述文本知识图谱，确定各个所述历史文本的文本信息。
  15. 如权利要求14所述的方法，其中，所述将预先构建的文本知识图谱 和每个所述历史文本对应的文本嵌入向量输入待训练的图卷积网络模型，对所述待训练的图卷积网络模型进行训练，获得训练完成的图卷积网络模型，包括：
    根据所述文本知识图谱，确定所述交互三元组中各个所述历史文本包括的实体集合和关系集合，所述实体集合包括多个实体，所述关系集合包括多个关系；
    根据所述实体集合中目标实体的邻居数量，确定所述关系集合中目标关系对所述用户的重要性，其中，所述邻居数量越大，表明与所述目标实体相连的邻居的数量越多；
    根据所述重要性，确定所述目标实体的邻居表示向量；
    将所述目标实体的初始表示向量和所述邻居表示向量进行聚合，确定所述目标实体的一阶实体表示，其中，若所述目标实体为文本实体，则所述历史文本的文本嵌入向量作为所述初始表示向量；
    经过所述待训练的图卷积网络模型的h层之后，得到所述目标实体的最终表示向量，h为正整数；
    将所述最终表示向量与表征所述用户的用户表示向量输入预测函数，预测所述用户对相应历史文本的预测交互概率；
    根据所述预测交互概率和所述用户对相应历史文本的交互关系计算损失值；
    利用所述损失值对所述待训练的图卷积网络模型进行权重更新，获得所述训练完成的图卷积网络模型。
  16. 一种文本推荐装置，其中，包括：
    第一存储器和第一处理器；
    其中，所述第一存储器用于存储计算机程序；
    所述第一处理器用于执行所述第一存储器中的计算机程序以实现包括如下步骤：
    获取用户输入的文本检索信息；
    在确定存在所述用户的历史文本检索信息时，确定采用所述文本检索信息检索得到的文本集合中每个文本的文本信息所述文本集合包括至少一个文本；
    基于自注意力模型，确定每个所述文本的文本嵌入向量；
    将每个所述文本的文本嵌入向量输入训练完成的图卷积网络模型中，得到针对所述用户对所述文本集合中每个所述文本的交互概率，所述训练完成的图卷积网络模型是基于预先构建的文本知识图谱和针对所述用户的所述历史文本检索信息所构建的；
    从所述文本集合中筛选出符合预设交互概率的目标文本，并将所述目标文本推荐给所述用户。
  17. 一种模型训练装置，其中，包括：
    第二存储器和第二处理器；
    其中，所述第二存储器用于存储计算机程序；
    所述第二处理器用于执行所述第一存储器中的计算机程序以实现包括如下步骤：
    获取用户的历史文本检索信息；
    根据所述历史文本检索信息，确定所述用户检索的历史文本集合，其中，所述历史文本集合包括至少一个历史文本；
    基于自注意力模型，确定每个所述历史文本对应的文本嵌入向量；
    将预先构建的文本知识图谱和每个所述历史文本对应的文本嵌入向量输入待训练的图卷积网络模型，对所述待训练的图卷积网络模型进行训练，获得训练完成的图卷积网络模型。
  18. 一种计算机可读存储介质，其中：
    所述可读存储介质存储有计算机指令，当计算机指令在计算机上运行时，使得计算机执行如权利要求1-12任一权项所述的文本推荐方法或者如权利要求13-15任一权项所述的模型训练方法。
CN202180002661.6A 2021-09-18 2021-09-18 一种文本推荐方法、模型训练方法、装置及可读存储介质 Pending CN116157791A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/119434 WO2023039901A1 (zh) 2021-09-18 2021-09-18 一种文本推荐方法、模型训练方法、装置及可读存储介质

Publications (1)

Publication Number Publication Date
CN116157791A true CN116157791A (zh) 2023-05-23

Family

ID=85602351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180002661.6A Pending CN116157791A (zh) 2021-09-18 2021-09-18 一种文本推荐方法、模型训练方法、装置及可读存储介质

Country Status (2)

Country Link
CN (1) CN116157791A (zh)
WO (1) WO2023039901A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556061A (zh) * 2023-11-20 2024-02-13 曾昭涵 文本输出方法及装置、电子设备和存储介质
CN117556061B (zh) * 2023-11-20 2024-05-24 曾昭涵 文本输出方法及装置、电子设备和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116382979B (zh) * 2023-04-07 2024-03-19 国网冀北电力有限公司计量中心 结合专家系统神经网络的数据防丢失容灾方法及服务器
CN116756203A (zh) * 2023-06-13 2023-09-15 淮阴工学院 一种基于碳减排目标的知识图谱驱动冷链物流设备选型方法及装置
CN116684480B (zh) * 2023-07-28 2023-10-31 支付宝(杭州)信息技术有限公司 信息推送模型的确定及信息推送的方法及装置
CN116719954B (zh) * 2023-08-04 2023-10-17 中国人民解放军海军潜艇学院 一种信息检索方法、电子设备及存储介质
CN117056575B (zh) * 2023-10-12 2024-01-30 深圳市华图测控系统有限公司 一种基于智能图书推荐系统数据采集的方法
CN117094394B (zh) * 2023-10-16 2024-01-30 之江实验室 基于论文pdf的天文多模态知识图谱构建方法和系统
CN117648444B (zh) * 2024-01-30 2024-04-30 广东省华南技术转移中心有限公司 基于图卷积属性聚合的专利聚类方法和系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11710033B2 (en) * 2018-06-12 2023-07-25 Bank Of America Corporation Unsupervised machine learning system to automate functions on a graph structure
CN111159425B (zh) * 2019-12-30 2023-02-10 浙江大学 基于历史关系和双图卷积网络的时态知识图谱表示方法
CN111581343B (zh) * 2020-04-24 2022-08-30 北京航空航天大学 基于图卷积神经网络的强化学习知识图谱推理方法及装置
CN112232925A (zh) * 2020-11-02 2021-01-15 哈尔滨工程大学 一种融合知识图谱对商品进行个性化推荐的方法
CN112487199B (zh) * 2020-11-24 2022-02-18 杭州电子科技大学 一种基于用户购买行为的用户特征预测方法
CN112488791A (zh) * 2020-11-30 2021-03-12 中国传媒大学 一种基于知识图谱卷积算法的个性化推荐方法
CN113362131B (zh) * 2021-06-02 2022-09-13 合肥工业大学 一种融合知识图谱和用户交互的图模型智能商品推荐方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117556061A (zh) * 2023-11-20 2024-02-13 曾昭涵 文本输出方法及装置、电子设备和存储介质
CN117556061B (zh) * 2023-11-20 2024-05-24 曾昭涵 文本输出方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2023039901A1 (zh) 2023-03-23

Similar Documents

Publication Publication Date Title
CN116157791A (zh) 一种文本推荐方法、模型训练方法、装置及可读存储介质
CN110309427B (zh) 一种对象推荐方法、装置及存储介质
US20220269707A1 (en) Method and system for analyzing entities
US11669744B2 (en) Regularized neural network architecture search
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
CN110619081B (zh) 一种基于交互图神经网络的新闻推送方法
Jiang et al. RIN: Reformulation inference network for context-aware query suggestion
US20120101965A1 (en) Topic models
CN110402445B (zh) 使用递归神经网络浏览序列数据的方法和系统
CN112131890A (zh) 一种会话意图智能识别模型的构建方法、装置及设备
CN113569001A (zh) 文本处理方法、装置、计算机设备及计算机可读存储介质
CN114896377A (zh) 一种基于知识图谱的答案获取方法
CN115618101A (zh) 基于负反馈的流媒体内容推荐方法、装置及电子设备
Di Gennaro et al. An analysis of Word2Vec for the Italian language
Khan et al. Comparative analysis on Facebook post interaction using DNN, ELM and LSTM
US20230237093A1 (en) Video recommender system by knowledge based multi-modal graph neural networks
Tang et al. Casegnn: Graph neural networks for legal case retrieval with text-attributed graphs
Meng et al. Variational Bayesian representation learning for grocery recommendation
Krishnan et al. Optimization assisted convolutional neural network for sentiment analysis with weighted holoentropy-based features
CN114048395A (zh) 基于时间感知与关键信息抽取的用户转发预测方法和系统
Peng et al. Modeling the long-term post history for personalized hashtag recommendation
CN111339783A (zh) 一种基于rntm的话题挖掘方法与装置
Gambhava et al. Social Media Hashtag Clustering Using Genetic Algorithm
Shahin et al. Genre-ous: the movie genre detector
CN116089712B (zh) 基于数据挖掘与分析的热门会议推荐方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination