CN113191142A - 基于上下文的引文推荐方法、装置、电子设备和存储介质 - Google Patents

基于上下文的引文推荐方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113191142A
CN113191142A CN202110502375.8A CN202110502375A CN113191142A CN 113191142 A CN113191142 A CN 113191142A CN 202110502375 A CN202110502375 A CN 202110502375A CN 113191142 A CN113191142 A CN 113191142A
Authority
CN
China
Prior art keywords
citation
context
vector
quotation
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110502375.8A
Other languages
English (en)
Inventor
岂凡超
刘知远
孙茂松
易婧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202110502375.8A priority Critical patent/CN113191142A/zh
Publication of CN113191142A publication Critical patent/CN113191142A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于上下文的引文推荐方法、装置、电子设备和存储介质，包括：确定待推荐引文的上下文；将所述上下文输入引文推荐模型，输出对应的推荐引文；其中，所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。本发明提供的方法和装置，实现了在给定上下文的情况下，更高效更准确的推荐与该上下文匹配的引文。

Description

基于上下文的引文推荐方法、装置、电子设备和存储介质
技术领域
本发明涉及引文推荐技术领域，尤其涉及一种基于上下文的引文推荐方法、装置、电子设备和存储介质。
背景技术
引用是写作中非常常见的修辞方式。在写作中引用名言、谚语、俗语等引文不但可以更准确地表达和强调作者的意思，而且还能增加文采、提高说服力。
然而名言、谚语等数量惊人，对于绝大多数普通人而言，凭记忆只能记住少数引文，在写作时往往无法想到适合当前上下文的引文加以引用。尽管搜索引擎和一些名句库网站通过基于关键词匹配的引文搜索或者基于主题的引文分类在查找引文方面提供了帮助，但是作用比较有限。一方面，很多引文是文言文，其余的现代文引用也往往会使用隐喻等修辞手法，这导致大部分引文的用词和日常写作的用词有很大不同，于是基于词语匹配的引文搜索失效。另一方面，即使对引文按主题分类，在同一主题下仍然有数不胜数的引文，找到一个合适的引文仍然如大海捞针般困难。
因此，如何避免现有的引文推荐方法效率不高且不能准确匹配上下文的描述，仍然是本领域技术人员亟待解决的问题。
发明内容
本发明提供一种基于上下文的引文推荐方法、装置、电子设备和存储介质，用以解决现有的引文推荐方法效率不高且不能准确匹配上下文的描述的问题，通过在给定上下文的情况下，通过使用预先训练好的引文推荐模型基于上下文的内容自动从预设引文库中推荐若干适合当前上下文的引文，具有较高的效率和推荐准确性。
本发明提供一种基于上下文的引文推荐方法，包括：
确定待推荐引文的上下文；
将所述上下文输入引文推荐模型，输出对应的推荐引文；
其中，所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。
根据本发明提供的一种基于上下文的引文推荐方法，所述样本上下文和对应的引文标签的构建，具体包括：
基于预设引文库确定可能推荐引文标签；
对于任一可能推荐引文标签，若其同时存在于预设语料库，则，
确定所述任一可能推荐引文标签为正确引文标签，并确定所述预设语料库中所述正确引文标签对应的上下文为样本上下文；
所述引文推荐模型的训练过程中，对于当前轮次迭代计算使用的样本上下文再临时从所述预设引文库中排除所述样本上下文对应的正确引文标签的其他引文集合中随机选出预设训练个数的负引文标签，结合所述预设训练个数的负引文标签和正确引文标签构建当前轮次迭代计算使用的样本上下文对应的引文标签。
根据本发明提供的一种基于上下文的引文推荐方法，所述引文向量描述网络用于将输入的引文结合所述引文的义原信息采用向量表示。
根据本发明提供的一种基于上下文的引文推荐方法，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络，具体包括：
所述引文推荐模型的训练过程中，
引文向量描述网络将输入的引文标签结合该引文标签中每个引文的义原信息采用向量表示输出引文向量矩阵至引文匹配度计算网络；
上下文向量描述网络将输入的对应样本上下文采用向量表示输出上下文向量至所述引文匹配度计算网络；
所述引文匹配度计算网络基于所述引文向量矩阵和所述上下文向量确定所述引文标签中正确引文标签的伪匹配度；
其中，所述伪匹配度用于构建所述引文推荐模型训练时的损失函数。
根据本发明提供的一种基于上下文的引文推荐方法，所述引文向量描述网络将输入的引文标签结合该引文标签中每个引文的义原信息采用向量表示输出引文向量矩阵，具体包括：
引文向量描述网络通过如下公式计算输入的引文标签中任一引文qk中任一词语
Figure BDA0003056904850000031
的向量w′i：
Figure BDA0003056904850000032
其中，
Figure BDA0003056904850000033
是所述任一词语
Figure BDA0003056904850000034
的义原集合，sj是
Figure BDA0003056904850000035
中义原sj的向量表示，wi为所述任一词语
Figure BDA0003056904850000036
的词向量，α为预设权值系数，sj和wi均为所述引文推荐模型训练时网络结构中的待优化参数；
所述引文向量描述网络再通过如下公式计算所述任一引文qk的引文向量qk：
Figure BDA0003056904850000037
Figure BDA0003056904850000038
其中，PLMq为引文表示模型，[CLS]为所述引文表示模型中特殊句子起始符，m为引文qk的词数，
Figure BDA0003056904850000039
为所述引文表示模型输出的所述任一引文qk中的词语
Figure BDA0003056904850000041
的隐状态，
Figure BDA0003056904850000042
为所述引文表示模型输出的所述任一引文qk中的词语
Figure BDA0003056904850000043
的隐状态，
Figure BDA0003056904850000044
为所述引文表示模型输出的所述任一引文qk中的词语
Figure BDA0003056904850000045
的隐状态，
Figure BDA0003056904850000046
为所述引文表示模型输出的所述特殊句子起始符[CLS]的隐状态，所述引文表示模型使用过程中使用
Figure BDA0003056904850000047
分别对应的词向量w′1，…，w′i，…，w′m参与隐状态的计算；
所述引文向量描述网络最后通过如下公式计算引文向量矩阵Q*并输出：
Figure BDA00030569048500000412
其中，k*＝1，2，…，n*，n*-1为所述预设训练个数。
根据本发明提供的一种基于上下文的引文推荐方法，所述上下文向量描述网络将输入的对应样本上下文采用向量表示输出上下文向量，具体包括：
上下文向量描述网络通过如下公式表示输入的对应样本上下文c的学习表示序列c′：
c′＝{cl，[MASK]，cr}
其中，cl为所述对应样本上下文中上文的字符序列，cr为所述对应样本上下文中下文的字符序列，[MASK]为标记字符；
所述上下文向量描述网络再通过如下公式计算所述对应样本上下文c的上下文向量c：
Figure BDA0003056904850000048
Figure BDA0003056904850000049
其中，PLMc为上下文表示模型，[CLS]为所述上下文表示模型中特殊句子起始符，
Figure BDA00030569048500000410
为所述上下文表示模型输出的所述标记字符[MASK]的隐状态，
Figure BDA00030569048500000411
为所述上下文表示模型输出的所述特殊句子起始符[CLS]的隐状态，使用所述上下文表示模型预先存储的cl和cr分别对应的词向量序列参与所述隐状态的计算；
对应地，所述引文匹配度计算网络基于所述引文向量矩阵和所述上下文向量确定所述引文标签中正确引文标签的伪匹配度，具体包括：
通过如下公式计算所述引文标签中正确引文标签q的伪匹配度p*：
Figure BDA0003056904850000051
其中，
Figure BDA0003056904850000052
为所述引文标签除了所述正确引文标签q其他负例引文的集合，c为所述对应样本上下文c的上下文向量，q为所述正确引文标签q的引文向量，q′为所述其他负例引文的集合中的任一负例引文q′的引文向量；
所述伪匹配度用于构建所述引文推荐模型训练时的损失函数，具体包括：
通过如下公式构建损失函数
Figure BDA0003056904850000053
Figure BDA0003056904850000054
其中，p*为所述伪匹配度。
本发明还提供一种基于上下文的引文推荐装置，包括：
确定单元，用于确定待推荐引文的上下文；
推荐单元，用于将所述上下文输入引文推荐模型，输出对应的推荐引文；
其中，所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于上下文的引文推荐方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于上下文的引文推荐方法的步骤。
本发明提供的基于上下文的引文推荐方法、装置、电子设备和存储介质，通过确定待推荐引文的上下文；将所述上下文输入引文推荐模型，输出对应的推荐引文；其中，所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。采用预先训练好的引文推荐模型处理待推荐引文的上下文，找出与该上下文匹配的推荐引文进行输出，其中，引文推荐模型是基于大量的样本上下文和对应的引文标签进行训练后得到的，保证引文推荐模型的准确性，而引文推荐模型训练过程中的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络，给出了引文推荐模型中进行引文推荐的基本算法框架。因此，本发明提供的方法、装置、电子设备和存储介质，实现了在给定上下文的情况下，更高效更准确的推荐与该上下文匹配的引文。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于上下文的引文推荐方法的流程示意图；
图2为本发明提供的基于上下文的引文推荐装置的结构示意图；
图3为本发明提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由于现有的问答系统普遍存在知识来源单一，无法考虑当前行业领域内的多种形式的信息和知识的问题。下面结合图1描述本发明的一种基于上下文的引文推荐方法。图1为本发明提供的一种基于上下文的引文推荐方法的流程示意图，如图1所示，该方法包括：
步骤110，确定待推荐引文的上下文。
具体地，本发明提供的基于上下文的引文推荐方法是在给定上下文的情况下进行的，即根据给定的上下文自动从预设引文库中选择出与该上下文意思匹配的引文进行推荐。因此，首先需要确定用户给定的上下文内容。
步骤120，将所述上下文输入引文推荐模型，输出对应的推荐引文；
其中，所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。
具体地，在确定用户给定的上下文后，将上下文输入引文推荐模型，输出对应的推荐引文；此处需要说明的是，推荐引文可以是一条或者多条，根据引文推荐模型中输出结果的表示规则确定，例如，若表示规则规定只输出最优的推荐引文，那么引文推荐模型输出的是唯一一条最优推荐引文，若表示规则规定输出达到推荐条件的引文，那么输出的可以是多条满足推荐条件的引文，此处不作具体限定。其中，引文推荐模型是预先基于机器学习训练好的模型，该模型基于大量样本上下文和对应的引文标签进行训练得到，如此可以保证模型的准确性，此处还要说明的是，引文推荐模型还携带有预设引文库，引文推荐模型的训练是基于该预设引文库构建的训练数据集，引文推荐模型训练好后被使用时，其功能也是能从该预设引文库中选择出准确的引文进行推荐，因此，引文推荐模型训练完成后使用时还需要携带该预设引文库。最后，对该模型训练时网络结构进行进一步限定，网络结构中包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络，给出了引文推荐模型中进行引文推荐的基本算法框架，即包括如下三个步骤：A、引文表示学习步骤：能够为预设引文库中每条引文学习一个向量表示；B、上下文表示学习步骤：能够为给定的上下文学习一个向量表示；C、引文匹配度计算步骤：能够针对一个给定的上下文为引文库中的所有引文都计算一个匹配度，进而选出匹配对较高的引文作为适合给定上下文的推荐引文。上述三个步骤分别对应模型训练时网络结构中的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络，模型训练时，对引文向量描述网络和上下文向量描述网络中的待调参数进行不断优化，得到更好的引文和上下文的向量表示，进而能让引文匹配度计算网络输出更准确的引文匹配度。
本发明提供的方法，通过确定待推荐引文的上下文；将所述上下文输入引文推荐模型，输出对应的推荐引文；其中，所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。采用预先训练好的引文推荐模型处理待推荐引文的上下文，找出与该上下文匹配的推荐引文进行输出，其中，引文推荐模型是基于大量的样本上下文和对应的引文标签进行训练后得到的，保证引文推荐模型的准确性，而引文推荐模型训练过程中的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络，给出了引文推荐模型中进行引文推荐的基本算法框架。因此，本发明提供的方法，实现了在给定上下文的情况下，更高效更准确的推荐与该上下文匹配的引文。
基于上述实施例，该方法中，所述样本上下文和对应的引文标签的构建，具体包括：
基于预设引文库确定可能推荐引文标签；
对于任一可能推荐引文标签，若其同时存在于预设语料库，则，
确定所述任一可能推荐引文标签为正确引文标签，并确定所述预设语料库中所述正确引文标签对应的上下文为样本上下文；
所述引文推荐模型的训练过程中，对于当前轮次迭代计算使用的样本上下文再临时从所述预设引文库中排除所述样本上下文对应的正确引文标签的其他引文集合中随机选出预设训练个数的负引文标签，结合所述预设训练个数的负引文标签和正确引文标签构建当前轮次迭代计算使用的样本上下文对应的引文标签。
具体地，对于引文推荐模型训练过程中使用的训练数据集，有特定的数据来源，其中，训练过程中需要使用样本上下文和对应的引文标签的具体构建包括如下内容：首先要确定预设引文库，该预设引文库中的引文是以其中引文有某一共同属性构建，可以是同一主题或者同一领域或者出自同一文献典籍，不作具体限定。在预设引文库中提取出所有的引文，然后对提取出的每一条引文都去预设语料库中进行搜索，若该引文q存在在于所述预设语料库中，则将预设语料库中该引文q对应的上下文提取出来作为上下文样本x，然后以该引文作为正确引文标签q和筛选出的上下文样本作为上下文-引文对参加引文推荐模型的训练。引文推荐模型的训练过程中，在用到每一对上下文-引文对进行迭代计算时，都需要临时选出上下文-引文对中正确引文标签的负引文标签，筛选方式为迭代计算的过程中使用到当前的正确引文标签q，则从预设引文库中除了该正确引文标签的其他引文集合中随机选择预设训练个数的其他引文作为负例集合
Figure BDA0003056904850000101
将负例集合
Figure BDA0003056904850000103
和正确引文标签q进行组合得到最后的引文标签，最后的引文标签矩阵与上下文样本组成一对训练数据，引文推荐模型训练过程使用的训练数据集中的每一对训练数据都是通过上述过程构建的，只是“正确答案”的上下文-引文对可以预先构建，而与“正确答案”的上下文-引文对组建一对训练数据的负例集合
Figure BDA0003056904850000102
是在引文推荐模型的训练过程中实时选择出来的。因为，同一正确引文标签可能对应于不同的样本上下文，而它们形成的多对上下文-引文对中的负例集合不一定完全相同，需要实时随机筛选出以保证模型训练的准确性。
此处对所述预设训练个数进行说明，预设训练个数是为了降低训练过程中的计算量设定的，若训练过程中以预设引文库中所有除开正确引文标签以外的其他引文作为负例集合，由于预设引文库中的引文条目数量非常大，进而如此构造的负例集合中的元素也会非常大导致每一轮训练迭代时需要计算的数据量会非常大，因此，在构造负例集合时是在预设引文库中除开正确引文标签随机挑选一定数量的引文作为负例，上述一定数量即预设训练个数，所述预设训练个数通常远小于预设引文库中的引文数量，但是为了平衡模型训练的准确性也会适当取较大数值，通常是取一个平衡计算量和准确性的中间合适值。
基于上述实施例，该方法中，所述引文向量描述网络用于将输入的引文结合所述引文的义原信息采用向量表示。
具体地，考虑到引文往往字词较少但是意义丰富，一般的句子表示学习方法无法为简短的引文学习较好的向量表示，因此，本发明将引文中每个词语的义原知识融入引文的表示学习中。其中，义原是语言学中最小的语义单位，一个词语的义原携带了该词语的核心语义信息。引文向量描述网络首先将引文中的每个词语都加入义原信息，得到各个词语的义原信息的向量表示，然后通过引文学习模型学习整个引文的向量表示，模型学习过程中，不再使用引文学习模型自带的词语向量，而是用之前计算得到的包含义原信息的词语向量。
基于上述实施例，该方法中，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络，具体包括：
所述引文推荐模型的训练过程中，
引文向量描述网络将输入的引文标签结合该引文标签中每个引文的义原信息采用向量表示输出引文向量矩阵至引文匹配度计算网络；
上下文向量描述网络将输入的对应样本上下文采用向量表示输出上下文向量至所述引文匹配度计算网络；
所述引文匹配度计算网络基于所述引文向量矩阵和所述上下文向量确定所述引文标签中正确引文标签的伪匹配度；
其中，所述伪匹配度用于构建所述引文推荐模型训练时的损失函数。
具体地，在所述引文推荐模型的训练过程中，对于引文推荐模型训练时的网络结构中依次连接的前两个网络引文向量描述网络和上下文向量描述网络中的待调参数进行训练学习。引文推荐模型进行训练时，引文向量描述网络将输入的引文标签结合该引文标签中每个引文的义原信息采用向量表示输出引文向量矩阵至引文匹配度计算网络，其中，采用向量表示分为两个步骤：首先，将引文中的每个词语都采用添加义原信息的词语向量进行表示，然后再基于词语向量学习词语所属整个引文的引文向量，并将最终得到的引文向量输出至引文匹配度计算网络。此处需要说明的是，由于引文标签包括正确引文标签q和负例集合
Figure BDA0003056904850000111
因此，对于引文标签中的每一条引文都采用一个引文向量表示的情况下，有预设训练个数+1个引文的引文标签是通过矩阵表示的，矩阵的行数即预设训练个数+1，矩阵的列数即引文标签中任一条引文的向量维度。上下文描述网络将输入的与同批次输入的引文标签对应的上下文样本采用向量表示也输出至引文匹配度计算网络，其中，上下文样本的向量表示也是基于机器学习学习上下文样本整体的向量表示，上下文向量描述网络中有自带的预设词语向量库，通过提取预设词语向量库中上下文样本中各个词语的词语向量，参与计算整体上下文样本的向量表示。所述引文匹配度计算网络基于所述引文向量矩阵和所述上下文向量确定所述引文标签中正确引文标签的伪匹配度，所述伪匹配度的确定方式即求引文向量矩阵中每一条引文向量和上下文向量之间的相似度，得到一个匹配度的向量(即相似度的向量)，该匹配度的向量中的每一个元素表示对应引文与上下文样本的匹配度，从匹配度的向量中搜索正确引文标签对应的匹配度值作为正确引文标签的伪匹配度。此处需要说明的是，计算两向量之间的匹配度(即相似度)有多种常用方式以及多种相似度计算函数，此处不作具体限定，但是计算匹配度的两个向量之间需要保证维度相同，因此，引文向量的维度和上下文向量的维度在计算时需要设置保持一致。
在引文推荐模型的使用过程中，所述上下文向量描述网络将输入的待推荐引文的待测上下文采用向量表示输出待测上下文向量至所述引文匹配度计算网络；所述引文匹配度计算网络基于引文向量矩阵和所述待测上下文向量确定所述引文向量矩阵中所有引文的真实匹配度，然后基于所有引文的真实匹配度，由大到小排列，选择出头部区域匹配度对应的引文作为待测上下文的推荐引文。此处需要说明的是，引文推荐模型的使用过程中，进行匹配度计算的引文向量矩阵是基于所述预设引文库中的所有引文构建的，引文推荐模型训练时如果每一个引文标签都包括预设引文库中的所有引文条目，那么训练过程的计算量将会非常大，导致引文推荐模型训练时长过长，而引文推荐模型使用时，引文匹配度计算网络只针对输入的一条待测上下文进行一次计算，因此，引文推荐模型使用时可以对预设引文库中的所有引文条目进行匹配度的计算，保证引文推荐的准确性。
基于上述实施例，该方法中，所述引文向量描述网络将输入的引文标签结合该引文标签中每个引文的义原信息采用向量表示输出引文向量矩阵，具体包括：
引文向量描述网络通过如下公式计算输入的引文标签中任一引文qk中任一词语
Figure BDA0003056904850000131
的向量w′i：
Figure BDA0003056904850000132
其中，
Figure BDA0003056904850000133
是所述任一词语
Figure BDA0003056904850000134
的义原集合，sj是
Figure BDA0003056904850000135
中义原5j的向量表示，wi为所述任一词语
Figure BDA0003056904850000136
的词向量，α为预设权值系数，sj和wi均为所述引文推荐模型训练时网络结构中的待优化参数；
所述引文向量描述网络再通过如下公式计算所述任一引文qk的引文向量qk：
Figure BDA0003056904850000137
Figure BDA0003056904850000138
其中，PLMq为引文表示模型，[CLS]为所述引文表示模型中特殊句子起始符，m为引文qk的词数，
Figure BDA0003056904850000139
为所述引文表示模型输出的所述任一引文qk中的词语
Figure BDA00030569048500001310
的隐状态，
Figure BDA00030569048500001311
为所述引文表示模型输出的所述任一引文qk中的词语
Figure BDA00030569048500001312
的隐状态，
Figure BDA00030569048500001313
为所述引文表示模型输出的所述任一引文qk中的词语
Figure BDA00030569048500001314
的隐状态，
Figure BDA00030569048500001315
为所述引文表示模型输出的所述特殊句子起始符[CLS]的隐状态，所述引文表示模型使用过程中使用
Figure BDA00030569048500001316
分别对应的词向量w′1，…，w′i，…，w′m参与隐状态的计算；
所述引文向量描述网络最后通过如下公式计算引文向量矩阵Q*并输出：
Figure BDA00030569048500001317
其中，k*＝1，2，…，n*，n*-1为所述预设训练个数。
具体地，考虑到引文往往字词较少但是意义丰富，一般的句子表示学习方法无法为简短的引文学习较好的向量表示，因此我们将引文中每个词语的义原知识融入引文的表示学习中。其中义原是语言学中最小的语义单位，一个词语的义原携带了该词语的核心语义信息。我们具体通过将义原向量加到词向量中来实现义原信息的融合。设引文中任意引文qk中任意词语
Figure BDA0003056904850000141
的词向量为wi，融入义原信息后变为：
Figure BDA0003056904850000142
其中，
Figure BDA0003056904850000143
是所述任一词语
Figure BDA0003056904850000144
的义原集合，sj是
Figure BDA0003056904850000145
中义原5j的向量表示，wi为所述任一词语
Figure BDA0003056904850000146
的词向量，α为预设权值系数，sj和wi均为所述引文推荐模型训练时网络结构中的待优化参数；
然后，在利用预训练模型得到引文向量表示：
这里利用预训练模型(例如BERT)来学习引文的向量表示。因此，上述公式中的词向量wi在训练初始化时使用的是预训练模型自带词语向量库中对应引文中每个词语的词语向量，但在随后的训练过程中作为待调参数不断优化学习，同理，义原向量sj随机初始化后也作为待调参数在模型训练过程中不断优化学习。具体地，将引文q＝w1…wm传给用于引文表示学习的预训练模型PLMq后，得到一系列对应每个词语(字符)的隐状态：
Figure BDA0003056904850000147
其中，[CLS]表示预训练模型中特殊的句子起始符，其对应的隐状态
Figure BDA0003056904850000148
用来表示引文的向量，即
Figure BDA0003056904850000149
当前输入的引文标签中的所有引文的向量表示组成了引文向量矩阵
Figure BDA00030569048500001410
其中，k*＝1，2，…，n*，n*-1为所述预设训练个数。
基于上述实施例，该方法中，所述上下文向量描述网络将输入的对应样本上下文采用向量表示输出上下文向量，具体包括：
所述上下文向量描述网络将输入的对应样本上下文采用向量表示输出上下文向量，具体包括：
上下文向量描述网络通过如下公式表示输入的对应样本上下文c的学习表示序列c′：
c′＝{cl，[MASK]，cr}
其中，cl为所述对应样本上下文中上文的字符序列，cr为所述对应样本上下文中下文的字符序列，[MASK]为标记字符；
所述上下文向量描述网络再通过如下公式计算所述对应样本上下文c的上下文向量c：
Figure BDA0003056904850000151
Figure BDA0003056904850000152
其中，PLMc为上下文表示模型，[CLS]为所述上下文表示模型中特殊句子起始符，
Figure BDA0003056904850000153
为所述上下文表示模型输出的所述标记字符[MASK]的隐状态，
Figure BDA0003056904850000154
为所述上下文表示模型输出的所述特殊句子起始符[CLS]的隐状态，使用所述上下文表示模型预先存储的cl和Cr分别对应的词向量序列参与所述隐状态的计算；
对应地，所述引文匹配度计算网络基于所述引文向量矩阵和所述上下文向量确定所述引文标签中正确引文标签的伪匹配度，具体包括：
通过如下公式计算所述引文标签中正确引文标签q的伪匹配度p*：
Figure BDA0003056904850000155
其中，
Figure BDA0003056904850000156
为所述引文标签除了所述正确引文标签q其他负例引文的集合，c为所述对应样本上下文c的上下文向量，q为所述正确引文标签q的引文向量，q′为所述其他负例引文的集合中的任一负例引文q′的引文向量；
所述伪匹配度用于构建所述引文推荐模型训练时的损失函数，具体包括：
通过如下公式构建损失函数
Figure BDA0003056904850000161
Figure BDA0003056904850000162
其中，p*为所述伪匹配度。
具体地，一个引文的上下文c由上文cl和下文cr两部分构成。由于这两部分并非天然相连的文本，直接将其拼接在一起进行句子表示学习会影响表示学习的效果。因此，在上文和下文之间额外插入一个[MASK]字符，表明中间有一部分内容(即引文)缺失。则构建好的上下文表示学习序列为c′＝{cl，[MASK]，cr}。
然后，利用预训练模型得到上下文向量表示：
这里同样利用一个预训练模型来对构建好的上下文表示学习序列进行建模，进而得到上下文的向量表示。具体地，将c′传给用于上下文表示学习的预训练模型PLMc后，得到一系列对应每个词语(字符)的隐状态：
Figure BDA0003056904850000163
Figure BDA0003056904850000164
这里使用[MASK]对应的隐状态
Figure BDA0003056904850000165
来表示上下文的向量，即
Figure BDA0003056904850000166
进一步地，通过如下公式计算所述引文标签中正确引文标签q的伪匹配度p*：
Figure BDA0003056904850000167
其中，
Figure BDA0003056904850000168
为所述引文标签除了所述正确引文标签q其他负例引文的集合，c为所述对应样本上下文c的上下文向量，q为所述正确引文标签q的引文向量，q′为所述其他负例引文的集合中的任一负例引文q′的引文向量；此处需要说明的是，
Figure BDA0003056904850000171
负例集合对应的引文向量集合和正确引文标签q对应的正确引文向量结合构建的引文标签矩阵即为上文所述的引文向量矩阵Q*。
所述伪匹配度用于构建所述引文推荐模型训练时的损失函数，具体包括：
通过如下公式构建损失函数
Figure BDA0003056904850000172
Figure BDA0003056904850000173
其中，p*为所述伪匹配度。
在引文推荐模型的使用过程中，对于输入的待推荐引文的上下文采用上下文向量描述网络计算出上下文向量，然后再计算该上下文向量和预设引文库中每一条引文的引文向量的匹配度，即：
在得到上下文向量和每个引文的引文向量表示后，通过计算点积和sofmax归一化来得到每个引文的匹配度：
p＝softmax(QTc)
其中，p为所有引文匹配度的归一化向量，其第i个元素为第i个引文的匹配度。然后再按照所有引文的匹配度从高到低排序，选择匹配度较高的引文作为输出结果。此处需要说明的是，匹配度较高可以是直接选择匹配度最高的一个推荐引文进行输出，也可以是在给定匹配度阈值的情况下，对于匹配度超过所述匹配度阈值的引文都作为推荐引文进行输出。
此处需要说明的是，在推荐引文模型使用的过程中，引文向量描述网络不在起到任何作用，取而代之的是预设引文库中的每一条引文都在推荐引文模型训练完成之后配上训练学习得到的引文向量，即预设引文库中同时存储引文以及对应的引文向量。推荐引文模型使用的过程中，只需要将输入的上下文进行向量描述的计算，然后将当前实时计算得到的上下文向量与预设引文库中的所有引文向量进行匹配度的计算，根据匹配度的排序优劣比较输出推荐引文。
基于上述实施例，该方法中，所述引文推荐模型训练时，在所述引文向量描述网络、所述上下文向量描述网络和所述引文匹配度计算网络共同训练之后，继续单独对所述上下文向量描述网络和所述引文匹配度计算网络进行训练直到完成所述引文推荐模型的训练。
具体地，上下文向量描述网络对大量多样的上下文进行建模，需要更多的训练才能得到更好的上下文表示，因此在引文向量描述网络和上下文向量描述网络共同训练之后，再继续单独对上下文向量描述网络进行训练。在其单独训练阶段，引文向量描述网络固定住不训练，即引文向量描述网络中的待调参数已经完成优化不再变化，上下文训练的损失函数为基于引文匹配度归一化向量p的交叉熵损失函数。
下面对本发明提供的基于上下文的引文推荐装置进行描述，下文描述的基于上下文的引文推荐装置与上文描述的一种基于上下文的引文推荐方法可相互对应参照。
图2为本发明提供的基于上下文的引文推荐装置的结构示意图，如图2所示，该装置包括确定单元210和推荐单元220，其中，
所述确定单元210，用于确定待推荐引文的上下文；
所述推荐单元220，用于将所述上下文输入引文推荐模型，输出对应的推荐引文；
其中，所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。
本发明提供的装置，通过确定待推荐引文的上下文；将所述上下文输入引文推荐模型，输出对应的推荐引文；其中，所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。采用预先训练好的引文推荐模型处理待推荐引文的上下文，找出与该上下文匹配的推荐引文进行输出，其中，引文推荐模型是基于大量的样本上下文和对应的引文标签进行训练后得到的，保证引文推荐模型的准确性，而引文推荐模型训练过程中的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络，给出了引文推荐模型中进行引文推荐的基本算法框架。因此，本发明提供的装置，实现了在给定上下文的情况下，更高效更准确的推荐与该上下文匹配的引文。
基于上述实施例，该装置中，所述样本上下文和对应的引文标签的构建，具体包括：
基于预设引文库确定可能推荐引文标签；
对于任一可能推荐引文标签，若其同时存在于预设语料库，则，
确定所述任一可能推荐引文标签为正确引文标签，并确定所述预设语料库中所述正确引文标签对应的上下文为样本上下文；
所述引文推荐模型的训练过程中，对于当前轮次迭代计算使用的样本上下文再临时从所述预设引文库中排除所述样本上下文对应的正确引文标签的其他引文集合中随机选出预设训练个数的负引文标签，结合所述预设训练个数的负引文标签和正确引文标签构建当前轮次迭代计算使用的样本上下文对应的引文标签。
基于上述实施例，该装置中，所述引文向量描述网络用于将输入的引文结合所述引文的义原信息采用向量表示。
基于上述实施例，该装置中，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络，具体包括：
所述引文推荐模型的训练过程中，
引文向量描述网络将输入的引文标签结合该引文标签中每个引文的义原信息采用向量表示输出引文向量矩阵至引文匹配度计算网络；
上下文向量描述网络将输入的对应样本上下文采用向量表示输出上下文向量至所述引文匹配度计算网络；
所述引文匹配度计算网络基于所述引文向量矩阵和所述上下文向量确定所述引文标签中正确引文标签的伪匹配度；
其中，所述伪匹配度用于构建所述引文推荐模型训练时的损失函数。
基于上述实施例，该装置中，所述引文向量描述网络将输入的引文标签结合该引文标签中每个引文的义原信息采用向量表示输出引文向量矩阵，具体包括：
引文向量描述网络通过如下公式计算输入的引文标签中任一引文qk中任一词语
Figure BDA0003056904850000201
的向量w′i：
Figure BDA0003056904850000202
其中，
Figure BDA0003056904850000203
是所述任一词语
Figure BDA0003056904850000204
的义原集合，sj是
Figure BDA0003056904850000205
中义原sj的向量表示，wi为所述任一词语
Figure BDA0003056904850000206
的词向量，α为预设权值系数，sj和wi均为所述引文推荐模型训练时网络结构中的待优化参数；
所述引文向量描述网络再通过如下公式计算所述任一引文qk的引文向量qk：
Figure BDA0003056904850000207
Figure BDA0003056904850000208
其中，PLMq为引文表示模型，[CLS]为所述引文表示模型中特殊句子起始符，m为引文qk的词数，
Figure BDA0003056904850000209
为所述引文表示模型输出的所述任一引文qk中的词语
Figure BDA00030569048500002010
的隐状态，
Figure BDA00030569048500002011
为所述引文表示模型输出的所述任一引文qk中的词语
Figure BDA00030569048500002012
的隐状态，
Figure BDA00030569048500002013
为所述引文表示模型输出的所述任一引文qk中的词语
Figure BDA00030569048500002014
的隐状态，
Figure BDA00030569048500002015
为所述引文表示模型输出的所述特殊句子起始符[CLS]的隐状态，所述引文表示模型使用过程中使用
Figure BDA00030569048500002016
分别对应的词向量w′1，…，w′i，…，w′m参与隐状态的计算；
所述引文向量描述网络最后通过如下公式计算引文向量矩阵Q*并输出：
Figure BDA0003056904850000217
其中，k*＝1，2，…，n*，n*-1为所述预设训练个数。
基于上述实施例，该装置中，所述上下文向量描述网络将输入的对应样本上下文采用向量表示输出上下文向量，具体包括：
上下文向量描述网络通过如下公式表示输入的对应样本上下文c的学习表示序列c′：
c′＝{cl，[MASK]，cr}
其中，cl为所述对应样本上下文中上文的字符序列，cr为所述对应样本上下文中下文的字符序列，[MASK]为标记字符；
所述上下文向量描述网络再通过如下公式计算所述对应样本上下文c的上下文向量c：
Figure BDA0003056904850000211
Figure BDA0003056904850000212
其中，PLMc为上下文表示模型，[CLS]为所述上下文表示模型中特殊句子起始符，
Figure BDA0003056904850000213
为所述上下文表示模型输出的所述标记字符[MASK]的隐状态，
Figure BDA0003056904850000214
为所述上下文表示模型输出的所述特殊句子起始符[CLS]的隐状态，使用所述上下文表示模型预先存储的cl和Cr分别对应的词向量序列参与所述隐状态的计算；
对应地，所述引文匹配度计算网络基于所述引文向量矩阵和所述上下文向量确定所述引文标签中正确引文标签的伪匹配度，具体包括：
通过如下公式计算所述引文标签中正确引文标签q的伪匹配度p*：
Figure BDA0003056904850000215
其中，
Figure BDA0003056904850000216
为所述引文标签除了所述正确引文标签q其他负例引文的集合，c为所述对应样本上下文c的上下文向量，q为所述正确引文标签q的引文向量，q′为所述其他负例引文的集合中的任一负例引文q′的引文向量；
所述伪匹配度用于构建所述引文推荐模型训练时的损失函数，具体包括：
通过如下公式构建损失函数
Figure BDA0003056904850000221
Figure BDA0003056904850000222
其中，p*为所述伪匹配度。
基于上述实施例，该装置中，所述引文推荐模型训练时，在所述引文向量描述网络、所述上下文向量描述网络和所述引文匹配度计算网络共同训练之后，继续单独对所述上下文向量描述网络和所述引文匹配度计算网络进行训练直到完成所述引文推荐模型的训练。
图3为本发明提供的一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行基于上下文的引文推荐方法，该方法包括：确定待推荐引文的上下文；将所述上下文输入引文推荐模型，输出对应的推荐引文；其中，所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于上下文的引文推荐方法，该方法包括：确定待推荐引文的上下文；将所述上下文输入引文推荐模型，输出对应的推荐引文；其中，所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于上下文的引文推荐方法，该方法包括：确定待推荐引文的上下文；将所述上下文输入引文推荐模型，输出对应的推荐引文；其中，所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。
以上所描述的服务器实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于上下文的引文推荐方法，其特征在于，包括：
确定待推荐引文的上下文；
将所述上下文输入引文推荐模型，输出对应的推荐引文；
其中，所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。
2.根据权利要求1所述的基于上下文的引文推荐方法，其特征在于，所述样本上下文和对应的引文标签的构建，具体包括：
基于预设引文库确定可能推荐引文标签；
对于任一可能推荐引文标签，若其同时存在于预设语料库，则，
确定所述任一可能推荐引文标签为正确引文标签，并确定所述预设语料库中所述正确引文标签对应的上下文为样本上下文；
所述引文推荐模型的训练过程中，对于当前轮次迭代计算使用的样本上下文再临时从所述预设引文库中排除所述样本上下文对应的正确引文标签的其他引文集合中随机选出预设训练个数的负引文标签，结合所述预设训练个数的负引文标签和正确引文标签构建当前轮次迭代计算使用的样本上下文对应的引文标签。
3.根据权利要求2所述的基于上下文的引文推荐方法，其特征在于，所述引文向量描述网络用于将输入的引文结合所述引文的义原信息采用向量表示。
4.根据权利要求3所述的基于上下文的引文推荐方法，其特征在于，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络，具体包括：
所述引文推荐模型的训练过程中，
引文向量描述网络将输入的引文标签结合该引文标签中每个引文的义原信息采用向量表示输出引文向量矩阵至引文匹配度计算网络；
上下文向量描述网络将输入的对应样本上下文采用向量表示输出上下文向量至所述引文匹配度计算网络；
所述引文匹配度计算网络基于所述引文向量矩阵和所述上下文向量确定所述引文标签中正确引文标签的伪匹配度；
其中，所述伪匹配度用于构建所述引文推荐模型训练时的损失函数。
5.根据权利要求4所述的基于上下文的引文推荐方法，其特征在于，所述引文向量描述网络将输入的引文标签结合该引文标签中每个引文的义原信息采用向量表示输出引文向量矩阵，具体包括：
引文向量描述网络通过如下公式计算输入的引文标签中任一引文qk中任一词语
Figure FDA0003056904840000021
均向量w′i：
Figure FDA0003056904840000022
其中，
Figure FDA0003056904840000023
是所述任一词语
Figure FDA0003056904840000024
的义原集合，sj是
Figure FDA0003056904840000025
中义原sj的向量表示，wi为所述任一词语
Figure FDA0003056904840000026
的词向量，α为预设权值系数，sj和wi均为所述引文推荐模型训练时网络结构中的待优化参数；
所述引文向量描述网络再通过如下公式计算所述任一引文qk的引文向量qk：
Figure FDA0003056904840000027
Figure FDA0003056904840000028
其中，PLMq为引文表示模型，[CLS]为所述引文表示模型中特殊句子起始符，m为引文qk的词数，
Figure FDA0003056904840000029
为所述引文表示模型输出的所述任一引文qk中的词语
Figure FDA00030569048400000210
的隐状态，
Figure FDA00030569048400000211
为所述引文表示模型输出的所述任一引文qk中的词语
Figure FDA00030569048400000212
的隐状态，
Figure FDA00030569048400000213
为所述引文表示模型输出的所述任一引文qk中的词语
Figure FDA00030569048400000214
的隐状态，
Figure FDA00030569048400000215
为所述引文表示模型输出的所述特殊句子起始符[CLS]的隐状态，所述引文表示模型使用过程中使用
Figure FDA0003056904840000031
分别对应的词向量w′1，…，w′i，…，w′m参与隐状态的计算；
所述引文向量描述网络最后通过如下公式计算引文向量矩阵Q*并输出：
Figure FDA0003056904840000032
其中，k*＝1，2，...，n*，n*-1为所述预设训练个数。
6.根据权利要求5所述的基于上下文的引文推荐方法，其特征在于，所述上下文向量描述网络将输入的对应样本上下文采用向量表示输出上下文向量，具体包括：
上下文向量描述网络通过如下公式表示输入的对应样本上下文c的学习表示序列c′：
c′＝{cl，[MASK]，Cr}
其中，cl为所述对应样本上下文中上文的字符序列，cr为所述对应样本上下文中下文的字符序列，[MASK]为标记字符；
所述上下文向量描述网络再通过如下公式计算所述对应样本上下文c的上下文向量c：
Figure FDA0003056904840000033
Figure FDA0003056904840000034
其中，PLMc为上下文表示模型，[CLS]为所述上下文表示模型中特殊句子起始符，
Figure FDA0003056904840000035
为所述上下文表示模型输出的所述标记字符[MASK]的隐状态，
Figure FDA0003056904840000036
为所述上下文表示模型输出的所述特殊句子起始符[CLS]的隐状态，使用所述上下文表示模型预先存储的cl和cr分别对应的词向量序列参与所述隐状态的计算；
对应地，所述引文匹配度计算网络基于所述引文向量矩阵和所述上下文向量确定所述引文标签中正确引文标签的伪匹配度，具体包括：
通过如下公式计算所述引文标签中正确引文标签q的伪匹配度p*：
Figure FDA0003056904840000041
其中，
Figure FDA0003056904840000042
为所述引文标签除了所述正确引文标签q其他负例引文的集合，c为所述对应样本上下文c的上下文向量，q为所述正确引文标签q的引文向量，q′为所述其他负例引文的集合中的任一负例引文q′的引文向量；
所述伪匹配度用于构建所述引文推荐模型训练时的损失函数，具体包括：
通过如下公式构建损失函数
Figure FDA0003056904840000043
Figure FDA0003056904840000044
其中，p*为所述伪匹配度。
7.根据权利要求1-6中任一项所述的基于上下文的引文推荐方法，其特征在于，所述引文推荐模型训练时，在所述引文向量描述网络、所述上下文向量描述网络和所述引文匹配度计算网络共同训练之后，继续单独对所述上下文向量描述网络和所述引文匹配度计算网络进行训练直到完成所述引文推荐模型的训练。
8.一种基于上下文的引文推荐装置，其特征在于，包括：
确定单元，用于确定待推荐引文的上下文；
推荐单元，用于将所述上下文输入引文推荐模型，输出对应的推荐引文；
其中，所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的，所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的基于上下文的引文推荐方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于上下文的引文推荐方法的步骤。
CN202110502375.8A 2021-05-08 2021-05-08 基于上下文的引文推荐方法、装置、电子设备和存储介质 Pending CN113191142A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110502375.8A CN113191142A (zh) 2021-05-08 2021-05-08 基于上下文的引文推荐方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110502375.8A CN113191142A (zh) 2021-05-08 2021-05-08 基于上下文的引文推荐方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113191142A true CN113191142A (zh) 2021-07-30

Family

ID=76988677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110502375.8A Pending CN113191142A (zh) 2021-05-08 2021-05-08 基于上下文的引文推荐方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113191142A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226332A (zh) * 2023-02-24 2023-06-06 华院计算技术(上海)股份有限公司 一种基于概念隐喻理论的隐喻生成方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226332A (zh) * 2023-02-24 2023-06-06 华院计算技术(上海)股份有限公司 一种基于概念隐喻理论的隐喻生成方法及系统
CN116226332B (zh) * 2023-02-24 2024-02-06 华院计算技术(上海)股份有限公司 一种基于概念隐喻理论的隐喻生成方法及系统

Similar Documents

Publication Publication Date Title
CN108363790B (zh) 用于对评论进行评估的方法、装置、设备和存储介质
CN110569354B (zh) 弹幕情感分析方法及装置
CN110825867B (zh) 相似文本推荐方法、装置、电子设备和存储介质
CN107862087A (zh) 基于大数据和深度学习的情感分析方法、装置和存储介质
US11232263B2 (en) Generating summary content using supervised sentential extractive summarization
CN111737961B (zh) 一种故事生成的方法、装置、计算机设备和介质
Lu et al. Large language models can be guided to evade ai-generated text detection
CN111611791B (zh) 一种文本处理的方法及相关装置
CN113987167A (zh) 基于依赖感知图卷积网络的方面级情感分类方法及系统
Krommyda et al. Emotion detection in Twitter posts: a rule-based algorithm for annotated data acquisition
CN114297399A (zh) 知识图谱生成方法、系统、存储介质及电子设备
CN110852071B (zh) 知识点检测方法、装置、设备及可读存储介质
CN115081430A (zh) 中文拼写检错纠错方法、装置、电子设备及存储介质
Shah et al. Simple App Review Classification with Only Lexical Features.
CN111339772A (zh) 俄语文本情感分析方法、电子设备和存储介质
CN114443846A (zh) 一种基于多层级文本异构图的分类方法、装置及电子设备
CN113191142A (zh) 基于上下文的引文推荐方法、装置、电子设备和存储介质
CN112446217B (zh) 情感分析方法、装置及电子设备
CN110969005A (zh) 一种确定实体语料之间的相似性的方法及装置
CN113157888A (zh) 支持多知识来源的询问答复方法、装置和电子设备
CN113779190A (zh) 事件因果关系识别方法、装置、电子设备与存储介质
CN110334204B (zh) 一种基于用户记录的习题相似度计算推荐方法
CN112347267A (zh) 一种文本处理方法、装置、计算机设备及存储介质
CN109446518B (zh) 语言模型的解码方法及解码器
Robertson Nlp from scratch: Translation with a sequence to sequence network and attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination