CN110825867A - 相似文本推荐方法、装置、电子设备和存储介质 - Google Patents

相似文本推荐方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN110825867A
CN110825867A CN201911060991.1A CN201911060991A CN110825867A CN 110825867 A CN110825867 A CN 110825867A CN 201911060991 A CN201911060991 A CN 201911060991A CN 110825867 A CN110825867 A CN 110825867A
Authority
CN
China
Prior art keywords
text
recommendation
word
vector
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911060991.1A
Other languages
English (en)
Other versions
CN110825867B (zh
Inventor
凌超
沙晶
付瑞吉
王士进
魏思
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN201911060991.1A priority Critical patent/CN110825867B/zh
Publication of CN110825867A publication Critical patent/CN110825867A/zh
Application granted granted Critical
Publication of CN110825867B publication Critical patent/CN110825867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/335—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种相似文本推荐方法、装置、电子设备和存储介质，其中方法包括：确定第一文本，以及所述第一文本对应的多个候选的第二文本；将所述第一文本以及每一第二文本输入至相似文本推荐模型，得到所述相似文本推荐模型输出的相似文本推荐结果；其中，相似文本推荐模型用于基于注意力机制分析第一文本与每一第二文本之间的相关性和特征重要程度，进而确定相似文本推荐结果。本发明实施例提供的方法、装置、电子设备和存储介质，通过基于注意力机制构建的相似文本推荐模型进行相似文本推荐，通过注意力机制的应用将文本关联起来，并有效区分文本中各个特征的重要程度，优化了相似文本推荐效果。

Description

相似文本推荐方法、装置、电子设备和存储介质
技术领域
本发明涉及自然语言处理技术领域，尤其涉及一种相似文本推荐方法、装置、电子设备和存储介质。
背景技术
在现代化教育领域，智能推荐引擎的诞生，为根据学生的真实需求，智能化推送合适的学习资源，实现学习过程的个性化提供了机遇。其中，相似题目文本的推荐，有助于提高学生学习的针对性。
现有的智能推荐引擎，可以根据文本内容提取特征，进而进行相似文本推荐。但是上述相似文本推荐方法提取的特征之间没有联系，特征的重要性也无法区分，由此产生的推荐结果的针对性欠佳，尤其是在相似题目文本推荐场景下，题目文本之间并不是孤立的，题目文本中各个特征不是等同重要的，直接应用现有的智能推荐引擎进行推荐的效果较差。
发明内容
本发明实施例提供一种相似文本推荐方法、装置、电子设备和存储介质，用以解决现有的相似文本推荐方法忽略了特征之间的关联性和重要性区分，推荐效果差的问题。
第一方面，本发明实施例提供一种相似文本推荐方法，包括：
确定第一文本，以及所述第一文本对应的多个候选的第二文本；
将所述第一文本以及每一第二文本输入至相似文本推荐模型，得到所述相似文本推荐模型输出的相似文本推荐结果；
其中，所述相似文本推荐模型是基于样本第一文本，所述样本第一文本对应的多个样本第二文本，以及样本推荐结果训练得到的；所述相似文本推荐模型用于基于注意力机制分析所述第一文本与每一第二文本之间的相关性和特征重要程度，进而确定所述相似文本推荐结果。
优选地，所述相似文本推荐模型包括相关性得分计算层和推荐排序层；
对应地，所述将所述第一文本以及每一第二文本输入至相似文本推荐模型，得到所述相似文本推荐模型输出的相似文本推荐结果，具体包括：
将所述第一文本以及每一第二文本输入至所述相关性得分计算层，得到所述相关性得分计算层输出的所述第一文本与每一第二文本之间的相关性得分；
将所述第一文本与每一第二文本之间的相关性得分输入至所述推荐排序层，得到所述推荐排序层输出的相似文本推荐结果。
优选地，所述相关性得分计算层包括注意力交互层和相关性输出层；
对应地，所述将所述第一文本以及每一第二文本输入至所述相关性得分计算层，得到所述相关性得分计算层输出的所述第一文本与每一第二文本之间的相关性得分，具体包括：
将所述第一文本中每一第一分词的文本特征向量，以及任一第二文本中每一第二分词的文本特征向量输入至所述注意力交互层，得到所述注意力交互层输出的每一第一分词的注意力向量，以及每一第二分词的注意力向量；
将所述每一第一分词的注意力向量，以及每一第二分词的注意力向量输入至所述相关性输出层，得到所述相关性输出层输出的所述第一文本和所述任一第二文本之间的相关性得分。
优选地，所述将所述第一文本中每一第一分词的文本特征向量，以及任一第二文本中每一第二分词的文本特征向量输入至所述注意力交互层，得到所述注意力交互层输出的每一第一分词的注意力向量，以及每一第二分词的注意力向量，具体包括：
将任一文本中任一分词的文本特征向量和另一文本中分词的文本特征向量进行全局注意力交互，得到所述任一分词的全局注意力向量；和/或，
将所述任一分词的文本特征向量和另一文本中分词的文本特征向量进行局部注意力交互，得到所述任一分词的局部注意力向量；
基于所述任一分词的全局注意力向量和/或局部注意力向量，确定所述任一分词的注意力向量。
优选地，所述将任一文本中任一分词的文本特征向量和另一文本中分词的文本特征向量进行全局注意力交互，得到所述任一分词的全局注意力向量，具体包括：
将任一文本中任一分词的文本特征向量与另一文本中最后一个分词的文本特征向量进行注意力交互，得到所述任一分词的第一全局注意力向量；和/或，
将所述任一分词的文本特征向量与另一文本中每一分词的文本特征向量的平均向量进行注意力交互，得到所述任一分词的第二全局注意力向量；
基于所述任一分词的第一全局注意力向量和/或第二全局注意力向量，确定所述任一分词的全局注意力向量。
优选地，所述将所述任一分词的文本特征向量和另一文本中分词的文本特征向量进行局部注意力交互，得到所述任一分词的局部注意力向量，具体包括：
将所述任一分词的文本特征向量与另一文本中每一分词的文本特征向量进行交互，将交互结果的最大值作为所述任一分词的第一局部注意力向量；和/或，
将所述任一分词的文本特征向量，与另一文本中与所述任一分词的文本特征向量最近的分词的文本特征向量进行交互，得到所述任一分词的第二局部注意力向量；
基于所述任一分词的第一局部注意力向量和/或第二局部注意力向量，确定所述任一分词的局部注意力向量。
优选地，所述样本推荐结果包括每一样本第二文本的推荐标记和排序标记；
对应地，所述相似文本推荐模型训练时的损失函数是基于所述样本第一文本与每一样本第二文本之间的相关性得分，以及每一样本第二文本的推荐标记和排序标记构建的，用于最大化所述推荐标记为是的样本第二文本对应的相关性得分与排序标记的比值。
优选地，所述第二文本是基于所述第一文本，从预设文本集合中选取的。
优选地，所述文本为数学题目文本。
第二方面，本发明实施例提供一种相似文本推荐装置，包括：
文本确定单元，用于确定第一文本，以及所述第一文本对应的多个候选的第二文本；
文本推荐单元，用于将所述第一文本以及每一第二文本输入至相似文本推荐模型，得到所述相似文本推荐模型输出的相似文本推荐结果；
其中，所述相似文本推荐模型是基于样本第一文本，所述样本第一文本对应的多个样本第二文本，以及样本推荐结果训练得到的；所述相似文本推荐模型用于基于注意力机制分析所述第一文本与每一第二文本之间的相关性和特征重要程度，进而确定所述相似文本推荐结果。
第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的一种相似文本推荐方法、装置、电子设备和存储介质，通过基于注意力机制构建的相似文本推荐模型进行相似文本推荐，通过注意力机制的应用将文本关联起来，并有效区分文本中各个特征的重要程度，优化了相似文本推荐效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的相似文本推荐方法的流程示意图；
图2为本发明实施例提供的相似文本推荐模型的运行流程示意图；
图3为本发明实施例提供的相关性得分的计算方法的流程示意图；
图4为本发明实施例提供相似文本推荐模型的结构示意图；
图5为本发明实施例提供的相似文本推荐装置的结构示意图；
图6为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在人工智能技术的推动下，教育行业不断从传统教育往个性化教育进步。传统教育在现代化教育的发展过程中，逐渐体现出以下不足：1)学生不能充分理解自己，教师又难以关注每个学生，因此学生只能获得标准化的学习内容和学习策略指导；2)教师教学过程未能实现精准化，教师以一人之力难以从预习、听课、复习、自学、作业、考试等各类场景应用中，掌握全班所有学生学习情况；3)学校的管理过程未能实现科学化。
人工智能技术为克服上述问题提供了机遇，智能推荐引擎应运而生。智能推荐引擎一方面基于对学生学习数据的全面掌握，准确刻画学生的学习需求；另一方面基于对学习资源内容和使用状况的智能分析，实现资源特性的标签化；最终根据每个学生的真实需求，智能化推送合适的学习资源，以实现学习过程个性化。
目前的智能推荐引擎方法主要包括基于内容的推荐方法、基于协同过滤的推荐方法，以及基于混合推荐的推荐方法。基于内容的推荐方法主要从项目的内容信息中提取项目的隐表示，然后基于隐表示计算项目的匹配度产生推荐。此处，隐表示蕴含了项目内容的语法和语义特征，大量减少了过去人工提取特征的成本。基于内容的推荐方法可以是基于多层感知机、卷积神经网络(Convolutional Neural Network，CNN)或者递归神经网络(Recurrent Neural Network，RNN)实现的。其中，基于多层感知机的方法是在词向量表征的基础上，通过多层感知机提取项目特征，然后在交互层来预测项目之间的相关性；该方法模型简单，速度高效，并且结合了用户显示反馈数据，效果显著提升。基于卷积神经网络的方法是在词向量表征的基础上，使用卷积神经网络来提取项目特征，CNN的优势是能捕捉局部相关性。基于递归神经网络的方法是在词向量表征的基础上，使用递归神经网络来提取项目特征，RNN的优势是能抓住内容文本的序列特征。
上述基于内容的推荐方法虽然可以根据内容较好地提取项目特征，由于提取的项目特征之间没有联系，且项目特征的重要性没有区分，在推荐场景下的有效性较差。尤其是在现代化教育领域，当应用于相似题目文本的推荐时，以数学题目推荐为例，原题和推荐题之间不是孤立的，而是需要进行相关性分析的，具体体现在数学知识、数学语义层面的相似性，例如原题出现\sin函数，推荐题出现\cos函数。此外，原题具有多个特征，且每个特征不是同等重要的，例如全称量词的否定与具体的命题形式无关，重要程度较低，如果直接应用现有的推荐方法进行推荐，忽略原题和推荐题之间的相关性，以及各个特征不同的重要程度，得到的推荐效果较差。
对此，本发明实施例提供一种相似文本推荐方法，该方法即可以用于教育领域各学科相似题目的推荐，也可以应用于其他领域相似文本的推荐，例如相似论文的推荐。图1为本发明实施例提供的相似文本推荐方法的流程示意图，如图1所示，该方法包括：
步骤110，确定第一文本，以及第一文本对应的多个候选的第二文本。
具体地，第一文本为需要进行相似文本推荐的文本，第二文本为在进行针对第一文本的相似文本推荐时，可作为推荐文本的候选文本。此处，第一文本和第二文本为同类型文本，“第一”和“第二”仅用于区分需要待推荐的文本以及可作为推荐的文本。例如，在进行数学题目文本推荐时，原题A为第一文本，题库中的题目B、C、D为第二文本，可以从第二文本中选取原题A的相似题目并排序，从而实现原题A的相似题目推荐。
步骤120，将第一文本以及每一第二文本输入至相似文本推荐模型，得到相似文本推荐模型输出的相似文本推荐结果，其中，相似文本推荐模型是基于样本第一文本，样本第一文本对应的多个样本第二文本，以及样本推荐结果训练得到的；相似文本推荐模型用于基于注意力机制分析第一文本与每一第二文本之间的相关性和特征重要程度，进而确定相似文本推荐结果。
具体地，深度学习中，注意力机制(Attention Mechanism)和人类视觉的注意力机制类似，就是在众多信息中把注意力集中放在重要的点上，选出关键信息，而忽略其他不重要的信息。本发明实施例中，基于注意力机制构建相似文本推荐模型，将相似文本推荐模型用于分析第一文本和第二文本之间的关联性，以及文本中不同的特征的重要程度，进而输出相似文本推荐结果。此处，相似文本推荐结果是在考虑了第一文本和第二文本之间的关联性，以及第一文本和第二文本中各个特征之间的重要程度的基础上得到的，相似文本推荐结果可以包含针对与第一文本，待推荐的第二文本，相似文本推荐结果还可以包括待推荐的第二文本的推荐排序。
另外，在执行步骤120之前，还可以预先训练得到相似文本推荐模型，具体可通过如下方式训练得到相似文本推荐模型：首先，收集大量样本第一文本，样本第一文本相对应的样本第二文本，以及通过人工标注得到的针对样本第一文本的样本推荐结果。此处，样本推荐结果可以包括针对任一样本第二文本，是否推荐该样本第二文本，若推荐该样本第二文本，还可以包括该样本第二文本在相似文本推荐中的排序。随即，将样本第一文本，样本第一文本相对应的样本第二文本，以及样本推荐结果对初始模型进行训练，从而得到相似文本推荐模型。需要说明的是，此处的初始模型是基于注意力机制构建的。
本发明实施例提供的方法，通过基于注意力机制构建的相似文本推荐模型进行相似文本推荐，通过注意力机制的应用将文本关联起来，并有效区分文本中各个特征的重要程度，优化了相似文本推荐效果。
当前的推荐方法通常属于分类算法的范畴，即输出结果为推荐或不推荐。而实际上，在相似文本推荐场景下，尤其是在相似题目文本的推荐场景下，排列在前面的推荐文本的影响力应当高于排列在后面的推荐文本的影响力，当前的分类算法并没有考虑不同位置对推荐结果的影响。对此，基于上述实施例，相似文本推荐模型包括相关性得分计算层和推荐排序层。图2为本发明实施例提供的相似文本推荐模型的运行流程示意图，如图2所示，该方法中，步骤120具体包括：
步骤121，将第一文本以及每一第二文本输入至相关性得分计算层，得到相关性得分计算层输出的第一文本与每一第二文本之间的相关性得分。
具体地，针对第一文本以及任一第二文本，相关性得分计算层用于分析第一文本和该第二文本之间的关联性，以及文本中不同的特征的重要程度，进而输出相关性得分。此处，相关性得分是在考虑了第一文本和该第二文本之间的关联性，以及第一文本和该第二文本中各个特征之间的重要程度的基础上得到的，用于衡量第一文本和该第二文本的相似程度的值。
需要说明的是，相关性得分计算层可以通过并行计算，一次性计算得到第一文本与每一第二文本之间的相关性得分，从而实现模型效率的提升。
步骤122，将第一文本与每一第二文本之间的相关性得分输入至推荐排序层，得到推荐排序层输出的相似文本推荐结果。
具体地，在得到第一文本与每一第二文本之间的相关性得分后，即可通过推荐排序层基于相关性得分确定是否推荐第二文本，并对待推荐的第二文本进行推荐排序，输出相似文本推荐结果。例如，推荐排序层可以直接按照相关性得分从大到小的顺序对第二文本进行排序，并根据排序结果确定相似文本推荐结果；又例如，排序推荐层可以基于排序算法，例如pairwise，基于相关性得分对各个第二文本进行排序，进而确定相似文本推荐结果。
本发明实施例提供的方法，基于文本间的相关性得分，进行推荐结果排序，使得靠前推荐的文本的影响力高于靠后推荐的文本的影响力，优化用户体验。
基于上述任一实施例，相关性得分计算层包括注意力交互层和相关性输出层；图3为本发明实施例提供的相关性得分的计算方法的流程示意图，如图3所示，步骤121具体包括：
步骤1211，将第一文本中每一第一分词的文本特征向量，以及任一第二文本中每一第二分词的文本特征向量输入至注意力交互层，得到注意力交互层输出的每一第一分词的注意力向量，以及每一第二分词的注意力向量。
此处，第一分词为第一文本的分词，第二分词为第二文本中的分词。针对任一分词，该分词的文本特征向量可以是该分词的词向量表示，也可以是该分词在对应文本中的上下文语义表示等，本发明实施例对此不作具体限定。
注意力交互层用于对第一文本中的每一第一分词与第二文本进行注意力相互，输出每一第一分词的注意力向量，并对第二文本中的每一第二分词与第一文本进行注意力交互，输出每一第二分词的注意力向量。
此处，第一分词的注意力向量是第一分词的文本特征向量与第二文本中第二分词的文本特征向量进行注意力交互得到的，第一分词的注意力向量反映了第一分词与第二文本中的全部第二分词或部分第二分词之间的关联性。第二分词的注意力向量是第二分词的文本特征向量与第一文本中第一分词的文本特征向量进行注意力交互得到的，第二分词的注意力向量反映了第二分词与第一文本中的全部第一分词或部分第一分词之间的关联性。
步骤1212，将每一第一分词的注意力向量，以及每一第二分词的注意力向量输入至相关性输出层，得到相关性输出层输出的第一文本和该第二文本之间的相关性得分。
具体地，相关性输出层用于基于输入第一文本中每一第一分词的注意力向量，以及第二文本中每一第二分词的注意力向量，基于注意力向量反映的第一文本和第二文本之间的关联性，以及文本中不同的特征的重要程度，预测第一文本和第二文本的最终语义相关性，并输出相关性得分。此处，相关性输出层可以使用长短期记忆网络对注意力向量进行编码，将第一文本和第二文本最后单元位置的隐层向量进行拼接和线性变换，得到相关性得分。
基于上述任一实施例，该方法中，步骤1211具体包括：
将任一文本中任一分词的文本特征向量和另一文本中分词的文本特征向量进行全局注意力交互，得到该分词的全局注意力向量；和/或，将该分词的文本特征向量和另一文本中分词的文本特征向量进行局部注意力交互，得到该分词的局部注意力向量；
基于该分词的全局注意力向量和/或局部注意力向量，确定该分词的注意力向量。
具体地，在针对第一文本和任一第二文本的分词的文本特征向量输入到注意力交互层进行注意力交互时，任一文本即第一文本和第二文本中的任意一个文本，另一文本即第一文本和第二文本中的另外一个文本，假设任一文本为第一文本，另一文本即第二文本，假设任一文本为第二文本，另一文本即第一文本。
注意力交互模式包括全局注意力交互和/或局部注意力交互，其中全局注意力交互用于体现任一文本中的任一分词的文本特征向量与另一文本的全局的文本特征向量之间的关联，用于解决特征重要性的问题；局部注意力交互用于体现任一文本中任一分词的文本特征向量与另一文本中局部的文本特征向量之间的关联，用于解决语义层面的相似性的问题。
对应地，注意力向量可以包含进行全局注意力交互得到的全局注意力向量，和/或进行局部注意力交互得到的局部注意力向量。
本发明实施例提供的方法，从多角度进行注意力交互，从而根据语义层面的相似性对文本进行关联，并有效区分文本中各个特征的重要程度，提高了注意力交互机制的有效性。
基于上述任一实施例，该方法中，将任一文本中任一分词的文本特征向量和另一文本中分词的文本特征向量进行全局注意力交互，得到该分词的全局注意力向量，具体包括：
将任一文本中任一分词的文本特征向量与另一文本中最后一个分词的文本特征向量进行注意力交互，得到该分词的第一全局注意力向量；和/或，将该分词的文本特征向量与另一文本中每一分词的文本特征向量的平均向量进行注意力交互，得到该分词的第二全局注意力向量；
基于该分词的第一全局注意力向量和/或第二全局注意力向量，确定该分词的全局注意力向量。
假设第一文本中每一第一分词的文本特征向量为[ha1，ha2，...han]，第二文本中每一第二分词的文本特征向量为[hb1，hb2，...hbm]，其中a表示第一文本，b表示第二文本，n为第一文本中第一分词的数量，m为第二文本中第二分词的数量。
在全局注意力交互中，假设任一文本的任一分词i的文本特征向量为hai，将hai与另一文本中最后一个分词m的文本特征向量hbm进行注意力交互，此处hbm相当于另一文本的句向量，其中包含了另一文本的全局特征，由此得到分词i的第一全局注意力向量；将hai与另一文本中每一分词的文本特征向量的平均向量，即
Figure BDA0002257944550000111
进行注意力交互，由此得到分词i的第二全局注意力向量。
对应于上述两种全局注意力交互模式。分词i的全局注意力向量可以是第一全局注意力向量，或者第二全局注意力向量，还可以是第一全局注意力向量和第二全局注意力向量的拼接向量。由此得到的全局注意力向量，能够反映分词与另一文本的全局的关联性，体现分词特征的重要程度。
基于上述任一实施例，该方法中，将任一分词的文本特征向量和另一文本中分词的文本特征向量进行局部注意力交互，得到该分词的局部注意力向量，具体包括：
将任一分词的文本特征向量与另一文本中每一分词的文本特征向量进行交互，将交互结果的最大值作为该分词的第一局部注意力向量；和/或，将该分词的文本特征向量，与另一文本中与该分词的文本特征向量最近的分词的文本特征向量进行交互，得到该分词的第二局部注意力向量；
基于该分词的第一局部注意力向量和/或第二局部注意力向量，确定该分词的局部注意力向量。
在局部注意力交互中，假设任一文本的任一分词i的文本特征向量为hai，将hai与另一文本中每一分词j的文本特征向量hbj进行注意力交互，并从与每一hbj的交互结果中选取每个维度上的最大值，由此得到分词i的第一局部注意力向量；计算hai与每一hbj之间的距离，从而确定与hai最近的hbj，对两者进行注意力交互，从而得到分词i的第二局部注意力向量。
对应于上述两种局部注意力交互模式。分词i的局部注意力向量可以是第一局部注意力向量，或者第二局部注意力向量，还可以是第一局部注意力向量和第二局部注意力向量的拼接向量。由此得到的局部注意力向量，能够反映分词与另一文本的局部的关联性，从而缓解文本表达不同、但是语义层面相同的问题。
基于上述任一实施例，相关性得分计算层还包括编码层和上下文层；对应地，该方法中，步骤1211之前还包括：
将第一文本的每一第一分词，以及任一第二文本的每一第二分词输入至编码层，得到编码层输出的每一第一分词的词向量，以及每一第二分词的词向量；
将每一第一分词的词向量，以及每一第二分词的词向量输入至上下文层，得到上下文层输出的每一第一分词的文本特征向量，以及每一第二分词的文本特征向量。
具体地，编码层用于确定输入分词的词向量表示。上下文层用于基于输入文本中每一分词的词向量，结合文本的上下文信息分析分词的语义，并对分词的词向量进行编码，输出分词的文本特征向量。作为优选，编码层可以采用word2vec模型训练词向量表示，上下文层可以应用双向长短期记忆网络(Bidirectional long short-term Memory，BiLSTM)对词向量进行编码，取出每个单元位置的两个隐层状态，得到文本特征向量。此外，随着预训练模型(ELMo)的流行，上下文层的参数可以使用语言模型(language model)在样本语料上进行预训练，使得上下文层更具有泛化性。
基于上述任一实施例，该方法中，样本推荐结果包括每一样本第二文本的推荐标记和排序标记；对应地，相似文本推荐模型训练时的损失函数是基于样本第一文本与每一样本第二文本之间的相关性得分，以及每一样本第二文本的推荐标记和排序标记构建的，用于最大化推荐标记为是的样本第二文本对应的相关性得分与排序标记的比值。
此处，推荐标记表征针对于样本第一文本，是否将样本第二文本作为相似文本推荐，排序标记用于指示相似文本推荐时第二样本文本的推荐排序。
基于样本第一文本与每一样本第二文本之间的相关性得分，以及每一样本第二文本的推荐标记和排序标记训练相似文本推荐模型，使得训练后的相似文本推荐模型可以基于输入的第一文本以及每一第二文本，基于第一文本与每一第二文本之间的相关性得分，确定针对于第一文本，是否将每一第二文本作为相似文本推荐，以及将第二文本作为相似文本推荐时的推荐排序。
进一步地，针对相似文本推荐模型进行训练时，损失函数如下式所示：
Figure BDA0002257944550000131
式中，j为样本第二文本中的任一文本，i为样本第二文本中推荐标记为是的文本，即用户预先选中的文本。i与j均为小于等于n的正整数，n为样本第二文本的总数。Pi为推荐标记为是的样本第二文本i的展示位置，即推荐排序，si为推荐标记为是的样本第二文本i的相关性得分，推荐排序越靠前，则si/Pi在损失函数中的影响越大；
Figure BDA0002257944550000132
表示对每一样本第二文本j对应的
Figure BDA0002257944550000133
进行叠加。
si/Pi即推荐标记为是的样本第二文本对应的相关性得分与排序标记的比值，推荐标记为是的样本第二文本对应的相关性得分越高，排序标记越靠前，
Figure BDA0002257944550000134
的值越大，则
Figure BDA0002257944550000135
与
Figure BDA0002257944550000136
的差值越小，损失函数值越接近于0。由此训练得到的相似文本推荐模型输出的相似文本推荐结果，能够优先推荐相关性得分高的第二文本。
基于上述任一实施例，该方法中，第二文本是基于第一文本，从预设文本集合中选取的。
具体地，在确定第一文本中，可以从预设文本集合中选取第一文本相对应的第二文本。此处，从预设文本集中选取第二文本的过程，可以通过预先设定的推荐算法实现，由此得到的第一文本相对应的第二文本，即由预先设定的推荐算法得到的一次推荐结果。此处，预设的推荐算法可以与后续的相似文本推荐方法组成级联的推荐系统，从而提高相似文本推荐的准确率，优化推荐效果。
基于上述任一实施例，该方法中，文本为数学题目文本。
在对数学题目文本进行相似文本推荐时，即针对数学题目推荐相似题目时，针对相似文本推荐模型的训练方法包括如下步骤：
首先，获取数学题目文本作为样本，进行数学题目文本预处理，并且获取线上数学题推荐以及选题结果。
因为数学题目数据的存储格式可以为图像、文本，考虑不丢失内容的情况下，可以使用OCR(Optical Character Recognition，光学字符识别)技术识别图像，将图像转换为文本格式；或者在图像占比较少的情况下，考虑过滤所有图像，得到数学题目文本。
数学题目文本的预处理，主要包括文本格式统一和文本分词：
关于文本格式统一，在数学题目文本中，可能存在数据公式。数学公式具有丰富的语法和语义信息，常用的数学公式描述格式为LaTeX和MATHML。本发明实施例中，采用基于规则的方法，将数学公式统一为Latex格式，并且忽略数学题目文本来源网页的结构信息。
关于文本分词，考虑到数学语言包括数学公式语言和数学陈述语言，本发明实施例采用基于规则的方法进行数学文本分词，首先采用基于规则的匹配方法检测出数学实体，例如针对公式：角ABC＝60，得到数学实体(ABC和60)，然后进行数学公式语言和数学陈述语言的分离，例如(角)(ABC＝60)，最后分别进行分词，例如(角)(ABC,＝,60)。
针对数学题目文本，此处将数学题目文本作为第一样本文本，通过预先设定的推荐算法从数据题目库中选取与该数学题目文本相关的数学题目文本作为样本第二文本，并记录用户对推荐题的选取结果，即用户在样本第二文本中，选取了哪些样本第二文本作为第一样本文本的推荐题目。
其次，搭建训练模型，并基于上一步骤中预处理过的样本对模型进行迭代训练，并通过开发数据集来判断模型是否训练结束。
图4为本发明实施例提供相似文本推荐模型的结构示意图，如图4所示，该模型由相关性得分计算层和推荐排序层两部分构成，其中相关性得分计算层具体包括编码层、上下文层、注意力交互层和相关性输出层。
具体地，编码层用于将第一文本和第二文本中的每个分词表达为一个词向量；
上下文层用于基于输入文本中每一分词的词向量，结合文本的上下文信息分析分词的语义，并对分词的词向量进行编码，输出分词的文本特征向量。
注意力交互层用于对第一文本中的每一第一分词与第二文本进行注意力相互，输出每一第一分词的注意力向量，并对第二文本中的每一第二分词与第一文本进行注意力交互，输出每一第二分词的注意力向量。此处，注意力交互层采用的注意力机制模式为多角度的双向交互模型。
相关性输出层用于基于输入第一文本中每一第一分词的注意力向量，以及第二文本中每一第二分词的注意力向量，基于注意力向量反映的第一文本和第二文本之间的关联性，以及文本中不同的特征的重要程度，预测第一文本和第二文本的最终语义相关性，并输出相关性得分。
推荐排序层基于相关性得分确定是否推荐第二文本，并对待推荐的第二文本进行推荐排序，输出相似文本推荐结果。此处，推荐排序是基于pairwise算法确定的。
在上述模型的基础上，应用样本进行模型训练，假设样本第一文本为原题A，针对原题A，基于预先设定的推荐方法从题目库中选取得到4道相似题B、C、D、E作为样本第二文本，其中E为用户预先选中的文本，分别将A与B，A与C，A与D，A与E输入到图4示出的模型中，由相对应的相关性得分计算层输出B、C、D、E分别与A的相关性得分，并将四个相关性得分输入至推荐排序层，得到B、C、D、E的推荐排序。此处，推荐排序的最终目标为E>B&E>C&E>D。
在训练模型后，将上述模型应用于相似文本推荐。
基于上述任一实施例，图5为本发明实施例提供的相似文本推荐装置的结构示意图，如图5所示，该装置包括文本确定单元510和文本推荐单元520；
其中，文本确定单元510用于确定第一文本，以及所述第一文本对应的多个候选的第二文本；
文本推荐单元520用于将所述第一文本以及每一第二文本输入至相似文本推荐模型，得到所述相似文本推荐模型输出的相似文本推荐结果；
其中，所述相似文本推荐模型是基于样本第一文本，所述样本第一文本对应的多个样本第二文本，以及样本推荐结果训练得到的；所述相似文本推荐模型用于基于注意力机制分析所述第一文本与每一第二文本之间的相关性和特征重要程度，进而确定所述相似文本推荐结果。
本发明实施例提供的装置，通过基于注意力机制构建的相似文本推荐模型进行相似文本推荐，通过注意力机制的应用将文本关联起来，并有效区分文本中各个特征的重要程度，优化了相似文本推荐效果。
基于上述任一实施例，该装置中，所述相似文本推荐模型包括相关性得分计算层和推荐排序层；
对应地，文本推荐单元520包括：
得分计算单元，用于将所述第一文本以及每一第二文本输入至所述相关性得分计算层，得到所述相关性得分计算层输出的所述第一文本与每一第二文本之间的相关性得分；
排序推荐单元，用于将所述第一文本与每一第二文本之间的相关性得分输入至所述推荐排序层，得到所述推荐排序层输出的相似文本推荐结果。
基于上述任一实施例，该装置中，所述相关性得分计算层包括注意力交互层和相关性输出层；
对应地，得分计算单元包括：
注意力交互子单元，用于将所述第一文本中每一第一分词的文本特征向量，以及任一第二文本中每一第二分词的文本特征向量输入至所述注意力交互层，得到所述注意力交互层输出的每一第一分词的注意力向量，以及每一第二分词的注意力向量；
得分计算子单元，用于将所述每一第一分词的注意力向量，以及每一第二分词的注意力向量输入至所述相关性输出层，得到所述相关性输出层输出的所述第一文本和所述任一第二文本之间的相关性得分。
基于上述任一实施例，该装置中，注意力交互子单元包括：
全局交互模块，用于将任一文本中任一分词的文本特征向量和另一文本中分词的文本特征向量进行全局注意力交互，得到所述任一分词的全局注意力向量；
和/或，局部交互模块，用于将所述任一分词的文本特征向量和另一文本中分词的文本特征向量进行局部注意力交互，得到所述任一分词的局部注意力向量；
交互输出模块，用于基于所述任一分词的全局注意力向量和/或局部注意力向量，确定所述任一分词的注意力向量。
基于上述任一实施例，该装置中，全局交互模块具体用于：
将任一文本中任一分词的文本特征向量与另一文本中最后一个分词的文本特征向量进行注意力交互，得到所述任一分词的第一全局注意力向量；和/或，
将所述任一分词的文本特征向量与另一文本中每一分词的文本特征向量的平均向量进行注意力交互，得到所述任一分词的第二全局注意力向量；
基于所述任一分词的第一全局注意力向量和/或第二全局注意力向量，确定所述任一分词的全局注意力向量。
基于上述任一实施例，该装置中，局部交互模块具体用于：
将所述任一分词的文本特征向量与另一文本中每一分词的文本特征向量进行交互，将交互结果的最大值作为所述任一分词的第一局部注意力向量；和/或，
将所述任一分词的文本特征向量，与另一文本中与所述任一分词的文本特征向量最近的分词的文本特征向量进行交互，得到所述任一分词的第二局部注意力向量；
基于所述任一分词的第一局部注意力向量和/或第二局部注意力向量，确定所述任一分词的局部注意力向量。
基于上述任一实施例，该装置中，所述相关性得分计算层还包括编码层和上下文层；
对应地，得分计算单元还包括：
编码子单元，用于将所述第一文本的每一第一分词，以及任一第二文本的每一第二分词输入至所述编码层，得到所述编码层输出的每一第一分词的词向量，以及每一第二分词的词向量；
上下文子单元，用于将所述每一第一分词的词向量，以及每一第二分词的词向量输入至所述上下文层，得到所述上下文层输出的每一第一分词的文本特征向量，以及每一第二分词的文本特征向量。
基于上述任一实施例，该装置中，所述样本推荐结果包括每一样本第二文本的推荐标记和排序标记；
对应地，所述相似文本推荐模型训练时的损失函数是基于所述样本第一文本与每一样本第二文本之间的相关性得分，以及每一样本第二文本的推荐标记和排序标记构建的，用于最大化所述推荐标记为是的样本第二文本对应的相关性得分与排序标记的比值。
基于上述任一实施例，该装置中，所述第二文本是基于所述第一文本，从预设文本集合中选取的。
基于上述任一实施例，该装置中，所述文本为数学题目文本。
图6为本发明实施例提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行如下方法：确定第一文本，以及所述第一文本对应的多个候选的第二文本；将所述第一文本以及每一第二文本输入至相似文本推荐模型，得到所述相似文本推荐模型输出的相似文本推荐结果；其中，所述相似文本推荐模型是基于样本第一文本，所述样本第一文本对应的多个样本第二文本，以及样本推荐结果训练得到的；所述相似文本推荐模型用于基于注意力机制分析所述第一文本与每一第二文本之间的相关性和特征重要程度，进而确定所述相似文本推荐结果。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定第一文本，以及所述第一文本对应的多个候选的第二文本；将所述第一文本以及每一第二文本输入至相似文本推荐模型，得到所述相似文本推荐模型输出的相似文本推荐结果；其中，所述相似文本推荐模型是基于样本第一文本，所述样本第一文本对应的多个样本第二文本，以及样本推荐结果训练得到的；所述相似文本推荐模型用于基于注意力机制分析所述第一文本与每一第二文本之间的相关性和特征重要程度，进而确定所述相似文本推荐结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种相似文本推荐方法，其特征在于，包括：
确定第一文本，以及所述第一文本对应的多个候选的第二文本；
将所述第一文本以及每一第二文本输入至相似文本推荐模型，得到所述相似文本推荐模型输出的相似文本推荐结果；
其中，所述相似文本推荐模型是基于样本第一文本，所述样本第一文本对应的多个样本第二文本，以及样本推荐结果训练得到的；所述相似文本推荐模型用于基于注意力机制分析所述第一文本与每一第二文本之间的相关性和特征重要程度，进而确定所述相似文本推荐结果。
2.根据权利要求1所述的相似文本推荐方法，其特征在于，所述相似文本推荐模型包括相关性得分计算层和推荐排序层；
对应地，所述将所述第一文本以及每一第二文本输入至相似文本推荐模型，得到所述相似文本推荐模型输出的相似文本推荐结果，具体包括：
将所述第一文本以及每一第二文本输入至所述相关性得分计算层，得到所述相关性得分计算层输出的所述第一文本与每一第二文本之间的相关性得分；
将所述第一文本与每一第二文本之间的相关性得分输入至所述推荐排序层，得到所述推荐排序层输出的相似文本推荐结果。
3.根据权利要求2所述的相似文本推荐方法，其特征在于，所述相关性得分计算层包括注意力交互层和相关性输出层；
对应地，所述将所述第一文本以及每一第二文本输入至所述相关性得分计算层，得到所述相关性得分计算层输出的所述第一文本与每一第二文本之间的相关性得分，具体包括：
将所述第一文本中每一第一分词的文本特征向量，以及任一第二文本中每一第二分词的文本特征向量输入至所述注意力交互层，得到所述注意力交互层输出的每一第一分词的注意力向量，以及每一第二分词的注意力向量；
将所述每一第一分词的注意力向量，以及每一第二分词的注意力向量输入至所述相关性输出层，得到所述相关性输出层输出的所述第一文本和所述任一第二文本之间的相关性得分。
4.根据权利要求3所述的相似文本推荐方法，其特征在于，所述将所述第一文本中每一第一分词的文本特征向量，以及任一第二文本中每一第二分词的文本特征向量输入至所述注意力交互层，得到所述注意力交互层输出的每一第一分词的注意力向量，以及每一第二分词的注意力向量，具体包括：
将任一文本中任一分词的文本特征向量和另一文本中分词的文本特征向量进行全局注意力交互，得到所述任一分词的全局注意力向量；和/或，
将所述任一分词的文本特征向量和另一文本中分词的文本特征向量进行局部注意力交互，得到所述任一分词的局部注意力向量；
基于所述任一分词的全局注意力向量和/或局部注意力向量，确定所述任一分词的注意力向量。
5.根据权利要求4所述的相似文本推荐方法，其特征在于，所述将任一文本中任一分词的文本特征向量和另一文本中分词的文本特征向量进行全局注意力交互，得到所述任一分词的全局注意力向量，具体包括：
将任一文本中任一分词的文本特征向量与另一文本中最后一个分词的文本特征向量进行注意力交互，得到所述任一分词的第一全局注意力向量；和/或，
将所述任一分词的文本特征向量与另一文本中每一分词的文本特征向量的平均向量进行注意力交互，得到所述任一分词的第二全局注意力向量；
基于所述任一分词的第一全局注意力向量和/或第二全局注意力向量，确定所述任一分词的全局注意力向量。
6.根据权利要求4所述的相似文本推荐方法，其特征在于，所述将所述任一分词的文本特征向量和另一文本中分词的文本特征向量进行局部注意力交互，得到所述任一分词的局部注意力向量，具体包括：
将所述任一分词的文本特征向量与另一文本中每一分词的文本特征向量进行交互，将交互结果的最大值作为所述任一分词的第一局部注意力向量；和/或，
将所述任一分词的文本特征向量，与另一文本中与所述任一分词的文本特征向量最近的分词的文本特征向量进行交互，得到所述任一分词的第二局部注意力向量；
基于所述任一分词的第一局部注意力向量和/或第二局部注意力向量，确定所述任一分词的局部注意力向量。
7.根据权利要求2所述的相似文本推荐方法，其特征在于，所述样本推荐结果包括每一样本第二文本的推荐标记和排序标记；
对应地，所述相似文本推荐模型训练时的损失函数是基于所述样本第一文本与每一样本第二文本之间的相关性得分，以及每一样本第二文本的推荐标记和排序标记构建的，用于最大化所述推荐标记为是的样本第二文本对应的相关性得分与排序标记的比值。
8.根据权利要求1至7中任一项所述的相似文本推荐方法，其特征在于，所述第二文本是基于所述第一文本，从预设文本集合中选取的。
9.根据权利要求1至7中任一项所述的相似文本推荐方法，其特征在于，所述文本为数学题目文本。
10.一种相似文本推荐装置，其特征在于，包括：
文本确定单元，用于确定第一文本，以及所述第一文本对应的多个候选的第二文本；
文本推荐单元，用于将所述第一文本以及每一第二文本输入至相似文本推荐模型，得到所述相似文本推荐模型输出的相似文本推荐结果；
其中，所述相似文本推荐模型是基于样本第一文本，所述样本第一文本对应的多个样本第二文本，以及样本推荐结果训练得到的；所述相似文本推荐模型用于基于注意力机制分析所述第一文本与每一第二文本之间的相关性和特征重要程度，进而确定所述相似文本推荐结果。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9中任一项所述的相似文本推荐方法的步骤。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至9中任一项所述的相似文本推荐方法的步骤。
CN201911060991.1A 2019-11-01 2019-11-01 相似文本推荐方法、装置、电子设备和存储介质 Active CN110825867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911060991.1A CN110825867B (zh) 2019-11-01 2019-11-01 相似文本推荐方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911060991.1A CN110825867B (zh) 2019-11-01 2019-11-01 相似文本推荐方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110825867A true CN110825867A (zh) 2020-02-21
CN110825867B CN110825867B (zh) 2023-01-17

Family

ID=69552030

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911060991.1A Active CN110825867B (zh) 2019-11-01 2019-11-01 相似文本推荐方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110825867B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111625710A (zh) * 2020-04-09 2020-09-04 北京百度网讯科技有限公司 推荐内容的处理方法、装置、电子设备及可读存储介质
CN112069295A (zh) * 2020-09-18 2020-12-11 科大讯飞股份有限公司 相似题推荐方法、装置、电子设备和存储介质
CN112101043A (zh) * 2020-09-22 2020-12-18 浙江理工大学 一种基于注意力的语义文本相似度计算方法
CN112231485A (zh) * 2020-12-14 2021-01-15 平安科技（深圳）有限公司 文本推荐方法、装置、计算机设备及存储介质
CN112507719A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 命名实体识别方法、装置、电子设备及存储介质
CN114281987A (zh) * 2021-11-26 2022-04-05 重庆邮电大学 一种用于智能语音助手的对话短文本语句匹配方法
CN116108326A (zh) * 2023-04-12 2023-05-12 山东工程职业技术大学 一种数学工具软件控制方法、装置、设备及存储介质
CN118412007A (zh) * 2024-07-01 2024-07-30 山东大学 基于语音作答量表的心理分析系统、方法、介质及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090192808A1 (en) * 2008-01-28 2009-07-30 Procompare, Llc Method and Device for Providing a Personal Product Recommendation
JP2013025723A (ja) * 2011-07-25 2013-02-04 Panasonic Corp 類似症例検索装置および読影知識抽出装置
CN103136300A (zh) * 2011-12-05 2013-06-05 北京百度网讯科技有限公司 一种文本相关主题的推荐方法和装置
CN106202394A (zh) * 2016-07-07 2016-12-07 腾讯科技（深圳）有限公司 文本资讯的推荐方法及系统
US20180349350A1 (en) * 2017-06-01 2018-12-06 Beijing Baidu Netcom Science And Technology Co., Ltd. Artificial intelligence based method and apparatus for checking text
CN109214407A (zh) * 2018-07-06 2019-01-15 阿里巴巴集团控股有限公司 事件检测模型、方法、装置、计算设备及存储介质
CN109522548A (zh) * 2018-10-26 2019-03-26 天津大学 一种基于双向交互神经网络的文本情感分析方法
CN109740126A (zh) * 2019-01-04 2019-05-10 平安科技（深圳）有限公司 文本匹配方法、装置及存储介质、计算机设备
CN109902293A (zh) * 2019-01-30 2019-06-18 华南理工大学 一种基于局部与全局互注意力机制的文本分类方法
CN110096711A (zh) * 2019-05-09 2019-08-06 中国科学技术大学 序列全局关注和局部动态关注的自然语言语义匹配方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090192808A1 (en) * 2008-01-28 2009-07-30 Procompare, Llc Method and Device for Providing a Personal Product Recommendation
JP2013025723A (ja) * 2011-07-25 2013-02-04 Panasonic Corp 類似症例検索装置および読影知識抽出装置
CN103136300A (zh) * 2011-12-05 2013-06-05 北京百度网讯科技有限公司 一种文本相关主题的推荐方法和装置
CN106202394A (zh) * 2016-07-07 2016-12-07 腾讯科技（深圳）有限公司 文本资讯的推荐方法及系统
US20180349350A1 (en) * 2017-06-01 2018-12-06 Beijing Baidu Netcom Science And Technology Co., Ltd. Artificial intelligence based method and apparatus for checking text
CN109214407A (zh) * 2018-07-06 2019-01-15 阿里巴巴集团控股有限公司 事件检测模型、方法、装置、计算设备及存储介质
CN109522548A (zh) * 2018-10-26 2019-03-26 天津大学 一种基于双向交互神经网络的文本情感分析方法
CN109740126A (zh) * 2019-01-04 2019-05-10 平安科技（深圳）有限公司 文本匹配方法、装置及存储介质、计算机设备
CN109902293A (zh) * 2019-01-30 2019-06-18 华南理工大学 一种基于局部与全局互注意力机制的文本分类方法
CN110096711A (zh) * 2019-05-09 2019-08-06 中国科学技术大学 序列全局关注和局部动态关注的自然语言语义匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙阳: "基于卷积神经网络的中文句子相似度计算", 《中国优秀硕士学位论文全文数据库》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111625710A (zh) * 2020-04-09 2020-09-04 北京百度网讯科技有限公司 推荐内容的处理方法、装置、电子设备及可读存储介质
CN111625710B (zh) * 2020-04-09 2021-12-24 北京百度网讯科技有限公司 推荐内容的处理方法、装置、电子设备及可读存储介质
CN112069295A (zh) * 2020-09-18 2020-12-11 科大讯飞股份有限公司 相似题推荐方法、装置、电子设备和存储介质
CN112101043A (zh) * 2020-09-22 2020-12-18 浙江理工大学 一种基于注意力的语义文本相似度计算方法
CN112101043B (zh) * 2020-09-22 2021-08-24 浙江理工大学 一种基于注意力的语义文本相似度计算方法
CN112231485A (zh) * 2020-12-14 2021-01-15 平安科技（深圳）有限公司 文本推荐方法、装置、计算机设备及存储介质
CN112231485B (zh) * 2020-12-14 2021-03-26 平安科技（深圳）有限公司 文本推荐方法、装置、计算机设备及存储介质
CN112507719A (zh) * 2020-12-18 2021-03-16 北京百度网讯科技有限公司 命名实体识别方法、装置、电子设备及存储介质
CN114281987A (zh) * 2021-11-26 2022-04-05 重庆邮电大学 一种用于智能语音助手的对话短文本语句匹配方法
CN116108326A (zh) * 2023-04-12 2023-05-12 山东工程职业技术大学 一种数学工具软件控制方法、装置、设备及存储介质
CN118412007A (zh) * 2024-07-01 2024-07-30 山东大学 基于语音作答量表的心理分析系统、方法、介质及设备
CN118412007B (zh) * 2024-07-01 2024-08-30 山东大学 基于语音作答量表的心理分析系统、方法、介质及设备

Also Published As

Publication number Publication date
CN110825867B (zh) 2023-01-17

Similar Documents

Publication Publication Date Title
CN110825867B (zh) 相似文本推荐方法、装置、电子设备和存储介质
CN107122416B (zh) 一种中文事件抽取方法
Amin et al. Bengali vader: A sentiment analysis approach using modified vader
CN111241237B (zh) 一种基于运维业务的智能问答数据处理方法及装置
CN110825875B (zh) 文本实体类型识别方法、装置、电子设备和存储介质
CN108182177A (zh) 一种数学试题知识点自动化标注方法和装置
CN107862087A (zh) 基于大数据和深度学习的情感分析方法、装置和存储介质
US20230394247A1 (en) Human-machine collaborative conversation interaction system and method
CN110765241B (zh) 推荐题的超纲检测方法、装置、电子设备和存储介质
Huang et al. A Window-Based Self-Attention approach for sentence encoding
CN110852071B (zh) 知识点检测方法、装置、设备及可读存储介质
CN117252259A (zh) 基于深度学习的自然语言理解方法及ai助教系统
CN117436438A (zh) 情感分析方法、大语言模型的训练方法及装置
CN113704459A (zh) 一种基于神经网络的在线文本情感分析方法
CN114443846A (zh) 一种基于多层级文本异构图的分类方法、装置及电子设备
CN112966518B (zh) 一种面向大规模在线学习平台的优质答案识别方法
Rahman et al. Analyzing sentiments in elearning: A comparative study of bangla and romanized bangla text using transformers
Yang Machine Learning and Deep Learning for Sentiment Analysis over Students' Reviews: An Overview Study
Tashu et al. Deep learning architecture for automatic essay scoring
Arici et al. A BERT-based scoring system for workplace safety courses in Italian
CN107992482B (zh) 数学主观题解答步骤的规约方法及系统
Thotad et al. Automatic question generator using natural language processing
CN113657092B (zh) 识别标签的方法、装置、设备以及介质
CN114358579A (zh) 评阅方法、评阅装置、电子设备以及计算机可读存储介质
CN114676699A (zh) 实体情感分析方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant