CN117725198A - 搜索结果的摘要纠正方法、装置、设备及存储介质 - Google Patents

搜索结果的摘要纠正方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117725198A
CN117725198A CN202310324187.XA CN202310324187A CN117725198A CN 117725198 A CN117725198 A CN 117725198A CN 202310324187 A CN202310324187 A CN 202310324187A CN 117725198 A CN117725198 A CN 117725198A
Authority
CN
China
Prior art keywords
abstract
entity
training
text information
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310324187.XA
Other languages
English (en)
Inventor
王逸凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shuhang Technology Beijing Co ltd
Original Assignee
Shuhang Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shuhang Technology Beijing Co ltd filed Critical Shuhang Technology Beijing Co ltd
Priority to CN202310324187.XA priority Critical patent/CN117725198A/zh
Publication of CN117725198A publication Critical patent/CN117725198A/zh
Pending legal-status Critical Current

Links

Abstract

本申请实施例公开了搜索结果的摘要纠正方法、装置、设备及存储介质。该方法包括:获取搜索结果的摘要,搜索结果是响应搜索请求查找到的,搜索结果包括目标文档;将摘要和目标文档进行拼接,得到文本信息,并对文本信息进行文本编码,得到文本信息的文本特征向量;基于文本特征向量,对摘要进行纠正处理,得到纠正后的摘要。采用本申请实施例能够智能化地对搜索结果的摘要进行纠正,以提高事实的一致性。

Description

搜索结果的摘要纠正方法、装置、设备及存储介质
技术领域
本申请涉及计算机应用技术领域,尤其涉及搜索结果的摘要纠正方法、装置、设备及存储介质。
背景技术
随着计算机技术的普及,搜索引擎在日常生活中扮演着查询疑问和检索信息的重要手段。搜索引擎可以通过搜索请求查找到搜索结果,搜索结果可以包括文档,搜索结果的摘要可以用于缩短并提炼文档的核心内容。现有技术在进行搜索结果的摘要的确定时,通常会生成包含事实错误或内容表述不一致的摘要。那么如何对搜索结果的摘要进行纠正,是目前亟需解决的技术问题。
发明内容
本申请实施例提供了搜索结果的摘要纠正方法、装置、设备及存储介质,能够智能化地对搜索结果的摘要进行纠正,以提高事实的一致性。
一方面,本申请实施例提供一种搜索结果的摘要纠正方法,该方法包括:
获取搜索结果的摘要;其中,所述搜索结果是响应搜索请求查找到的,所述搜索结果包括目标文档;
将所述摘要和所述目标文档进行拼接,得到文本信息,并对所述文本信息进行文本编码,得到所述文本信息的文本特征向量;
基于所述文本特征向量,对所述摘要进行纠正处理,得到纠正后的摘要。
在一个实施例中,所述纠正后的摘要是通过纠正模型得到的;所述纠正模型的训练方式包括:
获取训练样本;其中,所述训练样本包括训练文档,所述训练文档的非事实摘要,以及所述训练文档的参考摘要;
将所述非事实摘要和所述训练文档进行拼接,得到第一训练文本信息;
调用初始纠正模型对所述第一训练文本信息进行文本编码,得到所述第一训练文本信息的文本特征向量;
基于所述第一训练文本信息的文本特征向量,对所述非事实摘要进行纠正处理,得到纠正后的目标摘要;
按照减小所述目标摘要和所述参考摘要的差异的方向,对所述初始纠正模型进行训练,得到所述纠正模型。
在一个实施例中,所述训练文档的非事实摘要的获取方式包括:
获取所述训练文档,以及所述训练文档的参考摘要;
对所述参考摘要的实体进行掩码处理,得到掩码后的参考摘要;
将所述训练文档和所述掩码后的参考摘要进行拼接,得到第二训练文本信息;
对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体;
将所述参考摘要中的所述实体替换为所述目标实体,得到所述训练文档的非事实摘要。
在一个实施例中,所述对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体,包括:
对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率;
基于所述各个候选实体的预测概率,从所述至少一个候选实体中选取目标实体;其中,所述目标实体的预测概率小于其他候选实体的预测概率,或者所述目标实体的预测概率小于预设概率阈值。
在一个实施例中,所述对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率,包括:
调用填充语言模型,对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率。
在一个实施例中,所述方法还包括:
对所述参考摘要进行实体识别,得到所述参考摘要的实体,以及所述实体在所述参考摘要中的位置;
所述对所述参考摘要的实体进行掩码处理,得到掩码后的参考摘要,包括:
基于所述实体在所述参考摘要中的位置,对所述参考摘要中的所述实体进行掩码处理,得到所述掩码后的参考摘要。
在一个实施例中,所述方法还包括:
显示搜索界面,所述搜索界面包括所述纠正后的摘要;
响应对所述纠正后的摘要的点击操作,显示所述目标文档。
另一方面,本申请实施例提供了一种搜索结果的摘要纠正装置,该搜索结果的摘要纠正装置包括:
获取单元,用于获取搜索结果的摘要;其中,所述搜索结果是响应搜索请求查找到的,所述搜索结果包括目标文档;
拼接单元,用于将所述摘要和所述目标文档进行拼接,得到文本信息;
编码单元,用于对所述文本信息进行文本编码,得到所述文本信息的文本特征向量;
纠正单元,用于基于所述文本特征向量,对所述摘要进行纠正处理,得到纠正后的摘要。
另一方面,本申请实施例提供一种计算机设备,包括处理器、存储装置和通信接口,处理器、存储装置和通信接口相互连接,其中,存储装置用于存储支持计算机设备执行上述方法的计算机程序,计算机程序包括程序指令,处理器被配置用于调用程序指令,执行如下步骤:
获取搜索结果的摘要;其中,所述搜索结果是响应搜索请求查找到的,所述搜索结果包括目标文档;
将所述摘要和所述目标文档进行拼接,得到文本信息,并对所述文本信息进行文本编码,得到所述文本信息的文本特征向量;
基于所述文本特征向量,对所述摘要进行纠正处理,得到纠正后的摘要。
另一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序包括程序指令,程序指令当被处理器执行时使处理器执行上述搜索结果的摘要纠正方法。
另一方面,本申请实施例提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序适于由处理器加载并执行上述搜索结果的摘要纠正方法。
本申请实施例中,通过获取搜索结果的摘要,搜索结果是响应搜索请求查找到的,搜索结果包括目标文档,然后将摘要和目标文档进行拼接,得到文本信息,并对文本信息进行文本编码,得到文本信息的文本特征向量,基于文本特征向量,对摘要进行纠正处理,得到纠正后的摘要,能够实现智能化地对搜索结果的摘要进行纠正,以提高事实的一致性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种搜索引擎的界面示意图;
图2是本申请实施例提供的一种搜索结果的摘要纠正系统的架构示意图;
图3是本申请实施例提供的一种搜索结果的摘要纠正方法的流程示意图;
图4是本申请实施例提供的一种非事实摘要的生成方式的流程示意图;
图5是本申请实施例提供的一种搜索结果的摘要纠正装置的结构示意图;
图6是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在一个示例中,搜索引擎可以通过搜索请求查找到搜索结果,在获取到搜索结果的摘要之后,可以基于搜索结果的摘要和搜索请求,计算搜索结果和搜索请求的相关性。在另一个示例中,搜索引擎可以通过搜索请求查找到搜索结果,搜索结果展示时一般会将文档标题、文档部分内容进行展示,用户根据这些展示信息判断文档是否有用,从而决定是否进行点击操作。而越来越多的搜索引擎为了提供更好的搜索体验,将“文档部分内容”进行query感知化,既对不同的query提供不同的“文档部分内容”展示。
如图1所示的搜索引擎的界面示意图为例,用户可以通过搜索引擎查询疑问或者检索信息,举例来说,用户可以在搜索引擎中输入搜索请求,例如搜索请求可以包括搜索关键字“百家姓有肖姓吗”,以查询疑问;又如搜索请求可以包括搜索关键字“故宫图片”,以检索信息。搜索引擎可以查找得到与搜索关键字匹配的至少一个搜索结果,并输出查找到的至少一个搜索结果,任一搜索结果包括一个文档内容。由于各个搜索结果在展示时一般会将文档标题、文档部分内容(例如摘要)进行展示,用户根据这些展示信息判断文档是否有用,从而决定是否进行点击操作。但是,现有技术在进行query感知化的搜索结果的摘要的确定时,通常会生成包含事实错误或内容表述不一致的摘要,例如“然后需要讲解的就是针对这些背景你做了没有研究”,或者“手机是一个通讯APP”,等等。为了确保搜索结果的摘要的事实一致性,在生成搜索结果的摘要之后,可以对搜索结果的摘要进行纠正,因此,如何对搜索结果的摘要进行纠正,是目前亟需解决的技术问题。
基于此,本申请实施例提供一种搜索结果的摘要纠正方法,通过获取搜索结果的摘要,搜索结果是响应搜索请求查找到的,搜索结果包括目标文档,然后将摘要和目标文档进行拼接,得到文本信息,并对文本信息进行文本编码,得到文本信息的文本特征向量,基于文本特征向量,对摘要进行纠正处理,得到纠正后的摘要,能够实现智能化地对搜索结果的摘要进行纠正,以提高事实的一致性。
本申请实施例提供的搜索结果的摘要纠正方法可以应用在搜索引擎中,搜索引擎可以安装或者集成在内容发布平台或者浏览器中,内容发布平台或者浏览器可以运行在计算机设备中,计算机设备可以包括终端设备或者服务器等,计算机设备包括但不限定于智能手机、相机、可穿戴设备或者电脑等。
请参见图2,图2是本申请实施例提供的一种搜索结果的摘要纠正系统的架构示意图。首先可以构建非事实摘要,即用于训练纠正模型的负样本。具体的,可以获取训练文档以及训练文档的参考摘要,对参考摘要的实体进行掩码处理,得到掩码后的参考摘要,将训练文档和掩码后的参考摘要进行拼接,得到第二训练文本信息,第二训练文本信息例如图2中的“手机是一个通讯[MASK][SEP]手机,全称为移动电话或无线电话,通常称为手机,原本只是一种通讯工具…”。然后可以将第二训练文本信息输入至填充语言模型,通过填充语言模型对第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体,将参考摘要中的实体替换为目标实体,得到训练文档的非事实摘要。
进一步的,可以通过构建的负样本对纠正模型进行监督训练。具体的,可以将非事实摘要和训练文档进行拼接,得到第一训练文本信息,调用初始纠正模型对第一训练文本信息进行文本编码,得到第一训练文本信息的文本特征向量,基于第一训练文本信息的文本特征向量,对非事实摘要进行纠正处理,得到纠正后的目标摘要,按照减小目标摘要和参考摘要的差异的方向,对初始纠正模型进行训练,得到纠正模型。
在获取到纠正模型之后,可以调用纠正模型对搜索结果的摘要进行纠正。具体的,可以将搜索结果的摘要和目标文档进行拼接,得到文本信息,并对文本信息进行文本编码,得到文本信息的文本特征向量,进而基于文本特征向量,对摘要进行纠正处理,得到纠正后的摘要。
由于通过本申请实施例公开的非事实摘要的构建方式构建得到的非事实摘要具有真实错误的代表性,所以基于构建的非事实摘要对纠正模型进行监督训练,可训练得到一个更稳健的纠正模型,进而通过该纠正模型对搜索结果的摘要进行纠正,可确保纠正后的摘要更为准确。
基于图2的描述,请参见图3,图3是本申请实施例提供的一种搜索结果的摘要纠正方法的流程示意图,该搜索结果的摘要纠正方法可以由搜索引擎、内容发布平台、浏览器或者计算机设备执行;如图3所示的搜索结果的摘要纠正方案包括但不限于步骤S301~步骤S303,其中:
S301,获取搜索结果的摘要,搜索结果是响应搜索请求查找到的,搜索结果包括目标文档。
举例来说,用户可以通过搜索引擎输入搜索请求,因此在检测到搜索请求之后,可以响应该搜索请求,查找与该搜索请求中的搜索关键字匹配的至少一个搜索结果。任一搜索结果可以包括一个目标文档,目标文档可以包括多个文档句子。然后可以对任一搜索结果包括的目标文档进行处理,得到该搜索结果的摘要。
可选的,可以通过神经网络模型对任一搜索结果包括的目标文档进行处理,得到该搜索结果的摘要。例如,可以通过神经网络模型将搜索结果包括的目标文档中的各个文档句子的句子特征,和搜索关键字的搜索特征进行注意力学习,以确定各个文档句子和搜索关键字之间的关联度,基于各个文档句子和搜索关键字之间的关联度,从多个文档句子中确定目标文档句子,并将目标文档句子作为搜索结果的摘要。又如,可以通过神经网络模型将搜索结果包括的目标文档中的各个文档句子和搜索关键字进行拼接,得到各个拼接后的文档句子,对搜索关键字进行特征提取,得到搜索关键字的搜索特征,并对各个拼接后的文档句子进行特征提取,得到各个文档句子的句子特征,基于搜索特征和各个文档句子的句子特征,从多个文档句子中确定目标文档句子,并将目标文档句子作为搜索结果的摘要。
其中,用户可以通过文本、语音或者图像等方式在搜索引擎中输入搜索请求。当用户通过文本的方式在搜索引擎中输入搜索请求时,用户可以在搜索框中输入文本信息,并点击“搜索”按钮,计算机设备响应到用户的操作,可以生成搜索请求,搜索请求包括的搜索关键字即用户在搜索框中输入的文本信息。当用户通过语音的方式在搜索引擎中输入搜索请求时,用户可以在搜索界面点击“语音输入”按钮,通过计算机设备的麦克风输入语音信息,并点击“搜索”按钮,计算机设备响应到用户的操作,可以生成搜索请求,搜索请求包括的搜索关键字即对用户输入的语音信息转换得到的文本信息。当用户通过图像的方式在搜索引擎中输入搜索请求时,用户可以在搜索界面点击“照相”按钮,通过计算机设备的摄像头采集图像或者在计算机设备的图像库中查找图像,并点击“搜索”按钮,计算机设备响应到用户的操作,可以生成搜索请求,搜索请求包括的搜索关键字即对用户输入的图像进行字符识别或者内容提取得到的文本信息。
S302,将摘要和目标文档进行拼接,得到文本信息,并对文本信息进行文本编码,得到文本信息的文本特征向量。
举例来说,假设摘要包括“XXX”,目标文档的文档内容包括“AAA#&*123#&”,那么将摘要和目标文档进行拼接,得到的文本信息可以包括“XXX AAA#&*123#&”。进一步的,可以将该文本信息输入至编码器(encoder),通过该编码器,对文本信息进行特征提取,得到文本信息的文本特征向量。示例性的,编码器可以由多层transformer encoder组成。
S303,基于文本特征向量,对摘要进行纠正处理,得到纠正后的摘要。
举例来说,假设摘要为“然后需要讲解的就是针对这些背景你做了没有研究”,纠正后的摘要可以为“然后需要讲解的就是针对这些背景你做了哪些研究”。又如,假设摘要为“手机是一个通讯APP”,其中目标文档包括“手机,全称为移动电话或无线电话,通常称为手机,原本只是一种通讯工具…”,纠正后的摘要可以为“手机是一个通讯工具”。
在一种实现方式中,可以调用纠正模型,基于文本特征向量,对摘要进行纠正处理,得到纠正后的摘要。可选的,纠正模型可以采用文本生成模型,例如Seq2Seq框架下的生成模型。
其中,Seq2Seq模型可以应用于机器翻译,语音识别,文本摘要,问答系统等领域。Seq2Seq其实就是(编码器-解码器)Encoder-Decoder结构的网络,它的输入是一个序列,输出也是一个序列。在Encoder中,将序列转换成一个固定长度的向量,然后通过Decoder将该向量转换成我们想要的序列输出出来。示例性的,Encoder和Decoder可以是循环神经网络(Recurrent Neural Network,RNN),例如可以为长短期记忆网络(Long Short-TermMemory,LSTM)或者门控循环单元(Gate Recurrent Unit,GRU)。
在一种实现方式中,纠正模型的训练方式可以包括:获取训练样本,训练样本包括训练文档,训练文档的非事实摘要,以及训练文档的参考摘要;将非事实摘要和训练文档进行拼接,得到第一训练文本信息;调用初始纠正模型对第一训练文本信息进行文本编码,得到第一训练文本信息的文本特征向量;基于第一训练文本信息的文本特征向量,对非事实摘要进行纠正处理,得到纠正后的目标摘要;按照减小目标摘要和参考摘要的差异的方向,对初始纠正模型进行训练,得到纠正模型。
本申请实施例中,非事实摘要指的是:包含事实错误或内容表述不一致的摘要,即需要纠正的摘要。参考摘要指的是:保持事实一致性的摘要,即包含事实正确且内容表述一致的摘要,即准确的摘要。本申请实施例通过对初始纠正模型的监督训练,可确保训练得到的纠正模型能够准确地对非事实摘要进行纠正,得到准确的摘要。
在一种实现方式中,训练文档的非事实摘要的获取方式可以包括:获取训练文档,以及训练文档的参考摘要;对参考摘要的实体进行掩码处理,得到掩码后的参考摘要;将训练文档和掩码后的参考摘要进行拼接,得到第二训练文本信息;对第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体;将参考摘要中的实体替换为目标实体,得到训练文档的非事实摘要。
在一种实现方式中,对第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体的方式可以包括:对第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率;基于各个候选实体的预测概率,从至少一个候选实体中选取目标实体,目标实体的预测概率小于其他候选实体的预测概率,或者目标实体的预测概率小于预设概率阈值。
在一种实现方式中,对第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率的方式可以包括:调用填充语言模型,对第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率。
在一种实现方式中,可以对参考摘要进行实体识别,得到参考摘要的实体,以及实体在参考摘要中的位置,然后基于实体在参考摘要中的位置,对参考摘要中的实体进行掩码处理,得到掩码后的参考摘要。
在一种实现方式中,在获取到纠正后的摘要之后,可以显示搜索界面,搜索界面可以包括纠正后的摘要。可选的,还可以响应对纠正后的摘要的点击操作,显示目标文档。
例如,以图1为例,用户在搜索框输入搜索请求之后,可以响应搜索请求,查找与搜索关键字XX匹配的至少一个搜索结果,其中包括搜索结果1、搜索结果2以及搜索结果3,可以获取各个搜索结果的摘要,然后通过本申请实施例提供的搜索结果的摘要纠正方法对各个搜索结果的摘要进行纠正。假设搜索结果1的摘要为准确的摘要,那么将搜索结果1的摘要和搜索结果1包含的目标文档进行拼接,得到文本信息,并对该文本信息进行文本编码,得到该文本信息的文本特征向量,然后基于该文本特征向量,对搜索结果1的摘要进行纠正处理,纠正后的摘要即搜索结果1的摘要本身。假设搜索结果2的摘要为非事实摘要,那么将搜索结果2的摘要和搜索结果2包含的目标文档进行拼接,得到文本信息,并对该文本信息进行文本编码,得到该文本信息的文本特征向量,然后基于该文本特征向量,对搜索结果2的摘要进行纠正处理,纠正后的摘要即搜索结果2的事实摘要。
在获取到各个搜索结果的纠正后的摘要后,可以在搜索界面显示各个搜索结果的纠正后的摘要,即搜索结果1的纠正后的摘要、搜索结果2的纠正后的摘要以及搜索结果3的纠正后的摘要。可选的,还可以在搜索界面显示如下一种或者多种:各个搜索结果包括的目标文档的文档标题,各个搜索结果包括的目标文档的封面图像,各个搜索结果包括的目标文档的发布作者,发布日期,互动数据等。互动数据可以包括如下一种或者多种:点赞量,分享量,评论量,收藏量等。用户根据搜索界面中显示的各个搜索结果的相关信息,来判断目标文档是否有用,从而决定是否进行点击操作。例如,假设用户基于搜索结果1的纠正后的摘要,确定搜索结果1包含的目标文档有用,那么用户可以对搜索结果1的纠正后的摘要进行点击操作,那么在检测到该点击操作之后,可以显示搜索结果1包含的目标文档。
本申请实施例中,通过获取搜索结果的摘要,搜索结果是响应搜索请求查找到的,搜索结果包括目标文档,然后将摘要和目标文档进行拼接,得到文本信息,并对文本信息进行文本编码,得到文本信息的文本特征向量,基于文本特征向量,对摘要进行纠正处理,得到纠正后的摘要,能够实现智能化地对搜索结果的摘要进行纠正,以提高事实的一致性。
基于上述描述,请参见图4,图4是本申请实施例提供的一种非事实摘要的生成方式的流程示意图,该非事实摘要的生成方式可以由搜索引擎、内容发布平台、浏览器或者计算机设备执行。其中,构建非事实摘要的执行主体、训练纠正模型的执行主体和调用纠正模型对搜索结果的摘要进行纠正的执行主体可以相同,也可以不相同,具体不受本申请实施例的限定。如图4所示的非事实摘要的生成方式包括但不限于步骤S401~步骤S405,其中:
S401,获取训练文档,以及训练文档的参考摘要。
可选的,可以从本地存储器中获取训练文档,或者从已发布至内容发布平台的历史文档中选取训练文档,或者可以从互联网下载训练文档,或者可以人工编辑训练文档,等等,具体不受本申请实施例的限定。
其中,参考摘要指的是:保持事实一致性的摘要,即包含事实正确且内容表述一致的摘要,即准确的摘要。那么为了确保参考摘要的事实一致性,可以从训练文档中选取一个文档句子,作为该训练文档的参考摘要。可选的,也可以对训练文档进行人工标注,得到该训练文档的参考摘要。
S402,对参考摘要的实体进行掩码处理,得到掩码后的参考摘要。
本申请实施例中,参考摘要的实体可以包括一个或者多个,进行掩码处理的实体可以包括参考摘要的部分实体或者全部实体。例如,假设参考摘要包括三个实体,那么可以对参考摘要中的一个实体进行掩码处理,得到掩码后的参考摘要,或者可以对参考摘要中的两个实体进行掩码处理,得到掩码后的参考摘要,可选的,也可以对参考摘要包含的所有实体进行掩码处理,得到掩码后的参考摘要。
举例来说,假设参考摘要为“手机是一个通讯工具”,对该参考摘要进行实体识别,得到参考摘要的实体为“工具”。那么可以对该参考摘要的实体进行掩码处理,即将参考摘要中的实体用字符[MASK]替换,得到掩码后的参考摘要,例如掩码后的参考摘要可以为“手机是一个通讯[MASK]”。
在一种实现方式中,可以对参考摘要进行实体识别,得到参考摘要的实体,以及实体在参考摘要中的位置,然后基于实体在参考摘要中的位置,对参考摘要中的实体进行掩码处理,得到掩码后的参考摘要。
S403,将训练文档和掩码后的参考摘要进行拼接,得到第二训练文本信息。
具体实现中,可以将训练文档和掩码后的参考摘要通过字符[SEP]进行拼接,得到第二训练文本信息。例如,假设训练文档包括“手机,全称为移动电话或无线电话,通常称为手机,原本只是一种通讯工具…”,掩码后的参考摘要包括“手机是一个通讯[MASK]”,那么将将训练文档和掩码后的参考摘要进行拼接,得到的第二训练文本信息可以包括“手机是一个通讯[MASK][SEP]手机,全称为移动电话或无线电话,通常称为手机,原本只是一种通讯工具…”。
S404,对第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体。
具体实现中,可以基于第二训练文本信息中的各个单词的词向量,以及上下文语义特征,对第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体。
在一种实现方式中,可以对第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率,基于各个候选实体的预测概率,从至少一个候选实体中选取目标实体。其中,目标实体的预测概率小于其他候选实体的预测概率,或者目标实体的预测概率小于预设概率阈值。
举例来说,假设第二训练文本信息包括“手机是一个通讯[MASK][SEP]手机,全称为移动电话或无线电话,通常称为手机,原本只是一种通讯工具…”,基于第二训练文本信息中的各个单词的词向量,以及上下文语义特征,对第二训练文本信息中处于掩码位置的实体进行预测,得到至少一个候选实体,例如“工具”、“APP”以及“系统”,其中候选实体“工具”的预测概率为90%,候选实体“APP”的预测概率为20%,候选实体“系统”的预测概率为40%,那么可以将预测概率最小的候选实例,即“APP”,作为目标实体。可选的,假设预设概率阈值为45%,那么可以将候选实体“APP”以及候选实体“系统”作为目标实体。
在一种实现方式中,可以调用填充语言模型,对第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率。
示例性的,填充语言模型可以包括自编码模型,自回归模型,编码器-解码器模型,或者自回归空白填充的通用语言模型。
自编码模型例如可以包括BERT模型,BERT模型的全称为Bidirectional EncoderRepresentation from Transformers,是一个预训练的语言表征模型,BERT模型强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练,而是采用新的掩码语言模型(masked language model,MLM),以致能生成深度的双向语言表征。
自回归模型例如可以包括GPT模型,GPT模型的全称为Generative Pre-Training,是一种生成式的预训练模型,GPT预训练的方式和传统的语言模型一样,通过上文,预测下一个单词,GPT模型因为采用了传统语言模型,所以更加适合用于自然语言生成类的任务。
编码器-解码器模型例如可以包括T5(Transfer Text-to-Text Transformer),T5模型的核心想法是找到一个能像人类这样的抽象模型。我们通过语言与我们称之为“文本的一个词或一组词交流。当我们试图理解一篇文章时,我们注意到句子中所有方向的单词。我们试图衡量每个单词的重要性。当我们不理解一个句子时,我们关注一个单词,然后查询句子中的其他关键词,以确定它们的意义和我们必须注意的地方,这就定义了Transformer的注意力层。T5模型可以总结为文本到文本迁移的Transformer,这样,所有的神经语言程序学(Neuro-Linguistic Programming,NLP)任务都可以被描述为文本到文本问题来解决。
自回归空白填充的通用语言模型例如可以包括广义线性模型(General LinearModel,GLM)。广义线性模型,是为了克服线性回归模型的缺点出现的,是线性回归模型的推广。首先自变量可以是离散的,也可以是连续的。离散的可以是0-1变量,也可以是多种取值的变量。广义线性模型取消了对残差(因变量)服从正态分布的要求。残差不一定要服从正态分布,可以服从二项、泊松、负二项、正态、伽马、逆高斯等分布。
S405,将参考摘要中的实体替换为目标实体,得到训练文档的非事实摘要。
具体实现中,如果对参考摘要中的一个实体进行掩码处理,那么获取到目标实体之后,可以将参考摘要中的实体替换为目标实体,得到训练文档的非事实摘要。如果对参考摘要中的多个实体进行掩码处理,那么在对第二训练文本信息中处于任一掩码位置的实体进行预测得到目标实体之后,可以将参考摘要中的相应实体替换为目标实体,得到训练文档的非事实摘要。例如,假设对参考摘要中的N个实体进行掩码处理,其中第一个实体在第二训练文本信息中处于第一掩码位置,第N个实体在第二训练文本信息中处于第N掩码位置,那么在对第二训练文本信息中处于第一掩码位置的实体进行预测得到目标实体之后,可以将参考摘要中的第一个实体替换为目标实体,在对第二训练文本信息中处于第二掩码位置的实体进行预测得到目标实体之后,可以将参考摘要中的第二个实体替换为相应的目标实体,直至在对第二训练文本信息中处于第N掩码位置的实体进行预测得到目标实体之后,可以将参考摘要中的第N个实体替换为相应的目标实体,以得到训练文档的非事实摘要。其中N为正整数。
在一种实现方式中,对于任一掩码位置的实体进行预测,得到的目标实体的数量可以为一个或者多个。如果对于任一掩码位置的实体进行预测,得到的目标实体的数量为一个,那么将参考摘要中的实体替换为目标实体,可以得到训练文档的一个非事实摘要。如果对于任一掩码位置的实体进行预测,得到的目标实体的数量为K个,那么将参考摘要中的实体分别替换为K个目标实体,可以得到训练文档的K个非事实摘要。其中K为正整数。例如,第二训练文本信息包括“手机是一个通讯[MASK][SEP]手机,全称为移动电话或无线电话,通常称为手机,原本只是一种通讯工具…”,对第二训练文本信息中处于掩码位置的实体进行预测,得到的目标实体包括“APP”以及“系统”,那么可以将参考摘要“手机是一个通讯工具”中的实体“工具”替换为“APP”,得到训练文档的一个非事实摘要,即“手机是一个通讯APP”。还可以将参考摘要“手机是一个通讯工具”中的实体“工具”替换为“系统”,得到训练文档的另一个非事实摘要,即“手机是一个通讯系统”。
由于本申请实施例中的参考摘要是从训练文档中获取的语句,或者对训练文档进行人工标注得到的语句,那么通过填充语言模型基于该语句生成的非事实摘要,具有真实错误的代表性。进而基于该非事实摘要,可以训练得到一个更稳健的纠正模型,以对搜索结果的摘要进行精准纠正。
本申请实施例中,获取训练文档,以及训练文档的参考摘要,对参考摘要的实体进行掩码处理,得到掩码后的参考摘要,将训练文档和掩码后的参考摘要进行拼接,得到第二训练文本信息,对第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体,将参考摘要中的所述实体替换为目标实体,得到训练文档的非事实摘要,可确保构建得到的非事实摘要具有真实错误的代表性。
本申请实施例还提供了一种计算机存储介质,该计算机存储介质中存储有程序指令,该程序指令被执行时,用于实现上述实施例中描述的相应方法。
再请参见图5,图5是本申请实施例的提供一种搜索结果的摘要纠正装置的结构示意图。
本申请实施例的搜索结果的摘要纠正装置的一个实现方式中,搜索结果的摘要纠正装置包括如下结构。
获取单元501,用于获取搜索结果的摘要;其中,所述搜索结果是响应搜索请求查找到的,所述搜索结果包括目标文档;
拼接单元502,用于将所述摘要和所述目标文档进行拼接,得到文本信息;
编码单元503,用于对所述文本信息进行文本编码,得到所述文本信息的文本特征向量;
纠正单元504,用于基于所述文本特征向量,对所述摘要进行纠正处理,得到纠正后的摘要。
在一个实施例中,所述纠正后的摘要是通过纠正模型得到的;
获取单元501,还用于获取训练样本;其中,所述训练样本包括训练文档,所述训练文档的非事实摘要,以及所述训练文档的参考摘要;
拼接单元502,还用于将所述非事实摘要和所述训练文档进行拼接,得到第一训练文本信息;
编码单元503,还用于调用初始纠正模型对所述第一训练文本信息进行文本编码,得到所述第一训练文本信息的文本特征向量;
纠正单元504,还用于基于所述第一训练文本信息的文本特征向量,对所述非事实摘要进行纠正处理,得到纠正后的目标摘要;
所述搜索结果的摘要纠正装置还可以包括:
训练单元505,用于按照减小所述目标摘要和所述参考摘要的差异的方向,对所述初始纠正模型进行训练,得到所述纠正模型。
在一个实施例中,获取单元501,还用于获取所述训练文档,以及所述训练文档的参考摘要;
所述搜索结果的摘要纠正装置还可以包括掩码单元506,预测单元507以及替换单元508,其中:
掩码单元506,用于对所述参考摘要的实体进行掩码处理,得到掩码后的参考摘要;
拼接单元502,还用于将所述训练文档和所述掩码后的参考摘要进行拼接,得到第二训练文本信息;
预测单元507,用于对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体;
替换单元508,用于将所述参考摘要中的所述实体替换为所述目标实体,得到所述训练文档的非事实摘要。
在一个实施例中,所述预测单元507对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体,包括:
对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率;
基于所述各个候选实体的预测概率,从所述至少一个候选实体中选取目标实体;其中,所述目标实体的预测概率小于其他候选实体的预测概率,或者所述目标实体的预测概率小于预设概率阈值。
在一个实施例中,所述预测单元507对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率,包括:
调用填充语言模型,对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率。
在一个实施例中,所述搜索结果的摘要纠正装置还可以包括实体识别单元509,其中:
实体识别单元509,用于对所述参考摘要进行实体识别,得到所述参考摘要的实体,以及所述实体在所述参考摘要中的位置;
所述掩码单元506对所述参考摘要的实体进行掩码处理,得到掩码后的参考摘要,包括:
基于所述实体在所述参考摘要中的位置,对所述参考摘要中的所述实体进行掩码处理,得到所述掩码后的参考摘要。
在一个实施例中,所述搜索结果的摘要纠正装置还可以包括显示单元510,其中:
显示单元510,用于显示搜索界面,所述搜索界面包括所述纠正后的摘要;
显示单元510,还用于响应对所述纠正后的摘要的点击操作,显示所述目标文档。
本申请实施例中,通过获取单元501获取搜索结果的摘要,搜索结果是响应搜索请求查找到的,搜索结果包括目标文档,然后拼接单元502将摘要和目标文档进行拼接,得到文本信息,编码单元503对文本信息进行文本编码,得到文本信息的文本特征向量,纠正单元504基于文本特征向量,对摘要进行纠正处理,得到纠正后的摘要,能够实现智能化地对搜索结果的摘要进行纠正,以提高事实的一致性。
再请参见图6,图6是本申请实施例提供的一种计算机设备的结构示意图,本申请实施例的计算机设备包括供电模块等结构,并包括处理器601、存储装置602以及通信接口603。处理器601、存储装置602以及通信接口603之间可以交互数据,由处理器601实现相应的搜索结果的摘要纠正方法。
存储装置602可以包括易失性存储器(volatile memory),例如随机存取存储器(random-access memory,RAM);存储装置602也可以包括非易失性存储器(non-volatilememory),例如快闪存储器(flash memory),固态硬盘(solid-state drive,SSD)等;存储装置602还可以包括上述种类的存储器的组合。
处理器601可以是中央处理器(central processing unit,CPU)。处理器601也可以是由CPU和GPU的组合。在服务器中,可以根据需要包括多个CPU和GPU进行相应的搜索结果的摘要的纠正。在一个实施例中,存储装置602用于存储程序指令。处理器601可以调用程序指令,实现如本申请实施例中上述涉及的各种方法。
在第一个可能的实施方式中,计算机设备的处理器601,调用存储装置602中存储的程序指令,用于获取搜索结果的摘要;其中,所述搜索结果是响应搜索请求查找到的,所述搜索结果包括目标文档;将所述摘要和所述目标文档进行拼接,得到文本信息;对所述文本信息进行文本编码,得到所述文本信息的文本特征向量;基于所述文本特征向量,对所述摘要进行纠正处理,得到纠正后的摘要。
在一个实施例中,所述纠正后的摘要是通过纠正模型得到的;处理器601还可以执行如下操作:
获取训练样本;其中,所述训练样本包括训练文档,所述训练文档的非事实摘要,以及所述训练文档的参考摘要;
将所述非事实摘要和所述训练文档进行拼接,得到第一训练文本信息;
调用初始纠正模型对所述第一训练文本信息进行文本编码,得到所述第一训练文本信息的文本特征向量;
基于所述第一训练文本信息的文本特征向量,对所述非事实摘要进行纠正处理,得到纠正后的目标摘要;
按照减小所述目标摘要和所述参考摘要的差异的方向,对所述初始纠正模型进行训练,得到所述纠正模型。
在一个实施例中,处理器601还用于执行如下操作:
获取所述训练文档,以及所述训练文档的参考摘要;
对所述参考摘要的实体进行掩码处理,得到掩码后的参考摘要;
将所述训练文档和所述掩码后的参考摘要进行拼接,得到第二训练文本信息;
对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体;
将所述参考摘要中的所述实体替换为所述目标实体,得到所述训练文档的非事实摘要。
在一个实施例中,所述处理器601在对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体时,可以执行如下操作:
对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率;
基于所述各个候选实体的预测概率,从所述至少一个候选实体中选取目标实体;其中,所述目标实体的预测概率小于其他候选实体的预测概率,或者所述目标实体的预测概率小于预设概率阈值。
在一个实施例中,所述处理器601在对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率时,可以执行如下操作:
调用填充语言模型,对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率。
在一个实施例中,处理器601还可以执行如下操作:
对所述参考摘要进行实体识别,得到所述参考摘要的实体,以及所述实体在所述参考摘要中的位置;
则所述处理器601在对所述参考摘要的实体进行掩码处理,得到掩码后的参考摘要时,可以执行如下操作:
基于所述实体在所述参考摘要中的位置,对所述参考摘要中的所述实体进行掩码处理,得到所述掩码后的参考摘要。
在一个实施例中,所述处理器601还可以执行如下操作:
显示搜索界面,所述搜索界面包括所述纠正后的摘要;
响应对所述纠正后的摘要的点击操作,显示所述目标文档。
本申请实施例中,通过处理器601获取搜索结果的摘要,搜索结果是响应搜索请求查找到的,搜索结果包括目标文档,然后将摘要和目标文档进行拼接,得到文本信息,并对文本信息进行文本编码,得到文本信息的文本特征向量,基于文本特征向量,对摘要进行纠正处理,得到纠正后的摘要,能够实现智能化地对搜索结果的摘要进行纠正,以提高事实的一致性。
本领域普通技术人员可以理解,实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成的,计算机程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,计算机可读取存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccess Memory,RAM)等。计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
以上所揭露的仅为本申请的部分实施例而已,当然不能以此来限定本申请之权利范围,本领域普通技术人员可以理解实现上述实施例的全部或部分流程,并依本申请权利要求所作的等同变化,仍属于本发明所涵盖的范围。

Claims (10)

1.一种搜索结果的摘要纠正方法,其特征在于,包括:
获取搜索结果的摘要;其中,所述搜索结果是响应搜索请求查找到的,所述搜索结果包括目标文档;
将所述摘要和所述目标文档进行拼接,得到文本信息,并对所述文本信息进行文本编码,得到所述文本信息的文本特征向量;
基于所述文本特征向量,对所述摘要进行纠正处理,得到纠正后的摘要。
2.根据权利要求1所述的方法,其特征在于,所述纠正后的摘要是通过纠正模型得到的;所述纠正模型的训练方式包括:
获取训练样本;其中,所述训练样本包括训练文档,所述训练文档的非事实摘要,以及所述训练文档的参考摘要;
将所述非事实摘要和所述训练文档进行拼接,得到第一训练文本信息;
调用初始纠正模型对所述第一训练文本信息进行文本编码,得到所述第一训练文本信息的文本特征向量;
基于所述第一训练文本信息的文本特征向量,对所述非事实摘要进行纠正处理,得到纠正后的目标摘要;
按照减小所述目标摘要和所述参考摘要的差异的方向,对所述初始纠正模型进行训练,得到所述纠正模型。
3.根据权利要求2所述的方法,其特征在于,所述训练文档的非事实摘要的获取方式包括:
获取所述训练文档,以及所述训练文档的参考摘要;
对所述参考摘要的实体进行掩码处理,得到掩码后的参考摘要;
将所述训练文档和所述掩码后的参考摘要进行拼接,得到第二训练文本信息;
对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体;
将所述参考摘要中的所述实体替换为所述目标实体,得到所述训练文档的非事实摘要。
4.根据权利要求3所述的方法,其特征在于,所述对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到目标实体,包括:
对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率;
基于所述各个候选实体的预测概率,从所述至少一个候选实体中选取目标实体;其中,所述目标实体的预测概率小于其他候选实体的预测概率,或者所述目标实体的预测概率小于预设概率阈值。
5.根据权利要求4所述的方法,其特征在于,所述对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率,包括:
调用填充语言模型,对所述第二训练文本信息中,处于掩码位置的实体进行预测,得到至少一个候选实体,以及各个候选实体的预测概率。
6.根据权利要求3所述的方法,其特征在于,所述方法还包括:
对所述参考摘要进行实体识别,得到所述参考摘要的实体,以及所述实体在所述参考摘要中的位置;
所述对所述参考摘要的实体进行掩码处理,得到掩码后的参考摘要,包括:
基于所述实体在所述参考摘要中的位置,对所述参考摘要中的所述实体进行掩码处理,得到所述掩码后的参考摘要。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
显示搜索界面,所述搜索界面包括所述纠正后的摘要;
响应对所述纠正后的摘要的点击操作,显示所述目标文档。
8.一种搜索结果的摘要纠正装置,其特征在于,所述装置包括:
获取单元,用于获取搜索结果的摘要;其中,所述搜索结果是响应搜索请求查找到的,所述搜索结果包括目标文档;
拼接单元,用于将所述摘要和所述目标文档进行拼接,得到文本信息;
编码单元,用于对所述文本信息进行文本编码,得到所述文本信息的文本特征向量;
纠正单元,用于基于所述文本特征向量,对所述摘要进行纠正处理,得到纠正后的摘要。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储装置和通信接口,所述处理器、存储装置和通信接口相互连接,其中:
所述存储装置,用于存储计算机程序,所述计算机程序包括程序指令;
所述处理器,用于调用所述程序指令,执行如权利要求1至7任一项所述的搜索结果的摘要纠正方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,用于执行如权利要求1至7任一项所述的搜索结果的摘要纠正方法。
CN202310324187.XA 2023-03-29 2023-03-29 搜索结果的摘要纠正方法、装置、设备及存储介质 Pending CN117725198A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310324187.XA CN117725198A (zh) 2023-03-29 2023-03-29 搜索结果的摘要纠正方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310324187.XA CN117725198A (zh) 2023-03-29 2023-03-29 搜索结果的摘要纠正方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN117725198A true CN117725198A (zh) 2024-03-19

Family

ID=90205817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310324187.XA Pending CN117725198A (zh) 2023-03-29 2023-03-29 搜索结果的摘要纠正方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117725198A (zh)

Similar Documents

Publication Publication Date Title
US11816439B2 (en) Multi-turn dialogue response generation with template generation
US11481416B2 (en) Question Answering using trained generative adversarial network based modeling of text
US11948058B2 (en) Utilizing recurrent neural networks to recognize and extract open intent from text inputs
US11003856B2 (en) Processing text using neural networks
CN111274815B (zh) 用于挖掘文本中的实体关注点的方法和装置
US20200019863A1 (en) Generative Adversarial Network Based Modeling of Text for Natural Language Processing
CN111708703A (zh) 测试案例集生成方法、装置、设备及计算机可读存储介质
CN112287089B (zh) 用于自动问答系统的分类模型训练、自动问答方法及装置
CN110678882B (zh) 使用机器学习从电子文档选择回答跨距的方法及系统
US10977155B1 (en) System for providing autonomous discovery of field or navigation constraints
CN111930914A (zh) 问题生成方法和装置、电子设备以及计算机可读存储介质
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
KR102517971B1 (ko) 자동회귀 언어 모형을 이용한 문맥의존 철자오류 교정 장치 및 방법
CN112749557A (zh) 文本处理模型的构建方法和文本处理方法
CN117725198A (zh) 搜索结果的摘要纠正方法、装置、设备及存储介质
CN115270728A (zh) 会议记录处理方法、装置、设备及存储介质
CN115130461A (zh) 一种文本匹配方法、装置、电子设备及存储介质
CN114610878A (zh) 模型训练方法、计算机设备及计算机可读存储介质
CN111967253A (zh) 一种实体消歧方法、装置、计算机设备及存储介质
CN112148902A (zh) 数据处理方法、装置、服务器及存储介质
US20200356603A1 (en) Annotating Documents for Processing by Cognitive Systems
US20220343068A1 (en) Intent detection via multi-hop unified syntactic graph
CN117709299A (zh) 文本情感倾向识别方法、装置、设备及介质
CN114723008A (zh) 语言表征模型的训练方法、装置、设备、介质及用户响应方法
CN115690453A (zh) 一种唐卡图像识别的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination