CN114330704A - 语句生成模型更新方法、装置、计算机设备和存储介质 - Google Patents

语句生成模型更新方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN114330704A
CN114330704A CN202111388755.XA CN202111388755A CN114330704A CN 114330704 A CN114330704 A CN 114330704A CN 202111388755 A CN202111388755 A CN 202111388755A CN 114330704 A CN114330704 A CN 114330704A
Authority
CN
China
Prior art keywords
statement
sample
query
target
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111388755.XA
Other languages
English (en)
Inventor
周辉阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202111388755.XA priority Critical patent/CN114330704A/zh
Publication of CN114330704A publication Critical patent/CN114330704A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本申请涉及一种基于人工智能的语句生成模型更新方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括:获取由对象标识触发的查询语句,通过语句生成模型生成与查询语句关联的多个候选语句;将通过对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本;对正样本和负样本分别进行特征提取,得到正样本对应的语义表示和负样本对应的语义表示;基于正样本的语义表示和负样本的语义表示,构建正样本和负样本之间的对比损失函数;通过对比损失函数对语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。采用本方法能够提高语句生成模型生成与查询语句关联的泛化结果的准确性。

Description

语句生成模型更新方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种语句生成模型更新方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术的发展,出现了智能问答技术,通过智能问答技术能够自动回复用户的查询请求,并推荐与用户的查询请求相关的其他请求供用户参考。例如,智能问答系统回复用户提出的问题,并提供多个类似问题给用户,以便用户自主选择是否进行进一步了解。
传统的智能问答技术中,一般是采用已经标注好的平行数据集对泛化模型进行训练,以通过训练好的泛化模型生成与查询请求对应的多个泛化结果。然而,用于训练模型的平行数据集中正样本和负样本之间的关联性较差,导致模型生成的泛化结果不准确。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高模型泛化结果的准确性的语句生成模型更新方法、装置、计算机设备、存储介质和计算机程序产品。
一种语句生成模型更新方法,所述方法包括:
获取由对象标识触发的查询语句,通过语句生成模型生成与所述查询语句关联的多个候选语句;
将通过所述对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本;
对所述正样本和所述负样本分别进行特征提取,得到所述正样本对应的语义表示和所述负样本对应的语义表示;
基于所述正样本的语义表示和所述负样本的语义表示,构建所述正样本和所述负样本之间的对比损失函数;
通过所述对比损失函数对所述语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
一种语句生成模型更新装置,所述装置包括:
生成模块,用于获取由对象标识触发的查询语句,通过语句生成模型生成与所述查询语句关联的多个候选语句;
选中模块,用于将通过所述对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本;
提取模块,用于对所述正样本和所述负样本分别进行特征提取,得到所述正样本对应的语义表示和所述负样本对应的语义表示;
构建模块,用于基于所述正样本的语义表示和所述负样本的语义表示,构建所述正样本和所述负样本之间的对比损失函数;
训练模块,用于通过所述对比损失函数对所述语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
在一个实施例中,所述生成模块,还用于响应于对象标识在问答界面触发的添加操作,获取所述对象标识添加的查询语句并展示;响应于由所述对象标识触发的对所述查询语句的编辑操作,调用语句生成模型生成与所述查询语句关联的多个候选语句。
在一个实施例中,所述选中模块,还用于响应于由所述对象标识触发的对所述查询语句的编辑操作,进入所述查询语句的编辑界面;在所述编辑界面中展示与所述查询语句关联的候选语句的查看控件;响应于对所述查看控件的触发操作,展示与所述查询语句关联的多个候选语句;响应于对多个所述候选语句的选择操作,将所述选择操作所选中的候选语句作为正样本,将未被所述选择操作选中的候选语句作为负样本。
在一个实施例中,所述构建模块,还用于遍历样本集合中的各样本,所述样本集合中包括正样本和负样本;在每次遍历中,确定当前遍历的样本的语义表示分别和每个所述正样本的语义表示之间的第一相似关系,并确定所述当前遍历的样本的语义表示分别和所述样本集合中的其余样本的语义表示之间的第二相似关系;基于各所述第一相似关系和各所述第二相似关系,构建所述正样本和所述负样本之间的对比损失函数。
在一个实施例中,所述构建模块,还用于基于每次遍历的样本所对应的各所述第一相似关系和各所述第二相似关系,确定所述每次遍历的样本分别对应的损失值;根据所述每次遍历的样本分别对应的损失值,确定所述正样本和所述负样本之间的对比损失函数。
在一个实施例中,所述装置还包括差异确定模块;所述差异确定模块,用于通过所述语句生成模型基于目标样本的语义表示,生成与所述目标样本关联的预测语句,所述目标样本为正样本或负样本;根据所述预测语句和所述目标样本对应的标注关联语句,构建差异损失函数;基于所述对比损失函数和所述差异损失函数,构建目标损失函数;
所述训练模块,还用于通过所述目标损失函数对所述语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
在一个实施例中,所述装置还包括应用模块;所述应用模块,用于获取目标查询语句,生成与所述目标查询语句对应的答复语句;通过所述更新完成的语句生成模型基于所述目标查询语句和所述答复语句,生成与所述目标查询语句关联的关联语句。
在一个实施例中,所述应用模块,还用于通过所述更新完成的语句生成模型分别对所述目标查询语句和所述答复语句进行特征编码,得到所述目标查询语句的语义表示和所述答复语句的语义表示;基于所述目标查询语句的语义表示和所述答复语句的语义表示,生成与所述目标查询语句关联的关联语句。
在一个实施例中,所述更新完成的语句生成模型包括编码器和解码器;所述应用模块,还用于通过所述编码器分别对所述目标查询语句和所述答复语句进行分词处理,得到所述目标查询语句对应的第一词序列,以及所述答复语句对应的第二词序列;通过所述编码器分别对所述第一词序列和所述第二词序列进行特征编码,得到所述目标查询语句的语义表示和所述答复语句的语义表示;将所述编码器输出的语义表示作为所述解码器的输入,通过所述解码器在当前时刻对输入的语义表示进行解码所得到的解码特征和在所述当前时刻之前的各时刻所输出的目标词,确定所述当前时刻输出的目标词;基于各时刻输出的目标词生成与所述目标查询语句关联的关联语句。
在一个实施例中,所述更新完成的语句生成模型应用于知识问答库;所述装置还包括应用模块;所述应用模块,用于获取对目标知识点的知识点查询请求,并从所述知识问答库中查找与所述知识点查询请求对应的知识点信息;调用所述更新完成的语句生成模型基于所述知识点查询请求和所述知识点信息,生成与所述知识点查询请求关联的多个关联知识点请求。
在一个实施例中,所述更新完成的语句生成模型应用于物流问答库;所述装置还包括应用模块;所述应用模块,用于获取对实体物品的物流查询请求,并从所述物流问答库中查找与所述物流查询请求对应的物流信息;调用所述更新完成的语句生成模型基于所述物流查询请求和所述物流信息,生成与所述物流查询请求关联的多个关联物流请求;从多个所述关联物流请求中,选择满足推荐条件的关联物流请求显示在所述物流查询请求所在的查询界面上。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取由对象标识触发的查询语句,通过语句生成模型生成与所述查询语句关联的多个候选语句;
将通过所述对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本;
对所述正样本和所述负样本分别进行特征提取,得到所述正样本对应的语义表示和所述负样本对应的语义表示;
基于所述正样本的语义表示和所述负样本的语义表示,构建所述正样本和所述负样本之间的对比损失函数;
通过所述对比损失函数对所述语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取由对象标识触发的查询语句,通过语句生成模型生成与所述查询语句关联的多个候选语句;
将通过所述对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本;
对所述正样本和所述负样本分别进行特征提取,得到所述正样本对应的语义表示和所述负样本对应的语义表示;
基于所述正样本的语义表示和所述负样本的语义表示,构建所述正样本和所述负样本之间的对比损失函数;
通过所述对比损失函数对所述语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
一种计算机程序产品,所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取由对象标识触发的查询语句,通过语句生成模型生成与所述查询语句关联的多个候选语句;
将通过所述对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本;
对所述正样本和所述负样本分别进行特征提取,得到所述正样本对应的语义表示和所述负样本对应的语义表示;
基于所述正样本的语义表示和所述负样本的语义表示,构建所述正样本和所述负样本之间的对比损失函数;
通过所述对比损失函数对所述语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
上述语句生成模型更新方法、装置、计算机设备、存储介质和计算机程序产品,通过获取由对象标识触发的查询语句,通过语句生成模型生成与查询语句关联的多个候选语句,能够给用户提供多个与查询语句相似的语句。将通过对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本,能够从提供的多个相似问题中将用户选择的相似问题作为正样本,将用户未选择的相似问题作为负样本,使得所采集的正负样本之间具有一定关联。对正样本和负样本分别进行特征提取,得到正样本对应的语义表示和负样本对应的语义表示,基于正样本的语义表示和负样本的语义表示,构建正样本和负样本之间的对比损失函数,通过对比损失函数对语句生成模型进行更新训练,以拉近正样本的距离,拉远负样本的距离,直至达到停止条件时停止,得到更新完成的语句生成模型,通过具有关联的正负样本对语句生成模型进行更新训练,使得语句生成模型的精度更高,能够有效生成更有梯度性的相似问题,提高语句生成模型生成查询问题的泛化问题的准确性。
附图说明
图1为一个实施例中语句生成模型更新方法的应用环境图;
图2为一个实施例中语句生成模型更新方法的流程示意图;
图3为一个实施例中问答界面的界面示意图;
图4为另一个实施例中编辑界面的界面示意图;
图5为一个实施例中在编辑界面展示关联语句的界面示意图;
图6为另一个实施例中语句生成模型更新方法的流程示意图;
图7为一个实施例中通过目标损失函数对语句生成模型进行更新训练的流程示意图;
图8为一个实施例中生成与目标查询语句关联的关联语句的步骤的流程示意图;
图9为一个实施例中生成与目标查询语句关联的关联语句的结构示意图;
图10为一个实施例中语句生成模型更新装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的操作数据处理方法,可以应用于如图1所示的应用环境中。本申请涉及人工智能(Artificial Intelligence,AI)技术领域,其中,人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。本申请实施例提供的方案涉及人工智能的语句生成模型更新方法,具体通过如下各实施例进行说明。
本申请实施例提供的语句生成模型更新方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。终端102和服务器104均可单独执行本申请实施例中提供的语句生成模型更新方法。终端102和服务器104也可协同用于执行本申请实施例中提供的语句生成模型更新方法。当终端102和服务器104协同用于执行本申请实施例中提供的语句生成模型更新方法时,终端102获取由对象标识触发的查询语句,并将该查询语句发送给服务器104。服务器104通过语句生成模型生成与查询语句关联的多个候选语句,将多个候选语句返回至终端102。终端102将对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本。终端102将正样本和负样本发送至服务器104,服务器104通过语句生成模型对正样本和负样本分别进行特征提取,得到正样本对应的语义表示和负样本对应的语义表示。服务器104基于正样本的语义表示和负样本的语义表示,构建正样本和负样本之间的对比损失函数。服务器104通过对比损失函数对语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个实施例中,如图2所示,提供了一种语句生成模型更新方法,以该方法应用于计算机设备(计算机设备具体可以是图1中的终端或服务器)为例进行说明,包括以下步骤:
步骤S202,获取由对象标识触发的查询语句,通过语句生成模型生成与查询语句关联的多个候选语句。
其中,对象标识是指用户对象的唯一标识,包括但不限于用户标识、设备标识。该用户标识具体可以是用户名称或用户账号。用户账号指的是在应用程序中注册的账号。设备标识具体可以是用户对象所使用的电子设备的唯一标识。
应用程序包括母应用和运行在该母应用上的子应用。母应用是指能够独立运行的应用程序。子应用是指无法独立运行,需要借助母应用实现运行的应用。母应用和子应用均可以包括即时通信应用、SNS(Social Network Sites,社交网站)应用、短视频应用、长视频应用、游戏应用、音乐分享应用、购物出售应用、UGC(User Generated Content,用户生成内容)应用、各类智能识别应用,但不限于此。
查询语句是指用于对某个资源进行查询的语句。查询语句包括文本,还可以包括表情、标签、链接和缩略图中的至少一种。资源可以是各类信息和各类物品中的至少一种。各类信息包括应用程序、文本、表情、图片、音频、视频、文件或链接等中的至少一种,但不限于此。各类物品可包括实体物品和虚拟物品。实体物品包括各类实体产品,具体可以是手机、电脑、笔记本、手表等各种电子产品,还可以是衣服、鞋子等服饰类产品,在此不做过多限制。
虚拟物品包括但不限于保险产品、理财产品、虚拟馈赠资源、虚拟场景、虚拟角色、虚拟道具等。虚拟场景具体可以是游戏设备中的游戏场景、虚拟现实模拟场景等,虚拟角色具体可以是游戏中的各类角色,虚拟道具体可以是游戏中的各种道具等。
候选语句是由语句生成模型生成的与查询语句相似的语句,具体可以是与查询语句的内容相似的语句。关联是指两个语句的内容上有关联,语句内容上具有相似性,与查询语句关联的候选语句是指与查询语句的内容相似的语句。候选语句也称为查询语句的泛化结果。
具体地,用户可通过对象标识登录拥有问答功能的应用,并使用对象标识在该应用上发送查询语句。计算机设备获取该对象标识触发的查询语句,调用语句生成模型,并将该查询语句输入语句生成模型,通过该语句生成模型属于与该查询语句的内容相关联的多个候选语句。
在一个实施例中,通过语句生成模型生成与查询语句关联的多个候选语句,包括:通过语句生成模型对查询语句进行特征编码,得到查询语句对应的语义表示;通过语句生成模型基于查询语句对应的语义表示,生成与查询语句关联的多个候选语句。
在一个实施例中,通过语句生成模型生成与查询语句关联的多个候选语句,包括:
获取查询语句对应的答复语句,将查询语句和对应的答复语句输入语句生成模型,通过答复语句生成模型基于查询语句和对应的答复语句,输出与该查询语句关联的多个候选语句。
答复语句是指针对查询语句进行回复的信息,具体可包括文本、音频、视频、图像、链接中的至少一种,但不限于此。
具体地,计算机设备可通过答复语句生成模型对查询语句和对应的答复语句分别进行编码处理,得到查询语句对应的语义表示和答复语句对应的语义表示。答复语句生成模型基于查询语句的语义表示和该答复语句的语义表示,生成多个候选语句。
进一步地,计算机设备可通过答复语句生成模型对查询语句和对应的答复语句分别进行分词处理,得到查询语句对应的词序列和答复语句对应的词序列。通过答复语句生成模型分别对查询语句的词序列和答复语句的词序列进行特征编码处理,得到查询语句对应的语义表示和答复语句对应的语义表示。
在一个实施例中,通过语句生成模型生成与查询语句关联的多个候选语句,包括:
通过语句生成模型生成与查询语句对应的答复语句;通过语句生成模型基于查询语句和对应的答复语句,输出与该查询语句关联的多个候选语句。
步骤S204,将通过对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本。
具体地,用户发出查询语句后,计算机设备通过语句生成模型生成多个候选语句并返回给对象标识所在的终端。用户可通过对象标识从多个候选语句中选择需要进一步查询或想要了解的候选语句。计算机设备可检测对象标识对多个候选语句的选择操作,确定对象标识所选中的候选语句。计算机设备将通过对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本。
在一个实施例中,计算机设备可将对象标识选中的候选语句、以及该查询语句作为正样本,并将正样本和负样本添加到样本集合中。
步骤S206,对正样本和负样本分别进行特征提取,得到正样本对应的语义表示和负样本对应的语义表示。
具体地,计算机设备可对正样本和负样本分别进行分词处理,得到每个正样本分别对应的词序列,以及每个负样本分别对应的词序列。计算机设备分别对每个词序列进行特征提取,得到每个正样本分别对应的语义表示和每个负样本分别对应的语义表示。
步骤S208,基于正样本的语义表示和负样本的语义表示,构建正样本和负样本之间的对比损失函数。
其中,对比损失函数是指对比学习时采用的损失函数,对比学习是自监督学习的一种,用于拉近正样本的距离,拉远负样本的距离。
具体地,计算机设备基于每个正样本分别对应的语义表示和每个负样本分别对应的语义表示,计算每个样本分别对应的对比损失。计算机设备基于每个样本分别对应的对比损失构建正样本和负样本之间的对比损失函数。
步骤S210,通过对比损失函数对语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
具体地,计算机设备通过对比损失函数对语句生成模型进行更新训练,在训练中基于语句生成模型所产生的损失调整参数并继续训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
其中,达到停止条件可以是达到迭代次数、对比损失值小于或等于损失阈值等。
例如,在训练中基于对比损失函数确定语句生成模型的对比损失值,当对比损失值大于损失阈值时,调整语句生成模型的参数并继续训练,直至语句生成模型的对比损失值小于或等于损失阈值时停止,得到更新完成的语句生成模型。
上述语句生成模型更新方法中,获取由对象标识触发的查询语句,通过语句生成模型生成与查询语句关联的多个候选语句,能够给用户提供多个与查询语句相似的语句。将通过对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本,能够从提供的多个相似问题中将用户选择的相似问题作为正样本,将用户未选择的相似问题作为负样本,使得所采集的正负样本之间具有一定关联。对正样本和负样本分别进行特征提取,得到正样本对应的语义表示和负样本对应的语义表示,基于正样本的语义表示和负样本的语义表示,构建正样本和负样本之间的对比损失函数,通过对比损失函数对语句生成模型进行更新训练,以拉近正样本的距离,拉远负样本的距离,直至达到停止条件时停止,得到更新完成的语句生成模型,通过具有关联的正负样本对语句生成模型进行更新训练,使得语句生成模型的精度更高,能够有效生成更有梯度性的相似问题,提高语句生成模型生成查询问题的泛化问题的准确性。并且,语句生成模型能够基于用户选择的正负样本自动进行更新训练,实现语句生成模型的实时更新。
在一个实施例中,获取由对象标识触发的查询语句,通过语句生成模型生成与查询语句关联的多个候选语句,包括:
响应于对象标识在问答界面触发的添加操作,获取对象标识添加的查询语句并展示;响应于由对象标识触发的对查询语句的编辑操作,调用语句生成模型生成与查询语句关联的多个候选语句。
其中,问答界面指的是展示与对象标识产生会话消息的用户界面,可以编辑、获取和展示会话消息,并且可以是按照时间先后顺序,对会话中的各条会话消息进行展示的用户界面。该问答界面还可以展示会话标识、会话描述信息、会话对应的用户数量、会话用户标识、会话对应的用户的描述信息、表情对应的含义中的至少一种。
具体地,用户通过对象标识进入问答界面,问答界面中展示查询语句的添加控件。用户可触发该添加控件,以触发对查询语句的添加操作。其中,该添加操作包括但不限于触摸操作、语音操作、通过输入设备例如鼠标进行操作或者手势操作中的至少一个,例如可以为点击操作、双击操作、长按操作、左滑操作或右滑操作中的任意一种,但不限于此。
计算机设备响应于在问答界面触发的添加操作,获取用户输入的查询语句,并在问答界面展示该查询语句。计算机设备在问答界面展示该查询语句的编辑控件,用户可在问答界面触发对该查询语句的编辑控件,以触发对查询语句的编辑操作。计算机设备检测到对查询语句的编辑操作时,调用语句生成模型,将查询语句输入语句生成模型,以通过语句生成模型输出与查询语句关联的多个候选语句。
本实施例中,响应于对象标识在问答界面触发的添加操作,获取对象标识添加的查询语句并展示,响应于由对象标识触发的对查询语句的编辑操作,能够通过用户的操作自动调用语句生成模型生成与查询语句关联的多个候选语句,以便为用户提供多个相似问题,便于用户进行进一步查询和了解。
在一个实施例中,将通过对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本,包括:
响应于由对象标识触发的对查询语句的编辑操作,进入查询语句的编辑界面;
在编辑界面中展示与查询语句关联的候选语句的查看控件;响应于对查看控件的触发操作,展示与查询语句关联的多个候选语句;响应于对多个候选语句的选择操作,将选择操作所选中的候选语句作为正样本,将未被选择操作选中的候选语句作为负样本。
其中,编辑操作具体可以是触摸操作、光标操作、按键操作或者语音操作等。触摸操作可以是触摸点击操作、触摸按压操作或者触摸滑动操作,触摸操作可以是单点触摸操作或者多点触摸操作。光标操作可以是控制光标进行点击、按压或者滑动的操作。按键操作可以是虚拟按键操作或者实体按键操作等。
选择操作具体可以是针对候选语句进行选择的操作,包括但不限于触摸操作、语音操作、通过输入设备例如鼠标进行操作或者手势操作中的至少一个。
具体地,计算机设备在问答界面展示该查询语句的编辑控件,用户可在问答界面触发对该查询语句的编辑控件,以进入查询语句的编辑界面。在编辑界面可展示该查询语句的详细描述信息,包括查询语句的分类、查询语句对应的答复语句等。并且,在该编辑界面展示与查询语句关联的候选语句的查看控件,用户可触发该查看控件,计算机设备响应于对该查看控件的触发,获取与查询语句关联的多个候选语句并展示。用户可对展示的多个候选语句进行选择,计算机设备检测用户的操作,将选择操作所选中的候选语句作为正样本,将未被选择操作选中的候选语句作为负样本。
如图3所示的问答界面300中,设置了查询语句的添加问答控件302,用户触发该问答控件302可添加相应的查询语句,如所添加查询语句304为“简单的小问题”,并在问答界面300中展示该查询语句304。并且,在该查询语句304的展示区域,设置了编辑控件306,用户可通过触发该编辑控件306,自动调用语句生成模型生成与查询语句304“简单的小问题”所关联的多个候选语句。并且,用户触发该编辑控件306可进入如图4所示的编辑界面。
如图4所示,编辑界面400中展示查询语句304的详细信息,包括查询语句304的分类和对应的答复语句等。并且,在编辑界面400中展示与查询语句关联的候选语句的查看控件402,如查看控件402显示为“相似问题”。用户触发查看控件402,可展示与查询语句304关联的5个候选语句404,如图5所示。用户可在展示的多个候选语句404中进行选择,将选择操作所选中的候选语句作为正样本,将未被选择操作选中的候选语句作为负样本。
本实施例中,在编辑界面中展示与查询语句关联的候选语句的查看控件,以便用户对候选语句进行查看。响应于对多个候选语句的选择操作,将用户所选中的候选语句作为正样本,将用户未选中的候选语句作为负样本,能够从提供的多个相似问题中将用户选择的相似问题作为正样本,将用户未选择的相似问题作为负样本,保证所采集的训练数据之间的关联性。使用具有关联的正负样本对训练语句生成模型进行训练,能够有效提升模型推荐的泛化结果的质量和精准度。
在一个实施例中,基于正样本的语义表示和负样本的语义表示,构建正样本和负样本之间的对比损失函数,包括:
遍历样本集合中的各样本,该样本集合中包括正样本和负样本;在每次遍历中,确定当前遍历的样本的语义表示分别和每个正样本的语义表示之间的第一相似关系,并确定当前遍历的样本的语义表示分别和样本集合中的其余样本的语义表示之间的第二相似关系;基于各第一相似关系和各第二相似关系,构建正样本和负样本之间的对比损失函数。
具体地,该样本集合中包括正样本和负样本,计算机设备可遍历样本集合中的每个样本。在每次遍历中,确定当前遍历的样本对应的语义表示,并根据当前遍历的样本的语义表示和单个正样本的语义表示,确定当前遍历的样本和该单个正样本之间的第一相似关系。按照相同的处理方式,可得到当前遍历的样本分别和每个正样本之间的第一相似关系。
并且,确定样本集合中除当前遍历的样本以外的其余样本,根据当前遍历的样本的语义表示和其余样本中每个样本的语义表示,确定当前遍历的样本分别和其余样本中每个样本之间的第二相似关系。计算机设备根据各第一相似关系和各第二相似关系,构建正样本和负样本之间的对比损失函数。
本实施例中,遍历样本集合中的各样本,该样本集合中包括正样本和负样本,在每次遍历中,确定当前遍历的样本的语义表示分别和每个正样本的语义表示之间的第一相似关系,并确定当前遍历的样本的语义表示分别和样本集合中的其余样本的语义表示之间的第二相似关系,从而能够基于每个样本和其它样本之间的相似关系,构建对比损失函数,使得正样本的得分尽可能大、负样本的得分尽可能小,进而使得正负样本的语义表示在语义空间中的距离更远,即拉近正样本的、拉远负样本,由此训练得到的语句生成模型具备更高的精度,所生成的查询语句的多个泛化结果更具备梯度性,能够满足用户需求。
在一个实施例中,基于各第一相似关系和各第二相似关系,构建正样本和负样本之间的对比损失函数,包括:
基于每次遍历的样本所对应的各第一相似关系和各第二相似关系,确定每次遍历的样本分别对应的损失值;根据每次遍历的样本分别对应的损失值,确定正样本和负样本之间的对比损失函数。
具体地,计算机设备确定当前遍历的样本分别和每个正样本之间的第一相似关系,并确定当前遍历的样本分别和其余样本中每个样本之间的第二相似关系之后,可根据当前遍历的样本所对应的多个第一相似关系和多个第二相似关系,计算出该当前遍历的样本对应的损失值。按照相同的处理方式,可得到每次遍历的样本分别对应的损失值。
根据根据每次遍历的样本分别对应的损失值,计算机设备可确定正样本和负样本之间的对比损失函数。进一步地,计算机设备可对每次遍历的样本对应的损失值求和,将求和函数作为对比损失函数。
例如,所构建的对比损失函数LB如下公式所示:
Figure BDA0003367946960000151
其中,I为样本集合,τ是温度超参数,P(i)是正样本的集合,A(i)是样本集合I中除样本i之外的其余样本的集合,zi表示样本i的语义表示、zp表示正样本的集合P(i)中每个正样本的语义表示、za表示样本集合I中除了样本i以外的每个样本的语义表示。
Figure BDA0003367946960000152
为样本i对应的损失值。
在本实施例中,基于每次遍历的样本所对应的各第一相似关系和各第二相似关系,准确计算出每次遍历的样本分别对应的损失值,从而根据每次遍历的样本分别对应的损失值,准确构建出正样本和负样本之间的对比损失函数。
如图6所示,为一个实施例中语句生成模型更新方法的流程示意图。计算机设备采集平行语料对,基于平行语料对对语句生成模型进行训练,训练结束后应用于线上。通过语句生成模型在线上基于用户的查询语句生成多个候选语句,将用户勾选的候选语句作为正样本,将用户不勾选的候选语句作为负样本,可得到多正负样本数据集(k,[A1,A2,A3,A4…],[B1,B2,B3,B4…],其中K代表原始query,即查询语句;[A1,A2,A3,A4…]代表用户选择的候选语句,即正样本;[B1,B2,B3,B4…]代表用户没有选择的候选语句,即负样本)。将正样本和负样本构成多样本预料对,并结合对比学习算法对语句生成模型进行更新训练,得到更新完成的语句生成模型。
在一个实施例中,如图7所示,该方法还包括:
步骤S702,通过语句生成模型基于目标样本的语义表示,生成与目标样本关联的预测语句,该目标样本为正样本或负样本。
具体地,计算机设备可从样本集合中的正样本或负样本中选择目标样本,将目标样本输入语句生成模型。语句生成模型对该目标样本进行特征编码处理,得到对应的语义表示,并基于该目标样本的语义表示,生成与该目标样本相关联的预测语句。
步骤S704,根据预测语句和目标样本对应的标注关联语句,构建差异损失函数。
具体地,计算机设备获取目标样对应的标注关联语句,该标注关联语句是预先标注的与该目标样本相关联的语句,该标注关联语句作为该目标样本对应的标签。计算机设备基于语句生成模型生成的预测语句和标注关联语句之间的差异,构建差异损失函数。
进一步地,计算机设备基于预测语句的语义表示和标注关联语句的语义表示之间的差异,构建差异损失函数。
在一个实施例中,语句生成模型基于该目标样本的语义表示,确定该目标样本的预测概率分布。计算机设备获取该目标样本对应的标签概率分布,基于该预测概率分布和标签概率分布,构建差异损失函数。该标签概率分布为目标样本的真实概率分布。
例如,差异损失函数为:
Figure BDA0003367946960000161
其中,、p(xi)为样本i的真实概率分布、q(xi)为样本i对应的预测概率分布,差异损失函数Lce表示为真实概率分布p(xi)与预测概率分布q(xi)之间的差异。
步骤S706,基于对比损失函数和差异损失函数,构建目标损失函数。
具体地,计算机设备将对比损失函数和差异损失函数求和,得到目标损失函数。
例如,目标损失函数L如下:
L=LB+Lce
其中,LB为对比损失函数,Lce为差异损失函数。
在一个实施例中,计算机设备获取对比权重和差异权重,确定对比损失函数和对比权重的乘积,并确定差异损失函数和差异权重的乘积,将两个乘积求和,得到目标损失函数。
通过对比损失函数对语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型,包括步骤S708:
步骤S708,通过目标损失函数对语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
具体地,计算机设备通过目标损失函数对语句生成模型进行更新训练,在训练中基于语句生成模型所产生的损失值调整参数并继续训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
其中,达到停止条件可以是达到迭代次数、目标损失值小于或等于损失阈值等。
例如,在训练中基于目标损失函数确定语句生成模型的目标损失值,当目标损失值大于损失阈值时,调整语句生成模型的参数并继续训练,直至语句生成模型的目标损失值小于或等于损失阈值时停止,得到更新完成的语句生成模型。
本实施例中,通过语句生成模型基于目标样本的语义表示,生成与目标样本关联的预测语句,目标样本为正样本或负样本,根据预测语句和目标样本对应的标注关联语句,构建差异损失函数,通过差异损失函数能够体现语句生成模型所预测出的语句的概率分布和真实标注的语句的概率分布之间的差异。基于对比损失函数和差异损失函数,构建目标损失函数,通过目标损失函数对语句生成模型进行更新训练,使得目标损失函数结合了预测概率分布与真实概率分布之间的差异,以及正负样本之间的对比损失,以实现拉近正样本的距离,拉远负样本的距离的效果,直至达到停止条件时停止,使得语句生成模型的精度更高,能够有效生成更有梯度性的相似问题,提高语句生成模型生成查询问题的泛化问题的准确性。
在一个实施例中,该方法还包括:获取目标查询语句,生成与目标查询语句对应的答复语句;通过更新完成的语句生成模型基于目标查询语句和答复语句,生成与目标查询语句关联的关联语句。
其中,关联语句是指与目标查询语句相似的语句,具体可以是与目标查询语句的内容相似的语句。关联语句也称为目标查询语句的泛化结果。
具体地,更新完成的语句生成模型部署在计算机设备上。计算机设备获取用户对象输入的目标查询语句,并生成与该目标查询语句对应的答复语句。计算机设备将目标查询语句和对应的答复语句输入更新完成的语句生成模型。
该更新完成的语句生成模型对目标查询语句进行特征编码,得到目标查询语句的语义表示。该更新完成的语句生成模型对答复语句进行特征编码,得到答复语句的语义表示。更新完成的语句生成模型基于目标查询语句的语义表示和答复语句的语义表示,生成与目标查询语句关联的多个关联语句。
在一个实施例中,计算机设备将目标查询语句输入更新完成的语句生成模型,基于输入更新完成的语句生成模型生成与该目标查询语句对应的答复语句。
在一个实施例中,该方法还包括:获取目标查询语句,通过更新完成的语句生成模型基于目标查询语句,生成与目标查询语句关联的关联语句。
具体地,计算机设备获取用户对象输入的目标查询语句,将目标查询语句输入更新完成的语句生成模型。更新完成的语句生成模型对该目标查询语句进行编码处理,得到对应的语义表示,并基于该语义表示生成对应的关联语句。
本实施例中,更新完成的语句生成模型具有更高的精度和泛化能力。获取目标查询语句,生成与目标查询语句对应的答复语句,通过更新完成的语句生成模型基于目标查询语句和答复语句,能够生成更具有梯度性的多个与目标查询语句相似的关联语句,并且所生成的关联语句更准确。
在一个实施例中,通过更新完成的语句生成模型基于目标查询语句和答复语句,生成与目标查询语句关联的关联语句,包括:
通过更新完成的语句生成模型分别对目标查询语句和答复语句进行特征编码,得到目标查询语句的语义表示和答复语句的语义表示;基于目标查询语句的语义表示和答复语句的语义表示,生成与目标查询语句关联的关联语句。
具体地,计算机设备将目标查询语句和答复语句输入更新完成的语句生成模型。更新完成的语句生成模型对目标查询语句进行分词处理,得到目标查询语句对应的词序列;更新完成的语句生成模型对答复语句进行分词处理,得到答复语句对应的词序列。
更新完成的语句生成模型对目标查询语句对应的词序列进行特征编码处理,得到目标查询语句对应的语义表示。更新完成的语句生成模型对答复语句对应的词序列进行特征编码处理,得到答复语句对应的语义表示。接着,更新完成的语句生成模型基于目标查询语句对应的语义表示和答复语句对应的语义表示,生成多个与目标查询语句关联的关联语句。
本实施例中,通过更新完成的语句生成模型分别对目标查询语句和答复语句进行特征编码,得到目标查询语句的语义表示和答复语句的语义表示,能够提取目标查询语句的关键语义信息和答复语句的关键语义信息。基于目标查询语句的关键语义信息和答复语句的关键语义信息,能够准确生成与目标查询语句相似的关联语句。并且,在生成目标查询语句的泛化结果时,还结合了答复语句的关键语义信息,能够进一步提高所生成的泛化结果的精准度。
在一个实施例中,如图8所示,该更新完成的语句生成模型包括编码器和解码器;通过更新完成的语句生成模型分别对目标查询语句和答复语句进行特征编码,得到目标查询语句的语义表示和答复语句的语义表示,包括步骤S802和步骤S804:
步骤S802,通过编码器分别对目标查询语句和答复语句进行分词处理,得到目标查询语句对应的第一词序列,以及答复语句对应的第二词序列。
具体地,该更新完成的语句生成模型包括编码器和解码器。计算机设备将目标查询语句和答复语句输入该更新完成的语句生成模型的编码器。
编码器对目标查询语句进行分词处理,得到目标查询语句的各分词,将目标查询语句的各分词转换为对应的词向量,基于各词向量得到该目标查询语句对应的第一词序列。
编码器对答复语句进行分词处理,得到答复语句的各分词,将答复语句的各分词转换为对应的词向量,基于各词向量得到该答复语句对应的第一词序列。
可以理解的是,对目标查询语句和答复语句的处理时序不受限定,可依次进行,也可以同时进行。
步骤S804,通过编码器分别对第一词序列和第二词序列进行特征编码,得到目标查询语句的语义表示和答复语句的语义表示。
具体地,编码器中可包括多个编码层,首个编码层对第一词序列和第二词序列分别进行特征编码,得到首个编码层输出的目标查询语句和答复语句分别对应的编码特征。从第二个编码层起,将上一编码层输出的编码特征作为下一编码层的输入,以进行进一步特征编码,直至得到最后一编码层输出的编码特征。将最后一编码层输出的目标查询语句对应的编码特征,作为该目标查询语句对应的语义表示。将最后一编码层输出的答复语句对应的编码特征,作为该答复语句对应的语义表示。
在一个实施例中,编码器中的编码层可将目标查询语句和答复语句分别对应的编码特征进行特征融合处理,得到融合特征。将融合特征作为编码器的输出,以输入到解码器中,通过解码器对融合特征进行解码,以生成与目标查询语句关联的关联语句。
在一个实施例中,计算机设备分别对目标查询语句和答复语句进行分词处理,得到目标查询语句对应的第一词序列,以及答复语句对应的第二词序列。将第一词序列和第二词序列输入编码器。通过编码器分别对第一词序列和第二词序列进行特征编码,得到目标查询语句的语义表示和答复语句的语义表示。
基于目标查询语句的语义表示和答复语句的语义表示,生成与目标查询语句关联的关联语句,包括步骤S806和步骤S808:
步骤S806,将编码器输出的语义表示作为解码器的输入,通过解码器在当前时刻对输入的语义表示进行解码所得到的解码特征和在当前时刻之前的各时刻所输出的目标词,确定当前时刻输出的目标词。
具体地,将编码器输出的目标查询语句的语义表示和答复语句的语义表示作为解码器的输入。解码器对输入的语义表示进行特征解码,得到对应的解码特征,基于解码特征生成各目标词。
进一步地,解码器按照时序对输入的语义表示进行解码处理,解码器基于当前时刻对输入的语义表示进行解码所得到的解码特征和在当前时刻之前的各时刻所输出的目标词,预测出当前时刻的目标词。
步骤S808,基于各时刻输出的目标词生成与目标查询语句关联的关联语句。
具体地,解码器基于各时刻输出的目标词,生成目标查询语句关联的关联语句。进一步地,解码器在每个时刻输出多个目标词,基于每个时刻分别对应的多个目标词,生成多个关联语句。
在一个实施例中,解码器在每个时刻输出多个目标词,基于每个时刻分别对应的多个目标词,生成多个候选关联语句。将多个候选关联语句按照相似度排序,筛选出特定数量个高相似度的关联语句。
本实施例中,通过编码器分别对目标查询语句和答复语句进行分词处理,得到目标查询语句对应的第一词序列,以及答复语句对应的第二词序列,通过编码器分别对第一词序列和第二词序列进行特征编码,得到目标查询语句的语义表示和答复语句的语义表示,能够提取目标查询语句的关键语义信息和答复语句的关键语义信息。将编码器输出的语义表示作为解码器的输入,通过解码器在当前时刻对输入的语义表示进行解码所得到的解码特征和在当前时刻之前的各时刻所输出的目标词,确定当前时刻输出的目标词,能够结合当前时刻的解码特征和已输出的各个目标词准确预测当前时刻的目标词,从而能够基于各时刻输出的目标词准确生成与目标查询语句关联的关联语句。
本实施例中,语句生成模型可采用基于神经网络的Sequence-to-Sequence(序列-序列)框架,还可以使用Transformer模型或ber模型。Sequence-to-Sequence框架是包含Encoder-Decoder(编码器-解码器)结构的框架。Encoder-Decoder结构将输入序列转换为另一个序列输出。在该框架中,编码器将输入序列转化成向量序列,解码器则根据向量序列并按时间顺序依次生成输出序列。其中,编码器以及解码器可以采用相同类型的神经网络模型,也可以是不同类型的神经网络模型。比如,编码器以及解码器可以均为C N N(ConvolutionalNeural Networks,卷积神经网络)模型或RNN(RecurrentNeuralNetworks,循环神经网络)模型等。或者编码器和解码器分别采用不同的神经网络模型,比如编码器采用RNN模型、解码器采用CNN模型等。
本实施例中的seq2seq模型,还可以用于平行语料的挖掘和文本生成等自然语言处理任务。自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
如图9所示,为一个实施例中生成与目标查询语句关联的关联语句的示意图。通过更新完成的语句生成模型分别对目标查询语句和答复语句进行分词处理,得到目标查询语句对应的第一词序列[c1...cn],以及答复语句对应的第二词序列[a1...an],对第一词序列[c1...cn]和第二词序列[a1...an]进行特征编码处理,得到对应的隐层语义表示[h1...ci],基于隐层语义表示[h1...ci]生成第一个目标词q1。将目标词q1的语义表示和隐层语义表示[h1...ci]作为下一时刻的输入,得到下一时刻输出的目标词q2。接着,将目标词q1、目标词q2的语义表示和隐层语义表示[h1...ci]作为下一时刻的输入,得到下一时刻输出的目标词q3,直至得到最后一目标词qj,目标词q1、目标词q2......目标词qj构成关联语句。
在一个实施例中,更新完成的语句生成模型应用于知识问答库;该方法还包括:
获取对目标知识点的知识点查询请求,并从知识问答库中查找与知识点查询请求对应的知识点信息;调用更新完成的语句生成模型基于知识点查询请求和知识点信息,生成与知识点查询请求关联的多个关联知识点请求。
其中,关联知识点请求是指与知识点查询请求相似的请求,具体可以是与知识点查询请求的内容相关联的请求。
具体地,该更新完成的语句生成模型可应用于知识问答库,该知识问答库用于对教学知识点的智能查找。该知识问答库部署于计算机设备上。
用户可通过对象标识登录该知识问答库,在知识问答库中输入对目标知识点进行查询的知识点查询请求。计算机设备获取用户输入的知识点查询请求,从知识问答库中查找与知识点查询请求对应的知识点信息,并将该知识点信息返回给用户。
计算机设备可调用更新完成的语句生成模型,将知识点查询请求和知识点信息输入更新完成的语句生成模型。更新完成的语句生成模型可分别对知识点查询请求和知识点信息进行特征编码,得到知识点查询请求的语义表示和知识点信息的语义表示。更新完成的语句生成模型基于知识点查询请求的语义表示和知识点信息的语义表示,生成与知识点查询请求关联的关联知识点请求。
进一步地,更新完成的语句生成模型可分别对知识点查询请求和知识点信息进行分词处理,得到知识点查询请求的词序列和知识点信息的词序列。更新完成的语句生成模型分别对知识点查询请求的词序列和知识点信息的词序列进行特征编码,得到知识点查询请求的语义表示和知识点信息的语义表示。
在一个实施例中,计算机设备可调用更新完成的语句生成模型基于知识点查询请求,生成与知识点查询请求关联的多个关联知识点请求。
在一个实施例中,该方法还包括:从多个关联知识点请求中,选择满足推送条件的关联知识点请求显示在知识点查询请求所在的查询界面上。
其中,推送条件可以是预设数量的高相似度的关联知识点请求。
具体地,更新完成的语句生成模型从生成的多个关联知识点请求中,筛选出满足推送条件的关联知识点请求,将所筛选出的关联知识点请求显示在知识点查询请求所在的查询界面上。
进一步地,更新完成的语句生成模型可按照与知识点查询请求的相似度对生成的多个关联知识点请求进行排序,从排序后的多个关联知识点请求中选择预设数量的高相似度的关联知识点请求显示在知识点查询请求所在的查询界面上,以供用户选择。
本实施例中,将更新完成的语句生成模型应用于知识问答库,能够将更新完成的语句生成模型应用于教育场景,使得学者能够通过知识问答库快速查找需要的知识点的相关信息。并且,更新完成的语句生成模型基于知识点查询请求和对应的知识点信息,生成相关的多个知识点请求,能够给学者提供更多与所查询的知识点相关的信息,便于对知识点的进一步了解,还能够基于知识点请求实现知识点的个性化推荐。
在一个实施例中,更新完成的语句生成模型应用于物流问答库;方法还包括:
获取对实体物品的物流查询请求,并从物流问答库中查找与物流查询请求对应的物流信息;调用更新完成的语句生成模型基于物流查询请求和物流信息,生成与物流查询请求关联的多个关联物流请求;
其中,关联物流请求是指与物流查询请求相似的请求,具体可以是与物流查询请求的内容相关联的请求。例如,对快递物流的查询请求。
具体地,该更新完成的语句生成模型可应用于物流问答库,该物流问答库用于对物流信息的智能查找。该物流问答库部署于计算机设备上。
用户可通过对象标识登录该物流问答库,在物流问答库中输入对实体物品进行查询的物流查询请求。计算机设备获取用户输入的物流查询请求,从物流问答库中查找与物流查询请求对应的物流信息,并将该物流信息返回给用户。
计算机设备可调用更新完成的语句生成模型,将物流查询请求和物流信息输入更新完成的语句生成模型。更新完成的语句生成模型可分别对物流查询请求和物流信息进行特征编码,得到物流查询请求的语义表示和物流信息的语义表示。更新完成的语句生成模型基于物流查询请求的语义表示和物流信息的语义表示,生成与物流查询请求关联的关联物流请求。
进一步地,更新完成的语句生成模型可分别对物流查询请求和物流信息进行分词处理,得到物流查询请求的词序列和物流信息的词序列。更新完成的语句生成模型分别对物流查询请求的词序列和物流信息的词序列进行特征编码,得到物流查询请求的语义表示和物流信息的语义表示。
在一个实施例中,计算机设备可调用更新完成的语句生成模型基于物流查询请求,生成与物流查询请求关联的多个关联物流请求。
在一个实施例中,该方法还包括:从多个关联物流请求中,选择满足推荐条件的关联物流请求显示在物流查询请求所在的查询界面上。
具体地,更新完成的语句生成模型从生成的多个关联物流请求中,筛选出满足推荐条件的关联物流请求,将所筛选出的关联物流请求显示在物流查询请求所在的查询界面上。
本实施例中,将更新完成的语句生成模型应用于物流问答库,能够将更新完成的语句生成模型应用于物流运输场景,使得用户能够通过物流问答库自动、快速查找需要的物流的相关信息。并且,更新完成的语句生成模型基于物流查询请求和对应的物流信息,生成相关的多个物流请求,能够给用户提供更多与所查询的实体物品相关的物流信息,便于对实体物品的物流信息进行进一步了解。
在一个实施例中,提供了一种语句生成模型更新方法,应用于计算机设备,包括:
获取由对象标识触发的查询语句,通过语句生成模型生成与查询语句关联的多个候选语句;将通过对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本,并将正样本和负样本添加到样本集合。
对正样本和负样本分别进行特征提取,得到正样本对应的语义表示和负样本对应的语义表示。
遍历样本集合中的各样本,在每次遍历中,确定当前遍历的样本的语义表示分别和每个正样本的语义表示之间的第一相似关系,并确定当前遍历的样本的语义表示分别和样本集合中的其余样本的语义表示之间的第二相似关系。
基于每次遍历的样本所对应的各第一相似关系和各第二相似关系,确定每次遍历的样本分别对应的损失值;根据每次遍历的样本分别对应的损失值,确定正样本和负样本之间的对比损失函数。
通过语句生成模型基于目标样本的语义表示,生成与目标样本关联的预测语句,目标样本为正样本或负样本;根据预测语句和目标样本对应的标注关联语句,构建差异损失函数。
基于对比损失函数和差异损失函数,构建目标损失函数。
通过目标损失函数对语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型;更新完成的语句生成模型包括编码器和解码器。
获取目标查询语句,生成与目标查询语句对应的答复语句;
将目标查询语句和对应的答复语句输入更新完成的语句生成模型,通过编码器分别对目标查询语句和答复语句进行分词处理,得到目标查询语句对应的第一词序列,以及答复语句对应的第二词序列。
通过编码器分别对第一词序列和第二词序列进行特征编码,得到目标查询语句的语义表示和答复语句的语义表示。
将编码器输出的语义表示作为解码器的输入,通过解码器在当前时刻对输入的语义表示进行解码所得到的解码特征和在当前时刻之前的各时刻所输出的目标词,确定当前时刻输出的目标词。
基于各时刻输出的目标词生成与目标查询语句关联的关联语句。
本实施例中,通过获取由对象标识触发的查询语句,通过语句生成模型生成与查询语句关联的多个候选语句,能够给用户提供多个与查询语句相似的语句。将通过对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本,能够从提供的多个相似问题中将用户选择的相似问题作为正样本,将用户未选择的相似问题作为负样本,使得所采集的正负样本之间具有一定关联。
遍历样本集合中的各样本,在每次遍历中,确定当前遍历的样本的语义表示分别和每个正样本的语义表示之间的第一相似关系,并确定当前遍历的样本的语义表示分别和样本集合中的其余样本的语义表示之间的第二相似关系,从而能够基于每个样本和其它样本之间的相似关系,构建对比损失函数,使得正样本的得分尽可能大、负样本的得分尽可能小,进而使得正负样本的语义表示在语义空间中的距离更远。
通过语句生成模型基于目标样本的语义表示,生成与目标样本关联的预测语句,根据预测语句和目标样本对应的标注关联语句,构建差异损失函数,通过差异损失函数能够体现语句生成模型所预测出的语句的概率分布和真实标注的语句的概率分布之间的差异。基于对比损失函数和差异损失函数,构建目标损失函数,通过目标损失函数对语句生成模型进行更新训练,使得目标损失函数结合了预测概率分布与真实概率分布之间的差异,以及正负样本之间的对比损失,以实现拉近正样本的距离,拉远负样本的距离的效果,直至达到停止条件时停止,使得语句生成模型的精度更高,能够有效生成更有梯度性的多个泛化结果,提高语句生成模型生成查询问题的泛化问题的准确性。
更新完成的语句生成模型具有更高的精度和泛化能力。获取目标查询语句,生成与目标查询语句对应的答复语句,通过更新完成的语句生成模型分别对目标查询语句和答复语句进行特征编码,得到目标查询语句的语义表示和答复语句的语义表示,能够提取目标查询语句的关键语义信息和答复语句的关键语义信息。基于目标查询语句的关键语义信息和答复语句的关键语义信息,能够生成更具有梯度性的多个与目标查询语句相似的关联语句,并且所生成的关联语句更准确。
应该理解的是,虽然图2、图6-图9的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、图6-图9中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图10所示,提供了一种语句生成模型更新装置,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:生成模块1002、选中模块1004、提取模块1006、构建模块1008和训练模块1010,其中:
生成模块1002,用于获取由对象标识触发的查询语句,通过语句生成模型生成与查询语句关联的多个候选语句。
选中模块1004,用于将通过对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本。
提取模块1006,用于对正样本和负样本分别进行特征提取,得到正样本对应的语义表示和负样本对应的语义表示。
构建模块1008,用于基于正样本的语义表示和负样本的语义表示,构建正样本和负样本之间的对比损失函数。
训练模块1010,用于通过对比损失函数对语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
本实施例中,获取由对象标识触发的查询语句,通过语句生成模型生成与查询语句关联的多个候选语句,能够给用户提供多个与查询语句相似的语句。将通过对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本,能够从提供的多个相似问题中将用户选择的相似问题作为正样本,将用户未选择的相似问题作为负样本,使得所采集的正负样本之间具有一定关联。对正样本和负样本分别进行特征提取,得到正样本对应的语义表示和负样本对应的语义表示,基于正样本的语义表示和负样本的语义表示,构建正样本和负样本之间的对比损失函数,通过对比损失函数对语句生成模型进行更新训练,以拉近正样本的距离,拉远负样本的距离,直至达到停止条件时停止,得到更新完成的语句生成模型,通过具有关联的正负样本对语句生成模型进行更新训练,使得语句生成模型的精度更高,能够有效生成更有梯度性的相似问题,提高语句生成模型生成查询问题的泛化问题的准确性。
在一个实施例中,生成模块1002,还用于响应于对象标识在问答界面触发的添加操作,获取对象标识添加的查询语句并展示;响应于由对象标识触发的对查询语句的编辑操作,调用语句生成模型生成与查询语句关联的多个候选语句。
本实施例中,响应于对象标识在问答界面触发的添加操作,获取对象标识添加的查询语句并展示,响应于由对象标识触发的对查询语句的编辑操作,能够通过用户的操作自动调用语句生成模型生成与查询语句关联的多个候选语句,以便为用户提供多个相似问题,便于用户进行进一步查询和了解。
在一个实施例中,选中模块1004,还用于响应于由对象标识触发的对查询语句的编辑操作,进入查询语句的编辑界面;在编辑界面中展示与查询语句关联的候选语句的查看控件;响应于对查看控件的触发操作,展示与查询语句关联的多个候选语句;响应于对多个候选语句的选择操作,将选择操作所选中的候选语句作为正样本,将未被选择操作选中的候选语句作为负样本。
本实施例中,在编辑界面中展示与查询语句关联的候选语句的查看控件,以便用户对候选语句进行查看。响应于对多个候选语句的选择操作,将用户所选中的候选语句作为正样本,将用户未选中的候选语句作为负样本,能够从提供的多个相似问题中将用户选择的相似问题作为正样本,将用户未选择的相似问题作为负样本,保证所采集的训练数据之间的关联性。使用具有关联的正负样本对训练语句生成模型进行训练,能够有效提升模型推荐的泛化结果的质量和精准度。
在一个实施例中,构建模块1008,还用于遍历样本集合中的各样本,样本集合中包括正样本和负样本;在每次遍历中,确定当前遍历的样本的语义表示分别和每个正样本的语义表示之间的第一相似关系,并确定当前遍历的样本的语义表示分别和样本集合中的其余样本的语义表示之间的第二相似关系;基于各第一相似关系和各第二相似关系,构建正样本和负样本之间的对比损失函数。
本实施例中,遍历样本集合中的各样本,该样本集合中包括正样本和负样本,在每次遍历中,确定当前遍历的样本的语义表示分别和每个正样本的语义表示之间的第一相似关系,并确定当前遍历的样本的语义表示分别和样本集合中的其余样本的语义表示之间的第二相似关系,从而能够基于每个样本和其它样本之间的相似关系,构建对比损失函数,使得正样本的得分尽可能大、负样本的得分尽可能小,进而使得正负样本的语义表示在语义空间中的距离更远,即拉近正样本的、拉远负样本,由此训练得到的语句生成模型具备更高的精度,所生成的查询语句的多个泛化结果更具备梯度性,能够满足用户需求。
在一个实施例中,构建模块1008,还用于基于每次遍历的样本所对应的各第一相似关系和各第二相似关系,确定每次遍历的样本分别对应的损失值;根据每次遍历的样本分别对应的损失值,确定正样本和负样本之间的对比损失函数。
在本实施例中,基于每次遍历的样本所对应的各第一相似关系和各第二相似关系,准确计算出每次遍历的样本分别对应的损失值,从而根据每次遍历的样本分别对应的损失值,准确构建出正样本和负样本之间的对比损失函数。
在一个实施例中,该装置还包括差异确定模块;差异确定模块,用于通过语句生成模型基于目标样本的语义表示,生成与目标样本关联的预测语句,目标样本为正样本或负样本;根据预测语句和目标样本对应的标注关联语句,构建差异损失函数;基于对比损失函数和差异损失函数,构建目标损失函数;
训练模块1010,还用于通过目标损失函数对语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
本实施例中,通过语句生成模型基于目标样本的语义表示,生成与目标样本关联的预测语句,目标样本为正样本或负样本,根据预测语句和目标样本对应的标注关联语句,构建差异损失函数,通过差异损失函数能够体现语句生成模型所预测出的语句的概率分布和真实标注的语句的概率分布之间的差异。基于对比损失函数和差异损失函数,构建目标损失函数,通过目标损失函数对语句生成模型进行更新训练,使得目标损失函数结合了预测概率分布与真实概率分布之间的差异,以及正负样本之间的对比损失,以实现拉近正样本的距离,拉远负样本的距离的效果,直至达到停止条件时停止,使得语句生成模型的精度更高,能够有效生成更有梯度性的相似问题,提高语句生成模型生成查询问题的泛化问题的准确性。
在一个实施例中,该装置还包括应用模块;应用模块,用于获取目标查询语句,生成与目标查询语句对应的答复语句;通过更新完成的语句生成模型基于目标查询语句和答复语句,生成与目标查询语句关联的关联语句。
本实施例中,更新完成的语句生成模型具有更高的精度和泛化能力。获取目标查询语句,生成与目标查询语句对应的答复语句,通过更新完成的语句生成模型基于目标查询语句和答复语句,能够生成更具有梯度性的多个与目标查询语句相似的关联语句,并且所生成的关联语句更准确。
在一个实施例中,应用模块,还用于通过更新完成的语句生成模型分别对目标查询语句和答复语句进行特征编码,得到目标查询语句的语义表示和答复语句的语义表示;基于目标查询语句的语义表示和答复语句的语义表示,生成与目标查询语句关联的关联语句。
本实施例中,通过更新完成的语句生成模型分别对目标查询语句和答复语句进行特征编码,得到目标查询语句的语义表示和答复语句的语义表示,能够提取目标查询语句的关键语义信息和答复语句的关键语义信息。基于目标查询语句的关键语义信息和答复语句的关键语义信息,能够准确生成与目标查询语句相似的关联语句。并且,在生成目标查询语句的泛化结果时,还结合了答复语句的关键语义信息,能够进一步提高所生成的泛化结果的精准度。
在一个实施例中,更新完成的语句生成模型包括编码器和解码器;应用模块,还用于通过编码器分别对目标查询语句和答复语句进行分词处理,得到目标查询语句对应的第一词序列,以及答复语句对应的第二词序列;通过编码器分别对第一词序列和第二词序列进行特征编码,得到目标查询语句的语义表示和答复语句的语义表示;将编码器输出的语义表示作为解码器的输入,通过所述解码器在当前时刻对输入的语义表示进行解码所得到的解码特征和在所述当前时刻之前的各时刻所输出的目标词,确定当前时刻输出的目标词;基于各时刻输出的目标词生成与目标查询语句关联的关联语句。
本实施例中,通过编码器分别对目标查询语句和答复语句进行分词处理,得到目标查询语句对应的第一词序列,以及答复语句对应的第二词序列,通过编码器分别对第一词序列和第二词序列进行特征编码,得到目标查询语句的语义表示和答复语句的语义表示,能够提取目标查询语句的关键语义信息和答复语句的关键语义信息。将编码器输出的语义表示作为解码器的输入,通过解码器在当前时刻对输入的语义表示进行解码所得到的解码特征和在当前时刻之前的各时刻所输出的目标词,确定当前时刻输出的目标词,能够结合当前时刻的解码特征和已输出的各个目标词准确预测当前时刻的目标词,从而能够基于各时刻输出的目标词准确生成与目标查询语句关联的关联语句。
在一个实施例中,更新完成的语句生成模型应用于知识问答库;该装置还包括应用模块;应用模块,用于获取对目标知识点的知识点查询请求,并从知识问答库中查找与知识点查询请求对应的知识点信息;调用更新完成的语句生成模型基于知识点查询请求和知识点信息,生成与知识点查询请求关联的多个关联知识点请求。
本实施例中,将更新完成的语句生成模型应用于知识问答库,能够将更新完成的语句生成模型应用于教育场景,使得学者能够通过知识问答库快速查找需要的知识点的相关信息。并且,更新完成的语句生成模型基于知识点查询请求和对应的知识点信息,生成相关的多个知识点请求,能够给学者提供更多与所查询的知识点相关的信息,便于对知识点的进一步了解,还能够基于知识点请求实现知识点的个性化推荐。
在一个实施例中,更新完成的语句生成模型应用于物流问答库;该装置还包括应用模块;应用模块,用于获取对实体物品的物流查询请求,并从物流问答库中查找与物流查询请求对应的物流信息;调用更新完成的语句生成模型基于物流查询请求和物流信息,生成与物流查询请求关联的多个关联物流请求;从多个关联物流请求中,选择满足推荐条件的关联物流请求显示在物流查询请求所在的查询界面上。
本实施例中,将更新完成的语句生成模型应用于物流问答库,能够将更新完成的语句生成模型应用于物流运输场景,使得用户能够通过物流问答库自动、快速查找需要的物流的相关信息。并且,更新完成的语句生成模型基于物流查询请求和对应的物流信息,生成相关的多个物流请求,能够给用户提供更多与所查询的实体物品相关的物流信息,便于对实体物品的物流信息进行进一步了解。
关于语句生成模型更新装置的具体限定可以参见上文中对于语句生成模型更新方法的限定,在此不再赘述。上述语句生成模型更新装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种语句生成模型更新方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等,例如对象标识)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。并且,用户可以拒绝或可以便捷拒绝推送候选语句、关联语句等推送信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种语句生成模型更新方法,其特征在于,所述方法包括:
获取由对象标识触发的查询语句,通过语句生成模型生成与所述查询语句关联的多个候选语句;
将通过所述对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本;
对所述正样本和所述负样本分别进行特征提取,得到所述正样本对应的语义表示和所述负样本对应的语义表示;
基于所述正样本的语义表示和所述负样本的语义表示,构建所述正样本和所述负样本之间的对比损失函数;
通过所述对比损失函数对所述语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
2.根据权利要求1所述的方法,其特征在于,所述获取由对象标识触发的查询语句,通过语句生成模型生成与所述查询语句关联的多个候选语句,包括:
响应于对象标识在问答界面触发的添加操作,获取所述对象标识添加的查询语句并展示;
响应于由所述对象标识触发的对所述查询语句的编辑操作,调用语句生成模型生成与所述查询语句关联的多个候选语句。
3.根据权利要求1所述的方法,其特征在于,所述将通过所述对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本,包括:
响应于由所述对象标识触发的对所述查询语句的编辑操作,进入所述查询语句的编辑界面;
在所述编辑界面中展示与所述查询语句关联的候选语句的查看控件;
响应于对所述查看控件的触发操作,展示与所述查询语句关联的多个候选语句;
响应于对多个所述候选语句的选择操作,将所述选择操作所选中的候选语句作为正样本,将未被所述选择操作选中的候选语句作为负样本。
4.根据权利要求1所述的方法,其特征在于,所述基于所述正样本的语义表示和所述负样本的语义表示,构建所述正样本和所述负样本之间的对比损失函数,包括:
遍历样本集合中的各样本,所述样本集合中包括正样本和负样本;
在每次遍历中,确定当前遍历的样本的语义表示分别和每个所述正样本的语义表示之间的第一相似关系,并确定所述当前遍历的样本的语义表示分别和所述样本集合中的其余样本的语义表示之间的第二相似关系;
基于各所述第一相似关系和各所述第二相似关系,构建所述正样本和所述负样本之间的对比损失函数。
5.根据权利要求4所述的方法,其特征在于,所述基于各所述第一相似关系和各所述第二相似关系,构建所述正样本和所述负样本之间的对比损失函数,包括:
基于每次遍历的样本所对应的各所述第一相似关系和各所述第二相似关系,确定所述每次遍历的样本分别对应的损失值;
根据所述每次遍历的样本分别对应的损失值,确定所述正样本和所述负样本之间的对比损失函数。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
通过所述语句生成模型基于目标样本的语义表示,生成与所述目标样本关联的预测语句,所述目标样本为正样本或负样本;
根据所述预测语句和所述目标样本对应的标注关联语句,构建差异损失函数;
基于所述对比损失函数和所述差异损失函数,构建目标损失函数;
所述通过所述对比损失函数对所述语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型,包括:
通过所述目标损失函数对所述语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
7.根据权利要求1至6任意一项所述的方法,其特征在于,所述方法还包括:
获取目标查询语句,生成与所述目标查询语句对应的答复语句;
通过所述更新完成的语句生成模型基于所述目标查询语句和所述答复语句,生成与所述目标查询语句关联的关联语句。
8.根据权利要求7所述的方法,其特征在于,所述通过所述更新完成的语句生成模型基于所述目标查询语句和所述答复语句,生成与所述目标查询语句关联的关联语句,包括:
通过所述更新完成的语句生成模型分别对所述目标查询语句和所述答复语句进行特征编码,得到所述目标查询语句的语义表示和所述答复语句的语义表示;
基于所述目标查询语句的语义表示和所述答复语句的语义表示,生成与所述目标查询语句关联的关联语句。
9.根据权利要求8所述的方法,其特征在于,所述更新完成的语句生成模型包括编码器和解码器;所述通过所述更新完成的语句生成模型分别对所述目标查询语句和所述答复语句进行特征编码,得到所述目标查询语句的语义表示和所述答复语句的语义表示,包括:
通过所述编码器分别对所述目标查询语句和所述答复语句进行分词处理,得到所述目标查询语句对应的第一词序列,以及所述答复语句对应的第二词序列;
通过所述编码器分别对所述第一词序列和所述第二词序列进行特征编码,得到所述目标查询语句的语义表示和所述答复语句的语义表示;
所述基于所述目标查询语句的语义表示和所述答复语句的语义表示,生成与所述目标查询语句关联的关联语句,包括:
将所述编码器输出的语义表示作为所述解码器的输入,通过所述解码器在当前时刻对输入的语义表示进行解码所得到的解码特征和在所述当前时刻之前的各时刻所输出的目标词,确定所述当前时刻输出的目标词;
基于各时刻输出的目标词生成与所述目标查询语句关联的关联语句。
10.根据权利要求1至6任意一项所述的方法,其特征在于,所述更新完成的语句生成模型应用于知识问答库;所述方法还包括:
获取对目标知识点的知识点查询请求,并从所述知识问答库中查找与所述知识点查询请求对应的知识点信息;
调用所述更新完成的语句生成模型基于所述知识点查询请求和所述知识点信息,生成与所述知识点查询请求关联的多个关联知识点请求。
11.根据权利要求1至6任意一项所述的方法,其特征在于,所述更新完成的语句生成模型应用于物流问答库;所述方法还包括:
获取对实体物品的物流查询请求,并从所述物流问答库中查找与所述物流查询请求对应的物流信息;
调用所述更新完成的语句生成模型基于所述物流查询请求和所述物流信息,生成与所述物流查询请求关联的多个关联物流请求;
所述方法还包括:
从多个所述关联物流请求中,选择满足推荐条件的关联物流请求显示在所述物流查询请求所在的查询界面上。
12.一种语句生成模型更新装置,其特征在于,所述装置包括:
生成模块,用于获取由对象标识触发的查询语句,通过语句生成模型生成与所述查询语句关联的多个候选语句;
选中模块,用于将通过所述对象标识选中的候选语句作为正样本,并将未被选中的候选语句作为负样本;
提取模块,用于对所述正样本和所述负样本分别进行特征提取,得到所述正样本对应的语义表示和所述负样本对应的语义表示;
构建模块,用于基于所述正样本的语义表示和所述负样本的语义表示,构建所述正样本和所述负样本之间的对比损失函数;
训练模块,用于通过所述对比损失函数对所述语句生成模型进行更新训练,直至达到停止条件时停止,得到更新完成的语句生成模型。
13.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
14.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
15.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202111388755.XA 2021-11-22 2021-11-22 语句生成模型更新方法、装置、计算机设备和存储介质 Pending CN114330704A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111388755.XA CN114330704A (zh) 2021-11-22 2021-11-22 语句生成模型更新方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111388755.XA CN114330704A (zh) 2021-11-22 2021-11-22 语句生成模型更新方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN114330704A true CN114330704A (zh) 2022-04-12

Family

ID=81046612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111388755.XA Pending CN114330704A (zh) 2021-11-22 2021-11-22 语句生成模型更新方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN114330704A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579606A (zh) * 2022-05-05 2022-06-03 阿里巴巴达摩院(杭州)科技有限公司 预训练模型数据处理方法、电子设备及计算机存储介质
CN115455036A (zh) * 2022-11-14 2022-12-09 腾讯科技(深圳)有限公司 联合语句的处理方法、装置、设备和介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114579606A (zh) * 2022-05-05 2022-06-03 阿里巴巴达摩院(杭州)科技有限公司 预训练模型数据处理方法、电子设备及计算机存储介质
CN114579606B (zh) * 2022-05-05 2022-07-29 阿里巴巴达摩院(杭州)科技有限公司 预训练模型数据处理方法、电子设备及计算机存储介质
CN115455036A (zh) * 2022-11-14 2022-12-09 腾讯科技(深圳)有限公司 联合语句的处理方法、装置、设备和介质
CN115455036B (zh) * 2022-11-14 2023-01-10 腾讯科技(深圳)有限公司 联合语句的处理方法、装置、设备和介质

Similar Documents

Publication Publication Date Title
WO2021159632A1 (zh) 智能问答方法、装置、计算机设备及计算机存储介质
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
CN111581510A (zh) 分享内容处理方法、装置、计算机设备和存储介质
US20190303768A1 (en) Community Question Answering-Based Article Recommendation Method, System, and User Device
CN111368548A (zh) 语义识别方法及装置、电子设备和计算机可读存储介质
CN111783903B (zh) 文本处理方法、文本模型的处理方法及装置、计算机设备
CN111666766B (zh) 数据处理方法、装置和设备
CN111291187B (zh) 一种情感分析方法、装置、电子设备及存储介质
EP4310695A1 (en) Data processing method and apparatus, computer device, and storage medium
CN114330704A (zh) 语句生成模型更新方法、装置、计算机设备和存储介质
CN116664719B (zh) 一种图像重绘模型训练方法、图像重绘方法及装置
CN112131261B (zh) 基于社区网络的社区查询方法、装置和计算机设备
CN111291563B (zh) 词向量对齐方法和词向量对齐模型训练方法
CN113420212A (zh) 基于深度特征学习的推荐方法、装置、设备及存储介质
CN113779225A (zh) 实体链接模型的训练方法、实体链接方法及装置
CN111930915A (zh) 会话信息处理方法、装置、计算机可读存储介质及设备
CN115062134A (zh) 知识问答模型训练及知识问答方法、装置和计算机设备
Zarzour et al. Sentiment analysis based on deep learning methods for explainable recommendations with reviews
CN116957128A (zh) 业务指标预测方法、装置、设备和存储介质
CN110851629A (zh) 一种图像检索的方法
CN115129849A (zh) 题目表示的获取方法、设备以及计算机可读存储介质
CN116205700A (zh) 目标产品的推荐方法、装置、计算机设备和存储介质
CN114942981A (zh) 问答查询方法、装置、电子设备及计算机可读存储介质
CN114282528A (zh) 一种关键词提取方法、装置、设备及存储介质
CN114817697A (zh) 标签信息的确定方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination