CN111353033B - 一种训练文本相似度模型的方法和系统 - Google Patents

Abstract

本说明书实施例公开了一种训练文本相似度模型的方法及系统，该方法包括：获取多组训练数据，多组训练数据中的一组包括：第一文本、第二文本和第三文本，第二文本和第三文本为用户输入的询问内容，第一文本为知识库中对应于第二文本和第三文本的问题；其中，第二文本为与第一文本匹配的用户反馈好评的文本，第三文本为与第一文本不匹配的用户反馈差评的文本；基于多组训练数据调整文本相似度模型的参数进而优化损失函数，得到训练后的文本相似度模型；其中，损失函数基于第一相似度和第二相似度的相对关系确定；第一相似度为文本相似度模型基于第一文本和第二文本计算的相似度，第二相似度为文本相似度模型基于第一文本与第三文本计算的相似度。

Description

一种训练文本相似度模型的方法和系统

技术领域

本说明书涉及计算机技术领域，特别涉及一种训练文本相似度模型的方法和系统。

背景技术

随着互联网和人工智能等领域的不断发展，客服机器人在客户服务中扮演了重要的角色。用户输入问题后，客服机器人可以根据问题从预先整理的知识库中确定答案。通常，客服机器人是根据问题与知识库中的知识点的文本语义相似度确定答案。然而，若知识库整理过程中出现了错误，例如，将问题A的答案与问题B组成了知识点，若将该答案反馈给与问题B语义相似的用户时，会严重影响用户的体验。因此，亟需一种可以从知识库更加准确地确定用户问题的方法。

发明内容

本说明书实施例的一个方面提供一种训练文本相似度模型的方法。所述训练文本相似度模型的方法包括：获取多组训练数据，所述多组训练数据中的一组包括：第一文本、第二文本和第三文本，所述第二文本和所述第三文本为用户输入的询问内容，所述第一文本为知识库中对应于所述第二文本和所述第三文本的问题；其中，所述第二文本为与所述第一文本匹配的所述用户反馈好评的文本，所述第三文本为与所述第一文本不匹配的所述用户反馈差评的文本；基于所述多组训练数据调整文本相似度模型的参数进而优化损失函数，得到训练后的文本相似度模型；其中，所述损失函数基于第一相似度和第二相似度的相对关系确定；所述第一相似度为所述文本相似度模型基于所述第一文本和所述第二文本计算的相似度，所述第二相似度为所述文本相似度模型基于所述第一文本与所述第三文本计算的相似度。

本说明书实施例的另一个方面提供一种文本相似度模型的系统，所述系统包括：第一获取模块，用于获取多组训练数据，所述多组训练数据中的一组包括：第一文本、第二文本和第三文本，所述第二文本和所述第三文本为用户输入的询问内容，所述第一文本为知识库中对应于所述第二文本和所述第三文本的问题；其中，所述第二文本为与所述第一文本匹配的所述用户反馈好评的文本，所述第三文本为与所述第一文本不匹配的所述用户反馈差评的文本；参数更新模块，用于基于所述多组训练数据调整文本相似度模型的参数进而优化损失函数，得到训练后的文本相似度模型；其中，所述损失函数基于第一相似度和第二相似度的相对关系确定；所述第一相似度为所述文本相似度模型基于所述第一文本和所述第二文本计算的相似度，所述第二相似度为所述文本相似度模型基于所述第一文本与所述第三文本计算的相似度。

本说明书实施例的另一个方面提供一种训练文本相似度模型的装置，包括至少一个存储介质和至少一个处理器，所述存储介质用于存储计算机指令；所述处理器用于执行训练文本相似度模型的方法。

本说明书实施例的另一个方面提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行训练文本相似度模型的方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的示例性训练文本相似度模型系统的应用场景图；

图2是根据本说明书一些实施例所示的示例性训练文本相似度模型的系统的模块图；

图3是根据本说明书一些实施例所示的示例性训练文本相似度模型的方法的流程图；

图4是根据本说明书一些实施例所示的示例性文本相似度模型的结构图；

图5是根据本说明书一些实施例所示的示例性应用文本相似度模型的流程图；

图6是根据本说明书一些实施例所示的示例性知识点与询问内容的示意图。

具体实施方式

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本说明书一些实施例所示的示例性训练文本相似度模型的系统的应用场景图。

训练文本相似度模型的系统100可以被广泛应用于各种线上服务平台，例如，电商平台、线上咨询平台、公共服务平台等。各个线上服务平台可以利用该系统实现智能机器人客服，即，客服机器人基于该系统为用户解答问题。

训练文本相似度模型的系统100可以包括服务器110、处理器120、存储设备130、用户终端140、网络150。

服务器110指管理资源并为其他设备和/或用户提供服务的计算设备及相关软件。服务器110可以是单一服务器或服务器组。该服务器组可以是集中式或分布式的(例如，服务器110可以是分布式系统)。在一些实施例中，服务器110可以在云平台上实施，或者以虚拟方式提供。所述云平台可以包括私有云、公共云及其他方式或其任意组合。

服务器110中可以包括处理器120，处理器120可以执行程序指令。处理器120可以包括各种常见的通用中央处理器(central processing unit，CPU)，图形处理器(GraphicsProcessing Unit，GPU)，微处理器，特殊应用集成电路(application-specificintegrated circuit，ASIC)，或其他类型的集成电路。

服务器110中可以包括存储设备130，存储设备130指用于存储数据和/或指令的器件或设备。存储设备可包括随机存取存储器(RAM)、只读存储器(ROM)、大容量存储器、可移动存储器、存储服务器等或其任意组合。示例性的大容量储存器可以包括磁盘、光盘、固态磁盘等。在一些实施例中，所述存储设备130可在云平台上实现。仅作为示例，所述云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。数据指对信息的数字化表示，可以包括各种类型，比如二进制数据、文本数据、图像数据、视频数据等。指令指可控制设备或器件执行特定功能的程序。

用户终端140指用户使用的电子设备。一些用户终端140可以包括处理器120。一些用户终端140可以包括存储设备130。

在一些实施例中，用户终端140可以是移动设备140-1、平板计算机140-2、膝上型计算机140-3、台式计算机140-4、其他具有输入和/或输出功能的设备等或其任意组合。例如，其他具有输入和/或输出功能的设备可包括设置在公共场所的专用问答终端。上述示例仅用于说明所述用户终端140设备范围的广泛性而非对其范围的限制。

网络150指连接系统的各组成部分，以及连接系统外部资源的装置及相关软件、协议。网络使得各组成部分之间，以及与系统之外其他部分之间可以进行通讯，传递和/或共享资源。网络150可以是有线网络或无线网络中的任意一种或多种。例如，网络150可以包括电缆网络、光纤网络、电信网络、互联网、局域网络(LAN)、广域网络(WAN)、无线局域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙网络、紫蜂网络(ZigBee)、近场通信(NFC)、设备内总线、设备内线路、线缆连接等或其任意组合。各部分之间的网络连接可以是采用上述一种方式，也可以是采取多种方式。网络可以是点对点的，共享的，中心式的，或者其他拓扑结构，或者多种方式的组合。

在一些实施例中，网络150可以包括一个或以上网络接入点。例如，网络150可以包括有线或无线网络接入点，例如基站和/或Wi-Fi交换点。

服务器110与用户终端140可以通过网络150相连，存储设备130可以与服务器110通过网络150相连，也可以直接连接于服务器110或者处于服务器110的内部。

在一些应用场景中，训练文本相似度模型的系统100可以用于提供诸如银行客服问答、支付平台客服问答、商场导购客服问答、订票客服问答、便民服务客服问答、教育咨询客服问答、导诊客服问答等。

在一些应用场景中，使用用户终端140的用户可以包括提问的用户，也可以包括解答问题的客服人员。

在一些实施例中，可以通过用户终端140获取用户提问，经服务器110处理后确定对问题的解答，并通过用户终端140呈现给用户。服务器110在处理时可以获取存储设备130上的数据或将数据保存到存储设备130，也可以通过网络150从其他来源读取数据和将数据输出到其他目标对象。在一些实施例中，部分根据问题确定解答的操作处理可以在用户终端140上进行。本说明书中的操作可以通过处理器120执行程序指令进行。上述方式仅为方便理解，本系统亦可以其他可行的操作方式实施本说明书中的方法。

在一些实例中，可以在不同的设备上分别进行不同的功能，比如数据的筛选、查询、预处理、模型的训练、模型的执行等等，本说明书对此不作限制。

图2是根据本说明书一些实施例所示的示例性训练文本相似度模型的系统的模块图。如图2所示，所述训练文本相似度模型的系统可以包括第一获取模块210、参数更新模块220、第二获取模块230、召回模块240、相似度确定模块250、答案确定模块260。

第一获取模块210可以用于获取多组训练数据，所述多组训练数据中的一组包括：第一文本、第二文本和第三文本，所述第二文本和所述第三文本为用户输入的询问内容，所述第一文本为知识库中对应于所述第二文本和所述第三文本的问题；其中，所述第二文本为与所述第一文本匹配的所述用户反馈好评的文本，所述第三文本为与所述第一文本不匹配的所述用户反馈差评的文本。

参数更新模块220可以用于基于所述多组训练数据调整文本相似度模型的参数进而优化损失函数，得到训练后的文本相似度模型；其中，所述损失函数基于第一相似度和第二相似度的相对关系确定；所述第一相似度为所述文本相似度模型基于所述第一文本和所述第二文本计算的相似度，所述第二相似度为所述文本相似度模型基于所述第一文本与所述第三文本计算的相似度。

在一些实施例中，所述文本相似度模型包括向量化模型和相似度计算模型。其中，所述向量化模型用于对输入的所述第一文本、所述第二文本和所述第三文本进行向量化表示；所述相似度计算模型基于向量化后的所述第一文本、所述第二文本和所述第三文本计算所述第一相似度和所述第二相似度。

在一些实施例中，所述向量化模型由Word Embedding和BiLSTM构成，所述第一文本、所述第二文本和所述第三文本分别依次经过Word Embedding和BiLSTM生成对应的向量。

在一些实施例中，所述文本相似度模型为BERT模型。

在一些实施例中，所述相似度计算模型为ESIM模型。

在一些实施例中，所述系统还可以包括第二获取模块230、召回模块240、相似度确定模块250以及答案确定模块260。

第二获取模块230用于获取用户输入的询问内容。

召回模块240用于基于询问内容从知识库中召回至少一个候选问题，以及至少一个候选问题对应的答案。

相似度确定模块250，用于将询问内容和至少一个候选问题输入训练后的文本相似度模型，输出询问内容与至少一个候选问题之间的相似度。

答案确定模块260，用于基于相似度从至少一个候选问题中确定至少一个目标问题，并将至少一个目标问题对应的答案作为询问内容的答案。

关于训练文本相似度模型的系统的各模块的具体描述，可以参考本说明书流程图部分，例如，图3和图5的相关说明，此处不再赘述。

应当理解，图2所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于训练文本相似度模型的系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，例如，图2中披露的第一获取模块210、参数更新模块220可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，第一获取模块210、参数更新模块220可以是两个模块，也可以是一个模块同时具有获取和计算功能。再例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。

图3是根据本说明书一些实施例所示的示例性训练文本相似度模型的方法的流程图。如图3所示，流程300可以包括：

步骤302，获取多组训练数据，所述多组训练数据中的一组包括：第一文本、第二文本和第三文本，所述第二文本和所述第三文本为用户输入的询问内容，所述第一文本为知识库中对应于所述第二文本和所述第三文本的问题；其中，所述第二文本为与所述第一文本匹配的所述用户反馈好评的文本，所述第三文本为与所述第一文本不匹配的所述用户反馈差评的文本。具体地，步骤302可以由第一获取模块210执行。

用户可以是任意可以被描述的个体，例如，买家或者商家等。

询问内容可以是用户提问的问题文本，例如，怎么开花呗、花呗是什么。用户可以通过智能客服机器人手动输入或语音输入问题，用户的语音输入可以通过语音识别，转换为相应的问题文本。

知识库是指知识点的集合，其中，知识点可以是与询问内容相关的内容，可以为询问内容提供答案。在一些实施例中，知识点可以由问题和该问题的答案构成。

在一些实施例中，在智能机器人服务用户应用场景下，用户可以在与客服机器人对话的聊天框中输入询问内容，智能客服机器人通过文本相似度模型可以根据用户输入的询问内容从知识库中确定知识点，并将确定的知识点中的答案作为该询问内容的答案。同时用户可以根据反馈的答案是否符合其需求对该次询问作出评价，例如，好评或差评。

第二文本和第三文本可以为用户输入的询问内容。例如，第二文本和第三文本可以是用户与客服机器人的聊天框中输入的询问内容。

第一文本可以是知识库中对应于用户的询问内容的问题，例如，可以将知识库中与询问内容存在相同的关键词或者与询问内容语义相关的问题作为第一文本，又例如，可以将基于询问内容在知识库中确定(包括召回和排序)的知识点中的问题作为第一文本。如前所述，该用户的询问内容为第二文本或第三文本，可以理解，第一文本可以是知识库中对应于第二文本和第三文本的问题。

例如，用户输入的询问内容为“花呗怎么弄”和“花呗是什么”，分别基于两个询问内容在知识库中进行召回和排序，具体的，“花呗怎么弄”通过召回系统从知识库中召回M个知识点，“花呗是什么”通过找回系统从知识库中找回了N个知识点，计算M个知识点中的问题与“花呗怎么弄”的相似度、N个知识点中的问题与“花呗是什么”的相似度，按照相似度大小排序后，从M个知识点中和N个知识点中确定的Top n中都出现了问题“花呗如何开通”，则“花呗如何开通”即为第一文本。

根据询问内容在知识库中确定了问题之后，可以将该问题在知识库中对应的答案反馈给用户，例如，将“花呗如何开通”对应的答案“填写手机号-接受验证码-填写验证码”反馈给用户。用户在接收到该答案后，可以根据该答案是否解决了自己的疑问，对改此询问给出好评或者差评。可以理解，给出好评和差评的方式可以是任意方式，本实施例不做限制。例如，选择好评或差评的选项，又例如，文字输入代表好评语义的文字或代表差评语义的文字，再例如，以星级作为评分，4星、5星为好评，1星、2星、3星为差评。继续以上述为例，输入询问内容“花呗怎么弄”的用户给出好评，输入询问内容“花呗是什么”的用户给出差评。

当用户给出好评时，说明知识点中答案能够解决用户的询问内容，进一步的，说明该知识点中的问题((即，第一文本)与用户的询问内容是匹配的(例如，语义是相同或者相近的)，可以理解，好评可以代表用户的询问内容对于该知识点而言，属于好的问题。同理可知，当用户给出差评时，可以代表用户的询问内容对于该知识点而言，属于差的问题。继续以上述实施例为例，用户的询问内容“花呗怎么弄”与知识点中的问题“花呗如何开通”语义接近和匹配，则知识点中的答案能够解决用户的需求，对于这个知识点而言，属于好评的问题，即为第二文本；第三文本为“花呗是什么”与知识点中的问题“花呗如何开通”语义相差较大，不匹配接近和匹配，对于这个知识点而言，属于差评的问题。

如图6所示，知识库中每个知识点中的问题都可以为第一文本，且都对应有第二文本和第三文本，第二文本构成好评问题集，第三文本构成差评问题集。

在一些实施例中，第一获取模块210可以通过读取存储的数据、调用相关接口、从知识库中读取或其他方式获取第一文本、第二文本和第三文本。

步骤304，基于所述多组训练数据调整所述文本相似度模型的参数进而优化损失函数，得到训练后的文本相似度模型；其中，所述损失函数基于第一相似度和第二相似度的相对关系确定；所述第一相似度为所述文本相似度模型基于所述第一文本和所述第二文本计算的相似度，所述第二相似度为所述文本相似度模型基于所述第一文本与所述第三文本计算的相似度。具体地，步骤304可以由参数更新模块220执行。

在一些实施例中，文本相似度模型可以是机器学习模型、神经网络等，可以用于对自然语言文本进行处理。在一些实施例中，可以基于文本相似度模型确定询问内容的答案，具体的，文本相似度模型可以得到该询问内容与知识库中的问题的相似度，进一步的，将相似度满足条件(例如，大于阈值或排名靠前)的问题在知识库中对应的答案作为询问内容的答案。

如图4所示，文本相似度模型可以包括向量化模型和相似度计算模型。其中，向量化模型用于对输入文本进行向量化表示，相似度计算模型用于基于两个文本的向量确定两个文本的相似度。

在一些实施例中，向量化模型可以由Word Embedding(即，词嵌入)和BiLSTM(即，双向长短时记忆循环神经网络)构成，其中，在一些实施例中，词嵌入模型可以包括但不限于以下之一：Word2vec模型、TF-IDF(Term Frequency-Inverse Document Frequency，词频-逆向文件频率)模型以及SSWE-C(skip-gram based combined-sentiment wordembedding)模型。具体地，词嵌入模型可以将输入的文本中的每个词以分别映射到多维向量(也称词嵌入向量)。其中，Word2vec模型和TF-IDF模型生成的词嵌入向量包含了文本的语义特征，SSWE-C模型生成的词嵌入向量包含了文本的语义特征和情感特征。获取词嵌入向量之后，可以将文本对应的词嵌入向量输入至双向长短时记忆循环神经网络(即BiLSTM)中，得到输入的文本的向量。BiLSTM由前向的LSTM(Long Short Term Memory networks)与后向的LSTM组成，通过使用BiLSTM，使得基于询问内容生成的文本向量中进一步包含了上下文特征。

在一些实施例中，相似度计算模型可以基于向量，通过计算其余弦距离、欧式距离或使用其他方式来计算相似度。优选地，可以使用余弦距离计算向量的相似度。

在一些实施例中，相似度计算模型可以为ESIM(Enhanced Sequential InferenceModel)模型。ESIM模型是一个综合应用了BiLSTM和注意力机制的模型，适合用于文本匹配。ESIM模型由三部分组成，分别为输入编码(Input Encoding)、局部推断建模(LocalInference Modeling)以及推断合成(Inference Composition)。ESIM模型中的输入编码可以采用BiLSTM。通过采用BiLSTM，可以在训练ESIM模型的同时训练BiLSTM，不必单独对其进行训练，进而提高训练模型的效率。

在一些实施例中，文本相似度模型可以为BERT模型。BERT模型是谷歌公司推出的一种模型，BERT模型可以理解为两段式的自然语言处理模型，第一段为预训练部分，实现对文本的编码，第二段为微调部分，可以基于文本的相似度标签和文本编码含有的特征进行有监督的训练。

在一些实施例中，可以基于多组训练数据对文本相似度模型进行训练。在一些实施例中，通过pairwise的方式，基于多组训练数对文本相似度模型进行训练。其中，对于每组训练数据而言，第二文本可以作为正例，第三文本可以作为负例。Pairwise训练可以优化正例(第二文本)与负例(第三文本)之间的序，即，将正例排于负例之间，其中，序的排列是基于正例与负例分别与第一文本的相似度进行的，可以理解，pairwise训练的目标是将第二文本与第一文本的相似度大于第三文本与第一文本的相似度。

如图4所示，训练过程中，将第一文本、第二文本和第三文本以三元组(t，q_g，q_b)的方式输入文本相似度模型，首先，文本相似度模型分别将三个文本转化为对应的文本向量，然后，相似度计算模型通过向量化后的第一文本和向量化的第二文本计算第一相似度，基于向量化后的第一文本和向量化后的第二文本计算第二相似度。

如前所述，通过pairwise训练时，其目的为使第二文本与第一文本的相似度大于第三文本与第一文本的相似度。在一些实施例中，可以基于第一相似度和第二相似度的相对关系建立损失函数，进一步的，基于损失函数实现该目标。具体的，通过调整文本相似度模型的参数(例如，学习率、迭代次数、批次大小等参数)优化损失函数，当损失函数满足预设条件时，训练结束，得到训练好的文本相似度模型。其中，优化损失函数的方向可以为最小化损失函数。在一些实施例中，优化损失函数的方法可以通过梯度下降法实现。

第一相似度与第二相似度之间的相对关系是指相对关系的结果与第一相似度和第二相似度均相关，且反映第一相似度与第二相似度之间的对比关系。例如，A与B的相对关系可以用A-B，|A-B|，A/B，sqr(A)/sqr(B)等各种方式表示。

在一些实施例中，相对关系可以是第一相似度与第二相似度的差，再加上固定值。

例如，基于该相对关系确定的损失函数可以为公式(1)：

loss＝s(t，q_b)-s(t，q_g)+a   (1)

其中，loss表示损失函数的值，t表示第一文本，即，代表知识库中的问题q_g表示第二文本，即，代表用户输入的询问内容，且基于该询问内容从知识库中确定了第一文本，且用户对第一文本在知识库中对应的答案给的好评；q_b表示第三文本，即，代表用户输入的询问内容，且基于该询问内容从知识库中确定了第一文本，且用户对第一文本在知识库中对应的答案给的差评；s(t，q_b)表示第二相似度，即第一文本与第三文本之间的相似度；s(t，q_g)表示第一相似度，即第一文本与第二文本之间的相似度；a为固定值，取值范围可以根据需求设定，其取值范围与相似度对应，若相似度的范围为0-1，则a的取值范围为0-1。

在一些实施例中，a为大于等于0的实数，例如，为0.1、0.2等。通过最小化公式(1)的损失函数，第一相似度大于第二相似度。a的值越大，第一相似度大于第二相似度的幅度越大。

又例如，基于该相对关系确定的损失函数可以为公式(2)：

loss＝s(t，q_g)-s(t，q_b)+c   (2)

其中，loss表示损失函数的值，t表示第一文本，即，代表知识库中的问题；q_g表示第二文本，即，代表用户输入的询问内容，且基于该询问内容从知识库中确定了第一文本，且用户对第一文本在知识库中对应的答案给的好评；q_b表示第三文本，即，代表用户输入的询问内容，且基于该询问内容从知识库中确定了第一文本，且用户对第一文本在知识库中对应的答案给的差评；s(t，q_b)表示第二相似度，即，第一文本与第三文本之间的相似度；s(t，q_g)表示第一相似度，即第一文本与第二文本之间的相似度；c为固定值，取值范围可以根据需求设定，其取值范围与相似度对应，若相似度的范围为0-1，则a的取值范围为0-1。

在一些实施例中，c为小于等于0的实数，例如，为-0.1、-0.2等。通过最小化公式(2)的损失函数，使得第一相似度大于第二相似度。c的值越大，第一相似度大于第二相似度的幅度越大。

可以理解，固定值可以用于调整第一相似度与第二相似度的差异目标大小，a的绝对值越大，该差异目标越大。

通过上述方式训练得到的文本相似度模型实际应用时，即，在基于用户的询问内容在知识库中确定答案时，可以尽量将用户会给出好评的答案提供给用户。这是由于在文本相似度模型的训练过程中，模型训练的方向是尽可能地使询问中用户给出好评的答案对应的知识点与询问内容之间相似度更高，因此，训练后的文本相似度模型在根据用户的询问内容在知识库中确定答案时，可以以较高的相似度从知识库中确定出用户给出过好评的知识点，进而将该知识点对应的答案反馈给用户。

并且，通过上述方式训练的文本相似度模型，考虑的特征不仅仅是询问内容与知识点中问题的相似度，还考虑了用户的真实反馈情况(即，好评还是差评)，从而可以避免知识库本身的问题(例如，知识点整理不当等)以及用户偏好的问题(例如，习惯好评或差评)导致的基于文本相似度模型确定的答案不准确的问题。例如，基于询问内容确定了知识点1、知识点2和知识点3，其中，按照语义的角度，知识点1的问题与该询问内容的相似度大于知识点2与该询问内容的相似度，知识点2与该询问内容的相似度大于知识点3与该询问内容的相似度。然而，根据用户的评价反馈，知识点1的答案受到了差评、知识点2和知识点3的答案受到了好评，则文本相似度模型更大概率输出的知识点2与该询问内容的相似度最大，从而将知识点2的答案反馈给该用户。

图5是根据本说明书一些实施例所示的示例性应用文本相似度模型的流程图。如图5所示，流程500可以包括：

步骤502，获取用户输入的询问内容。具体地，步骤502可以由第二获取模块230执行。

用户可以是买家或者商家，用户的询问内容可以是指用户提问的问题文本。关于用户和询问内容的更多细节可以参见步骤302，此处不再赘述。

步骤504，基于所述询问内容从所述知识库中召回至少一个候选问题，以及所述至少一个候选问题对应的答案。具体地，步骤504可以由召回模块240执行。

在一些实施例中，知识库可以是指知识点的集合，其中，知识点可以由问题及该问题的答案构成。关于知识库的更多描述可以参考步骤302及其相关描述，此处不再赘述。

在一些实施例中，由于知识库中的知识点数量众多，为了提高客服机器人回答用户问题的效率，可以预先获取与用户的询问内容匹配的至少一个候选知识点，即确定至少一个候选问题以及至少一个候选问题对应的答案。其中，候选问题为候选知识点包括的问题，候选问题对应的答案为该问题对应的答案。

在一些实施例中，可以通过召回系统和排序系统共同确定至少一个候选问题以及所述至少一个候选问题对应的答案。在一些实施例中，召回系统可以包括召回引擎。具体地，客服机器人接收到用户的询问内容后，可以将该用户的询问内容发送至召回引擎，召回引擎可以在知识库中召回相关知识点，即召回与询问内容有交集的知识点。例如，召回的知识点中问题与询问内容存在一个或多个相同的词等。

在一些实施例中，召回引擎可以包括但不限于以下至少之一：ElasticSearch引擎、Sphinx引擎以及Xapian引擎。优先地，可以使用ElasticSearch引擎。该引擎是一个广泛应用的全文搜索引擎，可以快速地储存、搜索和分析海量数据。可以在该引擎中输入询问内容，由该引擎基于全文搜索返回相关知识点。

步骤506，将所述询问内容和所述至少一个候选问题输入所述训练后的文本相似度模型，输出所述询问内容与所述至少一个候选问题之间的相似度。具体地，步骤506可以由相似度确定模块250执行。

训练后的文本相似度模型可以用于计算输入的询问内容与候选问题之间的相似度。具体地，训练后的文本相似度模型可以将输入的询问内容和候选问题进行向量化。例如，训练后的文本相似度模型可以包括Word Embedding结构和BiLSTM结构，使用WordEmbedding结构将输入的询问内容和候选问题转化为词向量，再使用BiLSTM结构将词向量组合成为句向量。然后可以使用相似度计算模型(例如，ESIM模型)基于句向量计算询问内容与候选问题之间的相似度并输出。其中，相似度可以反映询问内容与候选问题之间的关联程度。

步骤508，基于所述相似度从所述至少一个候选问题中确定至少一个目标问题，并将所述至少一个目标问题对应的答案作为所述询问内容的答案。具体地，步骤508可以由答案确定模块260执行。

在一些实施例中，目标问题可以是指与询问内容相似度满足预设条件的候选问题，目标问题可以是一个也可以是多个，本实施例不做限制。预设条件可以是预设阈值，根据相似度是否大于预设阈值来确定目标问题，例如，将相似度大于预设阈值的一个候选问题或多个候选问题作为目标问题。预设条件可以是预设排名，例如，排名前N位，其中，N为大于等于1的整数。例如，可以根据相似度将候选问题按照相似度从高到低的顺序进行排序，将前3位的候选问题作为目标问题。

确定目标问题后，目标问题对应的答案即为询问内容的答案。可以理解，在确定了多个目标问题时，可以选择其中一个目标问题的答案作为所述询问内容的答案，也可以选择多个目标问题对应的答案作为所述询问内容的答案，对此本实施例不做限制。

如图2所示，在对文本相似度模型进行训练时，已经尽可能的使好评问题与知识点的问题的相似度大于差评问题与知识点的问题的相似度，因此，可以通过计算的候选问题与询问内容之间的相似度来有效地确定是否可以将该候选问题作为目标问题。例如，假设询问内容为“花呗怎么弄”，该询问内容与知识点1的问题“花呗如何开通”之间的文本相似度为百分之40，在对文本相似度模型进行训练之前，由于其文本相似度并不是很高，文本相似度模型将知识点1的问题作为目标问题的概率相对较小。但是，由于将知识点1的答案反馈给用户，用户对该答案能否解决“花呗怎么弄”这一问题给出了肯定的评价，通过对文本相似度模型进行训练，训练后的文本相似度模型可以给到“花呗如何开通”与“花呗怎么弄”一个较高的相似度(例如，百分之70、80、90)，进而增加将知识点1的问题作为目标问题的概率，使得将该问题的答案作为询问内容的答案反馈给用户，可以更加准确的解决用户询问的问题，提高用户的使用体验。

应当注意的是，上述有关流程500的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程500进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。例如，对本说明书有关流程步骤的改变，如步骤504和步骤506可以并行，在各步骤之间添加其他步骤(如，预处理步骤、存储步骤)等。

本说明书实施例可能带来的有益效果包括但不限于：(1)基于本说明书披露的训练方式训练得到的文本相似度模型，可以结合问题与知识库中知识点的相似度，以及用户的真实反馈确定用户问题的答案，这样可以避免因为知识库整理的不恰当或者因为用户自己的偏好导致确定的结果不准确；(2)基于本说明书披露的训练方式训练得到的文本相似度模型，可以尽量为用户提供用户易给出好评的答案，提升了用户体验。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或服务器上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(LAN)或广域网(WAN)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(SaaS)。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有土20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims (16)

1.一种训练文本相似度模型的方法，包括：

获取多组训练数据，所述多组训练数据中的一组包括：第一文本、第二文本和第三文本，所述第二文本和所述第三文本为用户输入的询问内容，所述第一文本为知识库中对应于所述第二文本和所述第三文本的问题；其中，所述第二文本为与所述第一文本匹配的所述用户反馈好评的文本，所述第三文本为与所述第一文本不匹配的所述用户反馈差评的文本；

基于所述多组训练数据调整文本相似度模型的参数进而优化损失函数，得到训练后的文本相似度模型；其中，所述损失函数基于第一相似度和第二相似度的相对关系确定；所述第一相似度为所述文本相似度模型基于所述第一文本和所述第二文本计算的相似度，所述第二相似度为所述文本相似度模型基于所述第一文本与所述第三文本计算的相似度。

2.如权利要求1所述的方法，所述方法还包括：

获取所述用户输入的询问内容；

基于所述询问内容从所述知识库中召回至少一个候选问题，以及所述至少一个候选问题对应的答案；

将所述询问内容和所述至少一个候选问题输入所述训练后的文本相似度模型，输出所述询问内容与所述至少一个候选问题之间的相似度；

基于所述相似度从所述至少一个候选问题中确定至少一个目标问题，并将所述至少一个目标问题对应的答案作为所述询问内容的答案。

3.如权利要求1所述的方法，所述相对关系包括：

所述第二相似度与所述第一相似度的差，再加上固定值。

4.如权利要求1所述的方法，所述文本相似度模型包括向量化模型和相似度计算模型；

其中，所述向量化模型用于对输入的所述第一文本、所述第二文本和所述第三文本进行向量化表示；

所述相似度计算模型基于向量化后的所述第一文本、所述第二文本和所述第三文本计算所述第一相似度和所述第二相似度。

5.如权利要求4所述的方法，所述向量化模型由Word Embedding和BiLSTM构成，所述第一文本、所述第二文本和所述第三文本分别依次经过Word Embedding和BiLSTM生成对应的向量。

6.如权利要求4所述的方法，所述文本相似度模型为BERT模型。

7.如权利要求4所述的方法，所述相似度计算模型为ESIM模型。

8.一种训练文本相似度模型的系统，包括：

第一获取模块，用于获取多组训练数据，所述多组训练数据中的一组包括：第一文本、第二文本和第三文本，所述第二文本和所述第三文本为用户输入的询问内容，所述第一文本为知识库中对应于所述第二文本和所述第三文本的问题；其中，所述第二文本为与所述第一文本匹配的所述用户反馈好评的文本，所述第三文本为与所述第一文本不匹配的所述用户反馈差评的文本；

参数更新模块，用于基于所述多组训练数据调整文本相似度模型的参数进而优化损失函数，得到训练后的文本相似度模型；其中，所述损失函数基于第一相似度和第二相似度的相对关系确定；所述第一相似度为所述文本相似度模型基于所述第一文本和所述第二文本计算的相似度，所述第二相似度为所述文本相似度模型基于所述第一文本与所述第三文本计算的相似度。

9.如权利要求8所述的系统，所述系统还包括：

第二获取模块，用于获取所述用户输入的询问内容；

召回模块，用于基于所述询问内容从所述知识库中召回至少一个候选问题，以及所述至少一个候选问题对应的答案；

相似度确定模块，用于将所述询问内容和所述至少一个候选问题输入所述训练后的文本相似度模型，输出所述询问内容与所述至少一个候选问题之间的相似度；

答案确定模块，用于基于所述相似度从所述至少一个候选问题中确定至少一个目标问题，并将所述至少一个目标问题对应的答案作为所述询问内容的答案。

10.如权利要求8所述的系统，所述相对关系包括：

所述第二相似度减去所述第一相似度，再加上固定值。

11.如权利要求8所述的系统，所述文本相似度模型包括向量化模型和相似度计算模型；

其中，所述向量化模型用于对输入的所述第一文本、所述第二文本和所述第三文本进行向量化表示；

所述相似度计算模型基于向量化后的所述第一文本、所述第二文本和所述第三文本计算所述第一相似度和所述第二相似度。

12.如权利要求11所述的系统，所述向量化模型由WordEmbedding和BiLSTM构成，所述第一文本、所述第二文本和所述第三文本分别依次经过Word Embedding和BiLSTM生成对应的向量。

13.如权利要求11所述的系统，所述文本相似度模型为BERT模型。

14.如权利要求11所述的系统，所述相似度计算模型为ESIM模型。

15.一种训练文本相似度模型的装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现如权利要求1～7任一项所述的方法。

16.一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1～7任一项所述的方法。

Images