CN112749540B - 文本匹配方法、文本匹配模型的训练方法及装置、设备 - Google Patents

Abstract

本申请公开了一种文本匹配方法、文本匹配模型的训练方法及装置、设备，所述文本匹配方法可以包括：获取待匹配的文本信息对，对文本信息对进行分词处理，得到分词信息；将分词信息作为文本匹配模型的输入，在文本匹配模型中，基于分词信息确定文本信息对中文本信息的加权文本特征向量，该加权文本特征向量为基于文本信息对应的分词的词向量和权重确定的，该权重表征文本信息对中一个文本信息对应的分词在另一文本信息中重要程度；基于加权文本特征向量确定文本信息对的文本匹配结果；训练文本匹配模型时引入表征训练文本信息的加权文本特征向量和文本特征向量间的差异的损失信息，可以大大提高了文本匹配的准确率。

Description

文本匹配方法、文本匹配模型的训练方法及装置、设备

技术领域

本申请涉及人工智能技术领域，尤其涉及一种文本匹配方法、文本匹配模型的训练方法及装置、设备。

背景技术

近年来，随着人工智能技术研究和进步，人工智能技术在多个领域得到广泛应用，其中，人工智能在文本匹配领域的应用，是各大互联网平台提供数据搜索等服务的基础保障。

现有技术中，在文本匹配的方法往往是，提取两个文本信息的文本特征，进而基于提取的文本特征判断两个文本信息是否匹配。现有技术在提取文本特征过程中，常常直接将文本信息的词向量相加，或者直接结合文本信息中词语在本身的权重，进行加权，来构建文本信息的文本特征。但上述现有的方法所得到的文本向量可能会受文本中个别词(无用或误导词)的影响，导致所构建的文本特征无法准确反映文本信息的语义，从而对后续的匹配造成负向影响，导致匹配准确率低。因此，需要提供更可靠或更有效的方案。

发明内容

本申请提供了一种文本匹配方法、文本匹配模型的训练方法及装置、设备，可以有效避免个别与文本语义无关或有误导的分词对文本整体的偏差影响，保证在文本匹配时能够准确反映文本信息的语义，大大提高了文本匹配的准确率。

一方面，本申请提供了一种文本匹配方法，所述方法包括：

获取待匹配的文本信息对，所述文本信息对包括第一文本信息和第二文本信息；

对所述第一文本信息和所述第二文本信息分别进行分词处理，得到所述第一文本信息的第一分词信息和所述第二文本信息的第二分词信息；

将所述第一分词信息和所述第二分词信息作为文本匹配模型的输入，在所述文本匹配模型中，基于所述第一分词信息和所述第二分词信息确定所述第一文本信息和所述第二文本信息的加权文本特征向量，所述加权文本特征向量为基于文本信息对应的分词的词向量和所述分词的权重确定的，所述权重表征所述文本信息对中一个文本信息对应的分词在另一文本信息中重要程度；

在所述文本匹配模型中，基于所述第一文本信息和所述第二文本信息的加权文本特征向量确定所述文本信息对的文本匹配结果；

其中，训练所述文本匹配模型时的损失信息包括第一损失信息、第二损失信息和第三损失信息，所述第一损失信息和所述第二损失信息表征训练文本对中两个训练文本信息各自的加权文本特征向量和文本特征向量间的差异，第三损失信息表征训练文本对的匹配预测结果和匹配标签间的差异。

另一方面提供了一种文本匹配装置，所述装置包括：

文本信息对获取模块，用于获取待匹配的文本信息对，所述文本信息对包括第一文本信息和第二文本信息；

第一分词处理模块，用于对所述第一文本信息和所述第二文本信息分别进行分词处理，得到所述第一文本信息的第一分词信息和所述第二文本信息的第二分词信息；

加权文本特征向量确定模块，用于将所述第一分词信息和所述第二分词信息作为文本匹配模型的输入，在所述文本匹配模型中，基于所述第一分词信息和所述第二分词信息确定所述第一文本信息和所述第二文本信息的加权文本特征向量，所述加权文本特征向量为基于文本信息对应的分词的词向量和所述分词的权重确定的，所述权重表征所述文本信息对中一个文本信息对应的分词在另一文本信息中重要程度；

文本匹配结果确定模块，用于在所述文本匹配模型中，基于所述第一文本信息和所述第二文本信息的加权文本特征向量确定所述文本信息对的文本匹配结果；

其中，训练所述文本匹配模型时的损失信息包括第一损失信息、第二损失信息和第三损失信息，所述第一损失信息和所述第二损失信息表征训练文本对中两个训练文本信息各自的加权文本特征向量和文本特征向量间的差异，第三损失信息表征训练文本对的匹配预测结果和匹配标签间的差异。

另一方面提供了一种文本匹配设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的文本匹配方法。

另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的文本匹配方法。

另一方面提供了一种文本匹配模型的训练方法，所述方法包括：

获取训练文本对；

对所述训练文本对中的训练文本信息分别进行分词处理，得到每一训练文本信息的分词信息；

将所述训练文本对和所述分词信息作为预设机器学习模型的输入，在所述预设机器学习模型中，确定每一训练文本信息的文本特征向量和每一训练文本信息的加权文本特征向量，所述加权文本特征为基于训练文本信息对应的分词的词向量和所述分词的权重确定的，所述权重表征所述训练文本对中一个训练文本信息对应的分词在另一训练文本信息中重要程度；

基于每一训练文本对中两个训练文本信息的加权文本特征向量和文本特征向量，确定所述每一训练文本对中两个训练文本信息对应的第一损失信息和第二损失信息；

基于每一训练文本对中两个训练文本信息的加权文本特征向量，确定每一训练文本对中两个训练文本信息间的第三损失信息；

基于所述第一损失信息、所述第二损失信息和所述第三损失信息调整所述预设机器学习模型中的模型参数，至所述第一损失信息、所述第二损失信息和所述第三损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为文本匹配模型；

其中，所述第一损失信息和第二损失信息表征训练文本对中两个训练文本信息各自的加权文本特征向量和文本特征向量间的差异，第三损失信息表征训练文本对的匹配预测结果和匹配标签间的差异。

另一方面提供了一种文本匹配装置，所述装置包括：

训练文本对获取模块，用于获取训练文本对；

第二分词处理模块，用于对所述训练文本对中的训练文本信息分别进行分词处理，得到每一训练文本信息的分词信息；

文本特征向量确定模块，用于将所述训练文本对和所述分词信息作为预设机器学习模型的输入，在所述预设机器学习模型中，确定每一训练文本信息的文本特征向量和每一训练文本信息的加权文本特征向量，所述加权文本特征为基于训练文本信息对应的分词的词向量和所述分词的权重确定的，所述权重表征所述训练文本对中一个训练文本信息对应的分词在另一训练文本信息中重要程度；

第一损失信息确定模块，用于基于每一训练文本对中两个训练文本信息的加权文本特征向量和文本特征向量，确定所述每一训练文本对中两个训练文本信息对应的第一损失信息和第二损失信息；

第二损失信息确定模块，用于基于每一训练文本对中两个训练文本信息的加权文本特征向量，确定每一训练文本对中两个训练文本信息间的第三损失信息；

文本匹配模型确定模块，用于基于所述第一损失信息、所述第二损失信息和所述第三损失信息调整所述预设机器学习模型中的模型参数，至所述第一损失信息、所述第二损失信息和所述第三损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为文本匹配模型；

其中，所述第一损失信息和第二损失信息表征训练文本对中两个训练文本信息各自的加权文本特征向量和文本特征向量间的差异，第三损失信息表征训练文本对的匹配预测结果和匹配标签间的差异。

另一方面提供了一种文本匹配模型的训练设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的文本匹配模型的训练方法。

另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的文本匹配模型的训练方法。

本申请提供的文本匹配方法、文本匹配模型的训练方法及装置、设备，具有如下技术效果：

本申请在文本匹配模型训练过程中，通过引入由文本信息的分词词向量加权得到的加权文本特征向量与整体文本信息确定的文本特征向量间的损失信息，可以有效纠正加权文本特征向量中个别分词带来的偏差影响，从而使得训练得到的文本匹配模型能够准确反映文本语义的加权文本特征向量，大大提高了文本匹配的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种应用环境的示意图；

图2是本申请实施例提供的一种文本匹配模型的训练方法的流程示意图；；

图3是本申请实施例提供的一种确定加权文本特征向量的流程示意图；

图4是本申请实施例提供的一种文本匹配模型的训练过程的示意图；

图5是本申请实施例提供的一种文本匹配方法的流程示意图；

图6是本申请实施例提供的另一种确定加权文本特征向量的流程示意图；

图7是本申请实施例提供的一种文本匹配装置的结构示意图；

图8是本申请实施例提供的一种文本匹配模型的训练装置的结构示意图；

图9是本申请实施例提供的一种文本匹配模型的训练方法的服务器的硬件结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

近年来，随着人工智能技术研究和进步，人工智能技术在多个领域得到广泛应用，本申请实施例提供的方案涉及人工智能的机器学习/深度学习等技术，具体通过如下实施例进行说明：

请参阅图1，图1是本申请实施例提供的一种应用环境的示意图，如图1所示，该应用环境至少包括服务器01和终端02。

本申请实施例中，所述服务器01可以用于为所述终端01提供后台服务，具体的，可以进行文本匹配模型的训练处理，将训练好的文本匹配模型发送给终端02。所述服务器01可以包括独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。

本申请实施例中，所述所述终端02可以用于提供面向用户的文本匹配服务，具体的，可以基于服务器01训练好的文本匹配模型实现文本匹配。所述终端02可以包括智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmentedreality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备等类型的实体设备。实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本申请实施例中终端01上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。

本说明书实施例中，上述终端01以及服务器02可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

此外，需要说明的是，在实际应用中，文本匹配模型的训练处理也可以在终端01中实现，本说明书实施例中，优选的，在服务器01中实现文本匹配模型的训练处理，以便减轻终端的数据处理压力，改善面向用户的终端的设备性能。

在一个具体的实施例中，服务器02为分布式系统时，该分布式系统可以为区块链系统，分布式系统100为区块链系统时，可以由多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)形成，节点之间形成组成的点对点(P2P，PeerTo Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission Control Protocol)协议之上的应用层协议。在分布式系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。具体的，的区块链系统中各节点的功能，涉及的功能可以包括：

1)路由，节点具有的基本功能，用于支持节点之间的通信。

节点除具有路由功能外，还可以具有以下功能：

2)应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链系统中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。

以下先介绍本申请一种文本匹配模型的训练方法，图2是本申请实施例提供的一种文本匹配模型的训练方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：

S201：获取训练文本对。

本说明书实施例中，所述训练文本对可以包括大量匹配的文本训练对和大量不匹配的文本训练对。每一训练文本对中包括两个训练文本信息。

S203：对所述训练文本对中的训练文本信息分别进行分词处理，得到每一训练文本信息的分词信息。

本说明书实施例中，可以结合自然语言处理算法对训练文本信息进行分词处理，得到的分词后的多个词语可以作为该训练文本信息的分词信息。

在一个具体的实施例中，例如训练文本信息为：小明今天在学校，相应的，分词处理后的分词信息可以包括小明、今天、在、学校四个分词。

此外，需要说明的是，在一些实施例中，分词信息中的分析还可以包括单个的字，也可以包括至少两个的词语。

S205：将所述训练文本对和所述分词信息作为预设机器学习模型的输入，在所述预设机器学习模型中，确定每一训练文本信息的文本特征向量和每一训练文本信息的加权文本特征向量。

本说明书实施例中，可以预先设置机器学习模型(以下简称预设机器学习模型)，具体的，预设机器学习模型主要可以包括特征提取层、信息交互层、加权处理层和全连接层，另外，在实际应用中还可以包括输入层和输出层等。

本说明书实施例中，所述加权文本特征可以为基于训练文本信息对应的分词的词向量和所述分词的权重确定的，所述权重表征所述训练文本对中一个训练文本信息对应的分词在另一训练文本信息中重要程度。

在一个具体的实施例中，如图3所示，在所述预设机器学习模型中，确定每一训练文本信息的文本特征向量和每一训练文本信息的加权文本特征向量可以包括：

S301：利用所述预设机器学习模型中的特征提取层提取每一训练文本信息的文本特征向量和每一训练文本信息的分词信息中分词的词向量；

S303：利用所述预设机器学习模型中的信息交互层对训练文本对中两个训练文本信息的分词信息中分词的词向量进行信息交互处理，得到每一分词的权重；

S305：利用所述预设机器学习模型中加权处理层对每一训练文本信息对应分词的词向量和所述对应分词的权重进行加权处理，得到每一训练文本信息的加权文本特征。

在实际应用中，训练文本对和分词信息可以通过预设机器学习模型的输入层输入，然后，特征提取层将训练文本信息和分词信息中分词分别量化为文本特征向量和词向量。在一个具体的实施例中，特征提取层可以包括一个用于生成词向量和文本特征向量的模型，例如LTD-BERT模型(一种压缩版的bert模型，这里用来产生词向量和文本特征向量)，也包括一个生成词向量的模型和一个生成文本特征向量的模型；具体的，生成词向量的模型可以包括但不限于词袋模型、One-Hot(独热编码)等词向量模型。具体的，生成文本特征向量的模型可以包括但不限于PV-DM(Distributed Memory Model of ParagraphVectors，句向量的分布记忆模型)、PV-DBOW(Distributed Bag of Words version ofParagraph Vector，句向量的分布词袋)等句向量模型。

本说明书实施例中，在信息交互层对训练文本对中两个训练文本信息的分词信息中分词的词向量进行信息交互处理，得到每一分词的权重具体可以包括，针对训练文本对中一个训练文本信息的分词信息中某一分词的权重，可以该分词的词向量分别与另一训练文本信息的分词信息中每一分词的词向量相乘，将相乘的结果相加，作为该分词的权重。具体的，这里该分词的词向量与另一训练文本信息的分词信息中每一分词的词向量相乘的结果，可以反映该分词与另一训练文本信息的分词信息中每一分词的相似程度，将该分词与另一训练文本信息的分词信息中每一分词的相似程度相加，就可以得到表征分词在另一训练文本信息中重要程度的权重。具体的，分词的权重越高，该分词在另一训练文本信息中的重要程度越高。

S207：基于每一训练文本对中两个训练文本信息的加权文本特征向量和文本特征向量，确定所述每一训练文本对中两个训练文本信息对应的第一损失信息和第二损失信息。

在实际应用中，为了解决文本信息中某些分词(与短文本语义无关或有误导信息)对文本信息整体语义产生偏差，进而对后续的文本匹配产生负向影响，本说明书实施例中，可以计算由文本信息的分词的词向量加权得到的加权文本特征向量与直接由整体文本信息确定的文本特征向量间的损失信息。

具体的，针对某一对训练文本对，可以分别计算每一训练文本信息的加权文本特征向量和文本特征向量间的损失信息，得到该训练文本对中两个训练文本信息对应的第一损失信息和第二损失信息。

具体的，所述第一损失信息和第二损失信息可以分别表征训练文本对中两个训练文本信息各自的加权文本特征向量和文本特征向量间的差异。

在一个具体的实施例中，第一损失信息和第二损失信息可以通过对训练文本对中两个训练文本信息各自的加权文本特征向量和文本特征向量进行双向正则处理得到。

具体的，这里的双向正则处理可以包括训练文本对中每一训练文本信息的加权文本特征向量和文本特征向量间的差异均可以通过对相应的加权文本特征向量和文本特征向量进行正则处理确定，在一个具体的实施例中，这里的正则处理可以包括但不限于L2正则，具体的，这里的L2正则可以为计算加权文本特征向量和文本特征向量间差的平方。

本说明书实施例中，通过计算由文本信息的分词的词向量加权得到的加权文本特征向量与由整体文本信息确定的文本特征向量间的损失信息(第一损失信息和第二损失信息)，后续将该损失信息加入机器学习训练时的损失中，能够从整体语义层面纠正加权文本特征向量中个别分词带来的偏差影响，从而使得后续的文本匹配更加精确。

S209：基于每一训练文本对中两个训练文本信息的加权文本特征向量，确定每一训练文本对中两个训练文本信息间的第三损失信息；

本说明书实施例中，第三损失信息可以表征训练文本对的匹配预测结果和匹配标签间的差异。

在实际应用中，训练文本对往往对应着一个匹配标签，该匹配标签表征训练文本对为匹配的训练文本对还是不匹配的训练文本对。具体的，在全连接层，可以基于每一训练文本对中两个训练文本信息的加权文本特征向量确定训练文本对中两个训练文本信息的匹配概率，基于该匹配概率确定出相应的匹配预测结果；然后，基于训练文本对的匹配预测结果与匹配标签间差异来确定第三损失信息。

具体的，这里的第三损失信息可以包括但不限于结合交叉熵损失函数来确定。

S211：基于所述第一损失信息、所述第二损失信息和所述第三损失信息调整所述预设机器学习模型中的模型参数，至所述第一损失信息、所述第二损失信息和所述第三损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为文本匹配模型；

本说明书实施例中，当第一损失信息、所述第二损失信息和所述第三损失信息不满足预设条件时，可以结合梯度下降法来调整预设机器学习模型中的模型参数。

本说明书实施例中，第一损失信息、第二损失信息和第三损失信息满足预设条件可以包括但不限于全部的训练文本对中的预设百分比的训练文本对对应的第一损失信息、第二损失信息和第三损失信息之和小于等于指定阈值，或全部的训练文本对中的预设百分比的训练文本对对应的当前的第一损失信息、第二损失信息和第三损失信息之和与上一次训练学习后的第一损失信息、第二损失信息和第三损失之和的值小于一定阈值。

具体的，预设百分比可以为结合实际应用进行设置的小于等于100％的数值。

本说明书实施例中，指定阈值和一定阈值可以结合实际应用中，对文本匹配模型的文本匹配准确率的需求进行设定，一般的，指定阈值和一定阈值越大，训练出的文本匹配模型的文本匹配准确率越高，但训练时间较长；反之，指定阈值和一定阈值越小，训练出的文本匹配模型的文本匹配准确率越低，但训练时间较短。

在一个具体的实施例中，如图4所示，针对某一训练文本对，以结合双向正则计算文本特征向量和加权文本特征向量间的损失信息为例，图4是本申请实施例提供的一种文本匹配模型的训练过程的示意图，结合图4，本说明书实施例中在针对每一训练文本对中的两个文本信息：文本信息1和文本信息2，可以分别进行分词处理，得到包括分词1、分词2...分词n(n为文本信息1的分词数量)的分词信息，以及包括分词1、分词2...分词k(k为文本信息2的分词数量)的分词信息。分词信息和两个文本信息经过特征提取层的处理，可以得到分词信息中每个分词的词向量，以及两个文本信息的文本特征向量1和文本特征向量2；进一步的，文本信息1和文本信息2对应的词向量经过信息交互层的处理，可以确定出表征每一文本信息中分词在另一文本信息中重要程度的权重；接着，在加权处理层可以对词向量和相应的权重进行加权处理，得到每一文本信息的加权文本特征向量；然后，通过文本信息1的文本特征向量1和加权文本特征向量1进行正则处理后，得到第一损失信息；通过文本信息2的文本特征向量2和加权文本特征向量2进行正则处理后，得到第二损失信息；通过文本信息1的加权文本特征向量1和文本信息2的加权文本特征向量2经过全连接层的处理，得到第三损失信息；最后，基于第一损失信息、第二损失信息和第三损失信息，调整预设机器学习模型中的模型参数，至所述第一损失信息、所述第二损失信息和所述第三损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为文本匹配模型，利用该文本匹配模型可以输出准确的文本匹配结果。

由以上本说明书实施例提供的文本匹配模型的训练方法的实施例可见，本说明书实施例中，在文本匹配模型训练过程中，通过引入由文本信息的分词词向量加权得到的加权文本特征向量与整体文本信息确定的文本特征向量间的损失信息，可以有效纠正加权文本特征向量中个别分词带来的偏差影响，从而使得得到的加权文本特征向量可以更准确的反映文本信息的语义信息，提后后续的文本匹配准确率。

基于上述的文本匹配模型，以下介绍本申请一种文本匹配方法，图5是本申请实施例提供的一种文本匹配方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图5所示，所述方法可以包括：

S501：获取待匹配的文本信息对。

本说明书实施例中，所述文本信息对可以包括第一文本信息和第二文本信息。

S503：对所述第一文本信息和所述第二文本信息分别进行分词处理，得到所述第一文本信息的第一分词信息和所述第二文本信息的第二分词信息。

具体的，这里的分词处理步骤可以参见上述分词处理的相关步骤，在此不再赘述。

S505：将所述第一分词信息和所述第二分词信息作为文本匹配模型的输入，在所述文本匹配模型中，基于所述第一分词信息和所述第二分词信息确定所述第一文本信息和所述第二文本信息的加权文本特征向量。

本说明书实施例中，所述加权文本特征向量为基于文本信息对应的分词的词向量和所述分词的权重确定的，所述权重表征所述文本信息对中一个文本信息对应的分词在另一文本信息中重要程度。

在一个具体的实施例中，如图6所示，所述在所述文本匹配模型中，基于所述第一分词信息和所述第二分词信息确定所述第一文本信息和所述第二文本信息的加权文本特征向量可以包括：

S5051：利用所述文本匹配模型中的特征提取层提取所述第一分词信息和所述第二分词信息中分词的词向量；

S5053：利用所述文本匹配模型中的信息交互层对所述第一分词信息中分词的词向量和所述第二分词信息中分词的词向量进行信息交互处理，得到每一分词的权重；

S5055：利用所述文本匹配模型中加权处理层对所述第一分词信息和所述第一分词信息中词语的权重进行加权处理，得到第一文本信息的加权文本特征向量；

S5057：利用所述文本匹配模型中加权处理层对所述第二分词信息和所述第二分词信息中分词的权重进行加权处理，得到所述第二文本信息的加权文本特征向量。

本说明书实施例中，通过上述实施例中训练文本匹配模型时的损失信息包括表征训练文本信息的加权文本特征向量和文本特征向量间差异的第一损失信息和第二损失信息，以及表征训练文本对的匹配预测结果和匹配标签间的差异的第三损失信息，可以有效避免加权文本特征向量受个别分词的偏差影响，使得基于该文本匹配模型得到的加权文本特征向量能够准确反映文本信息的语义信息。

S507：在所述文本匹配模型中，基于所述第一文本信息和所述第二文本信息的加权文本特征向量确定所述文本信息对的文本匹配结果；

本说明书实施例中，所述在所述文本匹配模型中，基于所述第一文本信息和所述第二文本信息的加权文本特征向量确定所述文本信息对的文本匹配结果可以包括：

1)将所述第一文本信息和所述第二文本信息的加权文本特征向量作为所述文本匹配模型中的全连接层的输入，在所述全连接层中确定所述第一文本信息和所述第二文本信息的间的匹配概率；

2)由所述文本匹配模型中的输出层，基于所述匹配概率确定所述文本信息对的文本匹配结果。

具体的，可以预先设置置信度，当匹配概率大于等于该置信度时，可以确定文本信息对的文本匹配结果为匹配；反之，当匹配概率小于该置信度时，可以确定文本信息对的文本匹配结果为不匹配。

由以上本说明书实施例提供的技术方案可见，通过训练时引入表征训练文本信息的加权文本特征向量和文本特征向量间差异的损失信息的文本匹配模型，进行文本匹配，可以有效避免表征文本语义的加权文本特征向量受个别与文本语义无关或有误导的分词的偏差影响，保证得到的加权文本特征向量能够准确反映文本信息的语义，大大提高了文本匹配的准确率。

本申请实施例还提供了一种文本匹配装置，如图7所示，所述装置包括：

文本信息对获取模块710，可以用于获取待匹配的文本信息对，所述文本信息对包括第一文本信息和第二文本信息；

第一分词处理模块720，可以用于对所述第一文本信息和所述第二文本信息分别进行分词处理，得到所述第一文本信息的第一分词信息和所述第二文本信息的第二分词信息；

加权文本特征向量确定模块730，可以用于将所述第一分词信息和所述第二分词信息作为文本匹配模型的输入，在所述文本匹配模型中，基于所述第一分词信息和所述第二分词信息确定所述第一文本信息和所述第二文本信息的加权文本特征向量，所述加权文本特征向量为基于文本信息对应的分词的词向量和所述分词的权重确定的，所述权重表征所述文本信息对中一个文本信息对应的分词在另一文本信息中重要程度；

文本匹配结果确定模块740，可以用于在所述文本匹配模型中，基于所述第一文本信息和所述第二文本信息的加权文本特征向量确定所述文本信息对的文本匹配结果；

其中，训练所述文本匹配模型时的损失信息包括第一损失信息、第二损失信息和第三损失信息，所述第一损失信息和所述第二损失信息表征训练文本对中两个训练文本信息各自的加权文本特征向量和文本特征向量间的差异，第三损失信息表征训练文本对的匹配预测结果和匹配标签间的差异。

在一些实施例中，所述加权文本特征向量确定模块730可以包括：

第一词向量提取单元，用于利用所述文本匹配模型中的特征提取层提取所述第一分词信息和所述第二分词信息中分词的词向量；

第一信息交互处理单元，用于利用所述文本匹配模型中的信息交互层对所述第一分词信息中分词的词向量和所述第二分词信息中分词的词向量进行信息交互处理，得到每一分词的权重；

第一加权处理单元，用于利用所述文本匹配模型中加权处理层对所述第一分词信息和所述第一分词信息中词语的权重进行加权处理，得到第一文本信息的加权文本特征向量；

第二加权处理单元，用于利用所述文本匹配模型中加权处理层对所述第二分词信息和所述第二分词信息中分词的权重进行加权处理，得到所述第二文本信息的加权文本特征向量。

在一些实施例中，所述文本匹配结果确定模块740可以包括：

匹配概率确定单元，用于将所述第一文本信息和所述第二文本信息的加权文本特征向量作为所述文本匹配模型中的全连接层的输入，在所述全连接层中确定所述第一文本信息和所述第二文本信息的间的匹配概率；

文本匹配结果确定单元，用于由所述文本匹配模型中的输出层，基于所述匹配概率确定所述文本信息对的文本匹配结果。

所述的装置实施例中的装置与方法实施例基于同样的申请构思。

本申请实施例提供了一种文本匹配终端，该文本匹配终端包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的文本匹配方法。

本申请还提供一种文本匹配模型的训练装置，如图8所示，所述装置包括：

训练文本对获取模块810，可以用于获取训练文本对；

第二分词处理模块820，可以用于对所述训练文本对中的训练文本信息分别进行分词处理，得到每一训练文本信息的分词信息；

文本特征向量确定模块830，可以用于将所述训练文本对和所述分词信息作为预设机器学习模型的输入，在所述预设机器学习模型中，确定每一训练文本信息的文本特征向量和每一训练文本信息的加权文本特征向量，所述加权文本特征为基于训练文本信息对应的分词的词向量和所述分词的权重确定的，所述权重表征所述训练文本对中一个训练文本信息对应的分词在另一训练文本信息中重要程度；

第一损失信息确定模块840，可以用于基于每一训练文本对中两个训练文本信息的加权文本特征向量和文本特征向量，确定所述每一训练文本对中两个训练文本信息对应的第一损失信息和第二损失信息；

第二损失信息确定模块850，可以用于基于每一训练文本对中两个训练文本信息的加权文本特征向量，确定每一训练文本对中两个训练文本信息间的第三损失信息；

文本匹配模型确定模块860，可以用于基于所述第一损失信息、所述第二损失信息和所述第三损失信息调整所述预设机器学习模型中的模型参数，至所述第一损失信息、所述第二损失信息和所述第三损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为文本匹配模型；

其中，所述第一损失信息和第二损失信息表征训练文本对中两个训练文本信息各自的加权文本特征向量和文本特征向量间的差异，第三损失信息表征训练文本对的匹配预测结果和匹配标签间的差异。

在一些实施例中，所述文本特征向量确定模块830可以包括：

第二词向量提取单元，用于利用所述预设机器学习模型中的特征提取层提取每一训练文本信息的文本特征向量和每一训练文本信息的分词信息中分词的词向量；

第二信息交互处理单元，用于利用所述预设机器学习模型中的信息交互层对训练文本对中两个训练文本信息的分词信息中分词的词向量进行信息交互处理，得到每一分词的权重；

第二加权处理单元，用于利用所述预设机器学习模型中加权处理层对每一训练文本信息对应分词的词向量和所述对应分词的权重进行加权处理，得到每一训练文本信息的加权文本特征。

在一些实施例中，所述第一损失信息确定模块840可以具体用于对训练文本对中训练文本信息的加权文本特征向量和文本特征向量分别进行双向正则处理，得到所述每一训练文本对中两个训练文本信息对应的第一损失信息和第二损失信息。

所述的装置实施例中的装置与方法实施例基于同样的申请构思。

本申请实施例提供了一种文本匹配模型的训练服务器，该文本匹配模型的训练服务器包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的文本匹配模型的训练方法。

本说明书实施例中，存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本申请实施例所提供的文本匹配方法实施例可以在移动终端、计算机终端、或者类似的运算装置中执行。本申请实施例所提供的文本匹配模型的训练方法实施例可以在移动终端、计算机终端、或者类似的运算装置中执行，以运行在服务器上为例，图9是本申请实施例提供的一种文本匹配模型的训练方法的服务器的硬件结构框图。如图9所示，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units，CPU)910(处理器910可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器930，一个或一个以上存储应用程序923或数据922的存储介质920(例如一个或一个以上海量存储设备)。其中，存储器930和存储介质920可以是短暂存储或持久存储。存储在存储介质920的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器910可以设置为与存储介质920通信，在服务器900上执行存储介质920中的一系列指令操作。服务器900还可以包括一个或一个以上电源960，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口940，和/或，一个或一个以上操作系统921，例如WindowsServer^TM，Mac OS X^TM，Unix^TM,Linux^TM，FreeBSD^TM等等。

输入输出接口940可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器900的通信供应商提供的无线网络。在一个实例中，输入输出接口940包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口940可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图9所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器900还可包括比图9中所示更多或者更少的组件，或者具有与图9所示不同的配置。

本申请的实施例还提供了一种存储介质，所述存储介质可设置于设备之中以保存用于实现方法实施例中一种文本匹配方法或文本匹配模型的训练方法相关的至少一条指令、或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的方法。

可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

由上述本申请提供的文本匹配方法、文本匹配模型的训练方法及装置、终端、服务器、设备或存储介质的实施例可见，本申请中在文本匹配模型训练过程中，通过引入由文本信息的分词词向量加权得到的加权文本特征向量与整体文本信息确定的文本特征向量间的损失信息，可以有效纠正加权文本特征向量中个别分词带来的偏差影响，从而使得训练得到的文本匹配模型可以能够得到准确反映文本语义的加权文本特征向量，大大提高了文本匹配的准确率。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种文本匹配方法，其特征在于，所述方法包括：

获取待匹配的文本信息对，所述文本信息对包括第一文本信息和第二文本信息；

对所述第一文本信息和所述第二文本信息分别进行分词处理，得到所述第一文本信息的第一分词信息和所述第二文本信息的第二分词信息；

将所述第一分词信息和所述第二分词信息作为文本匹配模型的输入，在所述文本匹配模型中，基于所述第一分词信息和所述第二分词信息确定所述第一文本信息和所述第二文本信息的加权文本特征向量，所述加权文本特征向量为基于文本信息对应的分词的词向量和所述分词的权重确定的，所述权重表征所述文本信息对中一个文本信息对应的分词在另一文本信息中重要程度；

在所述文本匹配模型中，基于所述第一文本信息和所述第二文本信息的加权文本特征向量确定所述文本信息对的文本匹配结果；

其中，训练所述文本匹配模型时的损失信息包括第一损失信息、第二损失信息和第三损失信息，所述第一损失信息和所述第二损失信息表征训练文本对中两个训练文本信息各自的加权文本特征向量和文本特征向量间的差异，第三损失信息表征训练文本对的匹配预测结果和匹配标签间的差异。

2.根据权利要求1所述的方法，其特征在于，所述在所述文本匹配模型中，基于所述第一分词信息和所述第二分词信息确定所述第一文本信息和所述第二文本信息的加权文本特征向量包括：

利用所述文本匹配模型中的特征提取层提取所述第一分词信息和所述第二分词信息中分词的词向量；

利用所述文本匹配模型中的信息交互层对所述第一分词信息中分词的词向量和所述第二分词信息中分词的词向量进行信息交互处理，得到每一分词的权重；

利用所述文本匹配模型中加权处理层对所述第一分词信息和所述第一分词信息中词语的权重进行加权处理，得到第一文本信息的加权文本特征向量；

利用所述文本匹配模型中加权处理层对所述第二分词信息和所述第二分词信息中分词的权重进行加权处理，得到所述第二文本信息的加权文本特征向量。

3.根据权利要求1所述的方法，其特征在于，所述在所述文本匹配模型中，基于所述第一文本信息和所述第二文本信息的加权文本特征向量确定所述文本信息对的文本匹配结果包括：

将所述第一文本信息和所述第二文本信息的加权文本特征向量作为所述文本匹配模型中的全连接层的输入，在所述全连接层中确定所述第一文本信息和所述第二文本信息的间的匹配概率；

由所述文本匹配模型中的输出层，基于所述匹配概率确定所述文本信息对的文本匹配结果。

4.一种文本匹配模型的训练方法，其特征在于，所述方法包括：

获取训练文本对；

对所述训练文本对中的训练文本信息分别进行分词处理，得到每一训练文本信息的分词信息；

将所述训练文本对和所述分词信息作为预设机器学习模型的输入，在所述预设机器学习模型中，确定每一训练文本信息的文本特征向量和每一训练文本信息的加权文本特征向量，所述加权文本特征为基于训练文本信息对应的分词的词向量和所述分词的权重确定的，所述权重表征所述训练文本对中一个训练文本信息对应的分词在另一训练文本信息中重要程度；

基于每一训练文本对中两个训练文本信息的加权文本特征向量和文本特征向量，确定所述每一训练文本对中两个训练文本信息对应的第一损失信息和第二损失信息；

基于每一训练文本对中两个训练文本信息的加权文本特征向量，确定每一训练文本对中两个训练文本信息间的第三损失信息；

基于所述第一损失信息、所述第二损失信息和所述第三损失信息调整所述预设机器学习模型中的模型参数，至所述第一损失信息、所述第二损失信息和所述第三损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为文本匹配模型；

其中，所述第一损失信息和第二损失信息表征训练文本对中两个训练文本信息各自的加权文本特征向量和文本特征向量间的差异，第三损失信息表征训练文本对的匹配预测结果和匹配标签间的差异。

5.根据权利要求4所述的方法，其特征在于，所述在所述预设机器学习模型中，确定每一训练文本信息的文本特征向量和每一训练文本信息的加权文本特征向量包括：

利用所述预设机器学习模型中的特征提取层提取每一训练文本信息的文本特征向量和每一训练文本信息的分词信息中分词的词向量；

利用所述预设机器学习模型中的信息交互层对训练文本对中两个训练文本信息的分词信息中分词的词向量进行信息交互处理，得到每一分词的权重；

利用所述预设机器学习模型中加权处理层对每一训练文本信息对应分词的词向量和所述对应分词的权重进行加权处理，得到每一训练文本信息的加权文本特征。

6.根据权利要求4所述的方法，其特征在于，所述基于每一训练文本对中两个训练文本信息的加权文本特征向量和文本特征向量，确定所述每一训练文本对中两个训练文本信息对应的第一损失信息和第二损失信息包括

对训练文本对中训练文本信息的加权文本特征向量和文本特征向量分别进行双向正则处理，得到所述每一训练文本对中两个训练文本信息对应的第一损失信息和第二损失信息。

7.一种文本匹配装置，其特征在于，所述装置包括：

文本信息对获取模块，用于获取待匹配的文本信息对，所述文本信息对包括第一文本信息和第二文本信息；

第一分词处理模块，用于对所述第一文本信息和所述第二文本信息分别进行分词处理，得到所述第一文本信息的第一分词信息和所述第二文本信息的第二分词信息；

加权文本特征向量确定模块，用于将所述第一分词信息和所述第二分词信息作为文本匹配模型的输入，在所述文本匹配模型中，基于所述第一分词信息和所述第二分词信息确定所述第一文本信息和所述第二文本信息的加权文本特征向量，所述加权文本特征向量为基于文本信息对应的分词的词向量和所述分词的权重确定的，所述权重表征所述文本信息对中一个文本信息对应的分词在另一文本信息中重要程度；

文本匹配结果确定模块，用于在所述文本匹配模型中，基于所述第一文本信息和所述第二文本信息的加权文本特征向量确定所述文本信息对的文本匹配结果；

其中，训练所述文本匹配模型时的损失信息包括第一损失信息、第二损失信息和第三损失信息，所述第一损失信息和所述第二损失信息表征训练文本对中两个训练文本信息各自的加权文本特征向量和文本特征向量间的差异，第三损失信息表征训练文本对的匹配预测结果和匹配标签间的差异。

8.一种文本匹配模型的训练装置，其特征在于，所述装置包括：

训练文本对获取模块，用于获取训练文本对；

第二分词处理模块，用于对所述训练文本对中的训练文本信息分别进行分词处理，得到每一训练文本信息的分词信息；

文本特征向量确定模块，用于将所述训练文本对和所述分词信息作为预设机器学习模型的输入，在所述预设机器学习模型中，确定每一训练文本信息的文本特征向量和每一训练文本信息的加权文本特征向量，所述加权文本特征为基于训练文本信息对应的分词的词向量和所述分词的权重确定的，所述权重表征所述训练文本对中一个训练文本信息对应的分词在另一训练文本信息中重要程度；

第一损失信息确定模块，用于基于每一训练文本对中两个训练文本信息的加权文本特征向量和文本特征向量，确定所述每一训练文本对中两个训练文本信息对应的第一损失信息和第二损失信息；

第二损失信息确定模块，用于基于每一训练文本对中两个训练文本信息的加权文本特征向量，确定每一训练文本对中两个训练文本信息间的第三损失信息；

文本匹配模型确定模块，用于基于所述第一损失信息、所述第二损失信息和所述第三损失信息调整所述预设机器学习模型中的模型参数，至所述第一损失信息、所述第二损失信息和所述第三损失信息满足预设条件，将满足预设条件时的预设机器学习模型作为文本匹配模型；

其中，所述第一损失信息和第二损失信息表征训练文本对中两个训练文本信息各自的加权文本特征向量和文本特征向量间的差异，第三损失信息表征训练文本对的匹配预测结果和匹配标签间的差异。

9.一种文本匹配设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序、所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至3任一所述的文本匹配方法。

10.一种文本匹配模型的训练设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序、所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求4至6任一所述的文本匹配模型的训练方法。

Images