CN111859960A - 基于知识蒸馏的语义匹配方法、装置、计算机设备和介质 - Google Patents

Abstract

本申请涉及人工智能领域，尤其是一种基于知识蒸馏的语义匹配方法、装置、计算机设备和存储介质。所述方法包括：获取待处理文本以及标准文本；分别对待处理文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量；将待处理文本和标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过所述目标语义匹配模型计算所述待处理文本和所述标准文本的目标相似度；所述目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的；根据所述目标相似度输出与所述待处理文本对应的标准文本。此外，本申请还涉及区块链技术，标准文本和目标语义匹配模型可存储于区块链中。采用本方法能够提高匹配效率。

Description

基于知识蒸馏的语义匹配方法、装置、计算机设备和介质

技术领域

本申请涉及人工智能技术领域，特别是涉及一种基于知识蒸馏的语义匹配方法、装置、计算机设备和介质。

背景技术

语义匹配是自然语言处理领域重要的话题，对于人类来说，判断两个句子是否为相同的意思是一种简单的任务。但对于人工智能来说，却是整个领域的高峰，即通过对用户表达的自然语言进行数据分析处理，识别出用户实际想表达的深层含义，而能够准确的识别客户想询问的内容、了解客户需要，这在聊天机器人上有很大应用，这能够帮助企业快速反应，及时解决客户问题，从而提高客户满意度。

传统地，预训练的语言模型，如bert在nlp领域显现出优异的效果，各种下游任务均可以简单微调后进行使用。但是这种超大参数量的交互模型，在模型处理上非常的耗时，导致语义匹配效率降低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高匹配效率的基于知识蒸馏的语义匹配方法、装置、计算机设备和介质。

一种基于知识蒸馏的语义匹配方法，所述方法包括：

获取待处理文本以及标准文本；

分别对所述待处理文本和所述标准文本进行处理得到对应的字向量、词向量以及字词组合向量；

将所述待处理文本和所述标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过所述目标语义匹配模型计算所述待处理文本和所述标准文本的目标相似度；所述目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的；

根据所述目标相似度输出与所述待处理文本对应的标准文本。

在其中一个实施例中，所述获取待处理文本以及标准文本，包括：

获取待处理文本以及初始标准文本，所述初始标准文本存储于区块链中；

按照预设规则提取所述待处理文本的预设数量的字符，并根据所提取的字符进行文本识别确定抽取参数；

根据所述抽取参数从所述初始标准文本中选取标准文本。

在其中一个实施例中，所述抽取参数为关键字，所述根据所述抽取参数从所述初始标准文本中选取标准文本包括：

将所述关键词与多个业务类型对应的标准关键词进行匹配；

获取关键词匹配成功的个数大于预设个数的业务类型作为所述待处理文本对应的业务类型；

根据所述业务类型从所述初始标准文本中选取标准文本。

在其中一个实施例中，所述目标语义匹配模型的生成方式包括：

获取训练文本、标准文本以及预先标注的所述训练文本与所述标准文本之间的对应关系；

分别对所述训练文本和所述标准文本进行处理得到对应的字向量、词向量以及字词组合向量；

将所述训练文本和所述标准文本对应的字向量、词向量以及字词组合向量输入至初始语义匹配模型中，得到所述训练文本和所述标准文本之间的训练相似度；

将所述训练文本和所述标准文本输入至超大参数量的交互模型中得到参考相似度；

根据所述训练相似度和所述参考相似度计算得到软损失，根据所述训练相似度以及预先标注的所述训练文本与所述标准文本之间的对应关系计算得到硬损失；

根据所述软损失和所述硬损失计算得到目标损失函数；

根据所述目标损失函数通过梯度反向传播，对所述初始语义匹配模型进行参数调整，得到目标语义匹配模型。

在其中一个实施例中，所述分别对所述待处理文本和所述标准文本进行处理得到对应的字向量、词向量以及字词组合向量，包括：

分别对所述待处理文本和所述标准文本进行分词处理和分字处理，以得到分别与所述待处理文本和所述标准文本对应的字序列和词序列；

根据所述字序列和所述词序列得到对应的字向量、词向量以及字词组合向量。

在其中一个实施例中，所述根据所述字序列和所述词序列得到对应的字向量、词向量以及字词组合向量，包括：

并行将所述字序列和所述词序列输入至预设神经网络中得到对应的字向量、词向量以及字词组合向量。

在其中一个实施例中，所述获取待处理文本以及标准文本，包括：

接收终端发送的业务处理请求；

提取所述业务处理请求中的初始文本；

根据所述初始文本的句子类型对所述初始文本进行预处理得到待处理文本。

一种基于知识蒸馏的语义匹配装置，所述装置包括：

文本获取模块，用于获取待处理文本以及标准文本；

字词处理模块，用于分别对所述待处理文本和所述标准文本进行处理得到对应的字向量、词向量以及字词组合向量；

相似度计算模块，用于将所述待处理文本和所述标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过所述目标语义匹配模型计算所述待处理文本和所述标准文本的目标相似度；所述目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的；

输出模块，用于根据所述目标相似度输出与所述待处理文本对应的标准文本。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例所述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法的步骤。

上述基于知识蒸馏的语义匹配方法、装置、计算机设备和介质，其中目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的，这样该目标语义匹配模型相较于超大参数量的交互模型的处理速度快，提高了处理效率，且输入到语义匹配模型中的是字向量、词向量以及字词组合向量，这样通过多种方式，可以避免大量的因为切词而导致的误差，同时拥有字粒度级别的信息，对于单个词语中的错别字或者同义词等有更好的容忍度，提高了准确性。

附图说明

图1为一个实施例中基于知识蒸馏的语义匹配方法的应用环境图；

图2为一个实施例中基于知识蒸馏的语义匹配方法的流程示意图；

图3为一个实施例中的目标语义匹配模型的训练流程图；

图4为一个实施例中目标语义匹配模型的训练框架图；

图5为一个实施例中基于知识蒸馏的语义匹配装置的结构框图；

图6为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的基于知识蒸馏的语义匹配方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102发送待处理文本至服务器104，从而服务器104获取到待处理文本以及标准文本，并分别对待处理文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量。然后服务器104将待处理文本和标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过目标语义匹配模型计算待处理文本和标准文本的目标相似度，其中该目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的，这样保证对待处理文本和标准处理文本的处理是一样的，且处理量降低。最后服务器104根据目标相似度输出与待处理文本对应的标准文本。其中目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的，这样该目标语义匹配模型相较于超大参数量的交互模型的处理速度快，提高了处理效率，且输入到语义匹配模型中的是字向量、词向量以及字词组合向量，这样通过多种方式，可以避免大量的因为切词而导致的误差，同时拥有字粒度级别的信息，对于单个词语中的错别字或者同义词等有更好的容忍度，提高了准确性。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种基于知识蒸馏的语义匹配方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

S202：获取待处理文本以及标准文本。

具体地，该待处理文本是需要判断其含义的文本，该标准文本是已经明确了含义的标准文本，且该标准文本还对应有相应的处理方式，例如在智能问答领域，该待处理文本可以是指用户所提问的问题，该标准文本则是预先存储在数据库中的与用户提问的问题对应的标准表达，且数据库中还存储有与该标准文本对应的标准答案，从而，服务器可以根据最后与待处理文本对应的标准文本来获取到标准答案，并反馈给用户所使用的终端。

S204：分别对待处理文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量。

具体地，此处将待处理文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量可以是分开处理的，例如并行处理。可选地，标准文本进行处理得到对应的字向量、词向量以及字词组合向量可以是预先处理的，例如在将标准文本存储到数据库的时候，直接对标准文本进行处理得到对应的字向量、词向量以及字词组合向量，这样将标准文本和对应的字向量、词向量以及字词组合向量进行关联存储，从而在进行待处理文本的处理的时候，可以直接获取到标准文本对应的字向量、词向量以及字词组合向量，这样服务器一个线程来对待处理文本进行处理得到对应的字向量、词向量以及字词组合向量，另一个线程则从数据库中获取到与标准文本对应的字向量、词向量以及字词组合向量。

S206：将待处理文本和标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过目标语义匹配模型计算待处理文本和标准文本的目标相似度；目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的。

具体地，目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的，通过该方式目标语义模型可以学习到超大参数量的交互模型的知识，且减少了参数的数量，这样提高了处理的效率，该超大参数量的交互模型可以是Bert模型。该目标语义模型一方面根据训练文本来进行训练，另一方面还根据超大参数量的交互模型进行学习，这样可以提高目标语义模型的准确度，且同时减少参数的处理量。

此外，该目标语义匹配模型通过字向量、词向量以及字词组合向量来进行预测，通过不同颗粒度的处理综合处理，可以提高准确性，例如该目标语义匹配模型是需要计算待处理文本和标准文本的字向量的相似度、词向量的相似度以及字词组合向量的相似度，然后根据目标语义匹配模型训练得到的参数，将字向量的相似度、词向量的相似度以及字词组合向量的相似度进行计算得到目标相似度，例如目标相似度＝a*字向量的相似度+b*词向量的相似度+c*字词组合向量，其中a、b以及c是目标语义匹配模型训练得到的参数。

S208：根据目标相似度输出与待处理文本对应的标准文本。

具体地，服务器可以选择相似度最大的一个标准文本作为与待处理文本对应的文本，并输出。且服务器输出该标准文本后，以便于服务器根据该标准文本进行其他处理，例如可以获取到与该标准文本对应的问题答案，或者是获取到与该标准文本对应的小程序、购物、查询或者是其他链接、或者是处理流程(跳转或者是其他等)等。

上述基于知识蒸馏的语义匹配方法，其中目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的，这样该目标语义匹配模型相较于超大参数量的交互模型的处理速度快，提高了处理效率，且输入到语义匹配模型中的是字向量、词向量以及字词组合向量，这样通过多种方式，可以避免大量的因为切词而导致的误差，同时拥有字粒度级别的信息，对于单个词语中的错别字或者同义词等有更好的容忍度，提高了准确性。

在其中一个实施例中，获取待处理文本以及标准文本，包括：获取待处理文本以及初始标准文本，初始标准文本存储于区块链中；按照预设规则提取待处理文本的预设数量的字符，并根据所提取的字符进行文本识别确定抽取参数；根据抽取参数从初始标准文本中选取标准文本。

具体地，为了提高处理效率，标准文本的确定可以是根据待处理文本进行确定，例如可以预先读取待处理文本的预设数量的字符，例如前预设数量，或者是某一预先设置的位置对应的预设数量的字符。服务器根据所提取的预设数量的字符来确定待处理文本对应的分类，例如确定抽取参数，该抽取参数可以是待处理文本对应的业务地区(例如通过语言来确定)或者是业务类型(例如通过关键字来确定)。这样服务器根据所确定的抽取参数从初始标准文本中选取标准文本，这样后续目标语言模型的输入数据量则会降低，从而提高了处理的效率。

在实际应用中，服务器可以首先读取待处理文本的前预设数量的字符，例如50个字符，然后根据前预设数量的字符进行文本分类识别，例如文本所采用的语种或关键字，这样根据所采用的语种或关键字对标准文本进行提取，得到对应语种或关键字的标准文本，再将所得到的标准文本输入至目标语义匹配模型，这样可以减少标准文本的量，从而提高处理效率。

需要强调的是，为了进一步保证上述初始标准文本以及目标语义分割模型的私密和安全性，上述初始标准文本以及目标语义分割模型还可以存储于一区块链的节点中。

在其中一个实施例中，抽取参数为关键字，根据抽取参数从初始标准文本中选取标准文本包括：将关键词与多个业务类型对应的标准关键词进行匹配；获取关键词匹配成功的个数大于预设个数的业务类型作为待处理文本对应的业务类型；根据业务类型从初始标准文本中选取标准文本。

具体地，服务器可以首先根据待处理文本中的关键字来确定标准文本，这样可以减少标准文本的数量，然后将待处理文本与通过关键字确定的标准文本进行匹配。其中，根据关键字来进行分类，其该关键字的提取可以与业务相关，即预先设置多个业务类型以及其对应的关键词，这样服务器提取待处理文本中的关键词，与业务类型对应的关键词比较，当关键词匹配个数多的业务类型作为待处理文本对应的业务类型，从而可以根据所确定的业务对标准文本进行选择，以减少标准文本的处理量。

上述实施例中，根据待处理文本对标准文本进行筛选，从而可以减少后续目标语义匹配模型的处理量，从而提高处理效率。

在其中一个实施例中，请参见图3，图3为一个实施例中的目标语义匹配模型的训练流程图，目标语义匹配模型的生成方式包括：

S302：获取训练文本、标准文本以及预先标注的训练文本与标准文本之间的对应关系。

具体地，训练样本可以是根据日志从系统服务器中提取的，标准文本则可以参考上文，训练文本和标准文本的对应关系则可以是预先标注得到的。

S304：分别对训练文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量。

具体地，该步骤中对于训练文本和标准文本的处理可以参见上文，在此不再赘述。

S306：将训练文本和标准文本对应的字向量、词向量以及字词组合向量输入至初始语义匹配模型中，得到训练文本和标准文本之间的训练相似度。

S308：将训练文本和标准文本输入至超大参数量的交互模型中得到参考相似度。

具体地，该两步骤则可以参考图4，其中初始语义匹配模型是其中的孪生网络，超大参数量的交互模型是Bert模型，服务器分别通过初始语义模型和交互模型来得到训练文本和标准文本之间的相似度。

S310：根据训练相似度和参考相似度计算得到软损失，根据训练相似度以及预先标注的训练文本与标准文本之间的对应关系计算得到硬损失。

S312：根据软损失和硬损失计算得到目标损失函数。

S314：根据目标损失函数通过梯度反向传播，对初始语义匹配模型进行参数调整，得到目标语义匹配模型。

其中，软损失是指训练相似度和参考相似度之间的差值，硬损失则是训练相似度和预先标准的标签之间的差值，通过这有两个计算得到目标损失函数。其综合的网络本身以及学习了超大参数量的交互模型的知识。这样根据目标损失函数可以计算得到损失值，通过梯度反向传播即可以对模型进行训练，以得到目标语义匹配模型。

为了便于理解，给出在实际应用中的一个完整的实施例，具体包括：

(1)输入：用户问题a和用户问题b。输出用户问题a和用户问题b是否具有相似的标签label。采用的模型：孪生网络、Bert模型。

(2)用户问题a和用户问题b输入孪生网络，得到用户问题a和用户问题b间的训练相似度sim1。

(3)用户问题a和用户问题b输入Bert模型，得到用户问题a和用户问题b间的参考相似度sim2。

(4)计算硬损失，假设sim1＝0.5，label＝1，则硬损失＝1-0.5＝0.5。

(5)计算软损失，假设sim1＝0.5，sim2＝0.89，则软损失＝0.89-0.5＝0.39。

(6)计算整体损失：L＝a1*硬损失+a2*软损失，其中a1+a2＝1，假设a1＝0.1，a2＝0.9，则最终损失：L＝0.1*0.5+0.9*0.39＝0.401。

(7)得到损失则可进行梯度反向传播，更新模型参数。

(8)重复(1)～(7)的操作，直到训练完毕。

(9)进行前向预测，如(1)同样输入用户问题a与用户问题b。

(10)通过孪生网络，计算出来语义相似度sim。

其中，(10)中的语义相似度即是模型最终预测的结果，复杂的Bert模型只用在训练步骤，不参与预测步骤。

上述实施例中，通过知识蒸馏孪生网络来学习超大参数量的交互模型的知识，相比直接使用超大参数量的Bert模型，在计算复杂度上占有更大的优势，同时知识蒸馏的方式能够萃取复杂模型的知识，使得简单的孪生网络也能得到趋近于复杂模型的效果，实现一种廉价的替代，相比原始的模型在效果上能够得到一定的提升。

在其中一个实施例中，分别对待处理文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量，包括：分别对待处理文本和标准文本进行分词处理和分字处理，以得到分别与待处理文本和标准文本对应的字序列和词序列；根据字序列和词序列得到对应的字向量、词向量以及字词组合向量。

其中，上述对待处理文本和标准文本的分词和分字是通过相同的分词逻辑和分字逻辑进行的。例如，若标准文本是预先分词和分字的，则会存储对应的分词逻辑和分字逻辑，这样分词逻辑或分字逻辑升级后，还可以通过升级后的分词逻辑或分字逻辑进行处理，并保存结果，从而在对待处理文本进行处理的时候，可以首先确定需要与之匹配的标准文本的分字和分词逻辑，然后再根据确定的分字和分词逻辑进行处理得到对应的字序列和词序列，再将字序列和词序列进行拼接得到字词序列。

可选地，根据字序列和词序列得到对应的字向量、词向量以及字词组合向量，包括：并行将字序列和词序列输入至预设神经网络中得到对应的字向量、词向量以及字词组合向量。即本实施例中，根据字序列和词序列得到对应的字向量、词向量以及字词组合向量的步骤，则是通过神经网络来进行的，例如输入到特征抽取神经网络中进行计算得到对应的字向量、词向量以及字词组合向量，其中可选地，可以并行将字序列、词序列以及字词组合序列输入到特征抽取网络中进行计算得到字向量、词向量以及字词组合向量。

上述实施例中，通过并行处理和神经网络处理更进一步地提高了处理效率。

在其中一个实施例中，获取待处理文本以及标准文本，包括：接收终端发送的业务处理请求；提取业务处理请求中的初始文本；根据初始文本的句子类型对初始文本进行预处理得到待处理文本。

具体地，待处理文本可以是根据终端发送的业务处理请求得到的，这样服务器提取到初始文本，并判断所述初始文本的句子类型，根据初始文本的句子类型对初始文本进行预处理得到待处理文本。例如当句子类型为疑问句时，则滤除所述初始文本中的干扰字，例如疑问词后得到待处理文本。当句子类型为陈述句时，则可以直接作为待处理文本等。

上述实施例中，在处理之前，对初始文本进行预处理，减少了数据量，提高了处理效率。

应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种基于知识蒸馏的语义匹配装置，包括：文本获取模块100、字词处理模块200、相似度计算模块300和输出模块400，其中：

文本获取模块100，用于获取待处理文本以及标准文本；

字词处理模块200，用于分别对待处理文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量；

相似度计算模块300，用于将待处理文本和标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过目标语义匹配模型计算待处理文本和标准文本的目标相似度；目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的；

输出模块400，用于根据目标相似度输出与待处理文本对应的标准文本。

在其中一个实施例中，上述的文本获取模块100可以包括：

第一获取单元，用于获取待处理文本以及初始标准文本，初始标准文本存储于区块链中；

抽取参数获取单元，用于按照预设规则提取待处理文本的预设数量的字符，并根据所提取的字符进行文本识别确定抽取参数；

选择单元，用于根据抽取参数从初始标准文本中选取标准文本。

在其中一个实施例中，选择单元可以包括：

匹配子单元，用于将关键词与多个业务类型对应的标准关键词进行匹配；

业务类型确定子单元，用于获取关键词匹配成功的个数大于预设个数的业务类型作为待处理文本对应的业务类型；

选择子单元，用于根据业务类型从初始标准文本中选取标准文本。

在其中一个实施例中，上述基于知识蒸馏的语义匹配装置还可以包括：

训练数据获取模块，用于获取训练文本、标准文本以及预先标注的训练文本与标准文本之间的对应关系；

训练数据处理模块，用于分别对训练文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量；

训练相似度计算模块300，用于将训练文本和标准文本对应的字向量、词向量以及字词组合向量输入至初始语义匹配模型中，得到训练文本和标准文本之间的训练相似度；

参考相似度计算模块300，用于将训练文本和标准文本输入至超大参数量的交互模型中得到参考相似度；

损失计算模块，用于根据训练相似度和参考相似度计算得到软损失，根据训练相似度以及预先标注的训练文本与标准文本之间的对应关系计算得到硬损失；

目标损失函数计算模块，用于根据软损失和硬损失计算得到目标损失函数；

参数调整模块，用于根据目标损失函数通过梯度反向传播，对初始语义匹配模型进行参数调整，得到目标语义匹配模型。

在其中一个实施例中，上述的字词处理模块200包括：

序列获取单元，用于分别对待处理文本和标准文本进行分词处理和分字处理，以得到分别与待处理文本和标准文本对应的字序列和词序列；

向量获取单元，用于根据字序列和词序列得到对应的字向量、词向量以及字词组合向量。

在其中一个实施例中，上述的向量获取单元还用于并行将字序列和词序列输入至预设神经网络中得到对应的字向量、词向量以及字词组合向量。

在其中一个实施例中，上述的文本获取模块100可以包括：

请求接收单元，用于接收终端发送的业务处理请求；

提取单元，用于提取业务处理请求中的初始文本；

预处理单元，用于根据初始文本的句子类型对初始文本进行预处理得到待处理文本。

关于基于知识蒸馏的语义匹配装置的具体限定可以参见上文中对于基于知识蒸馏的语义匹配方法的限定，在此不再赘述。上述基于知识蒸馏的语义匹配装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储标准文本以及目标语义匹配模型。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于知识蒸馏的语义匹配方法。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取待处理文本以及标准文本；分别对待处理文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量；将待处理文本和标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过目标语义匹配模型计算待处理文本和标准文本的目标相似度；目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的；根据目标相似度输出与待处理文本对应的标准文本。

在一个实施例中，处理器执行计算机程序时所实现的获取待处理文本以及标准文本，包括：获取待处理文本以及初始标准文本，初始标准文本存储于区块链中；按照预设规则提取待处理文本的预设数量的字符，并根据所提取的字符进行文本识别确定抽取参数；根据抽取参数从初始标准文本中选取标准文本。

在一个实施例中，处理器执行计算机程序时所实现的抽取参数为关键字，根据抽取参数从初始标准文本中选取标准文本包括：将关键词与多个业务类型对应的标准关键词进行匹配；获取关键词匹配成功的个数大于预设个数的业务类型作为待处理文本对应的业务类型；根据业务类型从初始标准文本中选取标准文本。

在一个实施例中，处理器执行计算机程序时所涉及的目标语义匹配模型的生成方式包括：获取训练文本、标准文本以及预先标注的训练文本与标准文本之间的对应关系；分别对训练文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量；将训练文本和标准文本对应的字向量、词向量以及字词组合向量输入至初始语义匹配模型中，得到训练文本和标准文本之间的训练相似度；将训练文本和标准文本输入至超大参数量的交互模型中得到参考相似度；根据训练相似度和参考相似度计算得到软损失，根据训练相似度以及预先标注的训练文本与标准文本之间的对应关系计算得到硬损失；根据软损失和硬损失计算得到目标损失函数；根据目标损失函数通过梯度反向传播，对初始语义匹配模型进行参数调整，得到目标语义匹配模型。

在一个实施例中，处理器执行计算机程序时所实现的分别对待处理文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量，包括：分别对待处理文本和标准文本进行分词处理和分字处理，以得到分别与待处理文本和标准文本对应的字序列和词序列；根据字序列和词序列得到对应的字向量、词向量以及字词组合向量。

在一个实施例中，处理器执行计算机程序时所实现的根据字序列和词序列得到对应的字向量、词向量以及字词组合向量，包括：并行将字序列和词序列输入至预设神经网络中得到对应的字向量、词向量以及字词组合向量。

在一个实施例中，处理器执行计算机程序时所实现的获取待处理文本以及标准文本，包括：接收终端发送的业务处理请求；提取业务处理请求中的初始文本；根据初始文本的句子类型对初始文本进行预处理得到待处理文本。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待处理文本以及标准文本；分别对待处理文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量；将待处理文本和标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过目标语义匹配模型计算待处理文本和标准文本的目标相似度；目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的；根据目标相似度输出与待处理文本对应的标准文本。

在一个实施例中，计算机程序被处理器执行时所实现的获取待处理文本以及标准文本，包括：获取待处理文本以及初始标准文本，初始标准文本存储于区块链中；按照预设规则提取待处理文本的预设数量的字符，并根据所提取的字符进行文本识别确定抽取参数；根据抽取参数从初始标准文本中选取标准文本。

在一个实施例中，计算机程序被处理器执行时所实现的抽取参数为关键字，根据抽取参数从初始标准文本中选取标准文本包括：将关键词与多个业务类型对应的标准关键词进行匹配；获取关键词匹配成功的个数大于预设个数的业务类型作为待处理文本对应的业务类型；根据业务类型从初始标准文本中选取标准文本。

在一个实施例中，计算机程序被处理器执行时所涉及的目标语义匹配模型的生成方式包括：获取训练文本、标准文本以及预先标注的训练文本与标准文本之间的对应关系；分别对训练文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量；将训练文本和标准文本对应的字向量、词向量以及字词组合向量输入至初始语义匹配模型中，得到训练文本和标准文本之间的训练相似度；将训练文本和标准文本输入至超大参数量的交互模型中得到参考相似度；根据训练相似度和参考相似度计算得到软损失，根据训练相似度以及预先标注的训练文本与标准文本之间的对应关系计算得到硬损失；根据软损失和硬损失计算得到目标损失函数；根据目标损失函数通过梯度反向传播，对初始语义匹配模型进行参数调整，得到目标语义匹配模型。

在一个实施例中，计算机程序被处理器执行时所实现的分别对待处理文本和标准文本进行处理得到对应的字向量、词向量以及字词组合向量，包括：分别对待处理文本和标准文本进行分词处理和分字处理，以得到分别与待处理文本和标准文本对应的字序列和词序列；根据字序列和词序列得到对应的字向量、词向量以及字词组合向量。

在一个实施例中，计算机程序被处理器执行时所实现的根据字序列和词序列得到对应的字向量、词向量以及字词组合向量，包括：并行将字序列和词序列输入至预设神经网络中得到对应的字向量、词向量以及字词组合向量。

在一个实施例中，计算机程序被处理器执行时所实现的获取待处理文本以及标准文本，包括：接收终端发送的业务处理请求；提取业务处理请求中的初始文本；根据初始文本的句子类型对初始文本进行预处理得到待处理文本。

本申请可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于知识蒸馏的语义匹配方法，其特征在于，所述方法包括：

获取待处理文本以及标准文本；

分别对所述待处理文本和所述标准文本进行处理得到对应的字向量、词向量以及字词组合向量；

将所述待处理文本和所述标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过所述目标语义匹配模型计算所述待处理文本和所述标准文本的目标相似度；所述目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的；

根据所述目标相似度输出与所述待处理文本对应的标准文本。

2.根据权利要求1所述的方法，其特征在于，所述获取待处理文本以及标准文本，包括：

获取待处理文本以及初始标准文本，所述初始标准文本存储于区块链中；

按照预设规则提取所述待处理文本的预设数量的字符，并根据所提取的字符进行文本识别确定抽取参数；

根据所述抽取参数从所述初始标准文本中选取标准文本。

3.根据权利要求2所述的方法，其特征在于，所述抽取参数为关键字，所述根据所述抽取参数从所述初始标准文本中选取标准文本包括：

将所述关键词与多个业务类型对应的标准关键词进行匹配；

获取关键词匹配成功的个数大于预设个数的业务类型作为所述待处理文本对应的业务类型；

根据所述业务类型从所述初始标准文本中选取标准文本。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述目标语义匹配模型的生成方式包括：

获取训练文本、标准文本以及预先标注的所述训练文本与所述标准文本之间的对应关系；

分别对所述训练文本和所述标准文本进行处理得到对应的字向量、词向量以及字词组合向量；

将所述训练文本和所述标准文本对应的字向量、词向量以及字词组合向量输入至初始语义匹配模型中，得到所述训练文本和所述标准文本之间的训练相似度；

将所述训练文本和所述标准文本输入至超大参数量的交互模型中得到参考相似度；

根据所述训练相似度和所述参考相似度计算得到软损失，根据所述训练相似度以及预先标注的所述训练文本与所述标准文本之间的对应关系计算得到硬损失；

根据所述软损失和所述硬损失计算得到目标损失函数；

根据所述目标损失函数通过梯度反向传播，对所述初始语义匹配模型进行参数调整，得到目标语义匹配模型。

5.根据权利要求1至3任意一项所述的方法，其特征在于，所述分别对所述待处理文本和所述标准文本进行处理得到对应的字向量、词向量以及字词组合向量，包括：

分别对所述待处理文本和所述标准文本进行分词处理和分字处理，以得到分别与所述待处理文本和所述标准文本对应的字序列和词序列；

根据所述字序列和所述词序列得到对应的字向量、词向量以及字词组合向量。

6.根据权利要求5所述的方法，其特征在于，所述根据所述字序列和所述词序列得到对应的字向量、词向量以及字词组合向量，包括：

并行将所述字序列和所述词序列输入至预设神经网络中得到对应的字向量、词向量以及字词组合向量。

7.根据权利要求1至3任意一项所述的方法，其特征在于，所述获取待处理文本以及标准文本，包括：

接收终端发送的业务处理请求；

提取所述业务处理请求中的初始文本；

根据所述初始文本的句子类型对所述初始文本进行预处理得到待处理文本。

8.一种基于知识蒸馏的语义匹配装置，其特征在于，所述装置包括：

文本获取模块，用于获取待处理文本以及标准文本；

字词处理模块，用于分别对所述待处理文本和所述标准文本进行处理得到对应的字向量、词向量以及字词组合向量；

相似度计算模块，用于将所述待处理文本和所述标准文本对应的字向量、词向量以及字词组合向量输入至预先训练完成的目标语义匹配模型中，以通过所述目标语义匹配模型计算所述待处理文本和所述标准文本的目标相似度；所述目标语义匹配模型是根据知识蒸馏的孪生网络的方式训练得到的；

输出模块，用于根据所述目标相似度输出与所述待处理文本对应的标准文本。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images