CN112507081A - 相似句匹配方法、装置、计算机设备及存储介质 - Google Patents

相似句匹配方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112507081A
CN112507081A CN202011483693.6A CN202011483693A CN112507081A CN 112507081 A CN112507081 A CN 112507081A CN 202011483693 A CN202011483693 A CN 202011483693A CN 112507081 A CN112507081 A CN 112507081A
Authority
CN
China
Prior art keywords
vector
sentence
value
tested
multilayer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011483693.6A
Other languages
English (en)
Other versions
CN112507081B (zh
Inventor
宋青原
王健宗
吴天博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202011483693.6A priority Critical patent/CN112507081B/zh
Publication of CN112507081A publication Critical patent/CN112507081A/zh
Priority to PCT/CN2021/097099 priority patent/WO2022127041A1/zh
Application granted granted Critical
Publication of CN112507081B publication Critical patent/CN112507081B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种相似句匹配方法、装置、计算机设备及存储介质，涉及人工智能技术领域，可应用于智慧科技中以推动智慧城市的建设。该方法包括：通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量；通过多层编码器对第一向量进行编码得到第三向量，通过多层编码器对第二向量进行编码得到第四向量；通过多层推理模块对所述第三向量及第四向量进行信息交互处理得到第五向量；计算第五向量的全局平局值；对全局平局值进行归一化处理得到概率值；根据概率值判断第一待测句子与第二待测句子的匹配结果。该方法通过对第三向量和第四向量进行信息交互处理以及计算第五向量的全局平局值，提高了匹配的准确率。

Description

相似句匹配方法、装置、计算机设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种相似句匹配方法、装置、计算机设备及存储介质。
背景技术
自然语言领域目前已经从自然语言处理发展到自然语言理解的过程，而对于自然语言理解，很重要的就是能对一句话的深层意思理解到位。相似句匹配问题在多个领域都起到很重要的作用，比如问答以及阅读理解等。语言的表达千变万化，如何能正确的判断两个句子是否表达的是同一个意思至关重要。
传统的方法大多停留在判断文字本身的相似度上，比如使用编辑距离等方式判断两个句子的相似度，但是这种方法的准确率非常低，因为语言表达千变万化，有时两个句子只有一个字不一样，可能表达的意思就天差地别了。最近几年随着深度学习的流行，人们开始使用深度学习实现相似句匹配。虽然深度学习完美的解决了之前规则不准的问题，但是准确率较低。
发明内容
本发明实施例提供了一种相似句匹配方法、装置、计算机设备及存储介质，旨在解决现有相似句匹配方法准确率较低的问题。
第一方面，本发明实施例提供了一种相似句匹配方法，孪生网络模型包括多层编码器和多层推理模块，所述相似句匹配方法包括：
通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量；
通过所述多层编码器对所述第一向量进行编码得到第三向量，通过所述多层编码器对所述第二向量进行编码得到第四向量；
通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量；
计算所述第五向量的全局平局值；
对所述全局平局值进行归一化处理得到概率值；
根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果。
第二方面，本发明实施例还提供了一种相似句匹配装置，孪生网络模型包括多层编码器和多层推理模块，所述相似句匹配装置包括：
转换单元，用于通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量；
第一编码单元，用于通过所述多层编码器对所述第一向量进行编码得到第三向量，用于通过所述多层编码器对所述第二向量进行编码得到第四向量；
交互处理单元，用于通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量；
计算单元，用于计算所述第五向量的全局平局值；
归一化处理单元，用于对所述全局平局值进行归一化处理得到概率值；
判断单元，用于根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果。
第三方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时实现上述方法。
本发明实施例提供了一种相似句匹配方法、装置、计算机设备及存储介质，其中所述方法包括：通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量；通过所述多层编码器对所述第一向量进行编码得到第三向量，通过所述多层编码器对所述第二向量进行编码得到第四向量；通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量；计算所述第五向量的全局平局值；对所述全局平局值进行归一化处理得到概率值；根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果。该方法通过对第三向量和第四向量进行信息交互处理以及计算第五向量的全局平局值，充分的利用句子的信息，提高了相似句匹配的准确率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种孪生网络模型的示意框图；
图2为本发明实施例提供的一种相似句匹配方法流程示意图；
图3为本发明另一实施例提供的一种相似句匹配方法流程示意图；
图4为本发明实施例提供的一种相似句匹配方法的子流程示意图；
图5为本发明实施例提供的一种相似句匹配装置的示意性框图；
图6为本发明实施例提供的一种计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
本发明实施例提出的技术方案可应用于智慧科技中以推动智慧城市的建设。
请参阅图1，图1是本发明实施例提供的一种孪生网络模型200的示意框图。如图所示，该孪生网络模型200包括两个多层编码器201和两个多层推理模块202，其中两个多层编码器201为并行的关系，两个多层推理模块202之间进行信息交互。
参阅图2，图2是本发明实施例提供的相似句匹配方法的流程示意图。如图2所示，该方法包括以下步骤S1-S6。
S1，通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量。
自然语言理解的问题要转化为机器学习的问题，第一步需要要把句子数学化。词向量就是用来将语言中的词进行数学化的一种方式，顾名思义，词向量就是把一个词表示成一个向量。
具体实施中，采用word2vec作为词向量训练工具，并通过word2vec对所述第二分词序列中的单词进行词向量训练以得到输入词向量序列。
word2vec是一种词向量训练工具，其作用就是将自然语言中的字词转为计算机可以理解的词向量。传统的词向量训练工具容易受维数灾难的困扰，且任意两个词之间都是孤立的，不能体现词和词之间的关系，因此本实施例采用word2vec来训练词向量，其可通过计算向量之间的距离来体现词与词之间的相似性。
例如，在一实施例中，第一待测句子为：春天/花/真/漂亮。通过word2vec训练后得到“春天”的词向量为M11、“花”的词向量为M12、“真”的词向量为M13以及漂亮的词向量为M14，则第一向量为(M11、M12、M13、M14)。
需要说明的是，word2vec仅仅是本发明提供的一种词向量训练工具的示例，本领域技术人员还可以采用其他词向量训练工具，这并不会超出本发明的保护范围。
S2，通过多层编码器对第一向量进行编码得到第三向量，通过多层编码器对第二向量进行编码得到第四向量。
具体实施中，通过所述多层编码器对所述第一向量进行编码得到第三向量。在一实施例中，对应第一向量的每一行向量均有三个表示Q(Query Vector)、K(KeyVector)以及V(Value Vector)，其中Q为查询向量矩阵，K为键向量矩阵，V为值向量矩阵。假设每一行向量的维数是8，若这些表示的维数是5，则三个表示均为8×5的矩阵。
用适当的随机分布分别对Q查询向量矩阵，K键向量矩阵以及V值向量矩阵进行随机初始化得到初始化的Q查询向量矩阵，K键向量矩阵以及V值向量矩阵。
对Q查询向量矩阵，K键向量矩阵以及V值向量矩阵初始化后与第一向量作积，便可得到第一向量的三个表示MQ、MK以及MV。具体的在一实施例中，将第一向量的每一行向量与Q查询向量矩阵相乘得到MQ第一待测句子的查询向量矩阵，将第一向量的每一行向量与K键向量矩阵相乘得到MK第一待测句子的键向量矩阵，将第一向量的每一行向量与V值向量矩阵相乘得到MV第一待测句子的值向量矩阵。
通过自注意力机制的方程
Figure BDA0002838382250000051
计算所述第一向量的自注意力值(Attention Scores)从而得到第三向量。需要说明的是，其中第一向量的自注意力值为
Figure BDA0002838382250000052
将其乘以第一待测句子的值向量矩阵MV便得到第三向量。其中MQ为第一待测句子的查询向量矩阵，MK为第一待测句子的键向量矩阵，MV为第一待测句子的值向量矩阵，M为第一待测句子，d1为多层编码器网络层的维度。
具体实施中，通过所述多层编码器对所述第二向量进行编码得到第四向量。在本实施例中对应第二向量的每一行向量均有三个表示Q、K以及V，其中Q为查询向量矩阵，K为键向量矩阵，V为值向量矩阵。
用适当的随机分布分别对Q查询向量矩阵，K键向量矩阵以及V值向量矩阵进行随机初始化，得到初始化的Q查询向量矩阵，K键向量矩阵以及V值向量矩阵。
对Q查询向量矩阵，K键向量矩阵以及V值向量矩阵初始化后与第二向量作积，便可得到第二向量的三个表示NQ、NK以及NV。具体的在本实施例中，将第二向量的每一行向量与Q查询向量矩阵相乘得到NQ第二待测句子的查询向量矩阵，将第二向量的每一行向量与K键向量矩阵相乘得到NK第二待测句子的键向量矩阵，将第二向量的每一行向量与V值向量矩阵相乘得到NV第二待测句子的值向量矩阵。
通过自注意力机制方程
Figure BDA0002838382250000061
计算所述第二向量的自注意力值从而得到第四向量，需要说明的是，其中第二向量的自注意力值为
Figure BDA0002838382250000062
将其乘以第二待测句子的值向量矩阵NV便得到第四向量。其中NQ为第二待测句子的查询向量矩阵，NK为第二待测句子的键向量矩阵，NV为第二待测句子的值向量矩阵，N为第二待测句子，d1为多层编码器网络层的维度。
S3，通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量。
具体实施中，通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量。基于步骤S2的自注意力机制方程将其中第一待测句子的键向量矩阵MK和值向量矩阵MV替换为第二待测句子的键向量矩阵NK和值向量矩阵NV便可得到信息交互的自注意力机制方程。
通过自注意力机制方程
Figure BDA0002838382250000063
计算所述第三向量与第四向量信息交互的注意力值从而得到第五向量。需要说明的是，其中第三向量与第四向量信息交互的注意力值为
Figure BDA0002838382250000064
将其乘以第二待测句子的值向量矩阵NV便得到第五向量。通过信息交互的自注意力机制方程使第一待测句子与第二待测句子更好的进行信息交互，为句子的匹配结果提供更可靠的依据，从而提高相似句匹配的准确率。
其中MQ为第一待测句子的查询向量矩阵，NK第二待测句子的为键向量矩阵，NV为第二待测句子的值向量矩阵，M为第一待测句子，N为第二待测句子，d2为多层推理模块网络层的维度。
S4，计算所述第五向量的全局平局值。
具体实施中，计算所述第五向量的全局平局值，本实施例中的多层推理模块包括多层推理网络，各层所述推理网络均计算所述第三向量与第四向量信息交互的注意力值。
在传统的计算方法中只对多层推理模块的最后一层推理网络输出的注意力值进行步骤S5的归一化处理得到概率值作为相似句匹配的结果，这样处理忽略了多层推理模块中其他推理网络输出的注意力值对概率值的影响，降低了相似句匹配的准确率。
在本实施例中，多层推理模块的每一层推理网络输出的注意力值都参与概率值的计算，从而大大提高了相似句匹配的准确率。
参见图4，在一实施例中，以上步骤S4具体包括：S41-S42。
S41，根据各层所述推理网络计算的第三向量与第四向量信息交互的注意力值，计算第三向量与第四向量信息交互的注意力值的总和。
具体实施中，根据各层所述推理网络计算的第三向量与第四向量信息交互的注意力值，计算第三向量与第四向量信息交互的注意力值的总和，使每层推理网络的输出都能参与到下一步骤概率值的计算。
S42，对第三向量与第四向量信息交互的注意力值的总和求取平均值从而得到第五向量的全局平局值。
具体实施中，对第三向量与第四向量信息交互的注意力值的总和求取平均值从而得到第五向量的全局平局值。将第三向量与第四向量信息交互的注意力值的总和除以多层推理网络的维度得到第三向量与第四向量信息交互的注意力值的平均值，需要说明的是，再将第三向量与第四向量信息交互的注意力值的平均值乘以第二待测句子的值向量矩阵得到第五向量的全局平局值。充分利用了每一层推理网络的输出信息，确保了最大化利用信息。
S5，对所述全局平局值进行归一化处理得到概率值。
具体实施中，对所述全局平局值进行归一化处理得到概率值，使用归一化指数函数(Softmax函数)对全局平局值进行归一化处理得到概率值。归一化指数函数能将一个含任意实数的多维向量“压缩”到另一个多维实向量中，使得每一个元素的范围都在(0，1)之间。
需要说明的是，归一化指数函数仅仅是本发明提供的一种归一化处理的示例，本领域技术人员还可以采用其他归一化处理函数，这并不会超出本发明的保护范围。
S6，根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果。
具体实施中，根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果。判断所述概率值是否大于预设阈值；若所述概率值大于所述预设阈值，则判断所述第一待测句子与第二待测句子相似；若所述概率值小于所述预设阈值，则判断所述第一待测句子与第二待测句子不相似。在一实施例中，预设阈值为0.5，若概率值大于0.5，则判断所述第一待测句子与第二待测句子相似，若概率值小于0.5，则判断所述第一待测句子与第二待测句子不相似。用户可根据实际情况对预设阈值进行设定，本发明对此不做具体限定。
本发明实施例提供的相似句匹配方法包括：通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量；通过所述多层编码器对所述第一向量进行编码得到第三向量，通过所述多层编码器对所述第二向量进行编码得到第四向量；通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量；计算所述第五向量的全局平局值；对所述全局平局值进行归一化处理得到概率值；根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果。该方法通过对第三向量和第四向量进行信息交互处理以及计算第五向量的全局平局值，充分的利用句子的信息，提高了相似句匹配的准确率。
请参阅图3，图3是本发明另一实施例提供的一种相似句匹配方法的流程示意图。如图3所示，本实施例的相似句匹配方法包括步骤S101-S109。其中步骤S104-S109与上述实施例中的步骤S1-S6类似，在此不再赘述。下面详细说明本实施例中所增加的步骤S101-S103。
S101，使用对比自监督方法对多层编码器进行训练。
具体实施中，所述使用对比自监督方法对多层编码器进行训练，首先构建训练的正标签与负标签；将第一训练句子与第二训练句子输入多层编码器得到x，y以及x'，其中x为第一训练句子的浅层输出，y为第一训练句子的深层输出，x'为第二训练句子的浅层输出。需要说明的是，第一训练句子与第二训练句子为两个意思不同的两个句子。x第一训练句子的浅层输出与y第一训练句子的深层输出组成一个正标签(x,y)，y为第一训练句子的深层输出与x'第二训练句子的浅层输出组成一个负标签(x',y)。
通过公式JS(x,y)＝max(E[log(σ(T(x,y)))]+E[log(1-σ(T(x',y)))])计算损失值，其中T(x,y)与T(x',y)为分类器，(x,y)为正标签，(x',y)为负标签；根据损失值调整多层编码器的参数；重复上述训练步骤直至多层编码器的参数不再变化则停止训练。其中，根据损失值调整多层编码器的参数为本领域技术人员熟知的技术手段，在此不再赘述。通过上述训练可得到一个表达能力较强的编码器。在该训练中使用比自监督方法通过构建正负标签便可完成训练，无需使用标注数据。
S102，将经过训练的多层编码器与多层推理模块组成孪生网络模型。
具体实施中，将经过训练的多层编码器与多层推理模块组成孪生网络模型。将经过训练的多层编码器与多层推理模块组成如图1所示的孪生网络模型，其中两个多层编码器并行运行，互不影响，两个多层推理模块之间进行信息的交互。
S103，对孪生网络模型进行训练。
具体实施中，对孪生网络模型进行训练，得到经过训练的孪生网络模型。首先使用对比自监督的方法训练多层编码器，然后使用训练好的多层编码器与多层推理模块组成孪生网络模型，再对整个孪生网络模型进行训练。因为经过步骤S1多层编码器已经具有较强的编码能力，对孪生网络模型的训练就无需对多层编码器再进行训练，不仅提高了孪生网络模型的收敛速度，也减少了对标注数据的需求。
图5是本发明实施例提供的一种相似句匹配装置的示意性框图。如图5所示，对应于以上相似句匹配方法，本发明还提供一种相似句匹配装置100。该相似句匹配装置100包括用于执行上述相似句匹配方法的单元，该装置可以被配置于台式电脑、平板电脑、手提电脑、等终端中。具体地，请参阅图5，该相似句匹配装置100包括转换单元101、第一编码单元102、交互处理单元103、计算单元104、归一化处理单元105以及判断单元106。
转换单元101，用于通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量；
第一编码单元102，用于通过所述多层编码器对所述第一向量进行编码得到第三向量，通过所述多层编码器对所述第二向量进行编码得到第四向量；
交互处理单元103，用于通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量；
计算单元104，用于计算所述第五向量的全局平局值；
归一化处理单元105，用于对所述全局平局值进行归一化处理得到概率值；
判断单元106，用于根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果。
在一实施例中，所述通过所述多层编码器对所述第一向量进行编码得到第三向量，通过所述多层编码器对所述第二向量进行编码得到第四向量，包括：
通过方程
Figure BDA0002838382250000101
计算所述第一向量的自注意力值从而得到第三向量，其中MQ为第一待测句子的查询向量矩阵，MK为第一待测句子的键向量矩阵，MV为第一待测句子的值向量矩阵，M为第一待测句子，d1为多层编码器网络层的维度；
在一实施例中，所述通过所述多层编码器对所述第二向量进行编码得到第四向量，包括：
通过方程
Figure BDA0002838382250000102
计算所述第二向量的自注意力值从而得到第四向量，其中NQ为第二待测句子的查询向量矩阵，NK为第二待测句子的键向量矩阵，NV为第二待测句子的值向量矩阵，N为第二待测句子，d1为多层编码器网络层的维度。
通过方程
Figure BDA0002838382250000103
计算所述第三向量与第四向量信息交互的注意力值从而得到第五向量，
其中MQ为第一待测句子的查询向量矩阵，NK第二待测句子的为键向量矩阵，NV为第二待测句子的值向量矩阵，M为第一待测句子，N为第二待测句子，d2为多层推理模块网络层的维度。
在一实施例中，所述多层推理模块包括多层推理网络，各层所述推理网络均计算所述第三向量与第四向量信息交互的注意力值，所述计算所述第五向量的全局平局值，包括：
根据各层所述推理网络计算的第三向量与第四向量信息交互的注意力值，计算第三向量与第四向量信息交互的注意力值的总和；
对第三向量与第四向量信息交互的注意力值的总和求取平均值从而得到第五向量的全局平局值。
在一实施例中，所述匹配结果包括相似以及不相似，所述根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果，包括：
判断所述概率值是否大于预设阈值；
若所述概率值大于所述预设阈值，则判断所述第一待测句子与第二待测句子相似；
若所述概率值小于所述预设阈值，则判断所述第一待测句子与第二待测句子不相似。
在一实施例中，所述通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量之前，所述相似句匹配方法还包括：
使用对比自监督方法对多层编码器进行训练；
将经过训练的多层编码器与多层推理模块组成孪生网络模型；
对孪生网络模型进行训练。
在一实实施例中，所述使用对比自监督方法对多层编码器进行训练，包括：
构建训练的正标签与负标签；
通过公式JS(x,y)＝max(E[log(σ(T(x,y)))]+E[log(1-σ(T(x',y)))])计算损失值，其中T(x,y)与T(x',y)为分类器，(x,y)为正标签，(x',y)为负标签；
根据损失值调整多层编码器的参数。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述相似句匹配装置和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述相似句匹配装置可以实现为一种计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
请参阅图6，图6是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备300是上位机。其中，上位机可以是平板电脑、笔记本电脑、台式电脑等电子设备。
参阅图6，该计算机设备300包括通过系统总线301连接的处理器302、存储器和网络接口305，其中，存储器可以包括非易失性存储介质303和内存储器304。
该非易失性存储介质303可存储操作系统3031和计算机程序3032。该计算机程序3032被执行时，可使得处理器302执行一种相似句匹配方法。
该处理器302用于提供计算和控制能力，以支撑整个计算机设备300的运行。
该内存储器304为非易失性存储介质303中的计算机程序3032的运行提供环境，该计算机程序3032被处理器302执行时，可使得处理器302执行一种相似句匹配方法。
该网络接口305用于与其它设备进行网络通信。本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备300的限定，具体的计算机设备300可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器302用于运行存储在存储器中的计算机程序3032，以实现如下步骤：
通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量；
通过所述多层编码器对所述第一向量进行编码得到第三向量，通过所述多层编码器对所述第二向量进行编码得到第四向量；
通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量；
计算所述第五向量的全局平局值；
对所述全局平局值进行归一化处理得到概率值；
根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果。
在一实施例中，所述通过所述多层编码器对所述第一向量进行编码得到第三向量，通过所述多层编码器对所述第二向量进行编码得到第四向量，包括：
通过方程
Figure BDA0002838382250000131
计算所述第一向量的自注意力值从而得到第三向量，其中MQ为第一待测句子的查询向量矩阵，MK为第一待测句子的键向量矩阵，MV为第一待测句子的值向量矩阵，M为第一待测句子，d1为多层编码器网络层的维度；
通过方程
Figure BDA0002838382250000132
计算所述第二向量的自注意力值从而得到第四向量，其中NQ为第二待测句子的查询向量矩阵，NK为第二待测句子的键向量矩阵，NV为第二待测句子的值向量矩阵，N为第二待测句子，d1为多层编码器网络层的维度。
在一实施例中，所述通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量，包括：
通过方程
Figure BDA0002838382250000133
计算所述第三向量与第四向量信息交互的注意力值从而得到第五向量，
其中MQ为第一待测句子的查询向量矩阵，NK第二待测句子的为键向量矩阵，NV为第二待测句子的值向量矩阵，M为第一待测句子，N为第二待测句子，d2为多层推理模块网络层的维度。
在一实施例中，所述多层推理模块包括多层推理网络，各层所述推理网络均计算所述第三向量与第四向量信息交互的注意力值，所述计算所述第五向量的全局平局值，包括：
根据各层所述推理网络计算的第三向量与第四向量信息交互的注意力值，计算第三向量与第四向量信息交互的注意力值的总和；
对第三向量与第四向量信息交互的注意力值的总和求取平均值从而得到第五向量的全局平局值。
在一实施例中，所述匹配结果包括相似以及不相似，所述根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果，包括：
判断所述概率值是否大于预设阈值；
若所述概率值大于所述预设阈值，则判断所述第一待测句子与第二待测句子相似；
若所述概率值小于所述预设阈值，则判断所述第一待测句子与第二待测句子不相似。
在一实施例中，所述通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量之前，所述相似句匹配方法还包括：
使用对比自监督方法对多层编码器进行训练；
将经过训练的多层编码器与多层推理模块组成孪生网络模型；
对孪生网络模型进行训练。
在一实施例中，所述使用对比自监督方法对多层编码器进行训练，包括：
构建训练的正标签与负标签；
通过公式JS(x,y)＝max(E[log(σ(T(x,y)))]+E[log(1-σ(T(x',y)))])计算损失值，其中T(x,y)与T(x',y)为分类器，(x,y)为正标签，(x',y)为负标签；
根据损失值调整多层编码器的参数。
应当理解，在本申请实施例中，处理器302可以是中央处理单元(CentralProcessingUnit，CPU)，该处理器302还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该计算机程序被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序。该计算机程序被处理器执行时使处理器执行如下步骤：
通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量；
通过所述多层编码器对所述第一向量进行编码得到第三向量，通过所述多层编码器对所述第二向量进行编码得到第四向量；
通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量；
计算所述第五向量的全局平局值；
对所述全局平局值进行归一化处理得到概率值；
根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果。
在一实施例中，所述通过所述多层编码器对所述第一向量进行编码得到第三向量，通过所述多层编码器对所述第二向量进行编码得到第四向量，包括：
通过方程
Figure BDA0002838382250000151
计算所述第一向量的自注意力值从而得到第三向量，其中MQ为第一待测句子的查询向量矩阵，MK为第一待测句子的键向量矩阵，MV为第一待测句子的值向量矩阵，M为第一待测句子，d1为多层编码器网络层的维度；
通过方程
Figure BDA0002838382250000152
计算所述第二向量的自注意力值从而得到第四向量，其中NQ为第二待测句子的查询向量矩阵，NK为第二待测句子的键向量矩阵，NV为第二待测句子的值向量矩阵，N为第二待测句子，d1为多层编码器网络层的维度。
在一实施例中，所述通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量，包括：
通过方程
Figure BDA0002838382250000153
计算所述第三向量与第四向量信息交互的注意力值从而得到第五向量，
其中MQ为第一待测句子的查询向量矩阵，NK第二待测句子的为键向量矩阵，NV为第二待测句子的值向量矩阵，M为第一待测句子，N为第二待测句子，d2为多层推理模块网络层的维度。
在一实施例中，所述多层推理模块包括多层推理网络，各层所述推理网络均计算所述第三向量与第四向量信息交互的注意力值，所述计算所述第五向量的全局平局值，包括：
根据各层所述推理网络计算的第三向量与第四向量信息交互的注意力值，计算第三向量与第四向量信息交互的注意力值的总和；
对第三向量与第四向量信息交互的注意力值的总和求取平均值从而得到第五向量的全局平局值。
在一实施例中，所述匹配结果包括相似以及不相似，所述根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果，包括：
判断所述概率值是否大于预设阈值；
若所述概率值大于所述预设阈值，则判断所述第一待测句子与第二待测句子相似；
若所述概率值小于所述预设阈值，则判断所述第一待测句子与第二待测句子不相似。
在一实施例中，所述通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量之前，所述相似句匹配方法还包括：
使用对比自监督方法对多层编码器进行训练；
将经过训练的多层编码器与多层推理模块组成孪生网络模型；
对孪生网络模型进行训练。
在一实施例中，所述使用对比自监督方法对多层编码器进行训练，包括：
构建训练的正标签与负标签；
通过公式JS(x,y)＝max(E[log(σ(T(x,y)))]+E[log(1-σ(T(x',y)))])计算损失值，其中T(x,y)与T(x',y)为分类器，(x,y)为正标签，(x',y)为负标签；
根据损失值调整多层编码器的参数。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其他实施例的相关描述。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，尚且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种相似句匹配方法，其特征在于，孪生网络模型包括多层编码器和多层推理模块，所述相似句匹配方法包括：
通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量；
通过所述多层编码器对所述第一向量进行编码得到第三向量，通过所述多层编码器对所述第二向量进行编码得到第四向量；
通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量；
计算所述第五向量的全局平局值；
对所述全局平局值进行归一化处理得到概率值；
根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果。
2.根据权利要求1所述的相似句匹配方法，其特征在于，所述通过所述多层编码器对所述第一向量进行编码得到第三向量，通过所述多层编码器对所述第二向量进行编码得到第四向量，包括：
通过方程
Figure FDA0002838382240000011
计算所述第一向量的自注意力值从而得到第三向量，其中MQ为第一待测句子的查询向量矩阵，MK为第一待测句子的键向量矩阵，MV为第一待测句子的值向量矩阵，M为第一待测句子，d1为多层编码器网络层的维度；
通过方程
Figure FDA0002838382240000012
计算所述第二向量的自注意力值从而得到第四向量，其中NQ为第二待测句子的查询向量矩阵，NK为第二待测句子的键向量矩阵，NV为第二待测句子的值向量矩阵，N为第二待测句子，d1为多层编码器网络层的维度。
3.根据权利要求1所述的相似句匹配方法，其特征在于，所述通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量，包括：
通过方程
Figure FDA0002838382240000021
计算所述第三向量与第四向量信息交互的注意力值从而得到第五向量，
其中MQ为第一待测句子的查询向量矩阵，NK为第二待测句子的键向量矩阵，NV为第二待测句子的值向量矩阵，M为第一待测句子，N为第二待测句子，d2为多层推理模块网络层的维度。
4.根据权利要求3所述的相似句匹配方法，其特征在于，所述多层推理模块包括多层推理网络，各层所述推理网络均计算所述第三向量与第四向量信息交互的注意力值，所述计算所述第五向量的全局平局值，包括：
根据各层所述推理网络计算的第三向量与第四向量信息交互的注意力值，计算第三向量与第四向量信息交互的注意力值的总和；
对第三向量与第四向量信息交互的注意力值的总和求取平均值从而得到第五向量的全局平局值。
5.根据权利要求1所述的相似句匹配方法，其特征在于，所述匹配结果包括相似以及不相似，所述根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果，包括：
判断所述概率值是否大于预设阈值；
若所述概率值大于所述预设阈值，则判断所述第一待测句子与第二待测句子相似；
若所述概率值小于所述预设阈值，则判断所述第一待测句子与第二待测句子不相似。
6.根据权利要求1所述的相似句匹配方法，其特征在于，所述通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量之前，所述相似句匹配方法还包括：
使用对比自监督方法对多层编码器进行训练；
将经过训练的多层编码器与多层推理模块组成孪生网络模型；
对孪生网络模型进行训练。
7.根据权利要求6所述的相似句匹配方法，其特征在于，所述使用对比自监督方法对多层编码器进行训练，包括：
构建训练的正标签与负标签；
通过公式JS(x,y)＝max(E[log(σ(T(x,y)))]+E[log(1-σ(T(x',y)))])计算损失值，其中T(x,y)与T(x',y)为分类器，(x,y)为正标签，(x',y)为负标签；
根据损失值调整多层编码器的参数。
8.一种相似句匹配装置，其特征在于，孪生网络模型包括多层编码器和多层推理模块，所述相似句匹配装置包括：
转换单元，用于通过预设的词向量训练工具分别将第一待测句子以及第二待测句子转换为第一向量以及第二向量；
第一编码单元，用于通过所述多层编码器对所述第一向量进行编码得到第三向量，用于通过所述多层编码器对所述第二向量进行编码得到第四向量；
交互处理单元，用于通过所述多层推理模块对所述第三向量及第四向量进行信息交互处理从而得到第五向量；
计算单元，用于计算所述第五向量的全局平局值；
归一化处理单元，用于对所述全局平局值进行归一化处理得到概率值；
判断单元，用于根据所述概率值判断所述第一待测句子与第二待测句子的匹配结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时实现如权利要求1-7中任一项所述的方法。
CN202011483693.6A 2020-12-16 2020-12-16 相似句匹配方法、装置、计算机设备及存储介质 Active CN112507081B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011483693.6A CN112507081B (zh) 2020-12-16 2020-12-16 相似句匹配方法、装置、计算机设备及存储介质
PCT/CN2021/097099 WO2022127041A1 (zh) 2020-12-16 2021-05-31 相似句匹配方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011483693.6A CN112507081B (zh) 2020-12-16 2020-12-16 相似句匹配方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112507081A true CN112507081A (zh) 2021-03-16
CN112507081B CN112507081B (zh) 2023-05-23

Family

ID=74972433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011483693.6A Active CN112507081B (zh) 2020-12-16 2020-12-16 相似句匹配方法、装置、计算机设备及存储介质

Country Status (2)

Country Link
CN (1) CN112507081B (zh)
WO (1) WO2022127041A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022127041A1 (zh) * 2020-12-16 2022-06-23 平安科技（深圳）有限公司 相似句匹配方法、装置、计算机设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130013291A1 (en) * 2011-07-06 2013-01-10 Invertix Corporation Systems and methods for sentence comparison and sentence-based search
US20180121419A1 (en) * 2016-10-31 2018-05-03 Samsung Electronics Co., Ltd. Apparatus and method for generating sentence
WO2019072166A1 (zh) * 2017-10-10 2019-04-18 腾讯科技（深圳）有限公司 语义分析方法、装置和存储介质
WO2019081776A1 (en) * 2017-10-27 2019-05-02 Babylon Partners Limited METHOD AND SYSTEM FOR DETERMINATION IMPLEMENTED BY COMPUTER
WO2019114695A1 (zh) * 2017-12-15 2019-06-20 腾讯科技（深圳）有限公司 基于翻译模型的训练方法、翻译方法、计算机设备及存储介质
CN110309282A (zh) * 2019-06-14 2019-10-08 北京奇艺世纪科技有限公司 一种答案确定方法及装置
US20190370389A1 (en) * 2018-05-31 2019-12-05 Applied Brain Research Inc. Methods and systems for generating and traversing discourse graphs using artificial neural networks
CN110895553A (zh) * 2018-08-23 2020-03-20 国信优易数据有限公司 语义匹配模型训练方法、语义匹配方法及答案获取方法
CN111611809A (zh) * 2020-05-26 2020-09-01 西藏大学 一种基于神经网络的汉语语句相似度计算方法
CN111723547A (zh) * 2020-05-25 2020-09-29 河海大学 一种基于预训练语言模型的文本自动摘要方法
CN111783430A (zh) * 2020-08-04 2020-10-16 腾讯科技（深圳）有限公司 句对匹配率的确定方法、装置、计算机设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676565B2 (en) * 2010-03-26 2014-03-18 Virtuoz Sa Semantic clustering and conversational agents
CN110083690B (zh) * 2019-04-10 2022-05-03 华侨大学 一种基于智能问答的对外汉语口语训练方法及系统
CN110688491B (zh) * 2019-09-25 2022-05-10 暨南大学 基于深度学习的机器阅读理解方法、系统、设备及介质
CN110795535A (zh) * 2019-10-28 2020-02-14 桂林电子科技大学 一种深度可分离卷积残差块的阅读理解方法
CN111538838B (zh) * 2020-04-28 2023-06-16 中国科学技术大学 基于文章的问题生成方法
CN112507081B (zh) * 2020-12-16 2023-05-23 平安科技（深圳）有限公司 相似句匹配方法、装置、计算机设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130013291A1 (en) * 2011-07-06 2013-01-10 Invertix Corporation Systems and methods for sentence comparison and sentence-based search
US20180121419A1 (en) * 2016-10-31 2018-05-03 Samsung Electronics Co., Ltd. Apparatus and method for generating sentence
WO2019072166A1 (zh) * 2017-10-10 2019-04-18 腾讯科技（深圳）有限公司 语义分析方法、装置和存储介质
WO2019081776A1 (en) * 2017-10-27 2019-05-02 Babylon Partners Limited METHOD AND SYSTEM FOR DETERMINATION IMPLEMENTED BY COMPUTER
WO2019114695A1 (zh) * 2017-12-15 2019-06-20 腾讯科技（深圳）有限公司 基于翻译模型的训练方法、翻译方法、计算机设备及存储介质
US20190370389A1 (en) * 2018-05-31 2019-12-05 Applied Brain Research Inc. Methods and systems for generating and traversing discourse graphs using artificial neural networks
CN110895553A (zh) * 2018-08-23 2020-03-20 国信优易数据有限公司 语义匹配模型训练方法、语义匹配方法及答案获取方法
CN110309282A (zh) * 2019-06-14 2019-10-08 北京奇艺世纪科技有限公司 一种答案确定方法及装置
CN111723547A (zh) * 2020-05-25 2020-09-29 河海大学 一种基于预训练语言模型的文本自动摘要方法
CN111611809A (zh) * 2020-05-26 2020-09-01 西藏大学 一种基于神经网络的汉语语句相似度计算方法
CN111783430A (zh) * 2020-08-04 2020-10-16 腾讯科技（深圳）有限公司 句对匹配率的确定方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
樊甫华等: "一种利用向量空间模型快速检索文本情报的方法", 《计算机工程与科学》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022127041A1 (zh) * 2020-12-16 2022-06-23 平安科技（深圳）有限公司 相似句匹配方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2022127041A1 (zh) 2022-06-23
CN112507081B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN111931517B (zh) 文本翻译方法、装置、电子设备以及存储介质
CN112800292B (zh) 一种基于模态特定和共享特征学习的跨模态检索方法
CN112183111A (zh) 长文本语义相似度匹配方法、装置、电子设备及存储介质
CN113255320A (zh) 基于句法树和图注意力机制的实体关系抽取方法及装置
CN111368037A (zh) 基于Bert模型的文本相似度计算方法和装置
CN113239169A (zh) 基于人工智能的回答生成方法、装置、设备及存储介质
CN112232053A (zh) 一种基于多关键词对匹配的文本相似度计算系统、方法、及存储介质
WO2022095370A1 (zh) 一种文本匹配方法、装置、终端设备和存储介质
KR20220076419A (ko) 딥러닝 기반 의미역 분석을 활용하는 방법
CN111339775A (zh) 命名实体识别方法、装置、终端设备及存储介质
CN113901802A (zh) Crnn网络融合注意力机制的短文本相似度匹配方法
CN115796182A (zh) 一种基于实体级跨模态交互的多模态命名实体识别方法
CN116050352A (zh) 文本编码方法和装置、计算机设备及存储介质
CN111966811A (zh) 意图识别和槽填充方法、装置、可读存储介质及终端设备
CN114492451A (zh) 文本匹配方法、装置、电子设备及计算机可读存储介质
CN112507081A (zh) 相似句匹配方法、装置、计算机设备及存储介质
CN112052329A (zh) 文本摘要生成方法、装置、计算机设备及可读存储介质
WO2023116572A1 (zh) 一种词句生成方法及相关设备
CN111859979A (zh) 讽刺文本协同识别方法、装置、设备及计算机可读介质
CN113177406B (zh) 文本处理方法、装置、电子设备和计算机可读介质
CN115033683B (zh) 摘要生成方法、装置、设备及存储介质
CN115203388A (zh) 机器阅读理解方法、装置、计算机设备和存储介质
CN114417891A (zh) 基于粗糙语义的回复语句确定方法、装置及电子设备
CN114741487A (zh) 基于图文语义嵌入的图文检索方法及系统
CN113961701A (zh) 消息文本的聚类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant