CN112906398A - 句子语义匹配方法、系统、存储介质和电子设备 - Google Patents

句子语义匹配方法、系统、存储介质和电子设备 Download PDF

Info

Publication number
CN112906398A
CN112906398A CN202110051094.5A CN202110051094A CN112906398A CN 112906398 A CN112906398 A CN 112906398A CN 202110051094 A CN202110051094 A CN 202110051094A CN 112906398 A CN112906398 A CN 112906398A
Authority
CN
China
Prior art keywords
sentence
semantic
vector representation
analyzed
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110051094.5A
Other languages
English (en)
Other versions
CN112906398B (zh
Inventor
张琨
吴乐
汪萌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202110051094.5A priority Critical patent/CN112906398B/zh
Priority claimed from CN202110051094.5A external-priority patent/CN112906398B/zh
Publication of CN112906398A publication Critical patent/CN112906398A/zh
Application granted granted Critical
Publication of CN112906398B publication Critical patent/CN112906398B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供一种句子语义匹配方法、系统、存储介质和电子设备，涉及句子语义匹配技术领域。本发明包括预处理待分析句子对，获取待分析句子对的向量表示；将所述向量表示输入预先训练的语义关系模型，获取待分析句子对语义匹配关系的概率；将所述概率作为待分析句子对语义关系的预测结果。基于对比学习的句子语义匹配方法，不仅通过分析输入句子的文本信息建模句子之间的语义关系；同时，通过对比属于同一标签和属于不同标签的句子对之间的关系(即关系的关系)，从而挖掘出句子对中与标签相关联的不变的特征，通过对这些特征的充分利用，实现了更为准确的句子语义表示以及句子语义关系的预测。

Description

句子语义匹配方法、系统、存储介质和电子设备
技术领域
本发明涉及句子语义匹配技术领域，具体涉及一种句子语义匹配方法、系统、存储介质和电子设备。
背景技术
句子语义匹配，即识别两个句子之间的语义关系，是自然语言处理的基础任务之一，在很多的自然语言处理任务中都有着重要体现。
目前，句子语义匹配技术主要包括两种：第一种为基于句子文本，主要形式为通过不同类型的神经网络结构编码句子语义以及进行语义匹配的度量。第二种为基于句子文本和标签编码，主要形式为不仅对句子文本进行处理，同时通过不同的方法编码整个标签集合，通过显式分析输入句子和标签之间的关系进行最终的语义关系分类。例如输入句子和标签联合建模，利用便签的编码影响整个句子的编码，从而保证生成的句子语义表示向量与标签的编码在同一空间，最终保证了更好的分类；再如多任务学习方法中通过将每个任务的标签都映射为一个向量表示，在训练了几个相关任务之后，针对新的任务，能够直接使用之前得到的结果。
但是，上述两种句子语义匹配技术均没有充分利用输入句子对的标签信息，无法准确预测句子语义表示。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种句子语义匹配方法、系统、存储介质和电子设备，解决了现有句子语义匹配技术无法准确预测句子语义表示的技术问题。
(二)技术方案
为实现以上目的，本发明通过以下技术方案予以实现：
一种句子语义匹配方法，包括：
S1、预处理待分析句子对，获取待分析句子对的向量表示；
S2、将所述向量表示输入预先训练的语义关系模型，获取待分析句子对语义匹配关系的概率；
S3、将所述概率作为待分析句子对语义关系的预测结果。
优选的，所述步骤S2具体包括：
S21、将所述向量表示输入预先训练的语义关系模型，获取待分析句子对的全局语义向量表示和局部语义向量表示；
S22、拼合所述全局语义向量表示和局部语义向量表示，获取待分析句子对的语义关系向量表示；
S23、根据所述语义关系向量表示，采用深度学习方法，获取待分析句子对语义匹配关系的概率。
优选的，所述语义关系模型的构建包括：
预处理多个句子对，获取所述多个句子对相应的向量表示；
根据所述向量表示，获取所述多个句子对的全局语义向量表示和局部语义向量表示；
拼合每个句子对的全局语义向量表示和局部语义向量表示，获取对应的语义关系向量表示；
根据任意单个句子对的语义关系向量表示，采用深度学习方法，获取该单个句子对语义匹配关系的概率；
根据任意两个句子对的语义关系向量表示，分析该两个句子对的关系；
根据三个句子对的语义关系向量表示，采用距离计算函数，分别计算锚点句子对与其他两个句子对的相似性，所述三个句子对包括锚点句子对、正例句子对和反例句子对；
根据任意单个句子对语义匹配关系的概率、任意两个句子对的关系以及锚点句子对与其他两个句子对的相似性构建所述语义关系模型。
优选的，所述语义关系模型的损失函数L为：
Figure BDA0002899086600000031
其中，N表示为整个训练数据中的样本组数；β表示为不同优化目标的权重系数，j表示第j组训练数据；
Figure BDA0002899086600000032
表示为任意单个句子对的语义关系预测优化目标：
Figure BDA0002899086600000033
其中，i表示第i个样本；yi表示模型预测的单个句子对的语义关系，
Figure BDA0002899086600000034
表示单个句子对的真实语义关系；
Figure BDA0002899086600000035
表示句子a的向量表示；
Figure BDA0002899086600000036
表示句子b的向量表示；
Figure BDA0002899086600000037
表示预测单个句子对语义匹配关系的概率；
Figure BDA0002899086600000038
表示任意两个句子对的关系预测优化目标：
Figure BDA0002899086600000039
其中，
Figure BDA00028990866000000310
表示模型预测的两个句子对的关系，
Figure BDA00028990866000000311
表示两个句子对的真实关系；
Figure BDA00028990866000000312
表示第i组任意两个句子对；
Figure BDA00028990866000000313
表示任意两个句子对的语义关系是否相同的概率；
Ld表示包括锚点句子对的三个句子对的语义关系相似性优化目标：
Ld＝max((dap-dan+α)i，0)
其中，dap表示锚点句子对与正例句子对的距离；dan表示锚点句子对与反例句子对的距离；α表示边界，保证dap与dan之间始终有差异。
优选的，所述步骤S21中获取待分析句子对的全局语义向量表示和局部语义向量表示具体包括：
拼合所述待分析句子对中每个句子的向量表示，输入预训练的BERT模型，并将得到的结果加权求和，获取待分析句子对中每个词的语义向量表示和全局语义向量表示；
将所述待分析句子对中每个词的语义向量表示输入预先训练的卷积神经网络模型，并将得到的结果一一拼接，获取待分析句子对的局部语义向量表示。
优选的，所述步骤S22具体包括：
拼合待分析句子对的全局语义向量表示和局部语义向量表示，获取对应语义关系向量表示；
根据所述对应语义关系向量表示，采用深度学习方法，获取待分析句子对语义匹配关系的概率。
一种句子语义匹配系统，包括：
预处理模块，用于预处理待分析句子对，获取待分析句子对的向量表示；
求解模块，用于将所述向量表示输入预先训练的语义关系模型，获取待分析句子对语义匹配关系的概率；
输出模块，用于将所述概率作为待分析句子对语义关系的预测结果。
一种存储介质，其存储用于句子语义匹配的计算机程序，其中，所述计算机程序使得计算机执行如上述任一项所述的句子语义匹配方法。
一种电子设备，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上述任一项所述的句子语义匹配方法。
(三)有益效果
本发明提供了一种句子语义匹配方法、系统、存储介质和电子设备。与现有技术相比，具备以下有益效果：
本发明包括预处理待分析句子对，获取待分析句子对的向量表示；将所述向量表示输入预先训练的语义关系模型，获取待分析句子对语义匹配关系的概率；将所述概率作为待分析句子对语义关系的预测结果。基于对比学习的句子语义匹配方法，不仅通过分析输入句子的文本信息建模句子之间的语义关系；同时，通过对比属于同一标签和属于不同标签的句子对之间的关系(即关系的关系)，从而挖掘出句子对中与标签相关联的不变的特征，通过对这些特征的充分利用，实现了更为准确的句子语义表示以及句子语义关系的预测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种句子语义匹配方法的流程示意图；
图2为本发明实施例提供的一种句子语义匹配系统的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请实施例通过提供一种句子语义匹配方法、系统、存储介质和电子设备，解决了现有句子语义匹配技术无法准确预测句子语义表示的技术问题，实现了更为准确的句子语义表示以及句子语义关系的预测。
本申请实施例中的技术方案为解决上述技术问题，总体思路如下：
本发明包括预处理待分析句子对，获取待分析句子对的向量表示；将所述向量表示输入预先训练的语义关系模型，获取待分析句子对语义匹配关系的概率；将所述概率作为待分析句子对语义关系的预测结果。基于对比学习的句子语义匹配方法，不仅通过分析输入句子的文本信息建模句子之间的语义关系；同时，通过对比属于同一标签和属于不同标签的句子对之间的关系(即关系的关系)，从而挖掘出句子对中与标签相关联的不变的特征，通过对这些特征的充分利用，实现了更为准确的句子语义表示以及句子语义关系的预测。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
如图1所示，本发明实施例提供了一种句子语义匹配方法，包括：
S1、预处理待分析句子对，获取待分析句子对的向量表示；
S2、将所述向量表示输入预先训练的语义关系模型，获取待分析句子对语义匹配关系的概率；
S3、将所述概率作为待分析句子对语义关系的预测结果。
本发明实施例提供的基于对比学习的句子语义匹配方法，不仅通过分析输入句子的文本信息建模句子之间的语义关系；同时，通过对比属于同一标签和属于不同标签的句子对之间的关系(即关系的关系)，从而挖掘出句子对中与标签相关联的不变的特征，通过对这些特征的充分利用，实现了更为准确的句子语义表示以及句子语义关系的预测。
实施例：
第一方面，本发明实施例提供一种句子语义匹配方法，具体包括：
S1、预处理待分析句子对，获取待分析句子对的向量表示。
待分析句子对包括句子a和句子b。其中预处理自然语言句子a、b，获取句子a、b的向量表示：
Figure BDA0002899086600000061
其中，
Figure BDA0002899086600000062
表示句子sa中的第i个词，la表示句子a包括la个词；
Figure BDA0002899086600000063
其中，
Figure BDA0002899086600000064
表示句子sb中的第j个词，lb表示句子b包括lb个词
S2、将所述向量表示输入预先训练的语义关系模型，获取待分析句子对语义匹配关系的概率，包括：
S21、将所述向量表示输入预先训练的语义关系模型，获取待分析句子对的全局语义向量表示和局部语义向量表示，具体包括：
拼合所述待分析句子对中每个句子的向量表示，将两个句子用特殊符号“[SEP]”拼接起来，输入预训练的BERT模型，并将得到的结果加权求和，获取待分析句子对中每个词的语义向量表示和全局语义向量表示。该过程可以表述为如下形式：
Figure BDA0002899086600000071
Figure BDA0002899086600000072
Figure BDA0002899086600000073
其中，
Figure BDA0002899086600000074
表示第l层特殊符号“[SPE]”对应的输出表示；Hl表示第l层句子中每个词的语义向量表示；H表示待分析句子对的每个词的向量表示；vg表示待分析句子对的全局语义向量表示；L表示预训练模型的层数。
将所述待分析句子对中每个词的语义向量表示输入预先训练的卷积神经网络模型，并将得到的结果一一拼接，获取待分析句子对的局部语义向量表示。
在得到全局语义向量表示vg之后，从局部关联的角度对句子语义进行建模，通过卷积神经网络CNN对句子中的短语或者局部结构等局部信息进行建模，作为对全局语义表示的一个补充。具体而言，利用全局语义向量表示中的每个词的语义表示H作为输入，然后利用拥有不同卷积核参数的CNN和池化操作实现了对局部内容的抽取和建模，最后再将得到的结果做一拼接，并通过一个非线性变化得到最终的局部语义向量表示vl，该过程可以表示为如下形式：
Hk＝CNNk(H)，k＝1，2，…，K (6)
Figure BDA0002899086600000075
Figure BDA0002899086600000076
Figure BDA0002899086600000081
vl＝ReLu(Whconcat+b) (10)
其中，[；]表示拼接操作；CNNk表示使用大小为k的卷积核的CNN，K表示最大的卷积核值；max表示最大池化；vg表示平均池化；
Figure BDA0002899086600000082
表示对CNNk的输出进行最大池化操作(取最大值)得到的结果，
Figure BDA0002899086600000083
表示对CNNk的输出进行平均池化操作(取平均值)得到的结果；ReLu表示非线性激活函数，W，b为模型训练的参数，vl表示待分析句子对的局部语义向量表示。
S22、拼合所述全局语义向量表示和局部语义向量表示，获取待分析句子对的语义关系向量表示，具体包括：
拼合待分析句子对的全局语义向量表示和局部语义向量表示，获取对应语义关系向量表示v：
v＝[vg；vl] (11)
S23、根据所述语义关系向量表示，采用深度学习方法，获取待分析句子对语义匹配关系的概率。
所述采用深度学习方法，例如采用多层感知机进行分类，获取待分析句子对语义匹配关系的概率P：
P(y|(sa，sb))＝MLP1(v) (12)
其中，P(y|(sa，sb))表示预测的待分析句子对语义匹配关系的概率；MLP1表示第一多层感知机；y表示模型预测的待分析句子对的语义关系。
S3、将所述概率作为待分析句子对语义关系的预测结果。
所述步骤S21中的语义关系模型的构建包括：
(1)预处理多个句子对，获取所述多个句子对相应的向量表示。
(2)根据所述向量表示，获取所述多个句子对的全局语义向量表示和局部语义向量表示。
(3)拼合每个句子对的全局语义向量表示和局部语义向量表示，获取对应的语义关系向量表示。
(4)根据任意单个句子对的语义关系向量表示，采用深度学习方法，获取该单个句子对语义匹配关系的概率
Figure BDA0002899086600000091
(5)根据任意两个句子对的语义关系向量表示v1和v2，分别对应两对输入句子
Figure BDA0002899086600000092
和
Figure BDA0002899086600000093
通过非线性变换将其映射到同一关系表示空间，通过启发式的匹配方法和多层感知机进行关系是否相同的判断，即分析该两个句子对的关系。该过程可表示如下：
Figure BDA0002899086600000094
Figure BDA0002899086600000095
Figure BDA0002899086600000096
Figure BDA0002899086600000097
其中，ReLu表示非线性激活函数；
Figure BDA0002899086600000098
分别表示语义关系向量表示v1和v2经过非线性变换映射到同一关系表示空间后的向量表示；Wr和br表示非线性变换中的参数；MLP2表示第二多层感知机；⊙表示点乘操作；
Figure BDA0002899086600000099
表示两对句子的语义关系是否相同的概率；
Figure BDA00028990866000000910
表示两个句子对的真实语义关系。
(6)根据三个句子对的语义关系向量表示va、vp和vn，分别对应输入的三对句子锚点句子对
Figure BDA00028990866000000911
正例句子对
Figure BDA00028990866000000912
和反例句子对
Figure BDA00028990866000000913
采用距离计算函数，分别计算锚点句子对与其他两个句子对的相似性，即计算锚点句子对与其他两个句子对的距离。
其中，锚点句子对
Figure BDA00028990866000000914
和正例句子对
Figure BDA00028990866000000915
有相同的语义关系，锚点句子对
Figure BDA00028990866000000916
和反例句子对
Figure BDA00028990866000000917
之间有不同的语义关系，因此
Figure BDA00028990866000000918
称之为锚点句子对。
该环节要求有相同语义关系的句子对之间的距离应该更近一些，而有不同语义关系的句子对之间的距离应该更远一些，这样，句子的语义关系在表示时区分度就更高。该过程可以用如下公式表示：
Figure BDA00028990866000000919
Figure BDA0002899086600000101
Figure BDA0002899086600000102
Figure BDA0002899086600000103
Figure BDA0002899086600000104
其中，ReLu表示非线性激活函数；
Figure BDA0002899086600000105
分别表示语义关系向量表示va、vp和vn经过非线性变换映射到同一关系表示空间后的向量表示；Wd、bd表示非线性变换中的参数；Dist表示距离计算函数，本发明实施例使用的是欧拉距离；dap表示锚点句子对与正例句子对的距离；dan表示锚点句子对与反例句子对的距离。
当上述语义关系模型的损失函数不变时，模型收敛，模型的构建完成。所述损失函数L为：
Figure BDA0002899086600000106
其中，N表示为整个训练数据中的样本组数；β表示为不同优化目标的权重系数，j表示第j组训练数据；
Figure BDA0002899086600000107
表示为任意单个句子对的语义关系预测优化目标：
Figure BDA0002899086600000108
其中，i表示第i个样本；yi表示模型预测的单个句子对的语义关系，
Figure BDA0002899086600000109
表示单个句子对的真实语义关系；
Figure BDA00028990866000001010
表示句子a的向量表示；
Figure BDA00028990866000001011
表示句子b的向量表示；
Figure BDA00028990866000001012
表示预测单个句子对语义匹配关系的概率；
Figure BDA00028990866000001013
表示任意两个句子对的关系预测优化目标：
Figure BDA00028990866000001014
其中，
Figure BDA00028990866000001015
表示模型预测的两个句子对的关系，
Figure BDA00028990866000001016
表示两个句子对的真实关系；
Figure BDA00028990866000001017
表示第i组任意两个句子对；
Figure BDA00028990866000001018
表示任意两个句子对的语义关系是否相同的概率；
Ld表示包括锚点句子对的三个句子对的语义关系相似性优化目标：
Ld＝max((dap-dan+m)i，0)
其中，dap表示锚点句子对与正例句子对的距离；dan表示锚点句子对与反例句子对的距离；α表示边界，保证dap与dan之间始终有差异。
(7)根据任意单个句子对语义匹配关系的概率、任意两个句子对的关系以及锚点句子对与其他两个句子对的相似性构建所述语义关系模型。
第二方面，如图2所示，本发明实施例提供一种句子语义匹配系统，其特征在于，包括：
预处理模块，用于预处理待分析句子对，获取待分析句子对的向量表示；
求解模块，用于将所述向量表示输入预先训练的语义关系模型，获取待分析句子对语义匹配关系的概率；
输出模块，用于将所述概率作为待分析句子对语义关系的预测结果。
可理解的是，本发明提供的句子语义匹配系统与本发明提供的句子语义匹配方法相对应，其有关内容的解释、举例和有益效果等部分可以参考句子语义匹配方法中的相应部分，此处不再赘述。
第三方面，本发明实施例提供一种存储介质，其特征在于，其存储用于句子语义匹配的计算机程序，其中，所述计算机程序使得计算机执行如上述任一项所述的句子语义匹配方法。
第四方面，本发明实施例提供一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上述任一项所述的句子语义匹配方法。
综上所述，与现有技术相比，具备以下有益效果：
1、本发明实施例包括预处理待分析句子对，获取待分析句子对的向量表示；将所述向量表示输入预先训练的语义关系模型，获取待分析句子对语义匹配关系的概率；将所述概率作为待分析句子对语义关系的预测结果。基于对比学习的句子语义匹配方法，不仅通过分析输入句子的文本信息建模句子之间的语义关系；同时，通过对比属于同一标签和属于不同标签的句子对之间的关系(即关系的关系)，从而挖掘出句子对中与标签相关联的不变的特征，通过对这些特征的充分利用，实现了更为准确的句子语义表示以及句子语义关系的预测。
2、本发明实施例与其他句子语义匹配关系预测方法相比，通过提出一个全新的关系的关系学习任务以及融合对比学习方法实现了对标签信息的充分利用，同时，本发明实施例对标签的规模没有额外的要求，泛化性能更好。而且本发明实施例并不是直接对标签进行编码，避免了额外的计算开销，具有更好的适应性。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种句子语义匹配方法，其特征在于，包括：
S1、预处理待分析句子对，获取待分析句子对的向量表示；
S2、将所述向量表示输入预先训练的语义关系模型，获取待分析句子对语义匹配关系的概率；
S3、将所述概率作为待分析句子对语义关系的预测结果。
2.如权利要求1所述的句子语义匹配方法，其特征在于，所述步骤S2具体包括：
S21、将所述向量表示输入预先训练的语义关系模型，获取待分析句子对的全局语义向量表示和局部语义向量表示；
S22、拼合所述全局语义向量表示和局部语义向量表示，获取待分析句子对的语义关系向量表示；
S23、根据所述语义关系向量表示，采用深度学习方法，获取待分析句子对语义匹配关系的概率。
3.如权利要求2所述的句子语义匹配方法，其特征在于，所述语义关系模型的构建包括：
预处理多个句子对，获取所述多个句子对相应的向量表示；
根据所述向量表示，获取所述多个句子对的全局语义向量表示和局部语义向量表示；
拼合每个句子对的全局语义向量表示和局部语义向量表示，获取对应的语义关系向量表示；
根据任意单个句子对的语义关系向量表示，采用深度学习方法，获取该单个句子对语义匹配关系的概率；
根据任意两个句子对的语义关系向量表示，分析该两个句子对的关系；
根据三个句子对的语义关系向量表示，采用距离计算函数，分别计算锚点句子对与其他两个句子对的相似性，所述三个句子对包括锚点句子对、正例句子对和反例句子对；
根据任意单个句子对语义匹配关系的概率、任意两个句子对的关系以及锚点句子对与其他两个句子对的相似性构建所述语义关系模型。
4.如权利要求3所述的句子语义匹配方法，其特征在于，所述语义关系模型的损失函数L为：
Figure FDA0002899086590000021
其中，N表示为整个训练数据中的样本组数；β表示为不同优化目标的权重系数；j表示第j组训练数据；
Figure FDA0002899086590000022
表示为任意单个句子对的语义关系预测优化目标：
Figure FDA0002899086590000023
其中，i表示第i个样本；yi表示模型预测的单个句子对的语义关系，
Figure FDA0002899086590000024
表示单个句子对的真实语义关系；
Figure FDA0002899086590000025
表示句子a的向量表示；
Figure FDA0002899086590000026
表示句子b的向量表示；
Figure FDA0002899086590000027
表示预测单个句子对语义匹配关系的概率；
Figure FDA0002899086590000028
表示任意两个句子对的关系预测优化目标：
Figure FDA0002899086590000029
其中，
Figure FDA00028990865900000210
表示模型预测的两个句子对的关系，
Figure FDA00028990865900000211
表示两个句子对的真实关系；
Figure FDA00028990865900000212
表示第i组任意两个句子对；
Figure FDA00028990865900000213
表示任意两个句子对的语义关系是否相同的概率；
Ld表示包括锚点句子对的三个句子对的语义关系相似性优化目标：
Ld＝max((dap-dan+α)i,0)
其中，dap表示锚点句子对与正例句子对的距离；dan表示锚点句子对与反例句子对的距离；α表示边界，保证dap与dan之间始终有差异。
5.如权利要求2所述的句子语义匹配方法，其特征在于，所述步骤S21中获取待分析句子对的全局语义向量表示和局部语义向量表示具体包括：
拼合所述待分析句子对中每个句子的向量表示，输入预训练的BERT模型，并将得到的结果加权求和，获取待分析句子对中每个词的语义向量表示和全局语义向量表示；
将所述待分析句子对中每个词的语义向量表示输入预先训练的卷积神经网络模型，并将得到的结果一一拼接，获取待分析句子对的局部语义向量表示。
6.如权利要求2所述的句子语义匹配方法，其特征在于，所述步骤S22具体包括：
拼合待分析句子对的全局语义向量表示和局部语义向量表示，获取对应语义关系向量表示；
根据所述对应语义关系向量表示，采用深度学习方法，获取待分析句子对语义匹配关系的概率。
7.一种句子语义匹配系统，其特征在于，包括：
预处理模块，用于预处理待分析句子对，获取待分析句子对的向量表示；
求解模块，用于将所述向量表示输入预先训练的语义关系模型，获取待分析句子对语义匹配关系的概率；
输出模块，用于将所述概率作为待分析句子对语义关系的预测结果。
8.一种存储介质，其特征在于，其存储用于句子语义匹配的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-6任一项所述的句子语义匹配方法。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如权利要求1-6任一项所述的句子语义匹配方法。
CN202110051094.5A 2021-01-14 句子语义匹配方法、系统、存储介质和电子设备 Active CN112906398B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110051094.5A CN112906398B (zh) 2021-01-14 句子语义匹配方法、系统、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110051094.5A CN112906398B (zh) 2021-01-14 句子语义匹配方法、系统、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN112906398A true CN112906398A (zh) 2021-06-04
CN112906398B CN112906398B (zh) 2024-05-14

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115510074A (zh) * 2022-11-09 2022-12-23 成都了了科技有限公司 基于一张表的分布式数据管理及应用平台
CN117669593A (zh) * 2024-01-31 2024-03-08 山东省计算中心（国家超级计算济南中心） 基于等价语义的零样本关系抽取方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960001A (zh) * 2017-02-08 2017-07-18 北京师范大学 一种检索词的实体链接方法及系统
US20200065389A1 (en) * 2017-10-10 2020-02-27 Tencent Technology (Shenzhen) Company Limited Semantic analysis method and apparatus, and storage medium
CN112084790A (zh) * 2020-09-24 2020-12-15 中国民航大学 一种基于预训练卷积神经网络的关系抽取方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106960001A (zh) * 2017-02-08 2017-07-18 北京师范大学 一种检索词的实体链接方法及系统
US20200065389A1 (en) * 2017-10-10 2020-02-27 Tencent Technology (Shenzhen) Company Limited Semantic analysis method and apparatus, and storage medium
CN112084790A (zh) * 2020-09-24 2020-12-15 中国民航大学 一种基于预训练卷积神经网络的关系抽取方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张冬瑜;崔紫娟;李映夏;张伟;林鸿飞;: "基于Transformer和BERT的名词隐喻识别", 数据分析与知识发现, no. 04 *
黄江平;姬东鸿;: "基于卷积网络的句子语义相似性模型", 华南理工大学学报(自然科学版), no. 03 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115510074A (zh) * 2022-11-09 2022-12-23 成都了了科技有限公司 基于一张表的分布式数据管理及应用平台
CN117669593A (zh) * 2024-01-31 2024-03-08 山东省计算中心（国家超级计算济南中心） 基于等价语义的零样本关系抽取方法、系统、设备及介质
CN117669593B (zh) * 2024-01-31 2024-04-26 山东省计算中心（国家超级计算济南中心） 基于等价语义的零样本关系抽取方法、系统、设备及介质

Similar Documents

Publication Publication Date Title
US11113479B2 (en) Utilizing a gated self-attention memory network model for predicting a candidate answer match to a query
WO2022007823A1 (zh) 一种文本数据处理方法及装置
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
CN109214006B (zh) 图像增强的层次化语义表示的自然语言推理方法
CN111985239A (zh) 实体识别方法、装置、电子设备及存储介质
CN111553479A (zh) 一种模型蒸馏方法、文本检索方法及装置
CN112883714B (zh) 基于依赖图卷积和迁移学习的absc任务句法约束方法
CN114330354B (zh) 一种基于词汇增强的事件抽取方法、装置及存储介质
CN109992773A (zh) 基于多任务学习的词向量训练方法、系统、设备及介质
CN112052684A (zh) 电力计量的命名实体识别方法、装置、设备和存储介质
CN113807973B (zh) 文本纠错方法、装置、电子设备及计算机可读存储介质
CN112000778A (zh) 一种基于语义识别的自然语言处理方法、装置和系统
CN110866113A (zh) 基于稀疏自注意力机制微调伯特模型的文本分类方法
CN113239702A (zh) 意图识别方法、装置、电子设备
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
CN111259147A (zh) 基于自适应注意力机制的句子级情感预测方法及系统
CN108875024B (zh) 文本分类方法、系统、可读存储介质及电子设备
CN114492661A (zh) 文本数据分类方法和装置、计算机设备、存储介质
Rodzin et al. Deep learning techniques for natural language processing
CN111723583B (zh) 基于意图角色的语句处理方法、装置、设备及存储介质
Hakimov et al. Evaluating architectural choices for deep learning approaches for question answering over knowledge bases
CN113705207A (zh) 语法错误识别方法及装置
CN111445271A (zh) 模型生成方法、作弊酒店的预测方法、系统、设备和介质
CN116362242A (zh) 一种小样本槽值提取方法、装置、设备及存储介质
CN116089605A (zh) 基于迁移学习和改进词袋模型的文本情感分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant