CN113468295A - 主宾对应关系的确定方法、装置、计算机设备及存储介质 - Google Patents

主宾对应关系的确定方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113468295A
CN113468295A CN202110839668.5A CN202110839668A CN113468295A CN 113468295 A CN113468295 A CN 113468295A CN 202110839668 A CN202110839668 A CN 202110839668A CN 113468295 A CN113468295 A CN 113468295A
Authority
CN
China
Prior art keywords
sentence
subject
predicted
character
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110839668.5A
Other languages
English (en)
Other versions
CN113468295B (zh
Inventor
孙思
曹锋铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202110839668.5A priority Critical patent/CN113468295B/zh
Publication of CN113468295A publication Critical patent/CN113468295A/zh
Application granted granted Critical
Publication of CN113468295B publication Critical patent/CN113468295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种主宾对应关系的确实方法、装置、计算机设备及存储介质，涉及信息技术领域，主要在于能够提高主语和宾语搭配的准确度。其中方法包括：获取待预测语句；提取所述待预测语句对应的语句特征向量；基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系；基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系。本发明适用于对主宾对应关系进行确定。

Description

主宾对应关系的确定方法、装置、计算机设备及存储介质
技术领域
本发明涉及信息技术领域，尤其涉及一种主宾对应关系的确定方法、装置、计算机设备及存储介质。
背景技术
信息抽取是自然语言处理任务的基本任务之一，它是阅读理解，对话系统，机器翻译等任务的基础，在信息抽取的过程中，需要将文本每句话中的主语和宾语进行搭配。
目前，在将语句中的主语和宾语进行搭配的过程中，通常先识别语句中包含的主语和宾语，之后根据主语和宾语之间的位置远近，进行主语和宾语的搭配。然而，在这种方式中，如果语句过长，同一组的主语和宾语很可能会距离较远，因此仅根据位置远近进行搭配，很可能导致主语和宾语搭配错误，或者当语句中涉及多个主语和宾语时，这种仅根据位置远近进行搭配的方式，会导致主语和宾语搭配的准确度不高。
发明内容
本发明提供了一种主宾对应关系的确定方法、装置、计算机设备及存储介质，主要在于能够提高主语和宾语搭配的准确度。
根据本发明第一个方面，提供了一种主宾对应关系的确定方法，包括：
获取待预测语句；
提取所述待预测语句对应的语句特征向量；
基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系；
基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系。
根据本发明第二个方面，提供了一种主宾对应关系的确定装置，该装置包括：
获取单元，用于获取待预测语句；
提取单元，用于提取所述待预测语句对应的语句特征向量；
预测单元，用于基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系；
确定单元，用于基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系。
根据本发明的第三个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
获取待预测语句；
提取所述待预测语句对应的语句特征向量；
基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系；
基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系。
根据本发明的第四个方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
获取待预测语句；
提取所述待预测语句对应的语句特征向量；
基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系；
基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系。
本发明提供的一种主宾对应关系的确定方法、装置、计算机设备及存储介质，与目前先识别语句中包含的主语和宾语，之后根据主语和宾语之间的位置远近，进行主语和宾语的搭配的方式相比，本申请通过获取待预测语句；并提取所述待预测语句对应的语句特征向量；与此同时，基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系；最终基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系，由此通过提取待预测语句对应的语句特征向量，能够预测待预测语句中各个字符对对应的连接关系，并根据各个字符对对应的连接关系，来搭配待预测语句中存在的主语和宾语，从而能够避免根据主语和宾语之间的位置远近来搭配主语和宾语，进而提高了待预测语句中主语和宾语搭配的准确度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1示出了本发明实施例提供的一种主宾对应关系的确定方法流程图；
图2示出了本发明实施例提供的另一种主宾对应关系的确定方法流程图；
图3示出了本发明实施例提供的字符对对应的连接关系的示意图；
图4示出了本发明实施例提供的一种主宾对应关系的确定装置的结构示意图；
图5示出了本发明实施例提供的另一种主宾对应关系的确定装置的结构示意图；
图6示出了本发明实施例提供的一种计算机设备的实体结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
目前，在将语句中的主语和宾语进行搭配的过程中，通常先识别语句中包含的主语和宾语，之后根据主语和宾语之间的位置远近，进行主语和宾语的搭配，这种方式会导致主语和宾语搭配的准确度较低。
为了解决上述问题，本发明实施例提供了一种主宾对应关系的确定方法，如图1所示，所述方法包括：
101、获取待预测语句。
其中，待预测语句由多个字符组成，且待预测语句中包括主语、谓语和宾语。为了解决现有技术中无法准确地搭配语句中主语和宾语的问题，本方案通过提取待预测语句对应的语句特征向量，能够预测语句中各个字符对对应的连接关系，并基于该连接关系，确定该待预测语句中主语和宾语之间的对应关系，由此能够避免根据待预测语句中主语和宾语之间的位置远近来搭配主语和宾语，进而提高了待预测语句中主语和宾语搭配的准确度。本发明实施例主要适用于确定待预测语句中主语和宾语之间的对应关系的场景，本发明实施例的执行主体为能够对主宾对应关系进行确定的装置或者设备，具体可以设置在客户端或者服务器一侧。
具体地，用户可以在装置侧直接输入或者上传待预测文本，并触发主宾对应关系的确定指令，当装置侧接收到用户触发的主宾对应关系的确定指令后，基于待预测文本中的标点符号，如逗号或者句号，能够将待预测文本拆分成多个待预测语句，进而分别确定多个待预测语句中主语和宾语之间的对应关系，以实现待预测语句中主语和宾语的搭配。
102、提取所述待预测语句对应的语句特征向量。
对于本发明实施例，可以利用transformer模型中的编码器提取待预测语句对应的语句特征向量，transformer模型中包括多个编码器，如transformer模型具有6个编码器，每个编码器之间首尾连接，上一个编码器的输出作为下一个编码器的输入，此外，每个编码器中均包括注意力层和前馈神经网络层，注意力层的输出作为前馈神经网络层的输入。
具体地，以一个编码器的内部处理过程为例，说明语句特征向量的提取过程，首先对各个字符进行向量化处理，在向量化处理的同时引入各个字符的位置信息，得到各个字符对应的第一特征向量，之后将各个字符对应的第一特征向量输入至编码器的注意力层，利用注意力层的多头注意力机制，提取各个字符之间的关联信息向量，即各个字符对应的注意力层输出向量，其中，第一特征向量和注意力层输出向量的具体确定过程，见步骤202和203，进一步地，为了提高语句特征向量的提取精度，将各个字符对应的注意力层输出向量和第一特征向量残差相加，得到各个字符对应的第三特征向量，之后再将第三特征向量输入至编码器的前馈神经网络层进行特征提取，得到前馈神经网络层的输出向量。进一步地，再将该编码器中前馈神经网络层的输出向量与第三特征向量残差相加，并将相加后的向量再输入至下一编码器的注意力层和前馈神经网络层，由此经过多个编码器的处理，最后一个编码器输出的向量即为待预测语句对应的语句特征向量。根据提取的语句特征向量，能够预测待预测语句中各个字符对对应的连接关系，进而根据该连接关系，能够确定待预测语句中主语和宾语之间的对应关系。
103、基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系。
其中，各个字符对为待预测语句的各个字符中任意两个字符组成的字符对，字符对对应的连接关系包括主语的头部字和主语的尾部字之间的连接关系，宾语的头部字和宾语的尾部字之间的连接关系，主语的头部字和宾语的头部字之间的连接关系，主语的尾部字和宾语的尾部字之间的连接关系。
对于本发明实施例，为了预测各个字符对对应的连接关系，将提取的待预测语句对应的语句特征向量输入至预设分类模型中，其中该预设分类模型具体可以为预设多层感知器，该预设多层感知器包括输入层、隐藏层和输出层。在进行分类的过程中，将待预测语句对应的语句特征向量输入至预设多层感知器中进行分类，得到待预测语句中各个字符对属于不同关系标签的概率值；基于所述概率值，确定各个字符对对应的关系标签。
具体地，待预测语句对应的语句特征向量包括每个字符对应的特征向量，将各个字符对中每个字符对应的特征向量通过预设多层感知器的输入层输入至隐藏层，通过该隐藏层输出的结果为：
f(w1x1+w2x2+b)
其中，x1和x2分别为各个字符对中每个字符对应的特征向量，W1和W2为隐藏层的权重，也是预设多层感知器的连接系数，b1为隐藏层的偏置系数，f函数通常可以采用sigmoid函数或者tanh函数。
Figure BDA0003178349240000061
Figure BDA0003178349240000062
进一步地，再将该结果输入至输出层，通过该输出层进行分类，得到的分类结果为：
softmax(w3f(w1x1+w2x2+b1)+b2)
Figure BDA0003178349240000063
其中，W3为输出层的权重系数，b2为输出层的偏置系数，通过预设多层感知器的输出层能够输出各个字符对属于不同关系标签的概率值，将最大概率值对应的关系标签，确定为各字符对对应的关系标签
Figure BDA0003178349240000064
从而能够确定待预测语句中所有字符对对应的关系标签
Figure BDA0003178349240000065
进一步地，根据各个字符对对应的关系标签
Figure BDA0003178349240000066
能够确定各个字符对对应的连接关系，具体地，各个字符对对应的关系标签可以为0，1，2，3，其中，0代表字符对中的两个字符无连接关系，1代表主语的头部字和主语的尾部字之间的连接关系，或者宾语的头部字和宾语的尾部字之间的连接关系，2代表主语的头部字和宾语的头部字之间的连接关系，3代表主语的尾部字和宾语的尾部字之间的连接关系，进一步地，根据主语的头部字和宾语的头部字之间的连接关系，以及主语的尾部字和宾语的尾部字之间的连接关系，还能够确定主语和宾语之间具体为哪一种关系。由此利用该预设分类模型，能够确定待预测语句中各个字符对对应的连接关系，以便根据该连接关系，确定待预测语句中主语和宾语之间的对应关系，从而能够避免根据主语和宾语之间的位置远近进行主宾搭配，提高了主语和宾语搭配的准确度。
在具体应用场景中，在提取待预测语句对应的语句特征向量之前，要将编码器和多层感知器作为一个整体进行训练，具体地，可以将标注有关系标签的样本语句作为训练集，基于该训练集对初始化的编码器和多层感知器进行训练，根据预测的关系标签和真实的关系标签，构建交叉熵损失函数Loss，如下所示，
Figure BDA0003178349240000071
其中，
Figure BDA0003178349240000072
为预测的各个字符对对应的关系标签，label为真实的各个字符对对应的关系标签，基于该交叉熵损失函数Loss，构建预设编码器和预设多层感知器，进而利用构建的预设编码器，提取待预测语句对应的语句特征向量，并根据所述语句特征向量，利用预设多层感知器预测主语和宾语之间的对应关系。通过预先对编码器和预设多层感知器进行训练，提高了待预测语句中主语和宾语之间搭配的准确度。
104、基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系。
对于本发明实施例，根据各个字符对对应的连接关系，能够确定存在主语的头部字和主语的尾部字连接关系的字符对，宾语的头部字和宾语的尾部字连接关系的字符对，主语的头部字和宾语的头部字连接关系的字符对，以及主语的尾部字和宾语的尾部字连接关系的字符对，进一步地，根据存在主语的头部字和主语的尾部字连接关系的字符对，以及存在宾语的头部字和宾语的尾部字连接关系的字符对，能够确定待预测语句中存在的主语和宾语，与此同时，根据存在主语的头部字和宾语的头部字连接关系的字符对，以及主语的尾部字和宾语的尾部字连接关系的字符对，能够确定待预测语句存在的主语和宾语之间的对应关系，即根据存在上述连接关系的字符对，能够自动进行主宾搭配。
本发明提供的一种主宾对应关系的确定方法，与目前先识别语句中包含的主语和宾语，之后根据主语和宾语之间的位置远近，进行主语和宾语的搭配的方式相比，本申请通过获取待预测语句；并提取所述待预测语句对应的语句特征向量；与此同时，基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系；最终基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系，由此通过提取待预测语句对应的语句特征向量，能够预测待预测语句中各个字符对对应的连接关系，并根据各个字符对对应的连接关系，来搭配待预测语句中存在的主语和宾语，从而能够避免根据主语和宾语之间的位置远近来搭配主语和宾语，进而提高了待预测语句中主语和宾语搭配的准确度。
进一步的，为了更好的说明上述主宾对应关系的确定过程，作为对上述实施例的细化和扩展，本发明实施例提供了另一种主宾对应关系的确定方法，如图2所示，所述方法包括：
201、获取待预测语句。
对于本发明实施例，为了确定一个文本中所有语句的主宾对应关系，需要先将待预测文本拆分成多个待预测语句，再分别确定多个待预测语句中主语和宾语之间的对应关系，以完成待预测语句中主语和宾语之间的搭配。
202、确定所述待预测语句中包含的各个字符，并根据所述各个字符在所述待预测语句中的位置信息，确定所述各个字符对应的第一特征向量。
其中，位置信息具体可以为各个字符在待预测语句中的位置顺序，例如，待预测语句为“马化腾毕业于深圳大学”，字符“马”对应的位置信息为1，字符“化”对应的位置信息为2，以此类推，能够确定待预测语句中各个字符对应的位置信息。
对于本发明实施例，为了确定各个字符对应的第一特征向量，步骤202具体包括：对所述各个字符进行向量化处理，得到所述各个字符对应的字符向量；根据所述各个字符对应的位置信息，确定所述各个字符对应的位置编码；将所述字符向量和所述位置编码相加，得到所述各个字符对应的第一特征向量。
具体地，首先通过Word2Vec等词嵌入方法将待预测语句中的各个字符转化为字符向量，之后根据所述各个字符对应的位置信息，对各个字符进行编码，得到各个字符对应的位置编码，具体可以根据如下公式确定各个字符对应的位置编码，
Figure BDA0003178349240000091
Figure BDA0003178349240000092
其中，PE为各个字符对应的位置编码，其维度与各个字符对应的字符向量维度相同，pos表示各个字符在待预测语句中的位置，dmodel表示字符向量的维度，i表示字符向量的位置，上述公式表示在每个字符的字符向量的偶数位置添加sin变量，奇数位置添加cos变量，由此能够得到各个字符对应的位置编码，之后将各个字符对应的字符向量和位置编码相加，得到所述各个字符对应的第一特征向量，并将所述第一特征向量作为编码器的输入。
203、将所述第一特征向量输入至预设编码器中进行语句特征提取，得到所述待预测语句对应的语句特征向量。
其中，所述预设编码器包括注意力层和前馈神经网络层，所述注意力层中包括多个注意力子空间，即本发明实施例中的注意力层采用多头注意力机制，进一步地，为了提高语句特征向量提取的精度，本发明实施例中利用6个串联的预设编码器对待预测语句进行语句特征向量的提取。
对于本发明实施例，为了获取待预测语句对应的语句特征向量，步骤203具体包括：将所述第一特征向量输入至所述注意力层中的不同注意力子空间进行特征提取，得到所述各个字符在所述不同注意力子空间下的第二特征向量；将所述各个字符在所述不同注意力子空间下的第二特征向量与所述不同注意力子空间对应的权重相乘并求和，得到所述各个字符对应注意力层的输出向量；将所述注意力层输出向量和所述第一特征向量相加，得到所述各个字符对应的第三特征向量；将所述第三特征向量输入至所述前馈神经网络层中进行特征提取，得到所述待预测语句对应的语句特征向量。
其中，不同注意力子空间对应的权重不同，通过随机初始化编码器能够得到不同注意力子空间下的权重，具体地，将各个字符对应的第一特征向量输入至第一个编码器注意力层的不同注意力子空间中，得到各个字符在不同注意力子空间下的第二特征向量，并将不同注意力子空间下的第二特征向量和不同注意力子空间下的权重相乘并求和，得到第一个编码器中注意力层的输出向量，然后将所述注意力层的输出向量与注意力层的输入向量(第一特征向量)残差相加，得到各个字符对应的第三特征向量，并将所述第三特征向量输入至前馈神经网络层，得到前馈神经网络层的输出向量，再将前馈神经网络层的输出向量与前馈神经网络层的输入向量即第三特征向量残差相加，得到第一个编码器的输出向量，因为本发明实施例中的6个编码器之间采用串联的方式，因此将第一个编码器的输出向量输入至第二个编码器中进行特征提取，得到第二个编码器的输出向量，以此将前一个编码器的输出向量作为下一个编码器的输入向量，最终将最后一个编码器的输出向量确定为待预测语句对应的语句特征向量。需要说明的是，本发明实施例中还可以采用其他神经网络模型提取待预测语句对应的语句特征向量，例如，利用卷积神经网络提取待预测语句对应的语句特征向量。
进一步地，针对确定各个字符在所述不同注意力子空间下的第二特征向量的具体过程，作为一种可选实施例，所述方法包括：根据所述第一特征向量，确定所述各个字符在所述不同注意力子空间下的查询向量、键向量和值向量；将所述各个字符中的目标字符在所述不同注意力子空间下的查询向量与所述各个字符在所述不同注意力子空间下的键向量相乘，得到所述各个字符在所述不同注意力子空间下针对所述目标字符的注意力分值；将所述各个字符在不同注意力子空间下的注意力分值和所述键向量相乘并求和，得到所述目标字符在所述不同注意力空间下的第二特征向量。其中，目标字符可以为各个字符中的任意一个字符。
具体地，先将各个字符对应的第一特征向量与注意力层中不同注意力子空间对应的权重相乘，得到各个字符在不同注意力子空间下的查询向量、键向量和值向量，需要说明的是，每个注意力子空间下的权重不同，通过随机初始化预设编码器，能够得到不同注意力子空间下的权重。
进一步地，根据不同子空间下各个字符分别对应的查询向量、键向量和值向量，计算在不同注意力子空间下各个字符对应的第二特征向量，具体地，以任一子空间下各个字符对应的查询向量、键向量和值向量为例，说明第二特征向量的计算过程，首先将各个字符中任意一个字符(目标字符)对应的查询向量与各个字符对应的键向量相乘，得到各个字符针对目标字符的注意力分值，之后将各个字符对应的注意力分值和值向量相乘并求和，得到目标字符对应的第二特征向量，由此按照上述方式能够得到各个字符在该注意力子空间下的第二特征向量，进一步地，根据各个字符在不同注意力子空间下的查询向量、键向量和值向量，能够得到各个字符在不同注意力子空间下的第二特征向量。
204、基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系。
对于本发明实施例，为了预测所述待预测语句中各个字符对对应的连接关系，步骤204具体包括：将所述语句特征向量输入至预设分类模型中，得到所述待预测语句的各个字符中任意两个字符组成的字符对对应的关系标签；根据所述关系标签，确定所述待预测语句中各个字符对对应的连接关系。
其中，预设分类模型具体可以为预设多层感知器，对于本发明实施例，将待预测语句对应的语句特征向量输入至预设多层感知器中进行分类，得到待预测语句对应的各个字符中任意两个字符组成的字符对对应的关系标签，并根据该关系标签，确定待预测语句中各个字符对对应的连接关系，具体地，各个字符对对应的关系标签可以用0，1，2，3表示，若所述各个字符对中的目标字符对对应的关系标签为1，则确定所述目标字符对中的字符存在主语的头部字和主语的尾部字之间的连接关系或者宾语的头部字和宾语的尾部字之间的连接关系；若所述目标字符对对应的关系标签为2，则确定所述目标字符对中的字符存在主语的头部字和宾语的头部字之间的连接关系；若所述目标字符对对应的关系标签为3，则确定所述目标字符对中的字符存在主语的尾部字和宾语的尾部字之间的连接关系。其中，该目标字符对指待预测语句中各个字符对中的任意一个字符对。
如图3所示，对待预测语句“马化腾毕业于深圳大学”进行预测，通过预设多层感知器输出得到各个字符对对应的关系标签，见下表：
表1
马 化 腾 毕 业 于 深 圳 大 学
马 0 0 0 0 0 0 0 0 0 0
化 0 0 0 0 0 0 0 0 0 0
腾 1 0 0 0 0 0 0 0 0 0
毕 0 0 0 0 0 0 0 0 0 0
业 0 0 0 0 0 0 0 0 0 0
于 0 0 0 0 0 0 0 0 0 0
深 2 0 0 0 0 0 0 0 0 0
圳 0 0 0 0 0 0 0 0 0 0
大 0 0 0 0 0 0 0 0 0 0
学 0 0 3 0 0 0 1 0 0 0
由上表可知，关系标签1对应的字符对“马”和“腾”存在主语的头部字和主语的尾部字之间的连接关系，字符对“深”和“学”存在宾语的头部字和宾语的尾部字之间的连接关系，由此能够确定主语和宾语分别为“马化腾”和”深圳大学”，进一步地，关系标签2对应的字符对“马”和“深”存在主语的头部字和宾语的头部字之间的连接关系，关系标签3对应的字符对“腾”和“学”存在主语的尾部字和宾语的尾部字之间的连接关系，根据上述确定的字符对对应的连接关系，能够确定主语“马化腾”和宾语“深圳大学”之间存在对应关系，进而实现主语和宾语的搭配。
205、基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系。
对于本发明实施例，为了确定所述待预测语句中主语和宾语之间的对应关系，步骤205具体包括：根据所述各个字符对存在的所述主语的头部字和主语的尾部字之间的连接关系，以及所述宾语的头部字和宾语的尾部字之间的连接关系，确定所述待预测语句中存在的主语和宾语；若所述主语和所述宾语组成的字符对存在所述主语的头部字和宾语的头部字之间的连接关系，以及所述主语的尾部字和宾语的尾部字之间的连接关系，则判定所述主语和所述宾语之间存在对应关系。
紧着上面的例子，根据关系标签1对应的主语头部字和主语尾部字之间的连接关系，以及宾语头部字和宾语尾部字之间的连接关系，能够确定待预测语句中主语和宾语分别为“马化腾”和“深圳大学”，与此同时，“马化腾”和“深圳大学”组成的字符对存在标签2对应的主语头部字和宾语头部字之间的连接关系，以及关系标签3对应的主语尾部字和宾语尾部字之间的连接关系，因此能够确定“马化腾”和“深圳大学”存在主宾对应关系，进一步地，还可以确定主语“马化腾”和宾语“深圳大学”之间的具体关系是“毕业于”。再比如，待预测语句为“《冰山上的来客》是戴冰执导的军事悬疑片，由王洛勇等主演”，根据上述方式输出的各个字符对对应的关系标签，能够确定「《冰山上的来客》导演戴冰」，「《冰山上的来客》类型悬疑」，「王洛勇主演《冰山上的来客》」等主宾对应关系。
本发明提供的另一种主宾对应关系的确定方法，与目前先识别语句中包含的主语和宾语，之后根据主语和宾语之间的位置远近，进行主语和宾语的搭配的方式相比，本申请通过获取待预测语句；并提取所述待预测语句对应的语句特征向量；与此同时，基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系；最终基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系，由此通过提取待预测语句对应的语句特征向量，能够预测待预测语句中各个字符对对应的连接关系，并根据各个字符对对应的连接关系，来搭配待预测语句中存在的主语和宾语，从而能够避免根据主语和宾语之间的位置远近来搭配主语和宾语，进而提高了待预测语句中主语和宾语搭配的准确度。
进一步地，作为图1的具体实现，本发明实施例提供了一种主宾对应关系的确定装置，如图4所示，所述装置包括获取单元31、提取单元32、预测单元33和确定单元34。
所述获取单元31，可以用于获取待预测语句。
所述提取单元32，可以用于提取所述待预测语句对应的语句特征向量。
所述预测单元33，可以用于基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系。
所述确定单元34，可以用于基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系。
在具体应用场景中，为了提取待预测语句对应的语句特征向量，如图5所示，所述提取单元32，包括确定模块321和提取模块322。
所述确定模块321，可以用于确定所述待预测语句中包含的各个字符，并根据所述各个字符在所述待预测语句中的位置信息，确定所述各个字符对应的第一特征向量。
所述提取模块322，可以用于将所述第一特征向量输入至预设编码器中进行语句特征提取，得到所述待预测语句对应的语句特征向量。
在具体应用场景中，所述预设编码器包括注意力层和前馈神经网络层，所述提取模块322，包括第一提取子模块、相乘求和子模块、相加子模块和第二提取子模块。
所述第一提取子模块，可以用于将所述第一特征向量输入至所述注意力层中的不同注意力子空间进行特征提取，得到所述各个字符在所述不同注意力子空间下的第二特征向量。
所述相乘求和子模块，可以用于将所述各个字符在所述不同注意力子空间下的第二特征向量与所述不同注意力子空间对应的权重相乘并求和，得到所述各个字符对应的注意力层输出向量。
所述相加子模块，可以用于将所述注意力层输出向量和所述第一特征向量相加，得到所述各个字符对应的第三特征向量。
所述第二提取子模块，可以用于将所述第三特征向量输入至所述前馈神经网络层中进行特征提取，得到所述待预测语句对应的语句特征向量。
在具体应用场景中，为了获取第二特征向量，所述第一提取子模块具体可以用于根据所述第一特征向量，确定所述各个字符在所述不同注意力子空间下的查询向量、键向量和值向量；将所述各个字符中的目标字符在所述不同注意力子空间下的查询向量与所述各个字符在所述不同注意力子空间下的键向量相乘，得到所述各个字符在所述不同注意力子空间下针对所述目标字符的注意力分值；将所述各个字符在不同注意力子空间下的注意力分值和所述键向量相乘并求和，得到所述目标字符在所述不同注意力空间下的第二特征向量。
在具体应用场景中，为了预测所述待预测语句中各个字符对对应的连接关系，所述预测单元33，包括分类模块331和确定模块332。
所述分类模块331，可以用于将所述语句特征向量输入至预设分类模型中，得到所述待预测语句的各个字符中任意两个字符组成的字符对对应的关系标签。
所述确定模块332，可以用于根据所述关系标签，确定所述待预测语句中各个字符对对应的连接关系。
在具体应用场景中，为了确定各个字符对对应的连接关系，所述确定模块332，具体可以用于若所述各个字符对中的目标字符对对应的关系标签为1，则确定所述目标字符对中的字符存在主语的头部字和主语的尾部字之间的连接关系或者宾语的头部字和宾语的尾部字之间的连接关系；若所述目标字符对对应的关系标签为2，则确定所述目标字符对中的字符存在主语的头部字和宾语的头部字之间的连接关系；若所述目标字符对对应的关系标签为3，则确定所述目标字符对中的字符存在主语的尾部字和宾语的尾部字之间的连接关系。
在具体应用场景中，为了确定主宾之间的对应关系，所述确定单元34，包括：确定模块341和判定模块342,。
所述确定模块341，可以用于根据所述各个字符对存在的所述主语的头部字和主语的尾部字之间的连接关系，以及所述宾语的头部字和宾语的尾部字之间的连接关系，确定所述待预测语句中存在的主语和宾语。
所述判定模块342，可以用于若所述主语和所述宾语组成的字符对存在所述主语的头部字和宾语的头部字之间的连接关系，以及所述主语的尾部字和宾语的尾部字之间的连接关系，则判定所述主语和所述宾语之间存在对应关系。
需要说明的是，本发明实施例提供的一种主宾对应关系的确定装置所涉及各功能模块的其他相应描述，可以参考图1所示方法的对应描述，在此不再赘述。
基于上述如图1所示方法，相应的，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：获取待预测语句；提取所述待预测语句对应的语句特征向量；基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系；基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系。
基于上述如图1所示方法和如图4所示装置的实施例，本发明实施例还提供了一种计算机设备的实体结构图，如图6所示，该计算机设备包括：处理器41、存储器42、及存储在存储器42上并可在处理器上运行的计算机程序，其中存储器42和处理器41均设置在总线43上所述处理器41执行所述程序时实现以下步骤：获取待预测语句；提取所述待预测语句对应的语句特征向量；基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系；基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系。
通过本发明的技术方案，本发明通过获取待预测语句；并提取所述待预测语句对应的语句特征向量；与此同时，基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系；最终基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系，由此通过提取待预测语句对应的语句特征向量，能够预测待预测语句中各个字符对对应的连接关系，并根据各个字符对对应的连接关系，来搭配待预测语句中存在的主语和宾语，从而能够避免根据主语和宾语之间的位置远近来搭配主语和宾语，进而提高了待预测语句中主语和宾语搭配的准确度。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种主宾对应关系的确定方法，其特征在于，包括：
获取待预测语句；
提取所述待预测语句对应的语句特征向量；
基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系；
基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系。
2.根据权利要求1所述的方法，其特征在于，所述提取所述待预测语句对应的语句特征向量，包括：
确定所述待预测语句中包含的各个字符，并根据所述各个字符在所述待预测语句中的位置信息，确定所述各个字符对应的第一特征向量；
将所述第一特征向量输入至预设编码器中进行语句特征提取，得到所述待预测语句对应的语句特征向量。
3.根据权利要求2所述的方法，其特征在于，所述预设编码器包括注意力层和前馈神经网络层，所述将所述第一特征向量输入至预设编码器中进行语句特征提取，得到所述待预测语句对应的语句特征向量，包括：
将所述第一特征向量输入至所述注意力层中的不同注意力子空间进行特征提取，得到所述各个字符在所述不同注意力子空间下的第二特征向量；
将所述各个字符在所述不同注意力子空间下的第二特征向量与所述不同注意力子空间对应的权重相乘并求和，得到所述各个字符对应的注意力层输出向量；
将所述注意力层输出向量和所述第一特征向量相加，得到所述各个字符对应的第三特征向量；
将所述第三特征向量输入至所述前馈神经网络层中进行特征提取，得到所述待预测语句对应的语句特征向量。
4.根据权利要求3所述的方法，其特征在于，所述将所述第一特征向量输入至所述注意力层中的不同注意力子空间进行特征提取，得到所述各个字符在所述不同注意力子空间下的第二特征向量，包括：
根据所述第一特征向量，确定所述各个字符在所述不同注意力子空间下的查询向量、键向量和值向量；
将所述各个字符中的目标字符在所述不同注意力子空间下的查询向量与所述各个字符在所述不同注意力子空间下的键向量相乘，得到所述各个字符在所述不同注意力子空间下针对所述目标字符的注意力分值；
将所述各个字符在不同注意力子空间下的注意力分值和所述键向量相乘并求和，得到所述目标字符在所述不同注意力空间下的第二特征向量。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系，包括：
将所述语句特征向量输入至预设分类模型中，得到所述待预测语句的各个字符中任意两个字符组成的字符对对应的关系标签；
根据所述关系标签，确定所述待预测语句中各个字符对对应的连接关系。
6.根据权利要求5所述的方法，其特征在于，所述根据所述关系标签，确定所述待预测语句中各个字符对对应的连接关系，包括：
若所述各个字符对中的目标字符对对应的关系标签为1，则确定所述目标字符对中的字符存在主语的头部字和主语的尾部字之间的连接关系或者宾语的头部字和宾语的尾部字之间的连接关系；
若所述目标字符对对应的关系标签为2，则确定所述目标字符对中的字符存在主语的头部字和宾语的头部字之间的连接关系；
若所述目标字符对对应的关系标签为3，则确定所述目标字符对中的字符存在主语的尾部字和宾语的尾部字之间的连接关系。
7.根据权利要求6所述的方法，其特征在于，所述基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系，包括：
根据所述各个字符对存在的所述主语的头部字和主语的尾部字之间的连接关系，以及所述宾语的头部字和宾语的尾部字之间的连接关系，确定所述待预测语句中存在的主语和宾语；
若所述主语和所述宾语组成的字符对存在所述主语的头部字和宾语的头部字之间的连接关系，以及所述主语的尾部字和宾语的尾部字之间的连接关系，则判定所述主语和所述宾语之间存在对应关系。
8.一种主宾对应关系的确定装置，其特征在于，包括：
获取单元，用于获取待预测语句；
提取单元，用于提取所述待预测语句对应的语句特征向量；
预测单元，用于基于所述语句特征向量输入至预设分类模型进行分类，根据分类结果预测所述待预测语句中各个字符对对应的连接关系；
确定单元，用于基于所述各个字符对对应的连接关系，确定所述待预测语句中存在的主语和宾语，并根据所述主语和所述宾语组成的字符对对应的连接关系，判定所述主语和所述宾语之间是否存在对应关系。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110839668.5A 2021-07-23 2021-07-23 主宾对应关系的确定方法、装置、计算机设备及存储介质 Active CN113468295B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110839668.5A CN113468295B (zh) 2021-07-23 2021-07-23 主宾对应关系的确定方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110839668.5A CN113468295B (zh) 2021-07-23 2021-07-23 主宾对应关系的确定方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113468295A true CN113468295A (zh) 2021-10-01
CN113468295B CN113468295B (zh) 2024-05-17

Family

ID=77882285

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110839668.5A Active CN113468295B (zh) 2021-07-23 2021-07-23 主宾对应关系的确定方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113468295B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457676A (zh) * 2019-06-26 2019-11-15 平安科技（深圳）有限公司 评价信息的提取方法及装置、存储介质、计算机设备
US20200012953A1 (en) * 2018-07-03 2020-01-09 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating model
CN111444349A (zh) * 2020-03-06 2020-07-24 深圳追一科技有限公司 信息抽取方法、装置、计算机设备和存储介质
CN112069309A (zh) * 2020-09-14 2020-12-11 腾讯科技（深圳）有限公司 信息获取方法、装置、计算机设备及存储介质
CN113128203A (zh) * 2021-03-30 2021-07-16 北京工业大学 基于注意力机制的关系抽取方法、系统、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200012953A1 (en) * 2018-07-03 2020-01-09 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for generating model
CN110457676A (zh) * 2019-06-26 2019-11-15 平安科技（深圳）有限公司 评价信息的提取方法及装置、存储介质、计算机设备
CN111444349A (zh) * 2020-03-06 2020-07-24 深圳追一科技有限公司 信息抽取方法、装置、计算机设备和存储介质
CN112069309A (zh) * 2020-09-14 2020-12-11 腾讯科技（深圳）有限公司 信息获取方法、装置、计算机设备及存储介质
CN113128203A (zh) * 2021-03-30 2021-07-16 北京工业大学 基于注意力机制的关系抽取方法、系统、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑诚;夏青松;孙昌年;: "一种基于成分的句子相似度计算", 计算机技术与发展, no. 12, 10 December 2012 (2012-12-10), pages 107 - 110 *

Also Published As

Publication number Publication date
CN113468295B (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
CN108875074B (zh) 基于交叉注意力神经网络的答案选择方法、装置和电子设备
CN108052512B (zh) 一种基于深度注意力机制的图像描述生成方法
CN104615767B (zh) 搜索排序模型的训练方法、搜索处理方法及装置
CN110765785B (zh) 基于神经网络的中英翻译方法、及其相关设备
CN109325229B (zh) 一种利用语义信息计算文本相似度的方法
CN111291165B (zh) 训练词向量嵌入模型的方法及装置
WO2015165372A1 (en) Method and apparatus for classifying object based on social networking service, and storage medium
McCool et al. Session variability modelling for face authentication
US11461613B2 (en) Method and apparatus for multi-document question answering
Horn Context encoders as a simple but powerful extension of word2vec
CN116226357B (zh) 一种输入中包含错误信息场景下的文档检索方法
CN116992007A (zh) 基于问题意图理解的限定问答系统
CN116910307A (zh) 一种跨模态视频文本检索方法、系统、设备及介质
CN109597906B (zh) 图像检索方法及装置
CN112559640B (zh) 图谱表征系统的训练方法及装置
US20210365719A1 (en) System and method for few-shot learning
CN110413745B (zh) 选择代表文本的方法、确定标准问题的方法及装置
Huang et al. Flow of renyi information in deep neural networks
CN114662668A (zh) 神经网络训练方法、语义相似度计算方法及语义检索系统
CN113468295A (zh) 主宾对应关系的确定方法、装置、计算机设备及存储介质
CN113408302B (zh) 一种机器翻译结果的评估方法、装置、设备及存储介质
CN113963235A (zh) 一种跨类别图像识别模型重用方法和系统
CN113962221A (zh) 一种文本摘要的提取方法、装置、终端设备和存储介质
CN111708872A (zh) 对话方法、装置及电子设备
CN113204679A (zh) 一种代码查询模型的生成方法和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant