CN111813896B - 文本三元组关系识别方法、装置、训练方法及电子设备 - Google Patents

文本三元组关系识别方法、装置、训练方法及电子设备 Download PDF

Info

Publication number
CN111813896B
CN111813896B CN202010669032.6A CN202010669032A CN111813896B CN 111813896 B CN111813896 B CN 111813896B CN 202010669032 A CN202010669032 A CN 202010669032A CN 111813896 B CN111813896 B CN 111813896B
Authority
CN
China
Prior art keywords
vector
text
speech
vectors
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010669032.6A
Other languages
English (en)
Other versions
CN111813896A (zh
Inventor
熊永福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN202010669032.6A priority Critical patent/CN111813896B/zh
Publication of CN111813896A publication Critical patent/CN111813896A/zh
Application granted granted Critical
Publication of CN111813896B publication Critical patent/CN111813896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Machine Translation (AREA)

Abstract

本申请提供一种文本三元组关系识别方法、装置、训练方法及电子设备。在该文本三元组关系识别方法中，结合待识别文本的词向量中所携带的语义信息以及词向量中的语句结构信息，丰富了待识别文本的特征信息量。并从空间维度对词向量与词性向量进行特征提取，使得在特征提取的过程中将词向量中携带的语义信息以及语句结构信息进行充分的融合。由于提取的特征融合了词向量中携带的语义信息以及语句结构信息，因此，能够发掘出待识别文本中更加准确的三元组关系。

Description

文本三元组关系识别方法、装置、训练方法及电子设备
技术领域
本申请涉及数据处理领域，具体而言，涉及一种文本三元组关系识别方法、装置、训练方法及电子设备。
背景技术
随着计算机技术的发展，智能化处理技术是目前在各类应用中的不可或缺的一部分。如在智能搜索应用中，如何识别用户查询意图。又或者在知识图谱构建过程中，如何自动构建三元组关系。在这些应用当中，通常需要识别文本中存在的三元组关系。其中，该三元组关系用于表示文本中主体与客体之间的关系属性。例如，人员的身高信息、体重信息、年龄信息或者喜好信息等。因此，所识别的三元组关系的准确程度，对提高智能应用的使用体验，具有重要意义。
发明内容
为了克服现有技术中的至少一个不足，本申请实施例的目的之一在于提供一种文本三元组关系识别方法，应用于电子设备，所述电子设备配置有预先训练的神经网络模型，所述方法包括：
获取待识别文本的词向量以及词性向量；
通过所述神经网络模型对所述词向量与所述词性向量进行空间维度的识别，获得所述待识别文本中存在的三元组关系。
可选地，所述神经网络模型包括特征提取层以及全连接层；
所述通过所述神经网络模型对所述词向量与所述词性向量进行空间维度的识别，获得所述待识别文本中存在的三元组关系的步骤，包括：
通过所述特征提取层对所述词向量与所述词性向量进行空间维度的特征提取，获得融合了所述词向量与所述词性向量的融合向量；
通过所述全连接层对所述融合向量进行处理，获得概率分布向量，其中，所述概率分布向量的每个维度对应一种三元组关系；
将所述概率分布向量的各向量值分别与预设阈值进行比较，确定所述待识别文本中存在的三元组关系。
可选地，所述特征提取层包括卷积网络层；
所述通过所述特征提取层对所述词向量与所述词性向量进行空间维度的特征提取，获得融合了所述词向量与所述词性向量的融合向量的步骤，包括：
通过所述卷积网络层对所述词向量与所述词性向量进行空间维度的特征提取，获得所述融合向量。
可选地，所述卷积网络层包括多个空洞卷积层。
可选地，所述特征提取层包还包括注意力机制层；
所述通过所述特征提取层对所述词向量与所述词性向量进行空间维度的特征提取，获得融合了所述词向量与所述词性向量的融合向量的步骤，还包括：
通过所述注意力机制层对所述融合向量的至少一部分向量值进行调整。
可选地，所述电子设备还配置有预先训练的词向量模型以及词性编码模型，所述获取待识别文本的词向量以及词性向量的步骤，包括：
通过所述词向量模型对所述待识别文本中的文字进行编码，获得所述词向量；
通过所述词性编码模型对所述待识别文本中文字的词性进行编码，获得所述词性向量。
可选地，所述词向量模型为Bert预训练模型，所述词性编码模型为经Xavier方法初始化的嵌入层Embedding。
本申请实施例的目的之二在于提供一种文本三元组关系识别装置，应用于电子设备，所述电子设备配置有预先训练的神经网络模型，所述文本三元组关系识别装置包括：
向量获取模块，用于获取待识别文本的词向量以及词性向量；
关系确定模块，用于通过所述神经网络模型对所述词向量与所述词性向量进行空间维度的识别，获得所述待识别文本中存在的三元组关系。
本申请实施例的目的之三在于提供一种训练方法，应用于电子设备，所述电子设备配置有未训练的神经网络模型，所述训练方法的步骤包括：
获取训练文本的词向量以及词性向量；
通过所述训练文本的词向量以及词性向量，训练所述神经网络模型从空间维度识别所述训练文本中的三元组关系，获得预先训练的神经网络模型。
本申请实施例的目的之四在于提供一种电子设备，所述电子设备包括处理器及存储器，所述存储器存储有计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现所述的文本三元组关系识别方法。
本申请实施例的目的之五在于提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的文本三元组关系识别方法。
相对于现有技术而言，本申请具有以下有益效果：
本申实施例提供一种文本三元组关系识别方法、装置、训练方法及电子设备。在该文本三元组关系识别方法中，结合待识别文本的词向量中所携带的语义信息以及词向量中的语句结构信息，丰富了待识别文本的特征信息量。并从空间维度对词向量与词性向量进行特征提取，使得在特征提取的过程中将词向量中携带的语义信息以及语句结构信息进行充分的融合。由于提取的特征融合了词向量中携带的语义信息以及语句结构信息，因此，能够发掘出待识别文本中更加准确的三元组关系。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备的结构示意图；
图2为本申请实施例提供的文本三元组关系识别方法的步骤流程图；
图3为本申请实施例提供的神经网络模型获取概率分布向量的示意图；
图4为本申请实施例提供的文本三元组关系识别装置的结构示意图；
图5为本申请实施例提供的训练方法的步骤流程图。
图标：110-文本三元组关系识别装置；120-存储器；130-处理器；1101-向量获取模块；1102-关系确定模块。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
如背景技术所介绍，随着计算机技术的发展，智能化处理技术是目前在各类应用中的不可或缺的一部分。如在智能搜索应用中，如何识别用户查询意图。又或者在知识图谱构建过程中，如何自动构建三元组关系。在这些应用当中，通常需要识别文本中存在的三元组关系。其中，该三元组关系用于表示文本中主体与客体之间的关系属性。例如，人员的身高信息、体重信息、年龄信息或者喜好信息等。因此，所识别的三元组关系的准确程度，对提高智能应用的使用体验，具有重要意义。
鉴于此，可以将词向量、词向量或者字词向量作为输入，通过循环神经网络对待识别文本中存在的三元组关系进行识别。该方案对较短的文本能够取的较好的识别效果，但对较长的文本的识别效果欠佳。另外，由于循环神经网络需要从时序维度获取文本中的前文信息，因此，无法进行并行的特征提取，继而效率欠佳。
本申请实施例提供一种文本三元组关系识别方法，应用于电子设备。其中，该电子设备中配置有预先训练的神经网络模型。
针对该电子设备，请参照图1，为本申请实施例提供该电子设备的硬件结构示意图。该电子设备包括文本三元组关系识别装置110、存储器120以及处理器130。
所述存储器120、处理器130以及其他各元件相互之间直接或间接地通信连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述文本三元组关系识别装置110包括至少一个可以软件或固件(firmware)的形式存储于所述存储器120中或固化在所述电子设备的操作系统(operating system，OS)中的软件功能模块。所述处理器130用于执行所述存储器120中存储的可执行模块，例如所述文本三元组关系识别装置110所包括的软件功能模块及计算机程序等。
其中，所述存储器120可以是，但不限于，随机存取存储器(Random AccessMemory，简称RAM)，只读存储器(Read Only Memory，简称ROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，可擦除只读存储器(ErasableProgrammable Read-Only Memory，简称EPROM)，电可擦除只读存储器(Electric ErasableProgrammable Read-Only Memory，简称EEPROM)等。其中，存储器120用于存储程序，处理器130在接收到执行指令后，执行所述程序。所述处理器130以及其他可能的组件对存储器120的访问可在所述存储控制器的控制下进行。
所述处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
请参照图2，为应用于该电子设备的文本三元组关系识别方法的步骤流程图。以下将对该方法包括各个步骤进行详细阐述。
步骤S100，获取待识别文本的词向量以及词性向量。
其中，该词向量为待识别文本中单个分词结果的编码结果，该词性向量为待识别文本中单个文字或者多个文字所组成词语的词性的编码结果。例如，将待识别文本中名词、代词或者形容词的编码结果。
应理解的是，该电子设备中配置的神经网络模型不能直接对待识别文本的文本数据进行直接处理，需要将其转化成特定的编码。其中，词向量携带有待识别文本的语义信息，词性向量携带有待识别文本的语句结构信息。
步骤S200，通过神经网络模型对词向量与词性向量进行空间维度的识别，获得待识别文本中存在的三元组关系。
在该文本三元组关系识别方法中，结合待识别文本的词向量中所携带的语义信息以及词向量中的语句结构信息，丰富了待识别文本的特征信息量。并从空间维度对词向量与词性向量进行特征提取，使得在特征提取的过程中将词向量中携带的语义信息以及词性向量中携带的语句结构信息进行充分的融合。由于提取的特征融合了词向量中携带的语义信息以及语句结构信息，因此，能够发掘出待识别文本中更加准确的三元组关系。
为了从空间维度对待识别文本进行识别，作为一种可能的实现方式，该神经网络模型包括特征提取层及全连接层。
其中，该电子设备通过该特征提取层对词向量与词性向量进行空间维度的特征提取，获得融合了词向量与词性向量的融合向量。基于该融合向量，该电子设备通过全连接层对融合向量进行处理，获得概率分布向量，其中，该概率分布向量的每个维度对应一种三元组关系。该电子设备将概率分布向量的各向量值分别与预设阈值进行比较，确定出待识别文本中存在的三元组关系。
针对该概率分布向量与三元组关系的对应关系，请参照图3，为本申请实施例提供该神经网络模型获取概率分布向量的示意图。该电子设备将全连接层对融合向量的处理结果映射成0和1，组成8维的概率分布向量[0、1、1、1、0、0、0、1]。其中，该概率分布向量依次对应的三元组关系为爱好篮球、爱好足球、爱好看书、身高信息、年龄信息、职业信息、体重信息、居住信息。该概率分布向量中的向量值“1”表示该待识别文本中存在该三元组关系。即通过概率分布向量[0、1、1、1、0、0、0、1]，可以确定出待识别文本中存在爱好足球、爱好看书、身高信息以及居住信息。
作为该特征提取层的一种实现方式，特征提取层包括卷积网络层。该电子设备通过卷积网络层提取特征的同时，将词向量与词性向量进行充分融合。
另外，为了提高卷积过程中，特征提取的视野范围。该卷积网络层包括多个空洞卷积层(又名，膨胀门卷积层)。应理解的是，相较于一般的卷积层，空洞卷积层能够在做卷积运算时，扩大视野感受范围，以提取更大范围内的特征信息。其中，空洞卷积层的视野感受范围通过膨胀率进行表示。
例如，在一种可能的示例中，多个空洞卷积层的膨胀率可以依次设置为[1、2、5、1、2、5、1、2、5、1、1、1]；即按照膨胀率[1、2、5]重复三次，使得膨胀的颗粒度从细到粗反复学习，如此更容易提取到待识别文本中更大范围的上下文信息。其中的[1、1、1]表示最后通过细颗粒空洞卷积层对提取的特征进行微调。
关于该空洞卷积层，以多个空洞卷积层中膨胀率为1的空洞卷积层为例。该电子设备将词向量与词性向量拼接后的拼接向量x输入到空洞卷积层中，将卷积结果的向量表示为C(x)。进一步地，该电子设备将卷积结果C(x)经Sigmoid激活函数进行处理，将处理结果的向量表示为Cσ(x)。最终，空洞卷积层的输出结果H可以表示为：
Figure BDA0002581552640000081
其中，
Figure BDA0002581552640000082
表示两向量相乘。
作为该特征提取层的另外一种实现方式，该特征提取层包括卷积层以及注意力机制层。电子设备通过特征提取层中的注意力机制层对卷积层输出的融合向量中的至少一部分向量值进行调整。
关于该注意力机制层，应理解的是，注意力机制层的加入，能够使得特征提取层在提取特征的时，能够增加有利于识别文本中三元组关系的特征的权重，使得特征提取层更多地关注待识别文本中的重要特征。
本申请实施例中，为了获取词向量以及词性向量。该电子设备还配置有预先训练的词向量模型以及词性编码模型。该电子设备通过词向量模型对待识别文本中的文字进行编码，获得词向量，以及通过词性编码模型对待识别文本中文字的词性进行编码，获得词性向量。
关于该词向量模型，以Bert预训练模型为例。该电子设备先通过分词组件Tokenizer对待识别文本进行分割，并将分割结果映射成序列编码。进一步地，该电子设备将序列编码输入到Bert预训练模型中，经Bert预训练模型处理后获得携带后语义信息的词向量。例如，若输入的序列编码的长度为L，则词向量可以表示为[L，768]。其中，768表示每个编码对应的向量维度。
关于该词性编码模型，以经Xavier方法初始化的嵌入层Embedding为例。若待识别文本为“小明几岁了，家住哪里？”。该待识别文本经分词后的词语及词性信息可以表示为：
“小明/nr几岁/m了/ul，/x家住/v哪里/r？/x”。
其中符号“/”的前后分别表示分词后的词语及其对应的词性。如“小明/nr”中“小明”表示分词结果，“nr”表示“小明”的词性为名词。
该电子设备进一步将上述获得的词性信息处理为BIO的形式。应理解的是，BIO的形式是用于能表示某个词的始终边界的一种标记方法。其中，对于单字词直接用“O-词性”表示；对于多字词，用“B-词性”表示词的开始位置，“I-词性”表示词的非开始位置。为了使得所获得的词性向量能够与词向量进行矩阵拼接，则需要确保经Xavier方法初始化的嵌入层Embedding输出的词性向量与Bert预训练模型的输出结果的长度一致，即L值需要保持一致，因此，需要添加一个用于表示开始与结束的标识符，如[start]、[end]。
最终词性信息的BIO形式可以表示为：['start'，'B-nr'，'I-nr'，'B-m'，'I-m'，'O-ul'，'O-x'，'B-v'，'I-v'，'B-r'，'I-r'，'O-x'，'end']。
该电子设备将BIO形式的词性信息经Xavier方法初始化的嵌入层Embedding进行处理后，获得待识别文本“小明几岁了，家住哪里？”的词性向量。
值得说明的是，上述Bert预训练模型与经Xavier方法初始化的嵌入层Embedding为本申请实施例所提供的一种示例，还可以通过其他方式获得待识别文本的词向量以及词性向量，本申请实施例不做过多的限定。
本申请实施例还提供一种文本三元组关系识别装置110，应用于电子设备，该电子设备配置有预先训练的神经网络模型。文本三元组关系识别装置110包括至少一个可以软件形式存储于存储器120中的功能模块。请参照图4，从功能上划分，文本三元组关系识别装置110可以包括：
向量获取模块1101，用于获取待识别文本的词向量以及词性向量。
在本申请实施例中，该向量获取模块1101用于执行图2中的步骤S100，关于该向量获取模块1101的详细描述可以参考步骤S100的详细描述。
关系确定模块1102，用于通过神经网络模型对词向量与词性向量进行空间维度的识别，获得待识别文本中存在的三元组关系。
在本申请实施例中，该关系确定模块1102用于执行图2中的步骤S200，关于该关系确定模块1102的详细描述可以参考步骤S200的详细描述。
本申请实施例还提供一种训练方法，应用于电子设备。电子设备配置有未训练的神经网络模型。请参照图5，下面就该训练方法的各步骤进行详细阐述。
步骤S500，获取训练文本的词向量以及词性向量。
步骤S600，通过所述训练文本的词向量以及词性向量，训练神经网络模型从空间维度识别训练文本中的三元组关系，获得预先训练的神经网络模型。
其中，该预先训练的神经网络模型用于识别待识别文本中的文本三元组关系。
本申请实施例还提供一种电子设备，该电子设备包括处理器130及存储器120，所述存储器120存储有计算机可执行指令，所述计算机可执行指令被所述处理器130执行时，实现所述的文本三元组关系识别方法。
本神申请实施例还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现所述的文本三元组关系识别方法。
综上所述，本申实施例提供一种文本三元组关系识别方法、装置、训练方法及电子设备。在该文本三元组关系识别方法中，结合待识别文本的词向量中所携带的语义信息以及词向量中的语句结构信息，丰富了待识别文本的特征信息量。并从空间维度对词向量与词性向量进行特征提取，使得在特征提取的过程中将词向量中携带的语义信息以及语句结构信息进行充分的融合。由于提取的特征融合了词向量中携带的语义信息以及语句结构信息，因此，能够发掘出待识别文本中更加准确的三元组关系。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述，仅为本申请的各种实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种文本三元组关系识别方法，其特征在于，应用于电子设备，所述电子设备配置有预先训练的神经网络模型，所述神经网络模型包括特征提取层以及全连接层，所述特征提取层包括卷积网络层，所述方法包括：
获取待识别文本的词向量以及词性向量；
通过所述卷积网络层对所述词向量与所述词性向量拼接后的拼接向量进行空间维度的特征提取，获得融合向量；
通过所述全连接层对所述融合向量进行处理，获得概率分布向量，其中，所述概率分布向量的每个维度对应一种三元组关系；
将所述概率分布向量的各向量值分别与预设阈值进行比较，确定所述待识别文本中存在的三元组关系。
2.根据权利要求1所述的文本三元组关系识别方法，其特征在于，所述卷积网络层包括多个空洞卷积层。
3.根据权利要求1所述的文本三元组关系识别方法，其特征在于，所述特征提取层包还包括注意力机制层，所述方法还包括：
通过所述注意力机制层对所述融合向量的至少一部分向量值进行调整。
4.根据权利要求1所述的文本三元组关系识别方法，其特征在于，所述电子设备还配置有预先训练的词向量模型以及词性编码模型，所述获取待识别文本的词向量以及词性向量的步骤，包括：
通过所述词向量模型对所述待识别文本中的文字进行编码，获得所述词向量；
通过所述词性编码模型对所述待识别文本中文字的词性进行编码，获得所述词性向量。
5.根据权利要求4所述的文本三元组关系识别方法，其特征在于，所述词向量模型为Bert预训练模型，所述词性编码模型为经Xavier方法初始化的嵌入层Embedding。
6.一种文本三元组关系识别装置，其特征在于，应用于电子设备，所述电子设备配置有预先训练的神经网络模型，所述神经网络模型包括特征提取层以及全连接层，所述特征提取层包括卷积网络层，所述文本三元组关系识别装置包括：
向量获取模块，用于获取待识别文本的词向量以及词性向量；
关系确定模块，用于通过所述卷积网络层对所述词向量与所述词性向量拼接后的拼接向量进行空间维度的特征提取，获得融合向量；
通过所述全连接层对所述融合向量进行处理，获得概率分布向量，其中，所述概率分布向量的每个维度对应一种三元组关系；
将所述概率分布向量的各向量值分别与预设阈值进行比较，确定所述待识别文本中存在的三元组关系。
7.一种训练方法，其特征在于，应用于电子设备，所述电子设备配置有未训练的神经网络模型，所述神经网络模型包括特征提取层以及全连接层，所述特征提取层包括卷积网络层，所述训练方法的步骤包括：
获取训练文本的词向量以及词性向量；
通过所述训练文本的词向量以及词性向量，训练通过所述卷积网络层对所述词向量与所述词性向量拼接后的拼接向量进行空间维度的特征提取，获得融合向量；
通过所述全连接层对所述融合向量进行处理，获得概率分布向量，其中，所述概率分布向量的每个维度对应一种三元组关系；
将所述概率分布向量的各向量值分别与预设阈值进行比较，确定所述训练文本中存在的三元组关系，获得预先训练的神经网络模型。
8.一种电子设备，其特征在于，所述电子设备包括处理器及存储器，所述存储器存储有计算机可执行指令，所述计算机可执行指令被所述处理器执行时，实现如权利要求1-5任意一项所述的文本三元组关系识别方法。
9.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1-5任意一项所述的文本三元组关系识别方法。
CN202010669032.6A 2020-07-13 2020-07-13 文本三元组关系识别方法、装置、训练方法及电子设备 Active CN111813896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010669032.6A CN111813896B (zh) 2020-07-13 2020-07-13 文本三元组关系识别方法、装置、训练方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010669032.6A CN111813896B (zh) 2020-07-13 2020-07-13 文本三元组关系识别方法、装置、训练方法及电子设备

Publications (2)

Publication Number Publication Date
CN111813896A CN111813896A (zh) 2020-10-23
CN111813896B true CN111813896B (zh) 2022-12-02

Family

ID=72841809

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010669032.6A Active CN111813896B (zh) 2020-07-13 2020-07-13 文本三元组关系识别方法、装置、训练方法及电子设备

Country Status (1)

Country Link
CN (1) CN111813896B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948536A (zh) * 2020-11-09 2021-06-11 袭明科技(广东)有限公司 网页简历页面的信息抽取方法和装置
CN112528326B (zh) * 2020-12-09 2024-01-02 维沃移动通信有限公司 信息处理方法、装置及电子设备
CN112820269A (zh) * 2020-12-31 2021-05-18 平安科技（深圳）有限公司 文本转语音方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280062A (zh) * 2018-01-19 2018-07-13 北京邮电大学 基于深度学习的实体和实体关系识别方法及装置
CN109871451A (zh) * 2019-01-25 2019-06-11 中译语通科技股份有限公司 一种融入动态词向量的关系抽取方法和系统
CN109918500A (zh) * 2019-01-17 2019-06-21 平安科技（深圳）有限公司 基于卷积神经网络的文本分类方法及相关设备
CN110196913A (zh) * 2019-05-23 2019-09-03 北京邮电大学 基于文本生成式的多实体关系联合抽取方法和装置
WO2020019686A1 (zh) * 2018-07-27 2020-01-30 众安信息技术服务有限公司 一种会话交互方法及装置
CN110928997A (zh) * 2019-12-04 2020-03-27 北京文思海辉金信软件有限公司 意图识别方法、装置、电子设备及可读存储介质
WO2020138928A1 (en) * 2018-12-24 2020-07-02 Samsung Electronics Co., Ltd. Information processing method, apparatus, electrical device and readable storage medium

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404033A (zh) * 2008-11-14 2009-04-08 北京大学 本体层级结构的自动生成方法及系统
JP5936698B2 (ja) * 2012-08-27 2016-06-22 株式会社日立製作所 単語意味関係抽出装置
CN106815194A (zh) * 2015-11-27 2017-06-09 北京国双科技有限公司 模型训练方法及装置和关键词识别方法及装置
CN109657230B (zh) * 2018-11-06 2023-07-28 众安信息技术服务有限公司 融合词向量和词性向量的命名实体识别方法及装置
CN110705315B (zh) * 2019-10-09 2022-12-30 宁波深擎信息科技有限公司 一种基于通道和空间维度的词向量训练方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280062A (zh) * 2018-01-19 2018-07-13 北京邮电大学 基于深度学习的实体和实体关系识别方法及装置
WO2020019686A1 (zh) * 2018-07-27 2020-01-30 众安信息技术服务有限公司 一种会话交互方法及装置
WO2020138928A1 (en) * 2018-12-24 2020-07-02 Samsung Electronics Co., Ltd. Information processing method, apparatus, electrical device and readable storage medium
CN109918500A (zh) * 2019-01-17 2019-06-21 平安科技（深圳）有限公司 基于卷积神经网络的文本分类方法及相关设备
CN109871451A (zh) * 2019-01-25 2019-06-11 中译语通科技股份有限公司 一种融入动态词向量的关系抽取方法和系统
CN110196913A (zh) * 2019-05-23 2019-09-03 北京邮电大学 基于文本生成式的多实体关系联合抽取方法和装置
CN110928997A (zh) * 2019-12-04 2020-03-27 北京文思海辉金信软件有限公司 意图识别方法、装置、电子设备及可读存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Frequency difference based DNA encoding methods in human splice site recognition;Elham Pashaei等;《2017 International Conference on Computer Science and Engineering (UBMK)》;20171102;586-591 *
基于深度卷积神经网络的核素能谱特征提取及识别研究;胡浩行;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;20191215(第12期);C040-10 *
基于知识库的自然语言理解;罗康琦;《中国博士学位论文全文数据库信息科技辑》;20200615(第6期);I138-106 *
学术文献的实体关系抽取研究及实现;郑钰婷;《中国优秀硕士学位论文全文数据库信息科技辑》;20200615(第6期);I138-1278 *

Also Published As

Publication number Publication date
CN111813896A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111813896B (zh) 文本三元组关系识别方法、装置、训练方法及电子设备
CN110298037B (zh) 基于增强注意力机制的卷积神经网络匹配的文本识别方法
CN110188223B (zh) 图像处理方法、装置及计算机设备
CN109388795B (zh) 一种命名实体识别方法、语言识别方法及系统
WO2019184217A1 (zh) 热点事件分类方法、装置及存储介质
CN108509407B (zh) 文本语义相似度计算方法、装置及用户终端
CN111858843B (zh) 一种文本分类方法及装置
CN110413787B (zh) 文本聚类方法、装置、终端和存储介质
CN110928992B (zh) 文本搜索方法、装置、服务器及存储介质
CN113220839B (zh) 一种意图识别方法、电子设备及计算机可读存储介质
CN107918605B (zh) 分词处理方法、装置、移动终端及计算机可读存储介质
CN112948575A (zh) 文本数据处理方法、装置和计算机可读存储介质
CN112836039A (zh) 基于深度学习的语音数据处理方法和装置
CN113836303A (zh) 一种文本类别识别方法、装置、计算机设备及介质
CN115238104A (zh) 信息层级分类模型的构建方法及装置
CN114742039A (zh) 一种中文拼写纠错方法及系统、存储介质及终端
CN110390015B (zh) 一种数据信息处理方法、装置及系统
CN110134852B (zh) 一种文档的去重方法、设备及可读介质
Choudhury et al. An adaptive thresholding-based movement epenthesis detection technique using hybrid feature set for continuous fingerspelling recognition
CN111881288A (zh) 笔录信息真假的判断方法、装置、存储介质及电子设备
CN115438718A (zh) 情感识别方法、装置、计算机可读存储介质及终端设备
CN113377961B (zh) 基于知识图谱和用户主题的意图-语义槽联合识别系统
CN111858860B (zh) 搜索信息处理方法及系统、服务器、计算机可读介质
CN114090781A (zh) 基于文本数据的容斥事件检测方法和装置
CN113010669B (zh) 一种新闻分类方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant