CN111709240A - 实体关系抽取方法、装置、设备及其存储介质 - Google Patents

Abstract

本申请公开了实体关系抽取方法、装置、设备及其存储介质。该方法包括：对待处理文本进行实体处理得到实体序列，该实体序列包括多个候选实体对；按照待处理文本所包含的特征项进行特征提取，得到文本特征向量；按照候选实体对和候选实体对之间的候选关系进行特征提取，得到知识特征向量；对文本特征向量和知识特征向量进行融合处理，得到文本知识融合特征；对文本知识融合特征进行分类处理，得到每个候选实体对的对应关系。本申请实施例提供的技术方案可以获取待处理文本的多个维度的特征来提高实体关系抽取的准确率。

Description

实体关系抽取方法、装置、设备及其存储介质

技术领域

本申请一般涉及自然语言处理技术领域，尤其涉及实体关系抽取方法、装置、设备及其存储介质。

背景技术

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。在自然语言处理过程中，实体关系抽取作为知识图谱构建的重要组成部分，但是相关技术进行关系抽取时，存在抽取效果较差的问题。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种实体关系抽取方法、装置、设备及其存储介质，来提高实体关系抽取的准确性。

一方面，本申请实施例提供了一种实体关系抽取方法，该方法包括：

对待处理文本进行实体处理得到实体序列，该实体序列包括多个候选实体对；

按照待处理文本所包含的特征项进行特征提取，得到文本特征向量；

按照候选实体对和候选实体对之间的关系进行特征提取，得到知识特征向量；

对文本特征向量和知识特征向量进行融合处理，得到文本知识融合特征；

对文本知识融合特征进行分类处理，得到每个候选实体对的对应关系。

一方面，本申请实施例提供了一种实体关系抽取装置，该装置包括：

实体处理单元，用于对待处理文本进行实体处理得到实体序列，该实体序列包括多个候选实体对；

第一特征提取单元，用于按照待处理文本所包含的特征项进行特征提取，得到文本特征向量；

第二特征提取单元，用于按照候选实体对和候选实体对之间的关系进行特征提取，得到知识特征向量；

文本知识特征融合单元，用于对文本特征向量和知识特征向量进行融合处理，得到文本知识融合特征；

关系分类处理单元，用于对文本知识融合特征进行分类处理，得到每个候选实体对的对应关系。

一方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如本申请实施例描述的方法。

一方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序用于：

该计算机程序被处理器执行时实现如本申请实施例描述的方法。

本申请实施例提供的实体关系抽取方法、装置、设备及其存储介质，该方法通过对待处理文本进行实体处理得到实体序列，该实体序列包括多个候选实体对；按照待处理文本所包含的特征项进行特征提取，得到文本特征向量；按照候选实体对和候选实体对之间的关系进行特征提取，得到知识特征向量；对文本特征向量和知识特征向量进行融合处理，得到文本知识融合特征；对文本知识融合特征进行分类处理，得到每个候选实体对的对应关系。本申请实施例通过获取待处理文本的多个维度的特征，来提高实体关系抽取的准确率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请实施例提供的实体关系抽取系统的架构示意图；

图2示出了适于用来实现本申请实施例的用户终端或服务器的计算机系统的结构示意图；

图3示出了本申请实施例提供的实体关系抽取方法的流程示意图；

图4示出了本申请实施例提供的实体关系抽取方法的流程示意图；

图5示出了本申请实施例提供知识图谱嵌入模型的训练过程；

图6示出了本申请实施例提供的实体关系抽取方法的流程示意图；

图7示出了本申请实施例提供的实体关系抽取方法的完整流程图；

图8示出了本申请实施例提供的实体关系抽取装置的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关公开，而非对该公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与公开相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

技术术语说明

候选实体：是指具有可区别性且独立存在的某种事物。例如人名、地名、商品等。候选实体对是指任意两个或多个候选实体组合而成。

关系抽取：对候选实体对所包含的两个实体或多个实体之间的关系进行判断是否存在关系。

关系分类:对候选实体对所包含的两个实体之间存在多种关系时，判断候选实体对之间的关系属于哪类关系。

特征项，是指文本所包含的基本语言单位的统称，基本语言单位可以包括字、词、词组、短语、句子、段落等，这些都统称为特征项。

本申请实施例提供的实体关系抽取方法，可以应用于如图1所示的应用环境中。请参考图1，图1是本申请实施例提供的实体关系抽取系统的架构示意图。如图1所示，其中，用户终端101可以通过网络102与服务器103进行通信。其中，用户终端101可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。

用户终端101与服务器103之间通过有线或无线通信网络102进行直接或间接地连接。可选地，上述的无线通信网络或有线通信网络可以使用标准通信技术和/或协议。网络通常为因特网，也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。

服务器103可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。其中，服务器103向终端设备101提供的检索结果。

当接收到用户终端101发送的搜索请求时，可以基于预先构建的知识图谱库，通过对实体之间的语义信息进行深入挖掘，进一步分析理解用户的搜索意图，因此，知识图谱库中实体关系抽取结果的准确性，可以影响向用户终端101提供的搜索结果的准确性。

下面参考图2，图2示出了适于用来实现本申请实施例的用户终端或服务器的计算机系统的结构示意图。

如图2所示，计算机系统包括中央处理单元(CPU)201，其可以根据存储在只读存储器(ROM)202中的程序或者从存储部分208加载到随机访问存储器(RAM)203中的程序而执行各种适当的动作和处理。在RAM 203中，还存储有系统操作所需的各种程序和数据。CPU201、ROM 202以及RAM 203通过总线204彼此相连。输入/输出(I/O)接口205也连接至总线504。

以下部件连接至I/O接口205：包括键盘、鼠标等的输入部分206；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分207；包括硬盘等的存储部分208；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分209。通信部分209经由诸如因特网的网络执行通信处理。驱动器210也根据需要连接至I/O接口205。可拆卸介质211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器210上，以便于从其上读出的计算机程序根据需要被安装入存储部分208。

特别地，根据本申请的实施例，下文参考流程图图3描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分209从网络上被下载和安装，和/或从可拆卸介质211被安装。在该计算机程序被中央处理单元(CPU)201执行时，执行本申请的系统中限定的下述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件方式实现，也可以通过硬件方式来实现。

在一些实施例中，本发明实施例提供的装置可以采用软件方式实现，可以存储在存储部分208中或者可拆卸介质211中，其可以是程序和插件等形式的软件，根据所实现的功能可以进行任意的组合或进一步拆分，将在下文中说明各个模块的功能。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括实体处理单、第一特征提取单元、第二特征提取单元、融合特征单元以及分类处理单元。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，实体处理单元还可以被描述为“用于对待处理文本进行实体处理得到实体序列的单元”。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是下述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当前述程序被一个或者一个以上的处理器用来执行描述于本申请的实体关系抽取方法。例如，电子设备可以实现如图3所示的各个步骤。

在另一些实施例中，本发明实施例提供的装置可以采用硬件方式实现，例如硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的实体关系抽取方法。

本申请实施例提供的实体关系抽取方法，可以应用于图1中的用户终端，也可以应用于服务器。

下面结合图3理解本申请实施例提出的实体关系抽取方法，以该方法应用于服务器为例进行说明。请参考图3，图3示出了本申请实施例提供的实体关系抽取方法的流程示意图。如图3所示，该方法包括：

步骤301，对待处理文本进行实体处理得到实体序列，该实体序列包括多个候选实体对；

步骤302，按照待处理文本所包含的特征项进行特征提取，得到文本特征向量；

步骤303，按照候选实体对和候选实体对之间的候选关系进行特征提取，得到知识特征向量；

步骤304，对文本特征向量和知识特征向量进行融合处理，得到文本知识融合特征；

步骤305，对文本知识融合特征进行分类处理，得到每个候选实体对的对应关系。

在上述步骤中，服务器对待处理文本进行实体处理，可以是用户终端发送请求来触发的，也可以是服务器根据预先配置的信息触发的。例如用户终端向服务器发送请求，用于请求对待处理文本进行关系抽取。服务器接收请求后，生成关系抽取任务来对待处理文本进行关系抽取。或者，服务器按照预先配置信息生成关系抽取任务。其中，待处理文本可以是通过爬取工具从互联网上爬取得到的文本。也可以是其他的文档，例如存储在数据库中文本数据。待处理文本可以包括一个，也可以包括两个或者两个以上，即多个。

实体处理可以利用命名实体识别(Named Entity Recognition，简称NER)从待处理文本中提取出所包含的候选实体。也可以利用其它实体获取方式来获取。NER识别得到的候选实体可以包括人名、地名、机构名、专有名词等。

实体序列是指从待处理文本中提取的所有候选实体构成的集合。

对待处理文本进行实体提取，得到多个候选实体；

对多个候选实体中的任意两个进行组合，得到实体序列。

在实体处理之后，对待处理文本分别从多个维度进行特征提取得到多个特征向量。多个维度是指用于表征待处理文本的文本信息，或者用于从待处理文本获取的知识信息。多个特征向量可以包括文本特征向量和知识特征向量。

其中，文本特征向量是针对待处理文本所包含的特征项提取得到的，例如针对待处理文本所包含的字提取得到与字对应的字向量。针对待处理文本所包含的字提取得到与词对应的词向量。

其中，知识特征向量是针对候选实体对和候选实体对之间的关系提取得到的。例如在待处理文本中包括多个候选实体对{(s₁，o₁)，……，(s_m-1，o_m-1)}，其中，s为候选实体对的首实体，o为候选实体对的尾实体。m-1表示构建的候选实体对的数量。

假设针对候选实体对(s₁，o₁)，利用预先构建的知识图谱嵌入模型进行处理，得到与候选实体对(s₁，o₁)对应的实体向量

以及候选实体对(s₁，o₁)对应的候选关系p_i对应的嵌入向量

嵌入向量也可以称为候选关系对应的关系向量。基于实体向量和所有嵌入向量计算得到候选实体对(s₁，o₁)对应的知识特征向量，该知识特征向量可以表示为

其中，

表示候选实体对(s₁，o₁)的第i个候选关系的评分值，p_i是候选实体对(s₁，o₁)的第i种候选关系。k表示候选实体对(s₁，o₁)之间存在的候选关系的数量。候选关系是指在预先构建的知识图谱嵌入模型中候选实体对之间已经存在的关系。

然后，对文本特征向量和知识特征向量进行融合处理，得到融合特征。该融合特征可以基于待处理文本所包含的文本信息和知识信息来表征候选实体对之间的关系。对融合特征进行分类处理可以得到候选的对应关系，该对应关系是根据候选关系对应的概率值，在候选实体对之间的存在多种候选关系中，确定的与概率值最大者所对应的候选关系。

分类处理，是指利用多分类算法判断融合特征属于候选实体对的多个候选关系对应的概率值。例如，多分类算法可以是softmax分类层。Softmax分类层包括全连接层，即可以是将融合特征输入到全连接层，通过全连接层进行多分类处理。多分类算法也可以通过卷积神经网络或者长短记忆网络构建的分类模型，通过分类模型对多个候选关系进行多分类识别，得到候选实体对之间的对应关系。

本申请实施例通过提取多个维度的特征向量来实现实体关系抽取，相对于相关技术中仅利用文本自身的特征项信息进行关系抽取，本申请可以有效地提高关系提取的准确率。

请参考图4，图4示出了本申请实施例提供的实体关系抽取方法的流程示意图。如图4所示，该方法包括：

步骤401，对待处理文本进行实体处理得到实体序列，该实体序列包括多个候选实体对。

步骤402，对待处理文本按照特征项粒度进行切分处理，得到与待处理文本对应的特征项序列，该特征项序列包括多个特征项；

步骤403，基于特征项序列构建文本特征向量；

步骤404，调用预先构建的知识图谱嵌入模型分别对多个候选实体对进行关系嵌入处理，得到与每个候选实体对对应的知识特征向量。知识图谱嵌入模型是利用已知的知识图谱对待处理文本进行标注后得到的训练数据集进行训练得到的。

步骤405，对文本特征向量和知识特征向量进行融合处理，得到文本知识融合特征；

步骤406，对文本知识融合特征进行分类处理，得到每个候选实体对的对应关系。

在上述步骤中，可以分为两个处理方向对待处理文本进行处理。即对待处理文本提取文本特征向量和对待处理文本提取知识特征向量。其中对待处理文本提取文本特征向量可以先按照特征粒度进行切分处理和调用预先构建的指示图谱嵌入模型分别对多个候选实体进行关系嵌入处理，切分处理和关系嵌入处理两个步骤的执行顺序不作限定。优选地，两个步骤同步执行，有利于节省处理时间，提高处理效率。

其中，特征项粒度是指对待处理文本进行切分的单位。特征项粒度可以是字粒度，词粒度，句子粒度、段落粒度等，特征项粒度可以是这些切分单位中任意一种，也可以是多种切分单位的组合。优选地，特征项粒度为字粒度和词粒度的组合。对待处理文本可以分别按照字粒度和词粒度进行切分处理，得到字序列和词序列。切分处理可以理解为分词处理，分词对象为单个汉字或者两个汉字构成的词语。字序列是指将待处理文本进行切分处理后得到的字的集合。词序列是指将待处理文本进行切分处理后得到的词的集合。

在对待处理文本进行切分处理之后，基于特征项序列构建文本特征向量可以包括以下步骤：将特征项序列转换成与特征项序列对应的特征项向量；获取与特征项序列对应的特征项位置信息；基于特征项向量和特征项位置信息进行卷积池化处理，得到文本特征向量。

调用预先构建的知识图谱嵌入模型分别对多个候选实体对进行关系嵌入处理，可以理解为利用预先构建的知识图谱嵌入模型对候选实体对之间的多种候选关系进行特征提取，作为嵌入关系向量。嵌入关系向量可以用每种候选关系对应的关系评分结果作为元素。即可以将每个候选实体对输入到知识图谱嵌入模型，输出与每个候选实体对相对应的关系评分结果；对每个关系评分结果分别进行归一化处理，再取倒数得到与每个关系评分结果相对应的关系特征值；将多个关系特征值每一个作为知识特征向量所包含的元素。

其中知识图谱嵌入模型的训练过程如图5所示。图5示出了本申请实施例提供知识图谱嵌入模型的训练过程。通过爬虫工具获取大量的互联网文本，利用命名实体识别方法从自然文本中抽取得到互联网文本所包含的训练实体序列，将训练实体序列中任意两个实体构建成训练实体对。利用知识库所包含的图谱关系对互联网文本所包含的数据进行标注，例如图谱关系是以三元组形式表示(s，p，o)。对训练实体对(s，o)进行正训练样本标注。即如果互联网文本中包含训练实体对(s，o)，则将训练实体对(s，o)标注关系p。如果互联网文本中不包含训练实体对(s，o)，则标注“NA”关系。

然后，利用训练实体对(s，o)的实体类型来限制负训练样本标注，将训练实体对的实体类型标记为(Τ_s，Τ_o)，根据知识库获取训练实体对(s，o)相关的关系集合(R_s，R_o)，在关系集合(R_s，R_o)中随机选取一个关系p′作为训练实体对(s，o)的关系，生成负训练样本(s，p′，o)。关系集合是与第一个训练实体s相关的关系R_s，与第二个训练实体o相关的关系R_o组成的并集，即R_s∪R_o。

将正训练样本和负训练样本构成的训练样本集合用于训练知识图谱嵌入模型。将知识库作为先验知识来训练知识图谱嵌入模型，可以引入文本以外的额外的信息，相对于相关技术仅提取文本自身的信息用于关系提取，本申请实施例利用知识图谱嵌入模型可以有效地提取文本中实体对之间预测关系信息，来提升关系抽取的准确率。

可选地，获取与特征项序列对应的特征项位置信息还可以包括以下步骤：

获取每个特征项与候选实体对中第一个候选实体之间的第一相对位置和每个特征项与候选实体对中第二候选实体之间的第二相对位置；

将第一相对位置和第二相对位置进行拼接处理，得到与每个特征项一一对应的位置信息；

将与每个特征项一一对应的位置信息进行拼接处理，得到与特征项序列对应的特征项位置信息。

可选地，基于特征项向量和特征项位置信息进行卷积池化处理，得到文本特征向量还可以包括以下步骤：对特征项向量和特征项位置信息进行融合处理，得到特征项融合向量；对与待处理文本对应的特征项向量进行一维卷积操作，得到卷积结果；对卷积结果按照候选实体对进行分段最大池化处理，得到多个池化结果；将多个池化结果进行拼接，得到文本特征向量。

上述融合处理是指将特征项向量和特征项位置信息进行拼接处理，下面以特征项粒度为多种粒度组合为例，进一步说明本申请提供的实体关系抽取方法。请参考图6，图6示出了本申请实施例提供的实体关系抽取方法的流程示意图。

步骤601，对待处理文本进行实体处理得到实体序列，该实体序列包括多个候选实体对；

步骤602a，对待处理文本按照字粒度进行切分处理，得到与待处理文本对应的字序列。

步骤602b，对待处理文本按照词粒度进行切分处理，和与待处理文本对应的词序列。

步骤602c，调用预先构建的知识图谱嵌入模型分别对多个候选实体对进行关系嵌入处理，得到与每个候选实体对对应的知识特征向量。其中知识图谱嵌入模型是利用已知的知识图谱对待处理文本进行标注后得到的训练数据集进行训练得到的。

步骤603a，将字序列转换成与字序列对应的字向量。

步骤603b，将词序列转换成与词序列对应的词向量。

步骤604a，获取与字序列对应的字位置信息。

步骤604b，获取与词序列对应的词位置信息。

步骤605a，对字向量和字位置信息进行卷积池化处理，得到与字序列对应的字特征向量。

步骤605b，对词向量和词位置信息进行卷积池化处理，得到与词序列对应的词特征向量。

步骤606，将字特征向量与所述词特征向量进行融合处理，得到字词融合特征；

步骤607，将字词融合特征进行线性处理得到文本特征向量。

步骤608，对文本特征向量和知识特征向量进行融合处理，得到文本知识融合特征；

步骤609，对文本知识融合特征进行分类处理，得到每个候选实体对的对应关系。

在上述步骤中，基于特征项向量和特征项位置信息进行卷积池化处理，可以按照不同的特征项粒度分别进行处理。

其中，针对字向量和字位置信息进行卷积池化处理可以包括以下步骤：

对字向量和字位置信息进行融合处理，得到字融合特征；

对字融合特征进行一维卷积操作，得到第一卷积结果；

对第一卷积结果按照候选实体对进行分段最大池化处理，得到多个第一池化结果；

将多个第一池化结果进行拼接，得到与字序列对应的字特征向量。

其中，针对词向量和词位置信息进行卷积池化处理可以包括以下步骤：

对词向量和词位置信息进行融合处理，得到词融合特征；

对词融合特征进行一维卷积操作，得到第二卷积结果；

对第二卷积结果按照候选实体对进行分段最大池化处理，得到多个第二池化结果；

将多个第二池化结果进行拼接，得到与词序列对应的字特征向量。

对卷积结果按照候选实体进行分段最大池化处理可以包括：将卷积结果按照字或者词与候选实体对的相对位置关系划分成多个卷积段，例如第一卷积段为待处理文本的第一个字到候选实体对的第一候选实体的卷积结果，第二卷积段是第一候选实体到第二候选实体的卷积结果，第三卷积段是第二候选实体到待处理文本的最后一个字的卷积结果。

分别对三个卷积段中的每一个进行最大池化处理得到三个池化结果，将三个池化结果进行拼接处理，得到字特征向量。

同理，对第二卷积结果也进行相同的上述处理，可以得到词特征向量。通过最大池化来获取固定维度的输出。

上述线性处理是对字词融合特征进行线性变换的处理。例如可以通过以下公式来实现对字词融合特征f的线性变换：

f′＝σ(Gf+b)

其中，G和b为线性参数，σ是激活函数。

本申请实施例在关系抽取模型中同时考虑字级别、词级别信息和实体对之间的嵌入关系信息，可以减轻模型受到分词错误的影响，从而提升模型的抽取准确率。

下面结合图7对本申请实施例提供的实体关系抽取方法进行详细描述。图7示出了本申请实施例提供的实体关系抽取方法的完整流程图。本申请实施例提供的实体关系抽取方法，大致可以包括两个阶段，即模型训练阶段和模型应用阶段。

在模型训练阶段通过如图5所示的模型训练方法，构建知识图谱嵌入模型。

在模型应用阶段，获取输入文本之后，利用命名实体识别方法从输入文本中识别出多个实体，得到多个实体构成实体序列。

对上述输入文本进行词嵌入位置编码、字嵌入位置编码以及候选实体对(s,o)的构建。

对输入文本进行字嵌入位置编码处理包括：对输入文本按照字切分处理得到字序列C＝{c₁,c₂,…c_m}，获取输入文本对应的文本字向量表示为

其中，

表示第i个字对应的字向量；将m个字对应的字向量拼接成输入文本对应的文本字向量。

根据输入文本中每个字与候选实体对(s,o)之间的位置关系来获取输入文本对应的文本字位置信息

其中，

表示第i个字与候选实体s的相对位置，

表示第i个字与候选实体o的相对位置。即将输入文本按照距离候选实体的距离，得到与候选实体s和候选实体o对应的位置编码数据；

然后将文本字向量与文本字位置信息进行融合处理后得到文本字融合特征

其中

即与第i个字对应的字融合特征是将第i个字对应的字向量、第i个字与第i个字相对于候选实体s的位置信息，第i个字与相对于候选实体o的位置信息拼接而成的。文本字融合特征则是输入文本所有字拼接而成的。

在得到文本字融合特征之后，对文本字融合特征进行一维卷积处理，得到卷积结果

然后将卷积结果划分成三段，其中

表示文本第一个字到候选实体s的卷积结果；

表示候选实体s到候选实体o的卷积结果；

表示候选实体o到文本尾最后一个字的卷积结果。

分别对上述三段卷积结果进行最大池化，池化结果分别表示与第i段卷积结果对应的池化结果为

其中，

表示第i段卷集对第j段卷积结果的池化结果，

表示第i个卷积核的池化结果，i取值为[1,3]中任一个。

然后将上述三个池化结果进行拼接得到字特征

通过上述一维卷积和分段最大池化操作，可以基于文本字融合特征得到相应的字特征向量。

同理，可以利用开源分词工具对输入文本进行分词处理，即按照此粒度进行切分得到输入文本的词序列W＝{w₁,w₂,…,w_n}。利用开源分词工具还可以获取与词序列对应的文本词向量：

按照与上述字处理相同的步骤，获取文本词位置信息：

基于文本词向量和文本词位置信息进行融合可以得到词融合特征：

其中，

与第i个词对应的词融合特征是将第i个词对应的词向量、第i个词相对于候选实体s的位置信息，第i个词相对于候选实体o的位置信息拼接而成的。文本词融合特征则是输入文本所有词拼接而成的。

按照与上述字处理相同的特征抽取步骤，对文本词融合特征进行一维卷积处理，得到卷积结果

然后,将卷积结果划分成三段，其中

表示文本第一个词到候选实体s的卷积结果；

表示候选实体s到候选实体o的卷积结果；

表示候选实体o到文本尾最后一个词的卷积结果。

分别对上述三段卷积结果进行最大池化，池化结果分别表示与第i段卷积结果对应的池化结果为

其中，

表示第i段卷集对第j段卷积结果的池化结果，

表示第i个卷积核的池化结果，i取值为[1,3]中任一个。

然后将上述三个池化结果进行拼接得到字特征

通过上述一维卷积和分段最大池化操作，可以基于文本词融合特征得到相应的词特征向量。

再利用图5训练构建的知识图谱嵌入模型，获取输入文本中候选实体对之间的嵌入向量。即将候选实体对输入到知识图谱嵌入模型，输出每个候选实体对应的实体向量，即候选实体对对应的实体向量

候选实体对(s₁，o₁)对应的候选关系p_i对应的嵌入向量

然后基于知识图谱嵌入模型的打分函数对候选关系p_i进行评分：

其中，

是基于知识图谱嵌入模型得到的候选实体s对应的实体向量，

是基于知识图谱嵌入模型得到的候选实体o对应的实体向量，

是基于知识图谱嵌入模型得到的与候选实体对(s,o)之间的候选关系p_i对应的嵌入向量。

基于上述打分函数计算得到候选实体对的候选关系p_i对应的评分结果，然后对该评分结果进行归一化处理，即按照下述公式进行归一化处理得到：

分别计算候选实体对(s,o)的所有候选关系的评分结果，得到

其中k为候选实体对(s,o)对应的关系数量。将f_e作为知识特征向量。

在得到字特征向量、词特征向量和知识特征向量之后，进行三者的融合处理，可以通过先将字特征向量和词特征向量进行拼接处理得到字词拼接向量

然后使用线性变换处理将字词拼接向量f_WC转换成k维得到文本特征向量，即f_WC′＝σ(Gf_WC+b)。其中，G和b为线性参数，σ是激活函数。

将文本特征向量f_WC′与知识特征向量f_e按照下述公式进行融合处理，得到文本知识融合特征：

f＝αf_e+(1-α)f_WC′

最后，对文本知识融合特征输入到softmax层，softmax层用于从多个候选关系中选择最大概率值所对应的候选关系作为与候选实体对(s,o)对应的关系，作为softmax层的输出。

将输出结果再反馈到知识库中可以对候选实体对(s,o)之间的关系进行修正，提升了实体关系抽取的准确率。

应当注意，尽管在附图中以特定顺序描述了本申请提出的方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

下面继续说明本申请实施例提供的实体关系抽取装置。请参考图7，图7示出了本申请实施例提供的实体关系抽取装置的结构示意图。本申请实施例提供的装置可以采用软件或者硬件方法来实现，结合图7，示例性说明存储在存储部分或者可拆卸介质中实体关系抽取装置可以包括：

实体处理单元701，用于对待处理文本进行实体处理得到实体序列，该实体序列包括多个候选实体对；

第一特征提取单元702，用于按照待处理文本所包含的特征项进行特征提取，得到文本特征向量；

第二特征提取单元703，用于按照候选实体对和候选实体对之间的关系进行特征提取，得到知识特征向量；

文本知识特征融合单元704，用于对文本特征向量和知识特征向量进行融合处理，得到文本知识融合特征；

关系分类处理单元705，用于对文本知识融合特征进行分类处理，得到每个候选实体对的对应关系。

实体处理单元701还可以包括：

实体提取子单元，用于对待处理文本进行实体提取，得到多个候选实体；

实体组合子单元，用于对多个候选实体中的任意两个进行组合，得到实体序列。

第一特征提取子单元，用于对待处理文本提取文本特征向量；第二特征提取子单元，用于对待处理文本提取知识特征向量。

其中第一特征提取子单元，还包括：

文本切分模块，用于对待处理文本按照特征项粒度进行切分处理，得到与待处理文本对应的特征项序列，该特征项序列包括多个特征项；

向量构建模块，用于基于特征项序列构建文本特征向量。

向量构建模块还用于：

将特征项序列所包含的每个特征项转换成与每个特征项对应的特征项向量；

获取与特征项序列所包含的每个特征项相对应的特征项位置信息；

基于与特征项序列对应的特征项向量和与特征项序列对应的特征项位置信息进行卷积池化处理，得到文本特征向量。

向量构建模块还用于：获取每个特征项与候选实体对中第一个候选实体之间的第一相对位置和每个特征项与候选实体对中第二个候选实体之间的第二相对位置；

将第一相对位置和第二相对位置进行拼接处理，得到与每个特征项一一对应的特征项位置信息。

向量构建模块还用于：

将与每个特征项一一对应的特征项向量进行拼接处理，得到与特征项序列对应的特征项向量；

将与每个特征项一一对应的特征项位置信息进行拼接处理，得到与特征项序列对应的特征项位置信息；

对与特征项序列对应的特征项向量和与特征项序列对应的特征项位置信息进行融合处理，得到特征项融合向量；

对特征项融合向量进行一维卷积操作，得到卷积结果；

对卷积结果按照候选实体对进行分段最大池化处理，得到多个池化结果；

将多个池化结果进行拼接，得到文本特征向量。

优选地，特征项粒度包括字粒度和词粒度，则文本切分模块用于：

对待处理文本分别按照字粒度和词粒度进行切分处理，得到与待处理文本对应的字序列和与待处理文本对应的词序列。

特征项序列包括：与待处理文本对应的字序列和与待处理文本对应的词序列，则向量构建模块用于：

将字序列和词序列分别转换成字向量和词向量；

获取与字序列对应的字位置信息和与词序列对应的词位置信息；

对字向量和字位置信息进行卷积池化处理，得到与字序列对应的字特征向量；

对词向量和词位置信息进行卷积池化处理，得到与词序列对应的词特征向量；

将字特征向量与词特征向量进行融合处理，得到字词融合特征；

将字词融合特征进行线性处理得到文本特征向量。

其中，第二特征提取子单元还用于：

调用预先构建的知识图谱嵌入模型分别对多个候选实体对进行关系嵌入处理，得到与每个候选实体对对应的知识特征向量。知识图谱嵌入模型是利用已知的知识图谱对待处理文本进行标注后得到的训练数据集进行训练得到的。

知识特征提取子单元还用于：将每个候选实体对输入到知识图谱嵌入模型，输出与每个候选实体对相对应的关系评分结果；对每个关系评分结果分别进行归一化处理，再取倒数得到与每个关系评分结果相对应的关系特征值；将关系特征值作为知识特征向量包含的元素。

文本知识特征融合单元703还用于：

将文本特征向量乘以文本权重系数得到第一乘积结果；

将知识特征向量乘以知识权重系数得到第二乘积结果；

对第一乘积结果和第二乘积结果进行求和，得到文本知识融合特征，该知识权重系数与文本权重系数之和为1。

应当理解，实体关系抽取装置中记载的诸单元或模块与参考图3描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征同样适用于实体关系抽取装置及其中包含的单元，在此不再赘述。实体关系抽取装置可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其安全应用中。实体关系抽取装置中的相应单元可以与电子设备中的单元相互配合以实现本申请实施例的方案。

在上文详细描述中提及的若干模块或者单元，这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种实体关系抽取方法，其特征在于，该方法包括：

对待处理文本进行实体处理得到实体序列，所述实体序列包括多个候选实体对；

按照所述待处理文本所包含的特征项进行特征提取，得到文本特征向量；

按照所述候选实体对和所述候选实体对之间的候选关系进行特征提取，得到知识特征向量；

对所述文本特征向量和所述知识特征向量进行融合处理，得到文本知识融合特征；

对所述文本知识融合特征进行分类处理，得到每个所述候选实体对的对应关系。

2.根据权利要求1所述的方法，其特征在于，对所述待处理文本进行实体处理得到实体序列包括：

对所述待处理文本进行实体提取，得到多个候选实体；

对所述多个候选实体中的任意两个进行组合，得到所述实体序列。

3.根据权利要求1所述的方法，其特征在于，按照所述待处理文本所包含的特征项进行特征提取，包括：

对所述待处理文本按照多种不同的特征项粒度进行切分处理，得到与所述待处理文本对应的特征项序列，所述特征项序列包括多个特征项；

基于所述特征项序列构建所述文本特征向量。

4.根据权利要求3所述的方法，其特征在于，所述基于所述特征项序列构建所述文本特征向量，包括：

将所述特征项序列所包含的每个特征项转换成与所述每个特征项对应的特征项向量；

获取与所述特征项序列所包含的每个特征项相对应的特征项位置信息；

基于与所述特征项序列对应的特征项向量和与所述特征项序列对应的特征项位置信息进行卷积池化处理，得到文本特征向量。

5.根据权利要求4所述的方法，其特征在于，所述获取与所述特征项序列所包含的每个特征项相对应的特征项位置信息包括：

获取每个所述特征项与所述候选实体对中第一个候选实体之间的第一相对位置和每个特征项与候选实体对中第二个候选实体之间的第二相对位置；

将所述第一相对位置和所述第二相对位置进行拼接处理，得到与每个所述特征项一一对应的特征项位置信息。

6.根据权利要求4所述的方法，其特征在于，基于与所述特征项序列对应的特征项向量和与所述特征项序列对应的特征项位置信息进行卷积池化处理，得到文本特征向量包括：

将所述与每个所述特征项一一对应的特征项向量进行拼接处理，得到与所述特征项序列对应的特征项向量；

将所述与每个所述特征项一一对应的特征项位置信息进行拼接处理，得到与所述特征项序列对应的特征项位置信息；

对与所述特征项序列对应的特征项向量和与所述特征项序列对应的特征项位置信息进行融合处理，得到特征项融合向量；

对所述特征项融合向量进行一维卷积操作，得到卷积结果；

对所述卷积结果按照所述候选实体对进行分段最大池化处理，得到多个池化结果；

将所述多个池化结果进行拼接，得到文本特征向量。

7.根据权利要求3所述的方法，其特征在于，所述特征项粒度包括字粒度和词粒度，则所述对所述待处理文本按照特征项粒度进行切分处理，得到与所述待处理文本对应的特征项序列包括：

对所述待处理文本分别按照字粒度和词粒度进行切分处理，得到与所述待处理文本对应的字序列和与所述待处理文本对应的词序列。

8.根据权利要求7所述的方法，其特征在于，所述特征项序列包括：与所述待处理文本对应的字序列和与所述待处理文本对应的词序列，则所述基于所述特征项序列构建所述文本特征向量包括：

将所述字序列和所述词序列分别转换成字向量和词向量；

获取与所述字序列对应的字位置信息和与所述词序列对应的词位置信息；

对所述字向量和所述字位置信息进行卷积池化处理，得到与所述字序列对应的字特征向量；

对所述词向量和所述词位置信息进行卷积池化处理，得到与所述词序列对应的词特征向量；

将所述字特征向量与所述词特征向量进行融合处理，得到字词融合特征；

将所述字词融合特征进行线性处理得到所述文本特征向量。

9.根据权利要求1所述的方法，其特征在于，所述按照所述候选实体对和所述候选实体对之间的候选关系进行特征提取，包括：

调用预先构建的知识图谱嵌入模型分别对所述多个候选实体对进行关系嵌入处理，得到与每个所述候选实体对对应的所述知识特征向量，所述知识图谱嵌入模型是利用已知的知识图谱对所述待处理文本进行标注后得到的训练数据集进行训练得到的。

10.根据权利要求9所述的方法，其特征在于，所述调用预先构建的知识图谱嵌入模型分别对所述多个候选实体对进行关系嵌入处理，包括：

将每个所述候选实体对输入到所述知识图谱嵌入模型，输出与每个所述候选实体对相对应的候选关系的关系评分结果；

对每个所述关系评分结果分别进行归一化处理，再取倒数得到与每个所述关系评分结果相对应的关系特征值；

将所述关系特征值作为所述知识特征向量包含的元素。

11.根据权利要求1所述的方法，其特征在于，对所述文本特征向量和所述知识特征向量进行融合处理，得到文本知识融合特征包括：

将所述文本特征向量乘以文本权重系数得到第一乘积结果；

将所述知识特征向量乘以知识权重系数得到第二乘积结果；

对所述第一乘积结果和所述第二乘积结果进行求和，得到所述文本知识融合特征，所述知识权重系数与所述文本权重系数之和为1。

12.一种实体关系抽取装置，其特征在于，该装置包括：

实体处理单元，用于对待处理文本进行实体处理得到实体序列，所述实体序列包括多个候选实体对；

第一特征提取单元，用于按照所述待处理文本所包含的特征项进行特征提取，得到文本特征向量；

第二特征提取单元，用于按照所述候选实体对和所述候选实体对之间的关系进行特征提取，得到知识特征向量；

文本知识特征融合单元，用于对所述文本特征向量和所述知识特征向量进行融合处理，得到文本知识融合特征；

关系分类处理单元，用于对所述文本知识融合特征进行分类处理，得到每个所述候选实体对的对应关系。

13.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-11中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-11中任一项所述的方法。

Images