CN111914559A - 基于概率图模型的文本属性抽取方法、装置及计算机设备 - Google Patents

Abstract

本发明公开了基于概率图模型的文本属性抽取方法、装置、计算机设备及存储介质，涉及人工智能技术，包括将所接收待处理文本输入至BERT神经网络模型得到对应的文本表征输出；将文本表征输出输入至多任务学习分类模型，得到对应的实体类型；将实体类型依次进行递归、向量拼接、特征融合和必要属性抽取，得到实体中的必要属性和必要属性的起始终止位置；将实体中的必要属性和必要属性的起始终止位置依次进行实体表征向量提取、向量拼接特征融合和非必要属性抽取，得到实体中的非必要属性和非必要属性的起始终止位置。实现了对数据的属性抽取准确率的提升，而且对待处理文本的数据格式无限制，可以输入任何结构化的数据或者非结构化的数据。

Description

基于概率图模型的文本属性抽取方法、装置及计算机设备

技术领域

本发明涉及人工智能的智能决策技术领域，尤其涉及一种基于概率图模型的文本属性抽取方法、装置、计算机设备及存储介质。

背景技术

针对文本的属性抽取不同于关系抽取，属性抽取的难点在于不仅要识别实体的属性名还要识别实体的属性值。目前主要的属性抽取方法有基于规则的属性抽取、基于统计模型的属性抽取和基于模式的属性抽取。

其中，基于规则的属性抽取，面向的抽取对象通常是网页、表格等半结构化的数据，对于非结构化的数据处理效果不佳。

基于统计模型的属性抽取方法常采用关系抽取的方法去实现，将属性值当作另一种实体，属性当作实体与实体之间的关系，这种有监督的属性抽取方法需要大量的语料，也无法解决属性共享问题，同时无法解决一个实体名因为属性的不同而区分为多种实体的过程。

基于模式的属性抽取大多采用一种基于依赖分析的模式发现方法，模式发现的过程中会丢失模式中实体周围的丰富信息，同时抽取的模式会通过打分机制来衡量模式的合规性，极容易造成属性抽取遗漏或者属性抽取错误的情况。

发明内容

本发明实施例提供了一种基于概率图模型的文本属性抽取方法、装置、计算机设备及存储介质，旨在解决现有技术中基于规则的属性抽取、基于统计模型的属性抽取和基于模式的属性抽取对待抽取的数据结构有限定，且对数据的属性抽取准确率不高的问题。

第一方面，本发明实施例提供了一种基于概率图模型的文本属性抽取方法，其包括：

接收用户端上传的待处理文本；

调用预先训练的BERT神经网络模型，将所述待处理文本输入至所述BERT神经网络模型进行运算，得到与所述待处理文本对应的文本表征输出；其中，所述文本表征输出中包括多个字分别对应的向量表征；

调用预先训练的多任务学习分类模型，将所述文本表征输出输入至所述多任务学习分类模型进行识别，得到与所述文本表征输出对应的实体类型；

将所述文本表征输出对应的实体类型通过所调用预先存储的实体嵌入矩阵和预先训练的动态图卷积神经网络，依次进行递归、向量拼接、特征融合和必要属性抽取，得到实体中的必要属性和必要属性的起始终止位置；以及

将所述实体中的必要属性和必要属性的起始终止位置通过调用预先训练的Bi-LSTM模型，依次进行实体表征向量提取、向量拼接特征融合和非必要属性抽取，得到实体中的非必要属性和非必要属性的起始终止位置。

第二方面，本发明实施例提供了一种基于概率图模型的文本属性抽取装置，其包括：

文本接收单元，用于接收用户端上传的待处理文本；

文本表征输出获取单元，用于调用预先训练的BERT神经网络模型，将所述待处理文本输入至所述BERT神经网络模型进行运算，得到与所述待处理文本对应的文本表征输出；其中，所述文本表征输出中包括多个字分别对应的向量表征；

实体类型识别单元，用于调用预先训练的多任务学习分类模型，将所述文本表征输出输入至所述多任务学习分类模型进行识别，得到与所述文本表征输出对应的实体类型；

必要属性抽取单元，用于将所述文本表征输出对应的实体类型通过所调用预先存储的实体嵌入矩阵和预先训练的动态图卷积神经网络，依次进行递归、向量拼接、特征融合和必要属性抽取，得到实体中的必要属性和必要属性的起始终止位置；以及

非必要属性抽取单元，用于将所述实体中的必要属性和必要属性的起始终止位置通过调用预先训练的Bi-LSTM模型，依次进行实体表征向量提取、向量拼接特征融合和非必要属性抽取，得到实体中的非必要属性和非必要属性的起始终止位置。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于概率图模型的文本属性抽取方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于概率图模型的文本属性抽取方法。

本发明实施例提供了一种基于概率图模型的文本属性抽取方法、装置、计算机设备及存储介质，包括将所接收待处理文本输入至BERT神经网络模型得到对应的文本表征输出；将文本表征输出输入至多任务学习分类模型，得到对应的实体类型；将实体类型依次进行递归、向量拼接、特征融合和必要属性抽取，得到实体中的必要属性和必要属性的起始终止位置；将实体中的必要属性和必要属性的起始终止位置依次进行实体表征向量提取、向量拼接特征融合和非必要属性抽取，得到实体中的非必要属性和非必要属性的起始终止位置。实现了对数据的属性抽取准确率的提升，而且对待处理文本的数据格式无限制，可以输入任何结构化的数据或者非结构化的数据。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于概率图模型的文本属性抽取方法的应用场景示意图；

图2为本发明实施例提供的基于概率图模型的文本属性抽取方法的流程示意图；

图3为本发明实施例提供的基于概率图模型的文本属性抽取装置的示意性框图；

图4为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1和图2，图1为本发明实施例提供的基于概率图模型的文本属性抽取方法的应用场景示意图；图2为本发明实施例提供的基于概率图模型的文本属性抽取方法的流程示意图，该基于概率图模型的文本属性抽取方法应用于服务器中，该方法通过安装于服务器中的应用软件进行执行。

如图2所示，该方法包括步骤S110～S150。

S110、接收用户端上传的待处理文本。

在本实施例中，当用户端中有待处理文本需进行文本属性抽取时，可以由用户操作用户端(用户端为用户所使用的智能手机、平板电脑等智能终端)将待处理文本上传至服务器，其中对待处理文本的数据格式无限制，可以输入任何结构化的数据或者非结构化的数据。通过服务器对待处理文本进行属性抽取。例如，所述待处理文本为"双乳腺体略增厚，光点略密,腺体回声分布不均匀,结构略紊乱,右乳见数枚低回声结节，较大的大小约19mm14mm30mm(内上)、20mm9mm(外下)，边界欠清，形态欠规则；左乳见数枚低回声结节，较大的大小约8mm4mm(外上)，边界清。CDFI：未见明显异常血流信号。"

S120、调用预先训练的BERT神经网络模型，将所述待处理文本输入至所述BERT神经网络模型进行运算，得到与所述待处理文本对应的文本表征输出；其中，所述文本表征输出中包括多个字分别对应的向量表征。

在本实施例中，BERT神经网络模型中BERT的全称是Bidirectional EncoderRepresentations from Transformers，是一种基于Transformer的双向语言模型(Transformer模型即翻译模型)。相较于Word2Vec模型，BERT神经网络模型能更准确的提取文本的字向量表征。

在一实施例中，步骤S120包括：

将所述待处理文本按字拆分得到分字集合；

将所述分字集合中每一字输入至所述BERT神经网络模型进行运算，得到与所述分字集合中每一字对应的向量表征，由每一字的向量表征组合得到与所述待处理文本对应的文本表征输出。

在本实施例中，由于BERT神经网络模型输出的文本表征输出，本质上是文本中每个字的向量表征的组合，此时可以将待处理文本按字拆分得到了由多个字组成的分字集合后，将分字集合中每一字输入至所述BERT神经网络模型进行运算，得到与所述分字集合中每一字对应的向量表征，例如char-i表示第i个字的向量表征，则文本表征输出为一个二维矩阵[char-1，char-2，char-3，…，char-n]。

S130、调用预先训练的多任务学习分类模型，将所述文本表征输出输入至所述多任务学习分类模型进行识别，得到与所述文本表征输出对应的实体类型。

在本实施例中，多任务学习分类模型即Multi-Classification模型，其用于多任务学习以判断待处理文本中包含哪几种实体类型。例如，当将文本表征输出对应的二维矩阵[char-1，char-2，char-3，…，char-n]作为多任务学习分类模型的输入进行运算时，得到了一个输出向量[11]；根据输出向量[11]即可统计获取所述文本表征输出对应的实体类型。

在一实施例中，步骤S130包括：

所述文本表征输出输入至所述多任务学习分类模型进行识别，得到与所述文本表征输出对应的实体识别输出向量，根据所述实体识别输出向量中取值为1的向量值统计获取实体个数，以根据实体个数对应得到包括的实体类型。

在本实施例中，例如上述当将文本表征输出对应的二维矩阵[char-1，char-2，char-3，…，char-n]作为多任务学习分类模型的输入进行运算时，得到了一个输出向量[11]，该输出向量中有2个取值为1的向量值，此时可以判定所述文本表征输出对应的是2个实体类型。例如“双乳腺体”和“双乳结节”即是与所述文本表征输出对应的2个实体类型，其中输出向量[11]中第一个“1”表示含有双乳腺体，第二个“1”表示含有双乳结节。通过多任务学习分类模型，能更准确的对实体类型进行识别。

S140、将所述文本表征输出对应的实体类型通过所调用预先存储的实体嵌入矩阵和预先训练的动态图卷积神经网络，依次进行递归、向量拼接、特征融合和必要属性抽取，得到实体中的必要属性和必要属性的起始终止位置。

在本实施例中，从实体类型识别出的实体中选择一个实体类型，经过EntityEmbedding矩阵(Entity Embedding矩阵即实体嵌入矩阵)获取该实体的嵌入表征，将实体的嵌入表征拼接到BERT神经网络模型输出的文本表征输出中经过一次Transformer后作为动态图卷积神经网络的输入。之后动态图卷积神经网络将Transformer的输入经过4层膨胀卷积模型层对应得到的实体信息之后接上一个双指针序列标注模型学的实体信息。可见动态图卷积神经网络主要是通过输入的实体类型信息，学习到实体的标记属性来确定唯一实体。

在一实施例中，步骤S140包括：

将所述文本表征输出对应的实体类型通过所调用预先存储的实体嵌入矩阵进行递归处理，得到实体类型表征输出；

将所述实体类型表征输出拼接至所述文本表征输出中每个字对应的向量表征，得到拼接表征输出；

将所述拼接表征输出进行特征融合，得到融合表征输出；

调用预先训练的动态图卷积神经网络，将所述融合表征输出输入至所述动态图卷积神经网络进行运算，以得到实体中的必要属性和必要属性的起始终止位置。

在本实施例中，例如当选择“双乳腺体”或“双乳结节”中任意一个实体类型进行处理时，先获取该实体类型对应的实体类型表征输出，即获取图中的实体嵌入矩阵一行的值()因为所要处理的实体类型只有2种，所以矩阵是2行的，第一行表示双乳腺体的表征输出，第二行表示双乳结节的表征输；假如选择双乳结节即得到矩阵的第二行，记为entity_type_vector。

此时将entity_type_vector拼接到文本表征输出对应的二维矩阵[char-1，char-2，char-3，…，char-n]中的每一个字上，第i个字的向量表征从char-1变成了[char-i,entity_type_vector]。此处进行entity_type_vector与[char-1，char-2，char-3，…，char-n]的拼接并不是累加，其目的是为了让字的表征信息融合了所要处理的实体类型信息，使得下一层的学习任务变得明确。

之后将所述拼接表征输出进行特征融合，得到融合表征输出，是为了是特征之间进行融合学习，学习每个特征之间的影响。此时对拼接表征输出[[char-1,entity_type_vector],[char-2,entity_type_vector],[char-3,entity_type_vector],…,[char-n,entity_type_vector]]完成特征融合后，得到的融合表征输出中每个字记为t-vector-i。具体实施时，是调用预先训练的Transformer网络，将所述拼接表征输出输入至所述Transformer网络进行特征融合，得到融合表征输出。

最后将融合表征输出[t-vector-1,t-vector-2,…,t-vector-n]输入至动态图卷积神经网络(也即DGCNN模型)抽取必要特征信息及必要属性的起始终止位置，其中必要属性的起始终止位置包括必要属性起始位置数组和必要属性终止位置数组。

例如，输入[t-vector-1,t-vector-2,…,t-vector-n]至动态图卷积神经网络及与其连接的Dense层(可以理解为全连接层，Dense层利用sigmod函数对每个位置进行判定，用于定位实体的位置，并且可以确定实体的必要属性)；

输出如下：

必要属性起始位置数组：[0，1，0，1，0，0，…，1]；

必要属性终止位置数组：[0，1，0，1，0，0，…，1]；

其中必要属性起始位置数组或必要属性起始位置数组的数组长度等于待处理文本的长度，必要属性起始位置数组中值为1的位置是必要属性的起始位置(在整个数组中的位置)，获知必要属性位置之后从文本中定位就可以抽出必要属性了。

由于在获取实体中的必要属性和必要属性的起始终止位置时，使用了Transformer结构和CNN结构(具体是DGCNN模型)，只是在计算实体信息表征时使用了RNN结构，但是相比于文本的长度实体的必要信息还是非常短的，所以在模型的训练和预测效率上高于常用的信息抽取模型。

而且Transformer结构和CNN结构可以在GPU上并行训练，而不像RNN的串行机制，所以速度上会很快，RNN的速度取决于文本的长度，由于实体信息很短，所以模型中采用的RNN会很高效。

S150、将所述实体中的必要属性和必要属性的起始终止位置通过调用预先训练的Bi-LSTM模型，依次进行实体表征向量提取、向量拼接特征融合和非必要属性抽取，得到实体中的非必要属性和非必要属性的起始终止位置。

在本实施例中，通过之前的步骤识别出实体中的必要属性和必要属性的起始终止位置后，相当于识别出了若干个具体实体，此时需要学习若干个具体实体的表征信息。Bi-LSTM模型(Bi-LSTM是Bi-directional Long Short-Term Memory的缩写，是由前向LSTM与后向LSTM组合而成)用于学习实体的表征信息。由于之前已定位了实体的具体位置并已知了具体实体，此时可将所述实体中的必要属性和必要属性的起始终止位置输入至Bi-LSTM模型进行运算，在进行向量拼接特征融合和非必要属性抽取，得到实体中的非必要属性和非必要属性的起始终止位置。通过Bi-LSTM模型能准确识别实体的表征信息，从而筛选出非必要属性。

在一实施例中，步骤S150包括：

调用预先训练的Bi-LSTM模型，将所述实体中的必要属性和必要属性的起始终止位置输入至所述Bi-LSTM模型进行运算，以得到实体表征向量；

将实体表征向量拼接至所述文本表征输出中每个字对应的向量表征，得到实体拼接表征输出；

将所述实体拼接表征输出进行特征融合，得到实体融合表征输出；

调用所述动态图卷积神经网络，将所述实体融合表征输出输入至所述动态图卷积神经网络进行运算，以得到实体中的非必要属性和非必要属性的起始终止位置。

在本实施例中，与步骤S140从文本表征输出提取必要属性的不同之处在于，步骤S150中是以所述实体中的必要属性和必要属性的起始终止位置作为Bi-LSTM模型得到实体拼接表征输出，之后参考与步骤S140具体实施例中进行特征融合和输入至所述动态图卷积神经网络进行运算是完全相同，只是第一步的初始处理方式不同。

在抽取实体的必要属性，所采用的实体定位模型将实体类型信息编码到输入信息中，也就是将识别出的属性绑定到了实体类型中；同样，在采用属性抽取模型抽取非必要属性时，将实体信息编码到输入信息中，将实体与实体类型绑定到属性的抽取中。

可见，本申请中采用概率图的思想，模型的设计采用神经网络概率图的设计。必要属性定位和非必要属性抽取都是对整个原始文本表征进行双指针训练表征，同时训练阶段是随机选择一个实体进行抽取，预测阶段是遍历整个实体进行抽取，因此解决了属性共享问题。

该方法实现了对数据的属性抽取准确率的提升，而且对待处理文本的数据格式无限制，可以输入任何结构化的数据或者非结构化的数据。

本发明实施例还提供一种基于概率图模型的文本属性抽取装置，该基于概率图模型的文本属性抽取装置用于执行前述基于概率图模型的文本属性抽取方法的任一实施例。具体地，请参阅图3，图3是本发明实施例提供的基于概率图模型的文本属性抽取装置的示意性框图。该基于概率图模型的文本属性抽取装置100可以配置于服务器中。

如图3所示，基于概率图模型的文本属性抽取装置100包括：文本接收单元110、文本表征输出获取单元120、实体类型识别单元130、必要属性抽取单元140、非必要属性抽取单元150。

文本接收单元110，接收用户端上传的待处理文本。

在本实施例中，当用户端中有待处理文本需进行文本属性抽取时，可以由用户操作用户端(用户端为用户所使用的智能手机、平板电脑等智能终端)将待处理文本上传至服务器，其中对待处理文本的数据格式无限制，可以输入任何结构化的数据或者非结构化的数据。通过服务器对待处理文本进行属性抽取。例如，所述待处理文本为"双乳腺体略增厚，光点略密,腺体回声分布不均匀,结构略紊乱,右乳见数枚低回声结节，较大的大小约19mm14mm30mm(内上)、20mm9mm(外下)，边界欠清，形态欠规则；左乳见数枚低回声结节，较大的大小约8mm4mm(外上)，边界清。CDFI：未见明显异常血流信号。"

文本表征输出获取单元120，用于调用预先训练的BERT神经网络模型，将所述待处理文本输入至所述BERT神经网络模型进行运算，得到与所述待处理文本对应的文本表征输出；其中，所述文本表征输出中包括多个字分别对应的向量表征。

在本实施例中，BERT神经网络模型中BERT的全称是Bidirectional EncoderRepresentations from Transformers，是一种基于Transformer的双向语言模型(Transformer模型即翻译模型)。相较于Word2Vec模型，BERT神经网络模型能更准确的提取文本的字向量表征。

在一实施例中，文本表征输出获取单元120包括：

文本拆分单元，用于将所述待处理文本按字拆分得到分字集合；

字向量表征获取单元，用于将所述分字集合中每一字输入至所述BERT神经网络模型进行运算，得到与所述分字集合中每一字对应的向量表征，由每一字的向量表征组合得到与所述待处理文本对应的文本表征输出。

在本实施例中，由于BERT神经网络模型输出的文本表征输出，本质上是文本中每个字的向量表征的组合，此时可以将待处理文本按字拆分得到了由多个字组成的分字集合后，将分字集合中每一字输入至所述BERT神经网络模型进行运算，得到与所述分字集合中每一字对应的向量表征，例如char-i表示第i个字的向量表征，则文本表征输出为一个二维矩阵[char-1，char-2，char-3，…，char-n]。

实体类型识别单元130，用于调用预先训练的多任务学习分类模型，将所述文本表征输出输入至所述多任务学习分类模型进行识别，得到与所述文本表征输出对应的实体类型。

在本实施例中，多任务学习分类模型即Multi-Classification模型，其用于多任务学习以判断待处理文本中包含哪几种实体类型。例如，当将文本表征输出对应的二维矩阵[char-1，char-2，char-3，…，char-n]作为多任务学习分类模型的输入进行运算时，得到了一个输出向量[11]；根据输出向量[11]即可统计获取所述文本表征输出对应的实体类型。

在一实施例中，实体类型识别单元130还用于：

所述文本表征输出输入至所述多任务学习分类模型进行识别，得到与所述文本表征输出对应的实体识别输出向量，根据所述实体识别输出向量中取值为1的向量值统计获取实体个数，以根据实体个数对应得到包括的实体类型。

在本实施例中，例如上述当将文本表征输出对应的二维矩阵[char-1，char-2，char-3，…，char-n]作为多任务学习分类模型的输入进行运算时，得到了一个输出向量[11]，该输出向量中有2个取值为1的向量值，此时可以判定所述文本表征输出对应的是2个实体类型。例如“双乳腺体”和“双乳结节”即是与所述文本表征输出对应的2个实体类型，其中输出向量[11]中第一个“1”表示含有双乳腺体，第二个“1”表示含有双乳结节。通过多任务学习分类模型，能更准确的对实体类型进行识别。

必要属性抽取单元140，用于将所述文本表征输出对应的实体类型通过所调用预先存储的实体嵌入矩阵和预先训练的动态图卷积神经网络，依次进行递归、向量拼接、特征融合和必要属性抽取，得到实体中的必要属性和必要属性的起始终止位置。

在本实施例中，从实体类型识别出的实体中选择一个实体类型，经过EntityEmbedding矩阵(Entity Embedding矩阵即实体嵌入矩阵)获取该实体的嵌入表征，将实体的嵌入表征拼接到BERT神经网络模型输出的文本表征输出中经过一次Transformer后作为动态图卷积神经网络的输入。之后动态图卷积神经网络将Transformer的输入经过4层膨胀卷积模型层对应得到的实体信息之后接上一个双指针序列标注模型学的实体信息。可见动态图卷积神经网络主要是通过输入的实体类型信息，学习到实体的标记属性来确定唯一实体。

在一实施例中，必要属性抽取单元140包括：

递归处理单元，用途公益将所述文本表征输出对应的实体类型通过所调用预先存储的实体嵌入矩阵进行递归处理，得到实体类型表征输出；

第一拼接单元，用于将所述实体类型表征输出拼接至所述文本表征输出中每个字对应的向量表征，得到拼接表征输出；

第一融合单元，用于将所述拼接表征输出进行特征融合，得到融合表征输出；

第一运算单元，用于调用预先训练的动态图卷积神经网络，将所述融合表征输出输入至所述动态图卷积神经网络进行运算，以得到实体中的必要属性和必要属性的起始终止位置。

在本实施例中，例如当选择“双乳腺体”或“双乳结节”中任意一个实体类型进行处理时，先获取该实体类型对应的实体类型表征输出，即获取图中的实体嵌入矩阵一行的值()因为所要处理的实体类型只有2种，所以矩阵是2行的，第一行表示双乳腺体的表征输出，第二行表示双乳结节的表征输；假如选择双乳结节即得到矩阵的第二行，记为entity_type_vector。

此时将entity_type_vector拼接到文本表征输出对应的二维矩阵[char-1，char-2，char-3，…，char-n]中的每一个字上，第i个字的向量表征从char-1变成了[char-i,entity_type_vector]。此处进行entity_type_vector与[char-1，char-2，char-3，…，char-n]的拼接并不是累加，其目的是为了让字的表征信息融合了所要处理的实体类型信息，使得下一层的学习任务变得明确。

之后将所述拼接表征输出进行特征融合，得到融合表征输出，是为了是特征之间进行融合学习，学习每个特征之间的影响。此时对拼接表征输出[[char-1,entity_type_vector],[char-2,entity_type_vector],[char-3,entity_type_vector],…,[char-n,entity_type_vector]]完成特征融合后，得到的融合表征输出中每个字记为t-vector-i。具体实施时，是调用预先训练的Transformer网络，将所述拼接表征输出输入至所述Transformer网络进行特征融合，得到融合表征输出。

最后将融合表征输出[t-vector-1,t-vector-2,…,t-vector-n]输入至动态图卷积神经网络(也即DGCNN模型)抽取必要特征信息及必要属性的起始终止位置，其中必要属性的起始终止位置包括必要属性起始位置数组和必要属性终止位置数组。

例如，输入[t-vector-1,t-vector-2,…,t-vector-n]至动态图卷积神经网络及与其连接的Dense层(可以理解为全连接层，Dense层利用sigmod函数对每个位置进行判定，用于定位实体的位置，并且可以确定实体的必要属性)；

输出如下：

必要属性起始位置数组：[0，1，0，1，0，0，…，1]；

必要属性终止位置数组：[0，1，0，1，0，0，…，1]；

其中必要属性起始位置数组或必要属性起始位置数组的数组长度等于待处理文本的长度，必要属性起始位置数组中值为1的位置是必要属性的起始位置(在整个数组中的位置)，获知必要属性位置之后从文本中定位就可以抽出必要属性了。

由于在获取实体中的必要属性和必要属性的起始终止位置时，使用了Transformer结构和CNN结构(具体是DGCNN模型)，只是在计算实体信息表征时使用了RNN结构，但是相比于文本的长度实体的必要信息还是非常短的，所以在模型的训练和预测效率上高于常用的信息抽取模型。

而且Transformer结构和CNN结构可以在GPU上并行训练，而不像RNN的串行机制，所以速度上会很快，RNN的速度取决于文本的长度，由于实体信息很短，所以模型中采用的RNN会很高效。

非必要属性抽取单元150，用于将所述实体中的必要属性和必要属性的起始终止位置通过调用预先训练的Bi-LSTM模型，依次进行实体表征向量提取、向量拼接特征融合和非必要属性抽取，得到实体中的非必要属性和非必要属性的起始终止位置。

在本实施例中，通过之前的步骤识别出实体中的必要属性和必要属性的起始终止位置后，相当于识别出了若干个具体实体，此时需要学习若干个具体实体的表征信息。Bi-LSTM模型(Bi-LSTM是Bi-directional Long Short-Term Memory的缩写，是由前向LSTM与后向LSTM组合而成)用于学习实体的表征信息。由于之前已定位了实体的具体位置并已知了具体实体，此时可将所述实体中的必要属性和必要属性的起始终止位置输入至Bi-LSTM模型进行运算，在进行向量拼接特征融合和非必要属性抽取，得到实体中的非必要属性和非必要属性的起始终止位置。通过Bi-LSTM模型能准确识别实体的表征信息，从而筛选出非必要属性。

在一实施例中，非必要属性抽取单元150包括：

实体表征向量获取单元，用于调用预先训练的Bi-LSTM模型，将所述实体中的必要属性和必要属性的起始终止位置输入至所述Bi-LSTM模型进行运算，以得到实体表征向量；

第二拼接单元，用于将实体表征向量拼接至所述文本表征输出中每个字对应的向量表征，得到实体拼接表征输出；

第二融合单元，用于将所述实体拼接表征输出进行特征融合，得到实体融合表征输出；

第二运算单元，用于调用所述动态图卷积神经网络，将所述实体融合表征输出输入至所述动态图卷积神经网络进行运算，以得到实体中的非必要属性和非必要属性的起始终止位置。

在本实施例中，与从文本表征输出提取必要属性的不同之处在于，非必要属性抽取单元150中是以所述实体中的必要属性和必要属性的起始终止位置作为Bi-LSTM模型得到实体拼接表征输出，之后参考与必要属性抽取单元140的具体实施例中进行特征融合和输入至所述动态图卷积神经网络进行运算是完全相同，只是第一步的初始处理方式不同。

在抽取实体的必要属性，所采用的实体定位模型将实体类型信息编码到输入信息中，也就是将识别出的属性绑定到了实体类型中；同样，在采用属性抽取模型抽取非必要属性时，将实体信息编码到输入信息中，将实体与实体类型绑定到属性的抽取中。

可见，本申请中采用概率图的思想，模型的设计采用神经网络概率图的设计。必要属性定位和非必要属性抽取都是对整个原始文本表征进行双指针训练表征，同时训练阶段是随机选择一个实体进行抽取，预测阶段是遍历整个实体进行抽取，因此解决了属性共享问题。

该装置实现了对数据的属性抽取准确率的提升，而且对待处理文本的数据格式无限制，可以输入任何结构化的数据或者非结构化的数据。

上述基于概率图模型的文本属性抽取装置可以实现为计算机程序的形式，该计算机程序可以在如图4所示的计算机设备上运行。

请参阅图4，图4是本发明实施例提供的计算机设备的示意性框图。该计算机设备500是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图4，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于概率图模型的文本属性抽取方法。

该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于概率图模型的文本属性抽取方法。

该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现本发明实施例公开的基于概率图模型的文本属性抽取方法。

本领域技术人员可以理解，图4中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图4所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例公开的基于概率图模型的文本属性抽取方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于概率图模型的文本属性抽取方法，其特征在于，包括：

接收用户端上传的待处理文本；

调用预先训练的BERT神经网络模型，将所述待处理文本输入至所述BERT神经网络模型进行运算，得到与所述待处理文本对应的文本表征输出；其中，所述文本表征输出中包括多个字分别对应的向量表征；

调用预先训练的多任务学习分类模型，将所述文本表征输出输入至所述多任务学习分类模型进行识别，得到与所述文本表征输出对应的实体类型；

将所述文本表征输出对应的实体类型通过所调用预先存储的实体嵌入矩阵和预先训练的动态图卷积神经网络，依次进行递归、向量拼接、特征融合和必要属性抽取，得到实体中的必要属性和必要属性的起始终止位置；以及

将所述实体中的必要属性和必要属性的起始终止位置通过调用预先训练的Bi-LSTM模型，依次进行实体表征向量提取、向量拼接特征融合和非必要属性抽取，得到实体中的非必要属性和非必要属性的起始终止位置。

2.根据权利要求1所述的基于概率图模型的文本属性抽取方法，其特征在于，所述将所述待处理文本输入至所述BERT神经网络模型进行运算，得到与所述待处理文本对应的文本表征输出，包括：

将所述待处理文本按字拆分得到分字集合；

将所述分字集合中每一字输入至所述BERT神经网络模型进行运算，得到与所述分字集合中每一字对应的向量表征，由每一字的向量表征组合得到与所述待处理文本对应的文本表征输出。

3.根据权利要求1所述的基于概率图模型的文本属性抽取方法，其特征在于，所述将所述文本表征输出输入至所述多任务学习分类模型进行识别，得到与所述文本表征输出对应的实体类型，包括：

所述文本表征输出输入至所述多任务学习分类模型进行识别，得到与所述文本表征输出对应的实体识别输出向量，根据所述实体识别输出向量中取值为1的向量值统计获取实体个数，以根据实体个数对应得到包括的实体类型。

4.根据权利要求1所述的基于概率图模型的文本属性抽取方法，其特征在于，所述将所述文本表征输出对应的实体类型通过所调用预先存储的实体嵌入矩阵和预先训练的动态图卷积神经网络，依次进行递归、向量拼接、特征融合和必要属性抽取，得到实体中的必要属性和必要属性的起始终止位置，包括；

将所述文本表征输出对应的实体类型通过所调用预先存储的实体嵌入矩阵进行递归处理，得到实体类型表征输出；

将所述实体类型表征输出拼接至所述文本表征输出中每个字对应的向量表征，得到拼接表征输出；

将所述拼接表征输出进行特征融合，得到融合表征输出；

调用预先训练的动态图卷积神经网络，将所述融合表征输出输入至所述动态图卷积神经网络进行运算，以得到实体中的必要属性和必要属性的起始终止位置。

5.根据权利要求1所述的基于概率图模型的文本属性抽取方法，其特征在于，所述将所述拼接表征输出进行特征融合，得到融合表征输出，包括：

调用预先训练的Transformer网络，将所述拼接表征输出输入至所述Transformer网络进行特征融合，得到融合表征输出。

6.根据权利要求1所述的基于概率图模型的文本属性抽取方法，其特征在于，所述将所述实体中的必要属性和必要属性的起始终止位置通过调用预先训练的Bi-LSTM模型，依次进行实体表征向量提取、向量拼接特征融合和非必要属性抽取，得到实体中的非必要属性和非必要属性的起始终止位置，包括：

调用预先训练的Bi-LSTM模型，将所述实体中的必要属性和必要属性的起始终止位置输入至所述Bi-LSTM模型进行运算，以得到实体表征向量；

将实体表征向量拼接至所述文本表征输出中每个字对应的向量表征，得到实体拼接表征输出；

将所述实体拼接表征输出进行特征融合，得到实体融合表征输出；

调用所述动态图卷积神经网络，将所述实体融合表征输出输入至所述动态图卷积神经网络进行运算，以得到实体中的非必要属性和非必要属性的起始终止位置。

7.一种基于概率图模型的文本属性抽取装置，其特征在于，包括：

文本接收单元，用于接收用户端上传的待处理文本；

文本表征输出获取单元，用于调用预先训练的BERT神经网络模型，将所述待处理文本输入至所述BERT神经网络模型进行运算，得到与所述待处理文本对应的文本表征输出；其中，所述文本表征输出中包括多个字分别对应的向量表征；

实体类型识别单元，用于调用预先训练的多任务学习分类模型，将所述文本表征输出输入至所述多任务学习分类模型进行识别，得到与所述文本表征输出对应的实体类型；

必要属性抽取单元，用于将所述文本表征输出对应的实体类型通过所调用预先存储的实体嵌入矩阵和预先训练的动态图卷积神经网络，依次进行递归、向量拼接、特征融合和必要属性抽取，得到实体中的必要属性和必要属性的起始终止位置；以及

非必要属性抽取单元，用于将所述实体中的必要属性和必要属性的起始终止位置通过调用预先训练的Bi-LSTM模型，依次进行实体表征向量提取、向量拼接特征融合和非必要属性抽取，得到实体中的非必要属性和非必要属性的起始终止位置。

8.根据权利要求7所述的基于概率图模型的文本属性抽取装置，其特征在于，所述文本表征输出获取单元，包括：

文本拆分单元，用于将所述待处理文本按字拆分得到分字集合；

字向量表征获取单元，用于将所述分字集合中每一字输入至所述BERT神经网络模型进行运算，得到与所述分字集合中每一字对应的向量表征，由每一字的向量表征组合得到与所述待处理文本对应的文本表征输出。

9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的基于概率图模型的文本属性抽取方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的基于概率图模型的文本属性抽取方法。

Images