CN110727806B - 基于自然语言和知识图谱的文本处理方法及装置 - Google Patents

Abstract

本申请公开了一种基于自然语言和知识图谱的文本处理方法及装置，涉及人工智能技术领域。具体实现方案为：电子设备使用联合学习模型得到的语义表示，而该联合学习模型结合知识图谱表示学习和自然语言表示学习得到的，其结合了知识图谱学习表示和自然语言学习表示，相较于仅利用知识图谱表示学习或自然语言表示学习学习预测对象的语义表示，联合学习模型考虑的因素更多更全面，因此可以提高语义表示的准确性，进而提高文本处理的准确性。

Description

基于自然语言和知识图谱的文本处理方法及装置

技术领域

本公开实施例涉及人工智能(Artificial Intelligence，AI)技术领域，尤其涉及一种基于自然语言和知识图谱的文本处理方法及装置。

背景技术

目前，为了从海量数据中获取有价值的信息，知识图谱(knowledge graph，KG)应运而生。同时，自然语言作为人们用以交流和思维的工具和载体，自然语言的字符和词语的表示，是基于深度学习的语言处理类人工智能任务的基本处理对象。

通常情况下，知识图谱和自然语言是两个独立的领域，该两个领域均已独立发展起了表示学习技术体系，其中，知识图谱表示学习通常以向量空间运算的形式，对知识图谱包含的节点(Point)和边(Edge)之间的共现规律进行建模，以学习知识图谱语义表示；自然语言表示学习通常以序列生成的形式，对词语或语句之间的共现规律进行建模，以学习自然语言语义表示。

然而，基于上述文本处理方法学习到的语义表示准确度差，导致上述语义表示用于文本处理时，文本处理的准确度差。

发明内容

本公开实施例提供一种基于自然语言和知识图谱的文本处理方法及装置，通过将知识图谱的表示学习和自然语义的表示学习进行结合，以学习到质量更好的语义表示，实现提高文本处理准确性的目的。

第一方面，本申请实施例提供一种基于自然语言和知识图谱的文本处理方法，包括：接收用户输入的文本处理请求，所述文本处理请求用于请求根据文本中的预测对象的语义表示处理所述文本，将所述预测对象输入至预先训练好的联合学习模型，以获取所述预测对象的语义表示，所述联合学习模型用于知识图谱表示学习和自然语言表示学习，所述语义表示是所述联合学习模型结合所述知识图谱表示学习和所述自然语言表示学习得到的，根据所述语义表示处理所述文本。

一种可行的设计中，所述接收用户输入的文本处理请求之前，还包括：对训练样本进行训练以得到所述联合学习模型，所述联合学习模型包括自然语言学习层、联合学习关联层和知识图谱学习层，所述联合学习关联层用于关联所述知识图谱学习层和所述自然语言学习层。

一种可行的设计中，所述对训练样本进行训练以得到所述联合学习模型，包括：在所述自然语言学习层确定所述训练样本中目标训练样本的邻居样本，在所述联合学习关联层根据所述邻居样本，确定所述目标训练样本相对于所述知识图谱学习层中各实体的权重，根据所述各实体的权重，确定所述目标训练样本的知识图谱语义表示，根据所述知识图谱语义表示和所述邻居样本，确定所述目标训练样本的训练结果。

一种可行的设计中，所述在所述联合学习关联层确定所述目标训练样本相对于所述知识图谱学习层中各实体的权重，包括：对于所述知识图谱学习层中的每一个实体，在所述联合学习关联层确定所述目标训练样本相对于所述实体的M个权重，所述M≥1且为整数。

一种可行的设计中，所述根据所述各实体的权重，确定所述目标训练样本的知识图谱语义表示，包括：对于所述知识图谱学习层中的每一个实体，根据所述实体对应的权重对所述实体的知识图谱语义表示进行处理，得到多个处理后的知识图谱语义表示，根据所述多个处理后的知识图谱语义表示，确定所述目标训练样本的知识图谱语义表示。

一种可行的设计中，所述根据所述知识图谱语义表示和所述邻居样本，确定所述目标训练样本的训练结果之后，还包括：根据所述训练结果优化所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示。

一种可行的设计中，所述根据所述训练结果优化所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示，包括：判断所述训练结果是否正确，若所述训练结果正确，则生成激励信号，根据所述激励信号增强所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示，若所述训练结果错误，则生成惩罚信号，根据所述惩罚信号调整所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示。

第二方面，本申请实施例提供一种基于自然语言和知识图谱的文本处理装置，包括：接收模块，用于接收用户输入的文本处理请求，所述文本处理请求用于请求根据文本中的预测对象的语义表示处理所述文本；

获取模块，用于将所述预测对象输入至预先训练好的联合学习模型，以获取所述预测对象的语义表示，所述联合学习模型用于知识图谱表示学习和自然语言表示学习，所述语义表示是所述联合学习模型结合所述知识图谱表示学习和所述自然语言表示学习得到的；

处理模块，用于根据所述语义表示处理所述文本。

一种可行的设计中，上述的装置还包括：

训练模块，用于在所述接收模块接收用户输入的文本处理请求之前，对训练样本进行训练以得到所述联合学习模型，所述联合学习模型包括自然语言学习层、联合学习关联层和知识图谱学习层，所述联合学习关联层用于关联所述知识图谱学习层和所述自然语言学习层。

一种可行的设计中，所述训练模块，用于在所述自然语言学习层确定所述训练样本中目标训练样本的邻居样本，在所述联合学习关联层根据所述邻居样本，确定所述目标训练样本相对于所述知识图谱学习层中各实体的权重，根据所述各实体的权重，确定所述目标训练样本的知识图谱语义表示，根据所述知识图谱语义表示和所述邻居样本，确定所述目标训练样本的训练结果。

一种可行的设计中，所述训练模块，在所述联合学习关联层确定所述目标训练样本相对于所述知识图谱学习层中各实体的权重时，对于所述知识图谱学习层中的每一个实体，在所述联合学习关联层确定所述目标训练样本相对于所述实体的M个权重，所述M≥1且为整数。

一种可行的设计中，所述训练模块，在根据所述各实体的权重，确定所述目标训练样本的知识图谱语义表示时，对于所述知识图谱学习层中的每一个实体，根据所述实体对应的权重对所述实体的知识图谱语义表示进行处理，得到多个处理后的知识图谱语义表示，根据所述多个处理后的知识图谱语义表示，确定所述目标训练样本的知识图谱语义表示。

一种可行的设计中，所述训练模块，在根据所述知识图谱语义表示和所述邻居样本，确定所述目标训练样本的训练结果之后，还用于根据所述训练结果优化所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示。

一种可行的设计中，所述训练模块，具体用于判断所述训练结果是否正确；若所述训练结果正确，则生成激励信号，根据所述激励信号增强所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示；若所述训练结果错误，则生成惩罚信号，根据所述惩罚信号调整所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示。

第三方面、本申请实施例提供一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第一方面任意可能实现的方法。

第四方面，本申请实施例提供一种包含指令的计算机程序产品，当其在电子设备上运行时，使得电子设备计算机执行上述第一方面或第一方面的各种可能的实现方式中的方法。

第五方面，本申请实施例提供一种存储介质，所述存储介质中存储有指令，当其在电子设备上运行时，使得电子设备执行如上述第一方面或第一方面的各种可能的实现方式中的方法。

第六方面，本申请实施例提供一种联合学习模型训练方法，所述联合学习模型包括知识图谱学习层和自然语言学习层，所述方法包括：借助所述知识图谱学习层训练所述自然语言学习层，利用训练后的自然语言学习层改进所述知识图谱学习层。

上述申请中的一个实施例具有如下优点或有益效果：电子设备接收到用户输入的文本处理请求后，将文本中的预测对象输入至预先训练好的联合学习模型以学习到预测对象的语义表示，该语义表示是联合学习模型结合知识图谱表示学习和自然语言表示学习得到的，之后，电子设备根据语义表示处理文本。该过程中，由于电子设备使用联合学习模型得到的语义表示，是该联合学习模型结合知识图谱表示学习和自然语言表示学习得到的，其结合了知识图谱学习表示和自然语言学习表示，相较于仅利用知识图谱表示学习或自然语言表示学习学习预测对象的语义表示，联合学习模型考虑的因素更多更全面，因此可以提高语义表示的准确性，进而提高文本处理的准确性。

上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请实施例提供的一种基于自然语言和知识图谱的文本处理方法的流程图；

图2是本申请实施例提供的基于自然语言和知识图谱的文本处理方法所适用的联合学习模型的结构示意图；

图3为本申请实施例提供的基于自然语言和知识图谱的文本处理装置的结构示意图；

图4为本申请实施例提供的另一种基于自然语言和知识图谱的文本处理装置的结构示意图；

图5是用来实现本申请实施例的基于自然语言和知识图谱的文本处理方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

一般来说，知识图谱和自然语言处理为两个独立的领域。该两个领域各自发展独立的表示学习体系，各领域的表示学习技术各自遵循不同的建模方法和优化目标，并没有交叉融合。知识图谱表示学习通常以向量空间运算的形式，对节点和边之间的共现规律进行建模，而自然语言表示学习通常以序列生成的形式，对词语或语句之间的共现规律进行建模。

虽然目前在自然语言领域出现了借助命名实体信息改进语言表示学习的方法，该方法视为在自然语言表示学习中引入知识的初步版本，但是该方法采用多层自注意神经网络为学习模型，并采用完型填空、相邻句对判断等词语、语句共现类任务为学习目标。其引入知识的具体方式是：依据命名实体词典对自然语言语句中对应的词语序列捆绑对待，作为统一的处理对象参与语言表示学习过程，所谓捆绑对待，是指若一个词语在命名实体词典中有对应的实体，则将该词语作为一个整体不分开，例如，为该词语加个括号，表示该词语是个实体，不能继续进行拆分。如此一来，可以达到借助命名实体词典知识改进自然语言表示学习的效果。其中，命名实体词典中记录了多个实体，可以视为实体列表，其可以是根据知识图谱得到的，也可以通过搜集实体得到。

上述借助命名实体词典知识改进自然语言表示学习，是非常初步的利用外部知识的方式。但是，该方法能够借助外部知识辅助自然语言表示学习，无法反过来借助自然语言辅助外部知识图谱表示学习。

站在自然语言表示学习的角度，上述借助命名实体词典知识改进自然语言表示学习的方法也存在两个缺陷：缺陷一、在知识使用范围方面，仅通过命名实体词典判断一个词或一个字是不是存在对应的实体。具体来说，知识图谱不仅包含海量的节点，还包含边，以及节点和边构成的拓扑结构，而上述的方法仅用到了一个词或字是否是实体这一个信息；缺陷二、在知识使用方式方面，上述的方法以自然语言表示学习为基本框架，在此基础上依据命名实体词典提供的实体列表判断一个词或字是否是实体，该种方式的信息流动是单向的，从外部知识即命名实体词典到自然语言，无法有效利用自然语言和外部知识之间的双向对应规则。

有鉴于此，本申请实施例提供一种基于自然语言和知识图谱的文本处理方法及装置，通过将知识图谱的表示学习和自然语义的表示学习进行结合，以学习到质量更好的语义表示。

下面，对本申请实施例涉及的名词进行解释说明。

首先，知识图谱。

本申请实施例中，知识图谱由节点和边以图的形式构成，是知识的结构化表示形式。知识图谱的节点表示的信息包括但不限于实体、概念、兴趣和事件等分别对应于概念图谱、兴趣图谱和时间图谱等具体的知识图谱类型；相应的，边可以表示的信息包括但不限于属性、从属、时序和因果等。知识图谱的节点和边的语义表示，可以用于知识库补全、知识库问答、智能推荐、事件分析、语言理解、机器翻译等人工智能任务。

其次，自然语言学习。

本申请实施例中，自然语言由字符或词语以序列的方式构成，是人们用于交流和思维的工具和载体，可通过文本处理用于认知智能任务，如阅读理解、智能问答、机器翻译以及自动写作等。

本申请实施例中，电子设备通过将知识图谱的表示学习和自然语言的表示学习过程进行联合建模，建模过程中引入构成知识图谱的实体和构成自然语言的词语的关联关系，从而得到联合学习模型，基于该联合学习模型学习到更好的知识图谱语义表示和自然语言语义表示。其中，电子设备例如为服务器或终端设备等。

图1是本申请实施例提供的一种基于自然语言和知识图谱的文本处理方法的流程图，本实施例是从电子设备的角度进行说明，本实施例包括：

101、接收用户输入的文本处理请求，所述文本处理请求用于请求根据文本中的预测对象的语义表示处理所述文本。

示例性的，电子设备上预先加载联合学习模型，当需要进行文本处理时，用户通过点击操作、触摸操作或语音输入等方式向电子设备输入处理请求，电子设备接收并识别该文本处理请求。

例如，当关联学习模型用于辅助认知智能任务时，电子设备接收到文本处理请求后，对待处理文本进行划词等处理，将文本拆分成一个个的词语或字，该一个个的词语或字即为预测对象。

再如，当关联学习模型用于辅助知识图谱任务时，电子设备接收到文本处理请求后，识别出待处理文本包含的实体，该些实体即为预测对象。

102、将所述预测对象输入至预先训练好的联合学习模型，以得到所述预测对象的语义表示，所述联合学习模型用于知识图谱表示学习和自然语言表示学习，所述语义表示是所述联合学习模型结合所述知识图谱表示学习和所述自然语言表示学习得到的。

示例性的，对于每一个预测对象，电子设备将该预测对象输入至联合学习模型，从而得到该预测对象的语义表示。例如，当预测对象为词语或字时，关联学习模型输出的是自然语言语义表示；再如，当预测对象为实体时，关联学习模型输出的是知识图谱语义表示。

本实施例中，关联学习模型输出的语义表示，不论是知识图谱语义表示还是自然语言语义表示，均是联合学习模型预先结合知识图谱表示学习和自然语言表示学习得到的。也就是说，电子设备在训练联合学习模型时，对于一个为词语或字的训练样本，训练过程中除了考虑了该训练样本的邻居训练样本外，还考虑了该训练样本的知识图谱信息。而且，该训练样本的训练结果还被用于调整知识图谱中各实体的知识图谱语义表示，使得知识图谱中每个实体的语义表示除了考虑知识图谱中其他实体外，还考虑了自然语言处理中训练样本的训练结果。

103、根据所述语义表示处理所述文本。

示例性的，电子设备得到待处理文本中每个预测对象的语义表示后，根据该些语义表示处理文本。例如，当关联学习模型用于辅助认知智能任务时，电子设备根据语义表示进行阅读理解、智能问答、机器翻译或自动写作等。再如，当关联学习模型用于辅助知识图谱任务时，电子设备根据语义表示进行知识库补全、知识库推理、知识库问答等。

本申请实施例提供的基于自然语言和知识图谱的文本处理方法，电子设备接收到用户输入的文本处理请求后，将文本中的预测对象输入至预先训练好的联合学习模型以学习到预测对象的语义表示，该语义表示是联合学习模型结合知识图谱表示学习和自然语言表示学习得到的，之后，电子设备根据语义表示处理文本。该过程中，由于电子设备使用联合学习模型得到的语义表示，是该联合学习模型结合知识图谱表示学习和自然语言表示学习得到的，其结合了知识图谱学习表示和自然语言学习表示，相较于仅利用知识图谱表示学习或自然语言表示学习学习预测对象的语义表示，联合学习模型考虑的因素更多更全面，因此可以提高语义表示的准确性，进而提高文本处理的准确性。

上述实施例中，电子设备接收用户输入的文本处理请求之前，还对训练样本进行训练以得到上述的联合学习模型，上述的联合学习模型包括的三个核心模块为自然语言学习层、联合学习关联层和知识图谱学习层，所述联合学习关联层用于关联所述知识图谱学习层和所述自然语言学习层。示例性的，可参见图2，图2是本申请实施例提供的基于自然语言和知识图谱的文本处理方法所适用的联合学习模型的结构示意图。

请参照图2，联合学习模型包括自然语言学习层、联合学习关联层和知识图谱学习层，它们分别对应到相应的子神经网络模型，知识图谱学习层和自然语言学习层通过联合学习关联层配合，配合机制可以采用多种不同的神经网络机制。另外，联合学习模型还包括其他任务的学习模块，用于驱动知识图谱表示学习和自然语言表示学习。

请参照图2，实线框所示为自然语言学习层，可采用各种主流的神经网络语言模型，如循环神经网络(Recurrent Neural Network，RNN)模型、长短记忆网络(Long Short-Term Memor，LSTM)模型、转换器(transformer)模型、来自转换器的双向编码器特征(Bidirectional Encoder Representations from Transformers，BERT)以及知识增强的语义表示模型(Enhanced Representation through kNowledge IntEgration，ERNIE)等。自然语言学习层的本质是在语句和词语之间进行信息传递，对词语之间的关联关系进行建模，从而起到学习词语表示的效果。

请参照图2，虚线框所示为知识图谱学习层，可以采用图神经网络以更好的反应知识图谱的拓扑结构。另外，知识图谱学习层也可以不采用任何模型，而是仅仅把知识图谱当做一个由节点和边构成的列表。

请参照图2，点划线所示为联合学习关联层，其由一种或多种读写机制构成，联合学习关联层的作用是在词语和知识之间建立关联，实现自然语言语句和知识图谱知识库之间的信息传递。联合学习关联层的读写机制的输入通常为自然语言学习层中的词语或字，以及知识图谱学习层中的知识图谱，其中，词语或字是目标训练样本的邻居样本，例如，训练样本包括n个词语或字，如图中的词语1(word 1，w1)～wn，假设目标训练样本是w3，则输入时w3的邻居样本，如w1、w2、w4、w5等，以及知识图谱，联合学习关联层根据输入得到目标训练样本的知识图谱语义表示并输出。之后，自然语言学习层根据目标训练样本的知识图谱语义表示以及邻居训练样本，得到目标训练样本的训练结果。

本实施例中，实现训练得到用于知识图谱表示学习和自然语言表示学习的联合学习模型的目的。

上述实施例中，电子设备在对训练样本进行训练得到联合学习模型时，可以借助知识图谱学习层改进自然语言学习层，之后，可以利用自然语言学习层改进知识图谱学习层。下面，对该两个方面分别进行详细说明。

首先，借助知识图谱学习层改进自然语言学习层。

一种可行的设计中，电子设备对训练样本进行训练以得到所述联合学习模型时，在所述自然语言学习层确定所述训练样本中目标训练样本的邻居样本，在所述联合学习关联层根据所述邻居样本，确定所述目标训练样本相对于所述知识图谱学习层中各实体的权重，根据所述各实体的权重，确定所述目标训练样本的知识图谱语义表示，根据所述知识图谱语义表示和所述邻居样本，确定所述目标训练样本的训练结果。

示例性的，请参照图2，训练样本包括w1～wn，以w3为目标训练样本为例，传统的训练过程中，当w3为目标训练样本时，默认w3之外的其他训练训练样本的训练结果是已知的，需要利用该些已知的训练结果预测w3的训练结果，预测过程中，电子设备主要利用了w3的邻居样本，如w1、w2、w4、w5等的训练结果。本申请实施例中，当w3为目标训练样本时，默认w3之外的其他训练训练样本的训练结果是已知的，电子设备在预测w3的训练结果时，除了利用了w3的邻居样本w1、w2、w4、w5等的训练结果外，还需要考虑w3的知识图谱语言表示。

本申请实施例中，w3的知识谱图语言表示可以根据w3的邻居样本等获得。例如，电子设备将w3的邻居样本w1、w2、w4、w5等进行整合得到整合信息，将该整合信息输入至联合学习关联层，在联合学习关联层确定该整合信息相对于知识图谱学习层中每个实体(entity，e)，如ei、ej、ek和el的权重，根据该4个权重和各实体的知识图谱语义表示，确定目标训练样本的知识图谱语义表示；再如，对于w3的每一个邻居样本，电子设备在联合学习关联层分别确定该邻居样本相对于知识图谱学习层中每个实体(entity，e)，如ei、ej、ek和el的权重，得到16个权重，根据该16个权重和各实体的知识图谱语义表示，确定目标训练样本的知识图谱语义表示。

本实施例中，借助知识图谱改进自然语言表示学习，站在自然语言表示学习的角度，该方法的知识使用范围更广泛，且知识使用方式更有效，通过表示学习联合建模，该方法能够综合利用节点、边以及由节点和边构成的拓扑结构的知识，改进自然语言的表示学习效果。

上述实施例中，联合学习关联层可以从M个不同的角度为目标训练对象确定出知识图谱语义表示。此时，电子设备在所述联合学习关联层确定所述目标训练样本相对于所述知识图谱学习层中各实体的权重时，对于所述知识图谱学习层中的每一个实体，在所述联合学习关联层确定所述目标训练样本相对于所述实体的M个权重，所述M≥1且为整数。

示例性的，以将目标训练样本的邻居样本整合为一条整合信息为例，该整合信息到达联合学习关联层后，联合学习关联层从M个角度确定该整合信息相对于知识图谱学习层中每个实体(entity，e)，如ei、ej、ek和el的权重，得到4M个权重，根据该4M个权重和各实体的知识图谱语义表示，确定目标训练样本的知识图谱语义表示。

为实现从M个不同的角度为目标训练对象确定出知识图谱语义表示，可以借助联合学习关联层的读写机制实现。示例性的，联合学习关联层由一种或多种读写机制构成，读写机制最常用的就是注意力机制，联合学习关联层可以采用一个注意力模块，也可以采用多个注意力模块，图2所示为采用M个注意力模块。其中，注意力模块也可以称之为读写(read write)模块。当采用多个注意力模块时，利用知识图谱学习到的数据份数，如相对于每个实体的权重的个数等于注意力模块的个数相同。例如，对于知识图谱学习层采用图神经网络的情形，图神经网络要运行M次，从而获得M个版本的知识图谱数据供注意力机制访问。再例如，对于知识图谱学习层不采用任何神经网络模块的情形，只需要维护M份相同的数据结构即节点和边的列表即可，这样，通过M个版本的注意力机制，这M份相同的数据结构会学习到不同角度的知识图谱语义表示。

本实施例中，可以通过多个注意力机制对知识图谱进行不同学习，以得到目标训练样本的多个角度的知识图谱语义表示，利用多个角度的知识图谱语义表示和多个邻居样本预测目标训练样本，提高预测的准确性。

需要说明的是，本申请实施例中训练样本的数量是及其庞大的，一个目标训练样本的邻居训练样本可以为4个甚至更多，同理，知识图谱学习表示层中实体的数量也是特别多的，上述的ei、ej、ek和el仅是举例，实际实现中，实体的数量是数以万计甚至更多。

电子设备得到目标训练样本的知识图谱语义表示后，根据该知识图谱语义表示和目标训练样本的邻居样本，确定目标训练样本的训练结果，即对目标训练样本进行预测。例如，图2中，已知w1、w2、w4、w5以及w3的知识图谱语义表示，预测w3是哪个词语或哪个字。

需要说明的是，上述是以已知w1、w2、w4、w5，未知w3为例对本申请实施例进行详细说明的，然而，本申请实施例并不以此为限制，其他可行的实现方式中，包括但不限于：a)已知前面的多个词语，预测当前的词语，例如，已知w1和w2，预测w3；b)已知前面和后面的多个词语，预测当前词语，例如，已知w1、w2、w4、w5，预测w3；c)预测两个语句即两个词语序列是否是相邻语句；d)已知前面的多个词语，预测当前的多个词语，即语句，例如，已知w1、w2、w3，预测w4和w5。

上述实施例中，电子设备获得目标训练对象相对于知识图谱学习层中各实体的权重后，根据各实体的权重，确定目标训练样本的知识图谱语义表示时，对于所述知识图谱学习层中的每一个实体，根据所述实体对应的权重对所述实体的知识图谱语义表示进行处理，得到多个处理后的知识图谱语义表示，根据所述多个处理后的知识图谱语义表示，确定所述目标训练样本的知识图谱语义表示。

示例性的，以联合学习关联层采用一个注意力模块为例，电子设备将w3的邻居样本w1、w2、w4、w5等进行整合得到整合信息，将该整合信息输入至联合学习关联层，在联合学习关联层确定该整合信息相对于知识图谱学习层中每个实体(entity，e)，如ei、ej、ek和el的权重，将每个实体的知识图谱语义表示与对应的权重相乘，得到4个处理后的知识图谱语义表示，然后对该4个处理后的知识图谱语义表示进行求和运算，从而得到目标训练样本的知识图谱语义表示。另外，除了乘法和加法运算外，还可以采用其他的运算方式，本申请实施例并不限制。

本实施例中，实现确定出目标训练样本的知识图谱语义表示的目的。

其次，借助自然语言学习层改进知识图谱学习层。

一种可行的设计中，电子设备根据所述知识图谱语义表示和所述邻居样本，确定所述目标训练样本的训练结果之后，还根据所述训练结果优化所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示。

示例性的，本申请实施例中，借助知识图谱学习表示层改进自然语言学习层后，还可以进一步的根据目标训练样本的训练结果，优化知识图谱学习层中各实体的语义表示。

本实施例中，实现借助自然语言学习层改进知识图谱学习层的目的。站在知识图谱标识学习的角度，该方法能够借助自然语言表示学习的训练过程，对知识图谱标识学习过程进行协调和优化，对知识图谱表示学习自身的学习过程进行辅助和补充，从而有助于学习到更好的知识图谱表示。

当借助自然语言学习层改进知识图谱学习层时，电子设备判断目标训练对象的训练结果是否正确，若训练结果正确，则生成激励信号，根据所述激励信号增强所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示；若所述训练结果错误，则生成惩罚信号，根据所述惩罚信号削弱所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示。

示例性的，再请参照图2，利用邻居样本w1、w2、w4、w5和w3的知识图谱语言表示预测出w3后，电子设备判断w3的训练结果是否正确，即是否正确预测出w3是哪个词语或哪个字，若训练结果正确，则生成激励信号并反馈给知识图谱学习层，使得知识图谱学习层增强实体ei、ej、ek和el的知识图谱语义表示；若训练结果不正确，则说明知识图谱学习层的实体ei、ej、ek和el的知识图谱语义表示可能错误，此时，电子设备生成惩罚信号并反馈给知识图谱学习层，使得知识图谱学习层调整知识图谱学习模型包含的多个实体中每个实体的语义表示。

本实施例中，实现借助自然语言学习层改进知识图谱学习层的目的。

下面，对如何驱动联合学习模型的训练进行详细说明。

一种实现方式中，可以在自然语言学习层的驱动下进行整个联合学习模型的学习。

示例性的，自然语言学习层采用常用的语言模型学习策略，包括但不限于：a)已知前面的多个词语，预测当前的词语，例如，已知w1和w2，预测w3；b)已知前面和后面的多个词语，预测当前词语，例如，已知w1、w2、w4、w5，预测w3；c)预测两个语句即两个词语序列是否是相邻语句；d)已知前面的多个词语，预测当前的多个词语，即语句，例如，已知w1、w2、w3，预测w4和w5。自然语言学习层以上述语言模型学习策略进行驱动，进而通过联合学习关联层的桥梁作用，进一步驱动知识图谱学习层的学习，从而能够同步学习到自然语言的词语的自然语义表示，以及知识图谱的节点和边的知识图谱语义表示。另外，当用户仅仅将联合学习模型作为语言模型使用的时候，知识图谱学习层可以视为自然语言学习层的外挂知识库，整个联合学习模型可以视为一个知识增强的语言模型。

另一种实现方式中，也可以采用上传任务驱动联合学习模型的训练。其中，上层任务指自然语言学习层的认知智能任务，如阅读理解、问题系统、机器翻译等。具体实现时，可以通过将自然语言学习层的词语的表示作为最上层驱动任务的输入来实现。这样一来，在最上层认知任务的驱动下，上层任务本身的参数、自然语言学习层的参数、联合学习关联层的参数以及知识图谱学习层的参数，都能够得到同步的学习。在此基础上，还可以进一步的引入知识图谱类的任务协助驱动整个联合学习模型的学习，如知识库补全、知识库问答以及其他知识推理任务，进行知识图谱表示部分的优化学习。这种情况下，可以采用多任务学习或者多目标学习的策略，来协同优化知识图谱的优化目标和认知智能任务的优化目标。

上述实施例中，通过将知识图谱表示学习和自然语言表示学习过程进行联合建模，能够利用知识图谱构成的元素和自然语言构成的元素之间的关联关系，学习到更好的知识图谱语义表示和自然语言语义表示。

需要说明的是，上述实施例中，知识图谱不仅包含传统意义上的事实知识图谱，还包括概念图谱、兴趣点图谱、事件图谱等特种知识图谱类型。相应的，知识图谱中的节点包括但不限于实体、概念、兴趣和时间等类型的信息，边包括但不限于属性、从属、时序和因果等类型的关联。

上述介绍了本申请实施例提到的基于自然语言和知识图谱的文本处理的具体实现，下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图3为本申请实施例提供的基于自然语言和知识图谱的文本处理装置的结构示意图。该装置可以集成在电子设备中或通过电子设备实现，电子设备可以终端设备或服务器等。如图3所示，在本实施例中，该基于自然语言和知识图谱的文本处理装置100可以包括：

接收模块11，用于接收用户输入的文本处理请求，所述文本处理请求用于请求根据文本中的预测对象的语义表示处理所述文本；

获取模块12，用于将所述预测对象输入至预先训练好的联合学习模型，以获取所述预测对象的语义表示，所述联合学习模型用于知识图谱表示学习和自然语言表示学习，所述语义表示是所述联合学习模型结合所述知识图谱表示学习和所述自然语言表示学习得到的；

处理模块13，用于根据所述语义表示处理所述文本。

图4为本申请实施例提供的另一种基于自然语言和知识图谱的文本处理装置的结构示意图，请按照图4，上述的基于自然语言和知识图谱的文本处理装置100还包括：

训练模块14，用于在所述接收模块11接收用户输入的文本处理请求之前，对训练样本进行训练以得到所述联合学习模型，所述联合学习模型包括自然语言学习层、联合学习关联层和知识图谱学习层，所述联合学习关联层用于关联所述知识图谱学习层和所述自然语言学习层。

一种可行的设计中，所述训练模块14，用于在所述自然语言学习层确定所述训练样本中目标训练样本的邻居样本，在所述联合学习关联层根据所述邻居样本，确定所述目标训练样本相对于所述知识图谱学习层中各实体的权重，根据所述各实体的权重，确定所述目标训练样本的知识图谱语义表示，根据所述知识图谱语义表示和所述邻居样本，确定所述目标训练样本的训练结果。

一种可行的设计中，所述训练模块14，在所述联合学习关联层确定所述目标训练样本相对于所述知识图谱学习层中各实体的权重时，对于所述知识图谱学习层中的每一个实体，在所述联合学习关联层确定所述目标训练样本相对于所述实体的M个权重，所述M≥1且为整数。

一种可行的设计中，所述训练模块14，在根据所述各实体的权重，确定所述目标训练样本的知识图谱语义表示时，对于所述知识图谱学习层中的每一个实体，根据所述实体对应的权重对所述实体的知识图谱语义表示进行处理，得到多个处理后的知识图谱语义表示，根据所述多个处理后的知识图谱语义表示，确定所述目标训练样本的知识图谱语义表示。

一种可行的设计中，所述训练模块14，在根据所述知识图谱语义表示和所述邻居样本，确定所述目标训练样本的训练结果之后，还用于根据所述训练结果优化所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示。

一种可行的设计中，所述训练模块14，具体用于判断所述训练结果是否正确；若所述训练结果正确，则生成激励信号，根据所述激励信号增强所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示；若所述训练结果错误，则生成惩罚信号，根据所述惩罚信号调整所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示。

本申请实施例提供的装置，可用于如上实施例中电子设备执行的方法，其实现原理和技术效果类似，在此不再赘述。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

图5是用来实现本申请实施例的基于自然语言和知识图谱的文本处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。

存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的基于自然语言和知识图谱的文本处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的基于自然语言和知识图谱的文本处理方法。

存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的基于自然语言和知识图谱的文本处理方法对应的程序指令/模块(例如，附图3和图5所示的接收模块11、获取模块12、处理模块13和训练模块14)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的基于自然语言和知识图谱的文本处理方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据XXX的电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

基于自然语言和知识图谱的文本处理方法的电子设备还可以包括：输入装置503和输出装置505。处理器501、存储器502、输入装置503和输出装置505可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置503可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置505可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

本申请实施例还提供一种联合学习模型训练方法，所述联合学习模型包括知识图谱学习层和自然语言学习层，所述方法包括：借助所述知识图谱学习层训练所述自然语言学习层，利用训练后的自然语言学习层改进所述知识图谱学习层。

根据本申请实施例的技术方案，电子设备接收到用户输入的文本处理请求后，将文本中的预测对象输入至预先训练好的联合学习模型以学习到预测对象的语义表示，该语义表示是联合学习模型结合知识图谱表示学习和自然语言表示学习得到的，之后，电子设备根据语义表示处理文本。该过程中，由于电子设备使用联合学习模型得到的语义表示，是该联合学习模型结合知识图谱表示学习和自然语言表示学习得到的，其结合了知识图谱学习表示和自然语言学习表示，相较于仅利用知识图谱表示学习或自然语言表示学习学习预测对象的语义表示，联合学习模型考虑的因素更多更全面，因此可以提高语义表示的准确性，进而提高文本处理的准确性。另外，训练联合学习模型的过程中，通过将知识图谱表示学习和自然语言表示学习过程进行联合建模，能够利用知识图谱构成的元素和自然语言构成的元素之间的关联关系，学习到更好的知识图谱语义表示和自然语言语义表示。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (16)

1.一种基于自然语言和知识图谱的文本处理方法，其特征在于，包括：

接收用户输入的文本处理请求，所述文本处理请求用于请求根据文本中的预测对象的语义表示处理所述文本；

将所述预测对象输入至预先训练好的联合学习模型，以获取所述预测对象的语义表示，所述联合学习模型利用注意力机制使得所述联合学习模型的自然语言学习层和联合学习模型的知识图谱学习层之间实现信息交互，以结合知识图谱表示学习和自然语言表示学习得到所述语义表示，所述预测对象为所述文本中的词语时，所述语义表示为自然语义表示，所述自然语义表示是所述联合学习模型借助知识图谱表示学习改进自然语言表示学习得到，所述自然语义表示用于所述联合学习模型改进知识图谱中实体的知识图谱语义表示；所述预测对象为所述文本包含的实体时，所述语义表示为知识图谱语义表示，所述知识图谱语义表示是所述联合学习模型利用自然语言表示学习改进知识图谱表示学习得到的；

根据所述语义表示处理所述文本。

2.根据权利要求1所述的方法，其特征在于，所述接收用户输入的文本处理请求之前，还包括：

对训练样本进行训练以得到所述联合学习模型，所述联合学习模型包括自然语言学习层、联合学习关联层和知识图谱学习层，所述联合学习关联层用于关联所述知识图谱学习层和所述自然语言学习层。

3.根据权利要求2所述的方法，其特征在于，所述对训练样本进行训练以得到所述联合学习模型，包括：

在所述自然语言学习层确定所述训练样本中目标训练样本的邻居样本；

在所述联合学习关联层根据所述邻居样本，确定所述目标训练样本相对于所述知识图谱学习层中各实体的权重；

根据所述各实体的权重，确定所述目标训练样本的知识图谱语义表示；

根据所述知识图谱语义表示和所述邻居样本，确定所述目标训练样本的训练结果。

4.根据权利要求3所述的方法，其特征在于，所述在所述联合学习关联层根据所述邻居样本，确定所述目标训练样本相对于所述知识图谱学习层中各实体的权重，包括：

对于所述知识图谱学习层中的每一个实体，在所述联合学习关联层确定所述目标训练样本相对于所述实体的M个权重，所述M≥1且为整数。

5.根据权利要求3或4所述的方法，其特征在于，所述根据所述各实体的权重，确定所述目标训练样本的知识图谱语义表示，包括：

对于所述知识图谱学习层中的每一个实体，根据所述实体对应的权重对所述实体的知识图谱语义表示进行处理，得到多个处理后的知识图谱语义表示；

根据所述多个处理后的知识图谱语义表示，确定所述目标训练样本的知识图谱语义表示。

6.根据权利要求3或4所述的方法，其特征在于，所述根据所述知识图谱语义表示和所述邻居样本，确定所述目标训练样本的训练结果之后，还包括：

根据所述训练结果优化所述知识图谱学习层包含的每个实体的知识图谱语义表示。

7.根据权利要求6所述的方法，其特征在于，所述根据所述训练结果优化所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示，包括：

判断所述训练结果是否正确；

若所述训练结果正确，则生成激励信号，根据所述激励信号增强所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示；

若所述训练结果错误，则生成惩罚信号，根据所述惩罚信号调整所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示。

8.一种基于自然语言和知识图谱的文本处理装置，其特征在于，包括：

接收模块，用于接收用户输入的文本处理请求，所述文本处理请求用于请求根据文本中的预测对象的语义表示处理所述文本；

获取模块，用于将所述预测对象输入至预先训练好的联合学习模型，以获取所述预测对象的语义表示，所述联合学习模型利用注意力机制使得所述联合学习模型的自然语言学习层和联合学习模型的知识图谱之间实现信息交互，以结合知识图谱表示学习和自然语言表示学习得到所述语义表示，所述预测对象为所述文本中的词语时，所述语义表示为自然语义表示，所述自然语义表示是所述联合学习模型借助知识图谱表示学习改进自然语言表示学习得到，所述自然语义表示用于所述联合学习模型改进知识图谱中实体的知识图谱语义表示；所述预测对象为所述文本包含的实体时，所述语义表示为知识图谱语义表示，所述知识图谱语义表示是所述联合学习模型利用自然语言表示学习改进知识图谱表示学习得到的；

处理模块，用于根据所述语义表示处理所述文本。

9.根据权利要求8所述的装置，其特征在于，还包括：

训练模块，用于在所述接收模块接收用户输入的文本处理请求之前，对训练样本进行训练以得到所述联合学习模型，所述联合学习模型包括自然语言学习层、联合学习关联层和知识图谱学习层，所述联合学习关联层用于关联所述知识图谱学习层和所述自然语言学习层。

10.根据权利要求9所述的装置，其特征在于，

所述训练模块，用于在所述自然语言学习层确定所述训练样本中目标训练样本的邻居样本，在所述联合学习关联层根据所述邻居样本，确定所述目标训练样本相对于所述知识图谱学习层中各实体的权重，根据所述各实体的权重，确定所述目标训练样本的知识图谱语义表示，根据所述知识图谱语义表示和所述邻居样本，确定所述目标训练样本的训练结果。

11.根据权利要求10所述的装置，其特征在于，

所述训练模块，在所述联合学习关联层根据所述邻居样本，确定所述目标训练样本相对于所述知识图谱学习层中各实体的权重时，对于所述知识图谱学习层中的每一个实体，在所述联合学习关联层确定所述目标训练样本相对于所述实体的M个权重，所述M≥1且为整数。

12.根据权利要求10或11所述的装置，其特征在于，

所述训练模块，在根据所述各实体的权重，确定所述目标训练样本的知识图谱语义表示时，对于所述知识图谱学习层中的每一个实体，根据所述实体对应的权重对所述实体的知识图谱语义表示进行处理，得到多个处理后的知识图谱语义表示，根据所述多个处理后的知识图谱语义表示，确定所述目标训练样本的知识图谱语义表示。

13.根据权利要求10或11所述的装置，其特征在于，

所述训练模块，在根据所述知识图谱语义表示和所述邻居样本，确定所述目标训练样本的训练结果之后，还用于根据所述训练结果优化所述知识图谱学习层包含的每个实体的知识图谱语义表示。

14.根据权利要求13所述的装置，其特征在于，

所述训练模块，具体用于判断所述训练结果是否正确；若所述训练结果正确，则生成激励信号，根据所述激励信号增强所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示；若所述训练结果错误，则生成惩罚信号，根据所述惩罚信号调整所述知识图谱学习层包含的多个实体中每个实体的知识图谱语义表示。

15.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。

16.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1-7中任一项所述的方法。

Images