CN110377905A - 语句的语义表示处理方法及装置、计算机设备及可读介质 - Google Patents

Abstract

本发明提供一种语句的语义表示处理方法及装置、计算机设备及可读介质。其方法包括：获取待分析的语句；根据预先训练的语义表示模型，获取所述语句的、具有知识融合的语义表示；所述语义表示模型基于字粒度、词语粒度以及实体粒度进行训练得到。本发明的技术方案，由于采用了基于字粒度、词语粒度以及实体粒度进行训练得到的语义表示模型，可以基于该语义表示模型获取到准确的语义表示，进而可以基于语句的准确地语义表示执行有效地NLP任务处理。

Description

语句的语义表示处理方法及装置、计算机设备及可读介质

【技术领域】

本发明涉及计算机应用技术领域，尤其涉及一种语句的语义表示处理方法及装置、计算机设备及可读介质。

【背景技术】

人工智能(Artificial Intelligence；AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理(Natural LanguageProcessing；NLP)和专家系统等。尤其是NLP领域，为近年来AI研究的一个比较火的方向。

在NLP领域中，可以采用神经网络模型对语句进行语义表示，进而基于获取到的语义表示进行NLP的任务处理。现有技术中，典型的语义表示技术包括采用上下文无关的语义表示Word2Vec、Glove模型等实现的语义表示，以及采用上下文相关的语义表示Elmo、转化器的双向编码表示(Bidirectional Encoder Representations from Transformers；BERT)模型等实现的语义表示。目前已有技术中最典型的是采用BERT模型进行语义表示，BERT模型使用多层Attention结构的Transformer作为底层语义表示，同时构建了两个自监督任务让语义表示模型去学习。其中最典型的任务为学习语言的共现规律，该任务是类似于完形填空的任务。具体地，在一段话中随机掩盖住一定比例的字，让模型学会根据周围的字去预测它。

但是现有的BERT模型，通过掩盖字进行建模的学习方式，无法学出更大语义单元的完整语义表示，也无法学习到整句话中蕴含的知识融合关系如不同语义单元对应的语义关系，导致基于现有的BERT模型，获取到的语句的语义表示的准确性较差，进而无法基于语句的语义表示，进行有效地NLP任务处理。

【发明内容】

本发明提供了一种语句的语义表示处理方法及装置、计算机设备及可读介质，用于提高语义表示的准确性，进而能够高效地进行NLP任务的处理。

本发明提供一种语句的语义表示处理方法，所述方法包括：

获取待分析的语句；

根据预先训练的语义表示模型，获取所述语句的、具有知识融合的语义表示；所述语义表示模型基于字粒度、词语粒度以及实体粒度进行训练得到。

本发明提供一种语句的语义表示处理装置，所述装置包括：

语句获取模块，用于获取待分析的语句；

语义获取模块，用于根据预先训练的语义表示模型，获取所述语句的、具有知识融合的语义表示；所述语义表示模型基于字粒度、词语粒度以及实体粒度进行训练得到。

本发明还提供一种计算机设备，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的语句的语义表示处理方法。

本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的语句的语义表示处理方法。

本发明的语句的语义表示处理方法及装置、计算机设备及计算机可读介质，由于采用了基于字粒度、词语粒度以及实体粒度进行训练得到的语义表示模型，可以基于该语义表示模型获取到准确的语义表示，进而可以基于语句的准确地语义表示执行有效地NLP任务处理。

【附图说明】

图1为本发明的语句的语义表示处理方法实施例一的流程图。

图2为本发明的语句的语义表示处理方法实施例二的流程图。

图3为本发明的基于字粒度对语义表示模型进行训练的训练原理示意图。

图4为本发明的语句的语义表示处理装置实施例一的结构图。

图5为本发明的语句的语义表示处理装置实施例二的结构图。

图6为本发明的计算机设备实施例的结构图。

图7为本发明提供的一种计算机设备的示例图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

图1为本发明的语句的语义表示处理方法实施例一的流程图。如图1所示，本实施例的语句的语义表示处理方法，具体可以包括如下步骤：

S100、获取待分析的语句；

S101、根据预先训练的语义表示模型，获取语句的、具有知识融合的语义表示；语义表示模型基于字粒度、词语粒度以及实体粒度进行训练得到。

本实施例的语句的语义表示处理方法的执行主体为语句的语义表示处理装置。该语句的语义表示处理装置可以用于对任一待分析的语句进行分析，获取该语句的、具有知识融合的语义表示。该语句的意义表示装置可以为一独立的电子实体，或者可以为采用软件集成的应用。使用时向该语句的语义表示装置输入一待分析的语句，该语句的语义表示装置可以输出该语句的、具有知识融合的语义表示。

本实施例的预先训练的语义表示模型，是基于字粒度、词语粒度以及实体粒度进行训练得到，由于该语义表示模型，不仅采用基于训练语句的字粒度进行了训练，同时还基于训练语句的词语粒度以及实体粒度进行训练，这样能够使得语义表示模型能够学习到语句中词语之间的知识融合性、以及实体之间的知识融合性，从而能够使得训练后的语义表示模型，能够更加准确地进行语义表示。本实施例的词语粒度和实体粒度大于字粒度，例如，词语具体为连续两个或者多个字构成，如“漂亮”、“美丽”、“真实”、“高兴”、“五颜六色”、“省会”、“城市”等等。实体具体可以为人名、地名或者公司名称等。例如，对于字粒度的训练，语义表示模型可以学习到哈*滨中间的字为尔字。基于实体粒度的训练，语义表示模型还可以学习到哈尔滨和黑龙江具有语义关系。基于词语粒度的训练，可以学习到哈尔滨属于黑龙江的省会的语义关系。本实施例中、有些实体本身就是一个词语；有些实体比词语长，具体可以包括两个或者多个词语。

本实施例的语句的语义表示处理方法，由于采用了基于字粒度、词语粒度以及实体粒度进行训练得到的语义表示模型，可以基于该语义表示模型获取到准确的语义表示，进而可以基于语句的准确地语义表示执行有效地NLP任务处理。

进一步可选地，通过上述步骤S101获取到语句的语义表示之后，可以进一步基于语句的语义表示，执行NLP任务。本实施例中，基于语句的语义表示，可以执行各种NLP任务，如语句的语义相似性任务、语句的情感分析任务、语义匹配任务、对话理解任务等等其他NLP任务。

例如，本实施例中得到的语句的语义表示可以采用向量的形式。在一种NLP任务处理的应用场景中，需要基于语句的语义表示，比较两句话之间是否具有语义相似性，可以采用本实施例的语义表示处理方法，获取到两句话中每句话的语义表示，然后计算两句话的语义表示的向量的相似度，若相似度大于预设相似度阈值，可以认为该两句话的语义相似度高；否则可以认为该两句话的语义相似度不高。本实施例的预设相似度阈值可以根据实际需求来设置，如可以为50％、60％或者其他百分值。也就是说，本实施例中，可以直接基于语句的语义表示，执行NLP任务。

另外，可选地，在另一种NLP任务处理的应用场景中，还需要训练NLP的任务模型。此时，可以先基于语句的语义表示，对NLP的任务模型进行训练；然后再基于NLP的任务模型，执行自然语言处理的任务。但是在训练NLP的任务模型时，需要采用数个语句的语义表示来训练。此时可以获取数个待分析的语句，然后采用预先训练的语义表示模型分别获取每个语句的、具有知识融合的语义表示，共得到数个语句的语义表示。然后用数个语句的语义表示，对NLP的任务模型进行训练。对于每一种NLP的任务模型的训练，若采用有监督的训练方式，还需要为每一个语句标注理想结果，训练时，将每一个语句的语义表示输入至NLP的任务模型中，由NLP的任务模型预测任务处理的预测结果，若预测结果与理想结果不一致时，基于理想结果和预测结果，对NLP的任务模型的参数进行调整。采用多个语句和对应的语义表示理想结果对NLP的任务模型进行训练，直到训练次数达到预设最大次数阈值，或者连续预设次数的训练中，都不需要调整参数，可以认为NLP的任务模型已经训练完毕，此时确定NLP的任务模型参数，进而确定NLP的任务模型。

现有技术中，可以直接采用训练语句和为每个训练语句标注的理想结果对NLP的任务模型进行训练。但是这种训练方式需要非常多的训练数据，例如所需要的训练数据可以达到上千万条。而采用本实施例的技术方案，采用本实施例的语义表示模型，先获取每一条训练语句的语义表示后，再根据每一条训练语句的语义表示和对应的理想数据一起来训练NLP的任务模型。由于本实施例的技术方案中，获取到了能够准确表示训练语句的具有知识融合的语义表示，因此采用本实施例的训练语句的语义表示和理想结果训练NLP的任务模型时，仅需较少的训练数据，例如仅需要几百条即可。因此，由上述可以知道，现有技术中，训练数据较少时，无法训练出准确的NLP的任务模型；而采用本实施例的技术方案，在训练数据较少时，依然能够具有非常好的性能，能够训练出非常准确的NLP的任务模型。

最后，可以基于训练好的NLP的任务模型，执行NLP的任务。例如基于训练好的NLP的任务模型，执行相应的语义相似性任务、语句的情感分析任务、语义匹配任务或者对话理解任务等NLP任务。

进一步可选地，在上述图1所示实施例的技术方案的基础上，在步骤S101根据预先训练的语义表示模型，获取语句的、具有知识融合的语义表示之前，还可以包括如下步骤：

A、采集包括数条训练语句的语料集；

B、采用语料集对语义表示模型进行训练。

本实施例的训练可以采用无监督的训练方式来进行，因此，本实施例的训练语料集中仅采用多条训练语句，而没有标注的理想结果数据。

进一步地，图2为本发明的语句的语义表示处理方法实施例二的流程图，详细介绍本实施例的语义表示模型的训练过程。如图2所示，本实施例的语句的语义表示处理方法，具体可以包括如下步骤：

S200、采集包括数条训练语句的语料集；

S201、对语料集中的各训练语句中的词语以及实体进行标注；

例如，本实施例中，可以采用预先训练的序列标注模型对语料集中的各训练语句中的词语以及实体进行标注。

具体地，使用时，可以将每一条训练语句输入至该序列标注模型中，该序列标注可以输出该训练数据中包括的词语以及实体。对应地，序列标注模型训练时，可以采集数组训练语句以及为每句训练语句标注的词语以及实体。具体地，将每一条训练数据输入至序列标注模型中，该序列标注模型预测出其中包括的词语以及实体，然后判断预测的词语以及实体和标注的词语以及实体是否一致，若不一致，基于预测的词语以及实体和标注的词语以及实体，调整序列标注模型的参数，采用多个训练语句和对应的标注的词语以及实体对序列标注模型进行训练，直到训练次数达到预设最大次数阈值，或者连续预设次数的训练中，都不需要调整参数，可以认为序列标注模型已经训练完毕，此时确定序列标注模型参数，进而确定序列标注模型。

或者本实施例中，还可以采用预先采集的词语库以及实体库来标注，分别对语料集中的各训练语句中的词语以及实体进行标注。其中词语库中可以基于预先采集的庞大的预料库来收集所有的词语形成。同理，实体库中也可以收集一些地名、人名、公司名的实体，同时还可以自定义一个公司名的模板，以便于对实体库之外的其他公司实体进行标注。

实际应用中，还可以采用上述两种方式之外的其他方式来实现词语以及实体的标注，在此不再一一举例赘述

S202、采用语料集中各训练语句，基于字粒度对语义表示模型进行训练；

S203、采用语料集中的各训练语句以及标注的词语，基于词语粒度对语义表示模型进行训练；

S204、采用语料集中的各训练语句以及标注的实体，基于实体粒度对语义表示模型进行训练。

其中步骤S202-S204为上述步骤B采用语料集对语义表示模型进行训练的一种具体实现方式。

具体地，通过步骤S202-S204，分别对语义表示模型基于字粒度、词语粒度以及实体粒度进行训练，以使得语义表示模型能够学些到句子中的基于词语以及实体的知识融合性。且，本实施例的步骤S202-S204的顺序关系，可以不受限制，也可以先对语义表示模型基于词语粒度的训练，再依次分别进行基于字粒度和实体粒度的训练，或者依次分别进行基于实体粒度和字粒度的训练。或者也可以先对语义表示模型基于实体粒度的训练，再依次分别进行基于字粒度和词语粒度的训练，或者依次分别进行基于词语粒度和字粒度的训练；甚至还可以同时基于三个粒度进行训练，例如，在训练中，先基于字粒度对语义表示模型训练一次或者固定次数，然后基于词语粒度对语义表示模型训练一次或者固定次数，再接着基于实体粒度对语义表示模型训练一次或者固定次数；按照上述流程重复对语义表示模型进行训练。总之，无论是先进行哪个训练，后进行哪个训练，甚至同时训练，只要能够完成基于字粒度、词语粒度和实体粒度的训练即可。

其中，采用语料集中各训练语句，基于字粒度对语义表示模型进行训练的训练原理可以参考上述图3所示的示意图。如图3所示，基于字粒度的训练，是类似于完形填空的任务。其在一段话中随机掩盖住一定比例的字，让语义表示模型学会根据周围的字去预测它，如图3所示，以遮挡“哈尔滨”中的“尔”，“黑龙江”中的“黑”，“国际”中的“国”，“冰雪”中的“雪”为例，让语义表示模型根据上下文的字去预测遮挡的字。该学习方式主要学习的是语言的共现规律。详细可以参考BERT模型的实现，在此不再赘述。图3中的Transform表示Transform模型，BERT模型是基于Transform模型实现的。

采用语料集中的各训练语句以及标注的词语，基于词语粒度对语义表示模型进行训练的过程中，可以针对于每条训练语句以及该训练语句中标注的词语，随机遮挡一定比例的词语，让模型根据该训练语句中的其他词语等上下文信息，来预测该词语，这样，可以学习到上下文词语的知识融合性。如图3所示的训练语句，在基于词语粒度的训练时，可以随机遮掩“哈尔滨”、“黑龙江”、“省会”、“国际”、或者“冰雪”等词语，这样可以让语义表示模型学习到词语黑龙江和哈尔滨之间是省会的关系、哈尔滨属于冰雪文化名城等等。具体训练时，对每一个训练语句，随机遮掩一定比例的词语，然后，由语义表示模型预测遮掩的词语。进一步判断预测的是否正确，若不正确，调整语义表示模型的参数，使得预测的词语与遮掩的词语一致。采用多条训练语句以及标注的词语，不断地对语义表示模型进行训练，直到在连续预设次数的训练中，语义表示模型准确度一直大于预设准确度阈值，此时基于词语粒度的训练结束。本实施例的预设准确度可以根据实际需求来设置，如99％、98％或者其他百分比。

采用语料集中的各训练语句以及标注的实体，基于实体粒度对语义表示模型进行训练。可以针对于每条训练语句以及该训练语句中标注的实体，随机遮挡一定比例的实体，让模型根据该训练语句中的其他实体等上下文信息，来预测该实体，这样，可以学习到上下文中实体的知识融合性。如图3所示的训练语句，在基于实体粒度的训练时，可以随机遮掩“哈尔滨”、“黑龙江”中任一一个实体，这样可以让语义表示模型学习到实体黑龙江和实体哈尔滨之间具有省会的关系。具体训练时，对每一个训练语句，随机遮掩一定比例的实体，然后，由语义表示模型预测遮掩的实体。进一步判断预测的是否正确，若不正确，调整语义表示模型的参数，使得预测的实体与遮掩的实体一致。采用多条训练语句以及标注的实体，不断地对语义表示模型进行训练，直到在连续预设次数的训练中，语义表示模型准确度一直大于预设准确度阈值，此时基于实体粒度的训练结束。同理，本实施例的预设准确度也可以根据实际需求来设置，如99％、98％或者其他百分比。

本实施例的语义表示模型，由于经过基于字粒度的训练、词语粒度的训练以及实体粒度的训练，能够增强语义表示模型的语义表示能力，因此，本实施例的语义表示模型，也可以称之为知识增强的语义表示模型(Enhanced Representation through kNowledgeIntEgration；ERNIE)。本实施例的ERNIE模型也是基于Transformer模型来实现的。

采用上述实施例的技术方案，语义表示模型经过基于字粒度的训练、词语粒度的训练以及实体粒度的训练之后，能够学习到上下文中字之间的知识融合性、词语间的知识融合性以及实体间的知识融合性，从而能够增强语义表示模型的语义表示能力，准确对每一个语句进行语义表示。而且本实施例训练得到的语义表示模型，具备更强的通用性和可扩展性，可以应用于处理任何NLP的任务。

本实施例的语句的语义表示处理方法的执行主体可以与上述图1一致，由语句的语义表示处理装置一起来实现。即由语句的语义表示处理装置先对语义表示模型进行训练，然后由语句的语义表示处理装置基于训练好的语义表示模型，采用上述图1所示实施例的技术方案，获取语句的语义表示。

或者本实施例的语句的语义表示方法的执行主体，也可以不同于上述图1所示实施例的执行主体，为一个独立于语句的语义表示装置的语义表示模型的训练装置。具体使用时，由语义表示模型的训练装置先训练该语义表示模型，然后语句的语义表示装置在获取语句的语义表示时，直接调用训练好的语义表示模型，采用上述图1所示实施例的技术方案，获取语句的语义表示。

图4为本发明的语句的语义表示处理装置实施例一的结构图。如图4所示，本实施例的语句的语义表示处理装置，具体可以包括：

语句获取模块10用于获取待分析的语句；

语义获取模块11用于根据预先训练的语义表示模型，获取语句获取模块10获取的待分析的语句的、具有知识融合的语义表示；语义表示模型基于字粒度、词语粒度以及实体粒度进行训练得到。

进一步可选地，如图4所示，本实施例的语句的语义表示处理装置，还包括：

任务处理模块12用于基于语义获取模块11获取的语句的语义表示，执行自然语言处理任务。

进一步地，该任务处理模块12，具体用于：

对于数个待分析的语句，语义获取模块11可以获取到数个语句的语义表示时，采用获取的数个语句的语义表示，对自然语言处理的任务模型进行训练；

基于自然语言处理的任务模型，执行自然语言处理的任务。

本实施例的语句的语义表示处理装置，通过采用上述模块实现语句的语义表示处理的实现原理以及技术效果与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图5为本发明的语句的语义表示处理装置实施例二的结构图。如图5所示，本实施例的语句的语义表示处理装置，具体可以包括：

采集模块20用于采集包括数条训练语句的语料集；

训练模块21用于采用语料集对语义表示模型进行训练；

进一步可选地，如图5所示，本实施例的语句的语义表示处理装置中，训练模块21，具体用于：

对语料集中的各训练语句中的词语以及实体进行标注；

采用语料集中各训练语句，基于字粒度对语义表示模型进行训练；

采用语料集中的各训练语句以及标注的词语，基于词语粒度对语义表示模型进行训练；

采用语料集中的各训练语句以及标注的实体，基于实体粒度对语义表示模型进行训练。

其中，可选地，训练模块21具体用于：

采用预先训练的序列标注模型对语料集中的各训练语句中的词语以及实体进行标注；或者

采用预先采集的词语库以及实体库来标注，分别对语料集中的各训练语句中的词语以及实体进行标注。

本实施例的语句的语义表示处理装置的上述模块可以独立构成本发明的一个可选实施例，用于实现语义表示模型的训练。也可以与上述图4所示实施例一起组合，形成本发明的可选实施例。

本实施例的语句的语义表示处理装置，通过采用上述模块实现语句的语义表示处理的实现原理以及技术效果与上述相关方法实施例的实现相同，详细可以参考上述相关方法实施例的记载，在此不再赘述。

图6为本发明的计算机设备实施例的结构图。如图6所示，本实施例的计算机设备，包括：一个或多个处理器30，以及存储器40，存储器40用于存储一个或多个程序，当存储器40中存储的一个或多个程序被一个或多个处理器30执行，使得一个或多个处理器30实现如上图1-图3所示实施例的语句的语义表示处理方法。图6所示实施例中以包括多个处理器30为例。

例如，图7为本发明提供的一种计算机设备的示例图。图7示出了适于用来实现本发明实施方式的示例性计算机设备12a的框图。图7显示的计算机设备12a仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图7所示，计算机设备12a以通用计算设备的形式表现。计算机设备12a的组件可以包括但不限于：一个或者多个处理器16a，系统存储器28a，连接不同系统组件(包括系统存储器28a和处理器16a)的总线18a。

总线18a表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备12a典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12a访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28a可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30a和/或高速缓存存储器32a。计算机设备12a可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34a可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18a相连。系统存储器28a可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明上述图1-图5各实施例的功能。

具有一组(至少一个)程序模块42a的程序/实用工具40a，可以存储在例如系统存储器28a中，这样的程序模块42a包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42a通常执行本发明所描述的上述图1-图5各实施例中的功能和/或方法。

计算机设备12a也可以与一个或多个外部设备14a(例如键盘、指向设备、显示器24a等)通信，还可与一个或者多个使得用户能与该计算机设备12a交互的设备通信，和/或与使得该计算机设备12a能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22a进行。并且，计算机设备12a还可以通过网络适配器20a与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20a通过总线18a与计算机设备12a的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12a使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理器16a通过运行存储在系统存储器28a中的程序，从而执行各种功能应用以及数据处理，例如实现上述实施例所示的语句的语义表示处理方法。

本发明还提供一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所示的语句的语义表示处理方法。

本实施例的计算机可读介质可以包括上述图7所示实施例中的系统存储器28a中的RAM30a、和/或高速缓存存储器32a、和/或存储系统34a。

随着科技的发展，计算机程序的传播途径不再受限于有形介质，还可以直接从网络下载，或者采用其他方式获取。因此，本实施例中的计算机可读介质不仅可以包括有形的介质，还可以包括无形的介质。

本实施例的计算机可读介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种语句的语义表示处理方法，其特征在于，所述方法包括：

获取待分析的语句；

根据预先训练的语义表示模型，获取所述语句的、具有知识融合的语义表示；所述语义表示模型基于字粒度、词语粒度以及实体粒度进行训练得到。

2.根据权利要求1所述的方法，其特征在于，根据预先训练的语义表示模型，获取所述语句的、具有知识融合的语义表示之后，所述方法还包括：

基于所述语句的语义表示，执行自然语言处理任务。

3.根据权利要求2所述的方法，其特征在于，基于所述语句的语义表示，执行自然语言处理任务，包括：

对于数个所述待分析的语句，获取到数个所述语句的语义表示时，采用数个所述语句的语义表示，对自然语言处理的任务模型进行训练；

基于所述自然语言处理的任务模型，执行所述自然语言处理的任务。

4.根据权利要求1-3任一所述的方法，其特征在于，根据预先训练的语义表示模型，获取所述语句的、具有知识融合的语义表示之前，所述方法还包括：

采集包括数条训练语句的语料集；

采用所述语料集对所述语义表示模型进行训练。

5.根据权利要求4所述的方法，其特征在于，采用所述语料集对所述语义表示模型进行训练，包括：

对所述语料集中的各所述训练语句中的词语以及实体进行标注；

采用所述语料集中各所述训练语句，基于字粒度对所述语义表示模型进行训练；

采用所述语料集中的各所述训练语句以及标注的所述词语，基于词语粒度对所述语义表示模型进行训练；

采用所述语料集中的各所述训练语句以及标注的所述实体，基于实体粒度对所述语义表示模型进行训练。

6.根据权利要求5所述的方法，其特征在于，对所述语料集中的各所述训练语句中的词语以及实体进行标注，包括：

采用预先训练的序列标注模型对所述语料集中的各所述训练语句中的词语以及实体进行标注；或者

采用预先采集的词语库以及实体库来标注，分别对所述语料集中的各所述训练语句中的词语以及实体进行标注。

7.一种语句的语义表示处理装置，其特征在于，所述装置包括：

语句获取模块，用于获取待分析的语句；

语义获取模块，用于根据预先训练的语义表示模型，获取所述语句的、具有知识融合的语义表示；所述语义表示模型基于字粒度、词语粒度以及实体粒度进行训练得到。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

任务处理模块，用于基于所述语句的语义表示，执行自然语言处理任务。

9.根据权利要求8所述的装置，其特征在于，所述任务处理模块，用于：

对于数个所述待分析的语句，获取到数个所述语句的语义表示时，采用数个所述语句的语义表示，对自然语言处理的任务模型进行训练；

基于所述自然语言处理的任务模型，执行所述自然语言处理的任务。

10.根据权利要求7-9任一所述的装置，其特征在于，所述装置还包括：

采集模块，用于采集包括数条训练语句的语料集；

训练模块，用于采用所述语料集对所述语义表示模型进行训练。

11.根据权利要求10所述的装置，其特征在于，所述训练模块，用于：

对所述语料集中的各所述训练语句中的词语以及实体进行标注；

采用所述语料集中各所述训练语句，基于字粒度对所述语义表示模型进行训练；

采用所述语料集中的各所述训练语句以及标注的所述词语，基于词语粒度对所述语义表示模型进行训练；

采用所述语料集中的各所述训练语句以及标注的所述实体，基于实体粒度对所述语义表示模型进行训练。

12.根据权利要求11所述的装置，其特征在于，所述训练模块，具体用于：

采用预先训练的序列标注模型对所述语料集中的各所述训练语句中的词语以及实体进行标注；或者

采用预先采集的词语库以及实体库来标注，分别对所述语料集中的各所述训练语句中的词语以及实体进行标注。

13.一种计算机设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

14.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。