CN111783450B - 语料文本中的短语提取方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请是关于一种语料文本中的短语提取方法、装置、存储介质及电子设备，属于大数据技术领域，该方法包括：对语料文本进行分词，得到组成所述语料文本的多个词语；对所述词语进行词性标注，得到每个所述词语的词性标签；利用所述词性标签，在所述多个词中确定满足预设词性依存规则的词语组合；将所述词语组合输入预先训练好的语言模型，得到所述词语组合对应的成词概率；将大于预定阈值的所述成词概率所对应的词语组合，确定为提取到的第一短语。所述预设词性依存规则可从规则分享区块链中获取。本申请有效提升语料文本中的短语提取可靠性。

Description

语料文本中的短语提取方法、装置、存储介质及电子设备

背景技术

一般地，在很多领域，需要提取大量的粒度较大的短语，既提取大于单位词语长度的词语。目前大多数是利用统计的方式提取的短语，例如，通过统计某个词出现的频率确定提取的短语。现有技术中存在的缺陷是较依赖于当前的语料的分布，一些粒度较大的短语较难提取，提取短语的数量也较少。因此，导致现有技术中存在语料文本中的短语提取可靠性较低的问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请的目的在于提供一种语料文本中的短语提取方案，进而至少在一定程度上有效提升语料文本中的短语提取可靠性。

根据本申请的一个方面，提供一种语料文本中的短语提取方法，包括：

对语料文本进行分词，得到组成所述语料文本的多个词语；

对所述词语进行词性标注，得到每个所述词语的词性标签；

利用所述词性标签，在所述多个词语中确定满足预设词性依存规则的词语组合；

将所述词语组合输入预先训练好的语言模型，得到所述词语组合对应的成词概率；

将大于预定阈值的所述成词概率所对应的词语组合，确定为提取到的第一短语。

在本申请的一种示例性实施方式中，所述利用所述词性标签，在所述多个词语中确定满足预设词性依存规则的词语组合，包括：

获取所述语料文本所来源的文本领域特征；

根据所述文本领域特征，获取所述文本领域特征所对应的领域词性依存规则；

利用所述词性标签，在所述多个词语中确定满足所述领域词性依存规则的词语组合。

在本申请的一种示例性实施方式中，所述获取所述语料文本所来源的文本领域特征，包括：

获取所述语料文本所来源的生活场景、生成时间、用户的属性特征信息以及语音的音频特征。

在本申请的一种示例性实施方式中，所述根据所述文本领域特征，获取所述文本领域特征所对应的领域词性依存规则，包括：

获取词性依存规则表，所述词性依存规则中包括文本领域特征样本及所述文本领域特征样本对应的领域词性依存规则样本；

从所述词性依存规则表中，查找与所述文本领域特征相似度高于预定阈值的文本领域特征样本；

获取相似度高于预定阈值的所述文本领域特征样本所对应的领域词性依存规则样本，作为获取到的领域词性依存规则。

在本申请的一种示例性实施方式中，所述根据所述文本领域特征，获取所述文本领域特征所对应的领域词性依存规则，包括：

将所述语料文本所来源的生活场景、生成时间、用户的属性特征信息以及语音的音频特征输入规则决策模型，得到所述文本领域特征所对应的领域词性依存规则。

在本申请的一种示例性实施方式中，所述根据所述文本领域特征，获取所述文本领域特征所对应的领域词性依存规则，包括：

当所述文本领域特征包括文本来源于保险领域，所述文本领域特征所对应的领域词性依存规则包括：

当相邻的两个词都被同一动词修饰时，将被同一动词修饰的相邻的两个所述词的组合确定为一个短语；

当相邻的两个词中第一个为形容词和第二个为名词时，将所述形容词和和所述名词的组合确定为一个短语。

在本申请的一种示例性实施方式中，所述方法还包括：

根据所述词语组合在所述语料文本中所来源的位置，将所述词语组合作为词串置入所述语料文本中所述位置，并计算所述词串的左右熵；

将大于预定熵值的所述左右熵所对应的词语组合作为提取到的第二短语；

将所述第一短语和所述第二短语中相同的短语，作为最终提取到的短语。

根据本申请的一个方面，一种语料文本中的短语提取装置，其特征在于，包括：

分词模块，用于对语料文本进行分词，得到组成所述语料文本的多个词语；

标注模块，用于对所述词语进行词性标注，得到每个所述词语的词性标签；

组合模块，用于利用所述词性标签，在所述多个词语中确定满足预设词性依存规则的词语组合；

分析模块，用于将所述词语组合输入预先训练好的语言模型，得到所述词语组合对应的成词概率；

确定模块，用于将大于预定阈值的所述成词概率所对应的词语组合，确定为提取到的第一短语。

根据本申请的一个方面，提供一种计算机可读存储介质，其上存储有语料文本中的短语提取程序，其特征在于，所述语料文本中的短语提取程序被处理器执行时实现上述任一项所述的方法。

根据本申请的一个方面，提供一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的语料文本中的短语提取程序；其中，所述处理器配置为经由执行所述语料文本中的短语提取程序来执行上述任一项所述的方法。

本申请一种语料文本中的短语提取方法及相关装置，

首先，对语料文本进行分词，得到组成该语料文本的多个词；可以对语料文本进行初步拆分。然后，对得到的词进行词性标注，得到每个词的词性标签；可以根据词性标签分析每个词的句法关系。进而，利用词性标签，从得到的多个词中确定满足预设词性依存规则的词语组合；可以基于词性句法关系对组成该语料文本的词，在拆分后进行重新组合，得到满足预设词性依存规则的词语组合。将词语组合输入预先训练好的语言模型，得到词语组合对应的成词概率；可以基于语言模型可靠地确定组合后的词语组合可以作为一个完整词的概率。最后，将大于预定阈值的成词概率所对应的词语组合，确定为提取到的第一短语。可以可靠地从语料文本中提取到短语，有效提升语料文本中的短语提取可靠性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性示出一种语料文本中的短语提取方法的流程图。

图2示意性示出一种语料文本中的短语提取方法的应用场景示例图。

图3示意性示出一种确定满足预设词性依存规则的词语组合的方法流程图。

图4示意性示出一种语料文本中的短语提取装置的方框图。

图5示意性示出一种用于实现上述语料文本中的短语提取方法的电子设备示例框图。

图6示意性示出一种用于实现上述语料文本中的短语提取方法的计算机可读存储介质。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本申请的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本申请的各方面变得模糊。

此外，附图仅为本申请的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本示例实施方式中首先提供了语料文本中的短语提取方法，该语料文本中的短语提取方法可以运行于服务器，也可以运行于服务器集群或云服务器等，当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。参考图1所示，该语料文本中的短语提取方法可以包括以下步骤：

步骤S110，对语料文本进行分词，得到组成所述语料文本的多个词语；

步骤S120，对所述词语进行词性标注，得到每个所述词语的词性标签；

步骤S130，利用所述词性标签，在所述多个词语中确定满足预设词性依存规则的词语组合；

步骤S140，将所述词语组合输入预先训练好的语言模型，得到所述词语组合对应的成词概率；

步骤S150，将大于预定阈值的所述成词概率所对应的词语组合，确定为提取到的第一短语。

上述语料文本中的短语提取方法中，首先，对语料文本进行分词，得到组成该语料文本的多个词；可以对语料文本进行初步拆分。然后，对得到的词进行词性标注，得到每个词的词性标签；可以根据词性标签分析每个词的句法关系。进而，利用词性标签，从得到的多个词中确定满足预设词性依存规则的词语组合；可以基于词性句法关系对组成该语料文本的词，在拆分后进行重新组合，得到满足预设词性依存规则的词语组合。将词语组合输入预先训练好的语言模型，得到词语组合对应的成词概率；可以基于语言模型可靠地确定组合后的词语组合可以作为一个完整词的概率。最后，将大于预定阈值的成词概率所对应的词语组合，确定为提取到的第一短语。可以可靠地从语料文本中提取到短语，有效提升语料文本中的短语提取可靠性。

下面，将结合附图对本示例实施方式中上述语料文本中的短语提取方法中的各步骤进行详细的解释以及说明。

在步骤S110中，对语料文本进行分词，得到组成所述语料文本的多个词语。

在本示例的实施方式中，参考图2所示，服务器210接收到服务器220传输的语料文本后，利用现有的分词模型，对语料文本进行分词，得到组成所述语料文本的多个词语。其中服务器210和服务器220可以是电脑、手机等各种具有处理功能的终端设备，在此不做特殊限定。

语料文本例如“平安福受益人变更需要的材料”，可以是通过对接收到的语音解析得到，也可以是直接传输的文本形式的语料。

分词可以利用现有的分词模型，对待提取短语的语料文本进行准确细粒度分词，得到单位长度的词语。

例如语料文本“平安福受益人变更需要的材料”，进行分词可以得到组成语料文本的多个词语：平安福、受益人、并更、需要、的、材料。

在步骤S120中，对所述词语进行词性标注，得到每个所述词语的词性标签。

在本示例的实施方式中，利用训练好的词性标注模型，可以自动对每个词语进行词性标注。其中，词性标签例如名词、动词、形容词等。

词性标注模型的训练方法是：对目标领域的大量语料文本进行分词，收集得到的组成每个语料文本的多个词语作为一个语料词样本；然后语料词样本中每个词语由专家标定词性标签。然后，将语料词样本作为词性标注模型的输入，标定词性标签标签作为期望输出，得到满足准确率要求的词性标注模型。

获取词性标签后，可以在后续步骤中准确进行词语之间的句法规则搭配，得到满足句法规则的各种组合的短语。

在步骤S130中，利用所述词性标签，在所述多个词语中确定满足预设词性依存规则的词语组合。

在本示例的实施方式中，预设词性依存规则为词语之间基于词性依赖关系组合成词的规则，该预设词性依存规则对应的语料文本所来源的领域，也就是不同领域的文本由于自身的表述方式、习惯组合成词的习惯不同。

其中，预设词性依存规则为领域专家实验统计得到的，储存于词性依存规则表中。该预设词性依存规则例如，被同一动词修饰的两个相邻的词可以组合为一个词语组合；或者形容词修饰名词时，两个相邻的名词和形容词可以组合为一个词语组合。利用语料文本中每个词的词性，可以可靠地确定出满足预设词性依存规则的词语组合。

一个示例中，语料文本例如“平安福受益人变更需要的材料”，切词结果为：平安福、受益人、变更、需要、的、材料，根据每个词的词性，根据保险领域的预设词性依存规则“被同一动词修饰的两个相邻的词可以组合为一个词语组合”，则名词“受益人”、动词“变更”同时被同一动词“需要”修饰，因此，可以把相近的名词“受益人”、动词“变更”组合为“受益人变更”作为一个词语组合。

一种实施例中，所述预设词性依存规则存储于规则分享区块链中；

所述利用所述词性标签，在所述多个词语中确定满足预设词性依存规则的词语组合，包括：

从所述规则分享区块链中获取所述预设词性依存规则；

利用所述词性标签，在所述多个词语中确定满足预设词性依存规则的词语组合。

规则分享区块链是建立的词性依存规则分享链，该规则分享区块链中每个节点都可以分享各自领域的词性依存规则。进而，在进行词语组合时可以根据节点的语料领域，请求对应领域的预设词性依存规则。需要强调的是，为进一步保证上述词语组合结果及语料文本的私密和安全性，上述词语组合结果及语料文本还可以存储于一区块链的节点中，将词语组合结果及语料文本上传至区块链，形成基于区块链的大数据共享链路，基于区块链的数据不可更改特征，保证数据的稳定地。

一种实施例中，参考图3所示，所述利用所述词性标签，在所述多个词语中确定满足预设词性依存规则的词语组合，包括：

步骤S310，获取所述语料文本所来源的文本领域特征；

步骤S320，根据所述文本领域特征，获取所述文本领域特征所对应的领域词性依存规则；

步骤S330，利用所述词性标签，在所述多个词语中确定满足所述领域词性依存规则的词语组合。

文本领域特征例如保险领域或者知识产权领域等。可以根据文本领域特征获取到对应领域的词性依存规则表，其中，保存了该领域的领域词性依存规则。进而，利用词性标签，可以从得到的多个词中确定满足领域词性依存规则的词语组合，可以保证根据不同领域的特点准确获取词语组合。

一种实施例中，所述获取所述语料文本所来源的文本领域特征，包括：

获取所述语料文本所来源的生活场景、生成时间、用户的属性特征信息以及语音的音频特征。

所来源的生活场景例如保险咨询场景、银行业务场景或者知识产权咨询场景等。

生成时间例如年月日信息以及具体地业务的某类型活动时间等。

用户的属性特征信息例如语料来源用户的年龄、性别等。

语音的音频特征例如短时能量特征、语谱图特征等，可以例如现有的音频特征提取模型提取到，可以反映语料的真实表述语调、哪种方言等特点。

通过语料文本所来源的生活场景、生成时间、用户的属性特征信息以及语音的音频特征可以准确反映语料的领域特征，保证根据获取的词性依存规则可以对词语进行可靠地组合。

一种实施例中，所述根据所述文本领域特征，获取所述文本领域特征所对应的领域词性依存规则，包括：

获取词性依存规则表，所述词性依存规则中包括文本领域特征样本及所述文本领域特征样本对应的领域词性依存规则样本；

从所述词性依存规则表中，查找与所述文本领域特征相似度高于预定阈值的文本领域特征样本；

获取相似度高于预定阈值的所述文本领域特征样本所对应的领域词性依存规则样本，作为获取到的领域词性依存规则。

该词性依存规则表中保存各领域的词性依存规则样本，即词性依存规则中包括文本领域特征样本及文本领域特征样本对应的领域词性依存规则样本。

然后，通过将获取的文本领域特征与词性依存规则中包括的文本领域特征样本进行相似度计算，可以得到与文本领域特征相似的文本领域特征样本。

进而，将相似度高于预定阈值(事先设定阈值，例如98％)的文本领域特征样本所对应的领域词性依存规则样本，作为获取到的领域词性依存规则，可以准确地获取到当前语料文本的领域词性依存规则。

一种实施例中，所述根据所述文本领域特征，获取所述文本领域特征所对应的领域词性依存规则，包括：

将所述语料文本所来源的生活场景、生成时间、用户的属性特征信息以及语音的音频特征输入规则决策模型，得到所述文本领域特征所对应的领域词性依存规则。

规则决策模型例如决策树模型。通过将语料文本所来源的生活场景、生成时间、用户的属性特征信息以及语音的音频特征组合为训练样本，作为输入；每个训练样本由专家标定领域词性依存规则标签，作为期望输出；进行训练得到的满足预定准确率的规则决策模型。

一种实施例中，所述根据所述文本领域特征，获取所述文本领域特征所对应的领域词性依存规则，包括：

当所述文本领域特征包括文本来源于保险领域，所述文本领域特征所对应的领域词性依存规则包括：

当相邻的两个词都被同一动词修饰时，将被同一动词修饰的相邻的两个所述词的组合确定为一个短语；

当相邻的两个词中第一个为形容词和第二个为名词时，将所述形容词和和所述名词的组合确定为一个短语。

当文本领域特征包括文本来源于保险领域时，基于上述两个领域词性依存规则可以可靠地进行保险领域的词语组合。

在步骤S140中，将所述词语组合输入预先训练好的语言模型，得到所述词语组合对应的成词概率。

在本示例的实施方式中，语言模型是分析一个短语的可以成词的概率大小的模型。

一个示例中，语言模型的作用是为一个长度为m的字符串确定一个概率分布P(w1；w2；:::；wm)，表示其存在的可能性，其中w1到wm依次表示组成短语的各个词，可以使用二元语言模型，即P(T)＝p(w1|begin)*p(w2|w1)*p(w3|w2)***p(wn|wn-1)计算当前短语是一个有效词语的可能性概率。对于语言模型，其成词概率越高，即我们可以判断当前短语是一个有效词语的可能性越大。

一个示例中，可以基于一些短语样本作为训练样本，通过收集训练样本集合作为输入；每个训练样本由专家标定成词概率，作为期望输出；进行训练得到的满足预定准确率的语言模型，例如，多分类模型。

基于语言模型可以可靠地确定组合后的词语组合可以作为一个完整、有效词的概率。

在步骤S150中，将大于预定阈值的所述成词概率所对应的词语组合，确定为提取到的第一短语。

在本示例的实施方式中，预定阈值为根据实际准确率要求设定的阈值。将大于预定阈值的成词概率所对应的词语组合，确定为提取到的第一短语，可以可靠地从语料文本中提取到短语，结合前述步骤的基础，有效提升语料文本中的短语提取可靠性。

一种实施例中，所述方法还包括：

根据所述词语组合在所述语料文本中所来源的位置，将所述词语组合作为词串置入所述语料文本中所述位置，并计算所述词串的左右熵；

将大于预定熵值的所述左右熵所对应的词语组合作为提取到的第二短语；

将所述第一短语和所述第二短语中相同的短语，作为最终提取到的短语。

词语组合作为词串置入语料文本中,例如，对于语料文本“平安福受益人变更需要的材料”切词结果：平安福、受益人、变更、需要、的、材料；其中一个词语组合为“受益人变更”，将词语组合“受益人变更”置于其在语料文本中位置得到：平安福、受益人变更、需要、的、材料。

然后，可以基于下面公式计算“受益人变更”的左右熵，

左熵计算公式：

右熵计算公式：

其中，E_L(W)为左熵，E_R(W)为右熵，W为词串，A表示词串左边出现的所有词的集合，a表示词串左边出现的某个词，B表示词串右边出现的所有词的集合，b表示词串右边出现的某个词。词串W的E_L(W)和E_R(W)越大，说明词串W左右出现的词越多，越有可能是一个完整的多字词表达。

预定熵值可以根据实际情况设定，大于预定熵值的左右熵对应的词语组合很有可能是一个完整的多词表达，进而基于左右熵进一步进行了成词可能性验证。预定熵值可以对应于左熵的第一预定熵值和对应于右熵的第二预定熵值，词串W的左熵大于第一预定熵值，且右熵大于第二预定熵值时，则词语组合W可以作为提取到的第二短语。

最后，将第一短语和第二短语中相同的短语，作为最终提取到的短语，基于预设词性依存规则提取词语组合，通过语言模型及左右熵综合判断其是否成词，进一步保证提取的准确性。

基于上述方案，我们有效的结合语言本身的特性，从句法层面提取短语，可以有效的提取一些业务相关的重要且长尾的词语，且其成词率较高。

本申请还提供了一种语料文本中的短语提取装置。参考图4所示，该语料文本中的短语提取装置可以包括分词模块410、标注模块420、组合模块430、分析模块440以及确定模块450。其中：

分词模块410可以用于对语料文本进行分词，得到组成所述语料文本的多个词语；

标注模块420可以用于对所述词语进行词性标注，得到每个所述词语的词性标签；

组合模块430可以用于利用所述词性标签，在所述多个词语中确定满足预设词性依存规则的词语组合；

分析模块440可以用于将所述词语组合输入预先训练好的语言模型，得到所述词语组合对应的成词概率；

确定模块450可以用于将大于预定阈值的所述成词概率所对应的词语组合，确定为提取到的第一短语。

上述语料文本中的短语提取装置中各模块的具体细节已经在对应的语料文本中的短语提取方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本申请中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本申请实施方式的方法。

在本申请的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图5来描述根据本发明的这种实施方式的电子设备500。图5显示的电子设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，电子设备500以通用计算设备的形式表现。电子设备500的组件可以包括但不限于：上述至少一个处理单元510、上述至少一个存储单元520、连接不同系统组件(包括存储单元520和处理单元510)的总线530。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元510执行，使得所述处理单元510执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元510可以执行如图1中所示的步骤S110，对语料文本进行分词，得到组成所述语料文本的多个词语；步骤S120，对所述词语进行词性标注，得到每个所述词语的词性标签；步骤S130，利用所述词性标签，在所述多个词语中确定满足预设词性依存规则的词语组合；步骤S140，将所述词语组合输入预先训练好的语言模型，得到所述词语组合对应的成词概率；步骤S150，将大于预定阈值的所述成词概率所对应的词语组合，确定为提取到的第一短语。存储单元520可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)5201和/或高速缓存存储单元5202，还可以进一步包括只读存储单元(ROM)5203。

存储单元520还可以包括具有一组(至少一个)程序模块5205的程序/实用工具5204，这样的程序模块5205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线530可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备500也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得客户能与该电子设备500交互的设备通信，和/或与使得该电子设备500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口550进行，还可以包括与输入/输出(I/O)接口550连接的显示单元。并且，电子设备500还可以通过网络适配器560与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器560通过总线530与电子设备500的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本申请实施方式的方法。

在本申请的示例性实施例中，参考图6所示，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。

参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品600，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在客户计算设备上执行、部分地在客户设备上执行、作为一个独立的软件包执行、部分在客户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到客户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其他实施例。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

Claims (9)

1.一种语料文本中的短语提取方法，其特征在于，包括：

对语料文本进行分词，得到组成所述语料文本的多个词语；

对所述词语进行词性标注，得到每个所述词语的词性标签；

利用所述词性标签，在所述多个词语中确定满足预设词性依存规则的词语组合，所述预设词性依存规则为领域专家实验统计得到的词语之间基于词性依赖关系组合成词的规则，所述预设词性依存规则存储于规则分享区块链中；

将所述词语组合输入预先训练好的语言模型，得到所述词语组合对应的成词概率；

将大于预定阈值的所述成词概率所对应的词语组合，确定为提取到的第一短语；

根据所述词语组合在所述语料文本中所来源的位置，将所述词语组合作为词串置入所述语料文本中所述位置，并计算所述词串的左右熵；

将大于预定熵值的所述左右熵所对应的词语组合作为提取到的第二短语；

将所述第一短语和所述第二短语中相同的短语，作为最终提取到的短语。

2.根据权利要求1所述的方法，其特征在于，所述利用所述词性标签，在所述多个词语中确定满足预设词性依存规则的词语组合，包括：

获取所述语料文本所来源的文本领域特征；

根据所述文本领域特征，获取所述文本领域特征所对应的领域词性依存规则；

利用所述词性标签，在所述多个词语中确定满足所述领域词性依存规则的词语组合。

3.根据权利要求2所述的方法，其特征在于，所述获取所述语料文本所来源的文本领域特征，包括：

获取所述语料文本所来源的生活场景、生成时间、用户的属性特征信息以及语音的音频特征。

4.根据权利要求2所述的方法，其特征在于，所述根据所述文本领域特征，获取所述文本领域特征所对应的领域词性依存规则，包括：

获取词性依存规则表，所述词性依存规则表中包括文本领域特征样本及所述文本领域特征样本对应的领域词性依存规则样本；

从所述词性依存规则表中，查找与所述文本领域特征相似度高于预定阈值的文本领域特征样本；

获取相似度高于预定阈值的所述文本领域特征样本所对应的领域词性依存规则样本，作为获取到的领域词性依存规则。

5.根据权利要求3所述的方法，其特征在于，所述根据所述文本领域特征，获取所述文本领域特征所对应的领域词性依存规则，包括：

将所述语料文本所来源的生活场景、生成时间、用户的属性特征信息以及语音的音频特征输入规则决策模型，得到所述文本领域特征所对应的领域词性依存规则。

6.根据权利要求4至5任一项所述的方法，其特征在于，所述根据所述文本领域特征，获取所述文本领域特征所对应的领域词性依存规则，包括：

当所述文本领域特征包括文本来源于保险领域，所述文本领域特征所对应的领域词性依存规则包括：

当相邻的两个词都被同一动词修饰时，将被同一动词修饰的相邻的两个所述词的组合确定为一个短语；

当相邻的两个词中第一个为形容词和第二个为名词时，将所述形容词和所述名词的组合确定为一个短语。

7.一种语料文本中的短语提取装置，其特征在于，包括：

分词模块，用于对语料文本进行分词，得到组成所述语料文本的多个词语；

标注模块，用于对所述词语进行词性标注，得到每个所述词语的词性标签；

组合模块，用于利用所述词性标签，在所述多个词语中确定满足预设词性依存规则的词语组合，所述预设词性依存规则为领域专家实验统计得到的词语之间基于词性依赖关系组合成词的规则，所述预设词性依存规则存储于规则分享区块链中；

分析模块，用于将所述词语组合输入预先训练好的语言模型，得到所述词语组合对应的成词概率；

第一确定模块，用于将大于预定阈值的所述成词概率所对应的词语组合，确定为提取到的第一短语；

计算模块，用于根据所述词语组合在所述语料文本中所来源的位置，将所述词语组合作为词串置入所述语料文本中所述位置，并计算所述词串的左右熵；

提取模块，用于将大于预定熵值的所述左右熵所对应的词语组合作为提取到的第二短语；

第二确定模块，用于将所述第一短语和所述第二短语中相同的短语，作为最终提取到的短语。

8.一种计算机可读存储介质，其上存储有语料文本中的短语提取程序，其特征在于，所述语料文本中的短语提取程序被处理器执行时实现权利要求1-6任一项所述的方法。

9. 一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的语料文本中的短语提取程序；其中，所述处理器配置为经由执行所述语料文本中的短语提取程序来执行权利要求1-6任一项所述的方法。

Images