CN106126546A - 级联裂变查询方法及装置 - Google Patents

Abstract

本发明涉及一种级联裂变查询方法及装置，其中，所述方法包括根据预设语料中的每个句子所包含的词语生成每个句子的分词模式；提取预设语料中包含预设裂变词的句子，以将该句子的裂变模式加入到裂变模集合中；从所述预设语料中提取包含所述当前的裂变模集合中的裂变模式的句子，并提取该句子中裂变词位置所对应的词语，以将该词语加入到裂变词集合中；根据得到的所述裂变词集合以及所述裂变模集合进行迭代裂变搜索，以根据最终得到的裂变词集合和最终得到的裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果。本发明提高了数据的离线挖掘效率，缩短了数据挖掘时间，进而提高了查询准确度和查询效率，提升了用户体验。

Description

级联裂变查询方法及装置

技术领域

本发明涉及计算机技术领域，具体涉及一种级联裂变查询方法及装置。

背景技术

网络、通讯及计算机技术的迅猛发展也极大程度地推动了人工智能技术的进步。而随着文本情感分析以及自然语言处理技术的日益成熟，通过计算机应用智能分析研究大数据已经成为互联网时代的一大需求和趋势。在此背景下，语音处理及数据挖掘也受到了越来越多的关注。

语音处理可识别出说话人所说的内容，并将其转化为文本数据，进而可以将这些总量持续增长的数据持久保存下来，以为后续进行数据挖掘，进而进行数据查询提供基础。

现有技术中，采用人工制定关键词及模式，通过模式匹配识别目标的数据挖掘方法扩展性低，难以大规模应用；而根据关键词和句型结构制定模式，通过与模式计算相似度识别目标的数据挖掘方法则需要大量标注数据，其效果很大程度上依赖样本的覆盖，前期投入过大。

发明内容

为消除现有数据查询中进行离线数据挖掘时存在的数据挖掘方法扩展性低、难以大规模应用，以及依赖样本的覆盖程度高、前期投入过大的弊端，本发明提出如下技术方案：

一种级联裂变查询方法，所述方法包括：

根据预设语料中的每个句子所包含的词语的词性生成所述每个句子的分词模式；

提取所述预设语料中包含预设裂变词的句子，并根据所述预设裂变词将所述句子的分词模式转换为裂变模式，以将该裂变模式加入到裂变模集合中；

其中，所述裂变词为用于将语句划分成裂变模式的关键词；所述裂变模式为根据所述语句包含词语的词性将所述语句进行划分所得的模式；

根据当前的裂变模集合，从所述预设语料中提取包含所述当前的裂变模集合中的裂变模式的句子，并提取该句子中裂变词位置所对应的词语，以将该词语加入到裂变词集合中；

根据得到的所述裂变词集合以及所述裂变模集合进行迭代裂变搜索，以根据最终得到的裂变词集合和最终得到的裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果。

可选地，所述提取所述预设语料中包含预设裂变词的句子，并根据所述预设裂变词将所述句子的分词模式转换为裂变模式，以将该裂变模式加入到裂变模集合中之前，所述方法还包括：

初始化所述裂变词集合，以将所述裂变词集合设置为空集合；

初始化所述裂变模集合，以将所述裂变模集合设置为空集合。

可选地，根据预设语料中的每个句子所包含的词语的词性生成所述每个句子的分词模式，包括：

通过分词程序对所述预设语料中的每个句子进行分词，并根据分词的结果生成所述每个句子的分词模式。

可选地，所述通过分词程序对所述预设语料中的每个句子进行分词，包括：

根据所述每个句子所包含的词语的词性对所述每个句子进行实体标注。

可选地，所述根据最终得到的裂变词集合和最终得到的裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果，包括：

接收根据所述最终得到的裂变词集合和裂变模集合进行人工标注的问答目标，以根据所述问答目标获取并返回查询结果。

一种级联裂变查询装置，包括：

分词模式生成单元，用于根据预设语料中的每个句子所包含的词语的词性生成所述每个句子的分词模式；

裂变模式提取单元，用于提取所述预设语料中包含预设裂变词的句子，并根据所述预设裂变词将所述句子的分词模式转换为裂变模式，以将该裂变模式加入到裂变模集合中；

其中，所述裂变词为用于将语句划分成裂变模式的关键词；所述裂变模式为根据所述语句包含词语的词性将所述语句进行划分所得的模式；

裂变词提取单元，用于根据当前的裂变模集合，从所述预设语料中提取包含所述当前的裂变模集合中的裂变模式的句子，并提取该句子中裂变词位置所对应的词语，以将该词语加入到裂变词集合中；

裂变查询单元，用于根据得到的所述裂变词集合以及所述裂变模集合进行迭代裂变搜索，以根据最终得到的裂变词集合和最终得到的裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果。

可选地，所述装置还包括：

集合初始化单元，用于初始化所述裂变词集合，以将所述裂变词集合设置为空集合；以及初始化所述裂变模集合，以将所述裂变模集合设置为空集合。

可选地，所述分词模式生成单元进一步用于：

通过分词程序对所述预设语料中的每个句子进行分词，并根据分词的结果生成所述每个句子的分词模式。

可选地，所述分词模式生成单元还用于：

根据所述每个句子所包含的词语的词性对所述每个句子进行实体标注。

可选地，所述裂变查询单元进一步用于：

接收根据所述最终得到的裂变词集合和裂变模集合进行人工标注的问答目标，以根据所述问答目标获取并返回查询结果。

本发明的级联裂变查询方法及装置，基于迭代裂变搜索得到的裂变词集合和裂变模集合，对用户输入的待查询语句进行裂变处理模式匹配并返回查询结果，消除了现有数据查询中进行离线数据挖掘时存在的数据挖掘方法扩展性低、难以大规模应用，以及依赖样本的覆盖程度高、前期投入过大的弊端，提高了数据的离线挖掘效率，缩短了数据挖掘时间，进而提高了查询准确度和查询效率，提升了用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一个实施例提供的级联裂变查询方法的流程示意图；

图2为本发明另一个实施例提供的级联裂变查询方法的流程示意图；

图3为本发明一个实施例提供的级联裂变查询装置的结构示意图；

图4为本发明另一个实施例提供的级联裂变查询装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明一个实施例提供的级联裂变查询方法的流程示意图；如图1所示，该方法包括：

S1：根据预设语料中的每个句子所包含的词语的词性生成所述每个句子的分词模式；

其中，每个句子所包含的词语的词性包括名词、动词以及代词等等，在此基础上，根据每个句子所包含的词语的词性而生成的分词模式例如为[人名]、[动词][代词]、[人名][动词][代词]等等。

S2：提取所述预设语料中包含预设裂变词的句子，并根据所述预设裂变词将所述句子的分词模式转换为裂变模式，以将该裂变模式加入到裂变模集合中；

其中，所述的裂变词为用于将语句划分成裂变模式的关键词，例如“为什么”、“是什么”、“是谁”、“刘德华”等[动词+代词]或[名词]；所述的裂变模式为根据所述语句包含的所述关键词的词性以及包含的其他词语的词性将所述语句进行划分所得的模式，例如对于语句“刘德华是谁”而言，若其裂变词为“是谁”，则其裂变模式可确定为“[人名]+[裂变词]”。

具体地，例如在裂变词集合中加入的“是谁”，并扫描上述语料中的包含“是谁”的原句子，得到该原句子及其模式：

刘德华是谁[人名][动词][代词][动词][代词]＝[裂变词]，以将得到的模式“[人名][动词][代词]”加入裂变模集合中。

S3：根据当前的裂变模集合，从所述预设语料中提取包含所述当前的裂变模集合中的裂变模式的句子，并提取该句子中裂变词位置所对应的词语，以将该词语加入到裂变词集合中；

具体地，例如在上述原句子中扫描出[人名][动词][代词]模式的句子：梁朝伟在哪，以将新词“在哪”加入裂变词集合。

S4：根据得到的所述裂变词集合以及所述裂变模集合进行迭代裂变搜索(即重复步骤S2～S3，直至所述裂变词集合以及所述裂变模集合收敛，即不再出现新的裂变词和裂变模式)，以根据最终得到的裂变词集合和最终得到的裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果。

本实施例的级联裂变查询方法，基于迭代裂变搜索得到的裂变词集合和裂变模集合，对用户输入的待查询语句进行裂变处理模式匹配并返回查询结果，消除了现有数据查询中进行离线数据挖掘时存在的数据挖掘方法扩展性低、难以大规模应用，以及依赖样本的覆盖程度高、前期投入过大的弊端，提高了数据的离线挖掘效率，缩短了数据挖掘时间，进而提高了查询准确度和查询效率，提升了用户体验。

图2为本发明另一个实施例提供的级联裂变查询方法的流程示意图；如图2所示，在上一实施例的基础上，步骤S2中提取所述预设语料中包含预设裂变词的句子，并根据所述预设裂变词将所述句子的分词模式转换为裂变模式，以将该裂变模式加入到裂变模集合中之前，该方法还可以进一步包括：

S0：初始化所述裂变词集合，以将所述裂变词集合设置为空集合；初始化所述裂变模集合，以将所述裂变模集合设置为空集合。

具体地，上述初始化用于放置查询出的裂变词的裂变词集合以及用于放置查询出的裂变模式的裂变模集合，即保留一个空的裂变词式集合以及一个空的裂变模集合，以分别存储后续通过迭代处理所获取的裂变词和裂变模式。

进一步地，在上一实施例的基础上，步骤S2中根据预设语料中的每个句子所包含的词语的词性生成所述每个句子的分词模式，可进一步包括：

S21：通过分词程序对所述预设语料中的每个句子进行分词，并根据分词的结果生成所述每个句子的分词模式。

其中，分词程序为预先编写的用于根据每个句子所包含的词语的词性划分该句子，以获取对应的分词模式的程序。

在此基础上，步骤S21中通过分词程序对所述预设语料中的每个句子进行分词，还可以进一步包括：

根据所述每个句子所包含的词语的词性对所述每个句子进行实体标注。

例如：利用hadoop的map/reduce调用分词程序对所述语料中的语句进行分词并按照词性进行标注。

作为本实施例的优选，步骤S6中根据最终的裂变词集合和最终得到的裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果，可以进一步包括：

接收根据所述最终得到的裂变词集合和裂变模集合进行人工标注的问答目标，以根据所述问答目标获取并返回查询结果。

本实施例的级联裂变查询方法基于迭代搜索获得的裂变词集合和裂变模集合，可以缩短数据处理时间，提高了数据挖掘与数据查询的效率。

图3为本发明一个实施例提供的级联裂变查询装置的结构示意图；如图3所示，该装置包括分词模式生成单元10、裂变模式提取单元20、裂变词提取单元30以及裂变查询单元40；

分词模式生成单元10用于根据预设语料中的每个句子所包含的词语的词性生成所述每个句子的分词模式；

其中，每个句子所包含的词语的词性包括名词、动词以及代词等等，在此基础上，分词模式生成单元10根据每个句子所包含的词语的词性而生成的分词模式例如为[人名]、[动词][代词]、[人名][动词][代词]等等。

裂变模式提取单元20，用于提取所述预设语料中包含预设裂变词的句子，并根据所述预设裂变词将所述句子的分词模式转换为裂变模式，以将该裂变模式加入到裂变模集合中；

其中，所述的裂变词为用于将语句划分成裂变模式的关键词，例如“为什么”、“是什么”、“是谁”、“刘德华”等[动词+代词]或[名词]；所述的裂变模式为根据所述语句包含的所述关键词的词性以及包含的其他词语的词性将所述语句进行划分所得的模式，例如对于语句“刘德华是谁”而言，若其裂变词为“是谁”，则其裂变模式可确定为“[人名]+[裂变词]”。

具体地，例如裂变模式提取单元20在裂变词集合中加入的“是谁”，并扫描上述语料中的包含“是谁”的原句子，得到该原句子及其模式：

刘德华是谁[人名][动词][代词][动词][代词]＝[裂变词]，以将得到的模式“[人名][动词][代词]”加入裂变模集合中。

裂变词提取单元30用于根据当前的裂变模集合，从所述预设语料中提取包含所述当前的裂变模集合中的裂变模式的句子，并提取该句子中裂变词位置所对应的词语，以将该词语加入到裂变词集合中；

具体地，例如裂变词提取单元30在上述原句子中扫描出[人名][动词][代词]模式的句子：梁朝伟在哪，以将新词“在哪”加入裂变词集合。

裂变查询单元40用于根据得到的所述裂变词集合以及所述裂变模集合进行迭代裂变搜索，以根据最终得到的裂变词集合和最终得到的裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果。

本实施例所述的级联裂变查询装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

图4为本发明另一个实施例提供的级联裂变查询装置的结构示意图；如图4所示，在上一实施例的基础上，本实施例的装置还可以进一步包括：

集合初始化单元50，用于初始化所述裂变词集合，以将所述裂变词集合设置为空集合；以及初始化所述裂变模集合，以将所述裂变模集合设置为空集合。

具体地，集合初始化单元50初始化用于放置查询出的裂变词的裂变词集合以及用于放置查询出的裂变模式的裂变模集合，即保留一个空的裂变词式集合以及一个空的裂变模集合，以分别存储后续通过迭代处理所获取的裂变词和裂变模式。

进一步地，作为上述实施例的优选，分词模式生成单元10还可进一步用于：

通过分词程序对所述预设语料中的每个句子进行分词，并根据分词的结果生成所述每个句子的分词模式。

其中，分词程序为预先编写的用于根据每个句子所包含的词语的词性划分该句子，以获取对应的分词模式的程序。

在此基础上，分词模式生成单元还可用于：

根据所述每个句子所包含的词语的词性对所述每个句子进行实体标注。

例如：利用hadoop的map/reduce调用分词程序对所述语料中的语句进行分词并按照词性进行标注。

进一步地，裂变查询单元40可进一步用于：

接收根据所述最终得到的裂变词集合和裂变模集合进行人工标注的问答目标，以根据所述问答目标获取并返回查询结果。

下面以一具体的实施例来说明本发明，但不限定本发明的保护范围。本实施例的级联裂变查询方法的步骤如下：

1、预处理语料结果如下表一所示：

表一 语料预处理结果

原句子	分词和标注后的句子	裂变模式
			刘德华是谁	刘德华[人名]是[动词]谁[代词]	[人名][动词][代词]
梁朝伟在哪	梁朝伟[人名]在[动词]哪[代词]	[人名][动词][代词]

2、初始化裂变模集合为空，初始化裂变词集合为空；

3、在裂变词集合中加入“是谁”；

4、(1)扫描原句子中包含是谁的句子，得到原句子及其裂变模式：

刘德华是谁[人名][动词][代词]；其中[动词][代词]＝[裂变词]；

(2)将[人名][动词][代词]加入裂变模集合；

5、(1)在原句子中扫描出[人名][动词][代词]模式的句子：梁朝伟在哪；

(2)将新词“在哪”加入裂变词集合；

6、结束，得到裂变词集合：是谁、在哪；

得到裂变模集合：[人名][动词][代词]；

7、标注：

[人名]+“是谁”的目标是who；

[人名]+“在哪”的目标是where；

8、线上使用时，符合[人名]+“是谁”模式的，问题目标为who，将返回该[人名]是谁的答案。

符合[人名]+“在哪”模式的，问题目标为where，将返回该[人名]在什么地方的答案。

本发明的级联裂变查询方法及装置，基于迭代裂变搜索得到的裂变词集合和裂变模集合，对用户输入的待查询语句进行裂变处理模式匹配并返回查询结果，消除了现有数据查询中进行离线数据挖掘时存在的数据挖掘方法扩展性低、难以大规模应用，以及依赖样本的覆盖程度高、前期投入过大的弊端，提高了数据的离线挖掘效率，缩短了数据挖掘时间，进而提高了查询准确度和查询效率，提升了用户体验。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种级联裂变查询方法，其特征在于，包括：

根据预设语料中的每个句子所包含的词语的词性生成所述每个句子的分词模式；

提取所述预设语料中包含预设裂变词的句子，并根据所述预设裂变词将所述句子的分词模式转换为裂变模式，以将该裂变模式加入到裂变模集合中；

其中，所述裂变词为用于将语句划分成裂变模式的关键词；所述裂变模式为根据所述语句包含词语的词性将所述语句进行划分所得的模式；

根据当前的裂变模集合，从所述预设语料中提取包含所述当前的裂变模集合中的裂变模式的句子，并提取该句子中裂变词位置所对应的词语，以将该词语加入到裂变词集合中；

根据得到的所述裂变词集合以及所述裂变模集合进行迭代裂变搜索，以根据最终得到的裂变词集合和最终得到的裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果。

2.根据权利要求1所述的方法，其特征在于，所述提取所述预设语料中包含预设裂变词的句子，并根据所述预设裂变词将所述句子的分词模式转换为裂变模式，以将该裂变模式加入到裂变模集合中之前，所述方法还包括：

初始化所述裂变词集合，以将所述裂变词集合设置为空集合；

初始化所述裂变模集合，以将所述裂变模集合设置为空集合。

3.根据权利要求1所述的方法，其特征在于，根据预设语料中的每个句子所包含的词语的词性生成所述每个句子的分词模式，包括：

通过分词程序对所述预设语料中的每个句子进行分词，并根据分词的结果生成所述每个句子的分词模式。

4.根据权利要求3所述的方法，其特征在于，所述通过分词程序对所述预设语料中的每个句子进行分词，包括：

根据所述每个句子所包含的词语的词性对所述每个句子进行实体标注。

5.根据权利要求1所述的方法，其特征在于，所述根据最终得到的裂变词集合和最终得到的裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果，包括：

接收根据所述最终得到的裂变词集合和裂变模集合进行人工标注的问答目标，以根据所述问答目标获取并返回查询结果。

6.一种级联裂变查询装置，其特征在于，包括：

分词模式生成单元，用于根据预设语料中的每个句子所包含的词语的词性生成所述每个句子的分词模式；

裂变模式提取单元，用于提取所述预设语料中包含预设裂变词的句子，并根据所述预设裂变词将所述句子的分词模式转换为裂变模式，以将该裂变模式加入到裂变模集合中；

其中，所述裂变词为用于将语句划分成裂变模式的关键词；所述裂变模式为根据所述语句包含词语的词性将所述语句进行划分所得的模式；

裂变词提取单元，用于根据当前的裂变模集合，从所述预设语料中提取包含所述当前的裂变模集合中的裂变模式的句子，并提取该句子中裂变词位置所对应的词语，以将该词语加入到裂变词集合中；

裂变查询单元，用于根据得到的所述裂变词集合以及所述裂变模集合进行迭代裂变搜索，以根据最终得到的裂变词集合和最终得到的裂变模集合对待查询语句进行裂变处理，并根据处理结果获取并返回查询结果。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

集合初始化单元，用于初始化所述裂变词集合，以将所述裂变词集合设置为空集合；以及初始化所述裂变模集合，以将所述裂变模集合设置为空集合。

8.根据权利要求6所述的装置，其特征在于，所述分词模式生成单元进一步用于：

通过分词程序对所述预设语料中的每个句子进行分词，并根据分词的结果生成所述每个句子的分词模式。

9.根据权利要求8所述的装置，其特征在于，所述分词模式生成单元还用于：

根据所述每个句子所包含的词语的词性对所述每个句子进行实体标注。

10.根据权利要求6所述的装置，其特征在于，所述裂变查询单元进一步用于：

接收根据所述最终得到的裂变词集合和裂变模集合进行人工标注的问答目标，以根据所述问答目标获取并返回查询结果。