CN108614897A - 一种面向自然语言的内容多样化搜索方法 - Google Patents

Abstract

本发明公开了一种面向自然语言的内容多样化搜索方法，主要为对用户的查询语句进行理解，再通过实体识别、文本表示、实体关系抽取等技术将自然语言查询转换成带有“查询焦点”的查询模式图；随后利用结构匹配的方法将查询模式图与知识图谱进行匹配计算，得到一系列满足查询要求的结果；最后再通过多样化计算，得到Top‑k个与“查询焦点”高度相关，且多样化的查询结果，从而更好地满足用户的查询需求。本发明的方法可为用户提供更为多样化的检索内容，且搜索速度快。

Description

一种面向自然语言的内容多样化搜索方法

技术领域

本发明涉及搜索方法技术领域，特别涉及一种面向自然语言的内容多样化搜索方法。

背景技术

知识图谱是将海量信息用结构化的方式组织起来，高效地为用户的查询提供答案，因此，近年来它在学术界和工业界引起了广泛的关注。在知识图谱中，查询计算主要采用结构匹配的方式。也就是说，给定一个查询模式图和知识图谱，在知识图谱中找到与查询模式图相匹配的所有匹配项。

查询知识图谱的关键在于查询理解和查询计算。在使用知识图谱时主要容易遇到以下问题：首先，由于用户的查询通常是用自然语言来表达的，这样的语言不能直接用知识图谱来计算。因此，需要先将自然语言查询转换为查询模式图。其次，知识图谱通常规模很大，并且主要是依据子图同构的方式进行计算。

因此，现有技术中知识图谱的使用主要存在以下三方面的问题：

(a)由于输入大，计算复杂性高，查询计算的计算量往往过大；

(b)由于查询模式图在知识图谱中可能存在大量的匹配结果，因此理解查询结果比较困难；

(c)用户通常感兴趣的是与“查询焦点”相匹配的Top-k个最优结果，且这些结果应尽可能的多样化。

发明内容

本发明的目的是克服上述背景技术中不足，提供一种面向自然语言的内容多样化搜索方法，该方法允许用户使用自然语言查询，并将自然语言转换为查询模式图与知识图谱进行匹配，且提出了衡量匹配结果相关性和距离的指标，设计结果多样性计算模型，可计算Top-k个相关且多样化的结果，具有查询结果多样化和查询效率高的优点。

为了达到上述的技术效果，本发明采取以下技术方案：

一种面向自然语言的内容多样化搜索方法，包含以下步骤：

S1.利用CRF++工具对由自然语言描述的查询语句进行实体识别；

S2.采用word2vec技术对实体进行消歧处理，其中，若识别出的实体在知识图谱中不存在，则采用相似度计算的方法查找语义相近的实体；

S3.采用无监督的实体关系识别方法，利用距离特征、频次特征、关系指示词特征建立实体关系识别模型，提取查询语句中的“实体——实体”的实体对关系；

S4.以实体为节点，“实体——实体”关系为边，建立查询模式图，并对查询语句中的“查询焦点”在查询模式图中予以标注；

S5.利用子图同构算法将查询模式图与知识图谱进行结构匹配，返回与“查询焦点”相匹配的“对象”集合；

S6.采用结果多样化技术，选择Top-k个对象作为查询结果；

本发明的面向自然语言的内容多样化搜索方法允许用户使用自然语言进行查询，并将自然语言转换为查询模式图，在知识图谱上进行结构匹配，提出衡量匹配结果相关性和距离的标准，并用多样化Top-k方法输出k个相关且典型的结果，主要为对用户的查询语句进行理解，再通过实体识别、文本表示、实体关系抽取等技术将自然语言查询转换成带有“查询焦点”的查询模式图；随后利用结构匹配的方法将查询模式图与知识图谱进行匹配计算，得到一系列满足查询要求的结果；最后再通过多样化计算，得到Top-k个与“查询焦点”高度相关，且多样化的查询结果，从而更好地满足用户的查询需求。

进一步地，所述步骤S1具体为：

S11.利用分词工具对训练语料进行粗标记；

S12.对粗标后的训练再进行人工细标，得到标注准确的语料作为训练样本；

S13.利用CRF++工具对训练样本进行训练，产生用于实体识别的模型，并利用该模型识别自然语言查询语句中的实体。

进一步地，所述步骤S2具体为：

S21.对语料分词，然后使用word2vec计算语料中多次出现的词的词向量；

S22.当知识图谱中不存在用户输入的查询语句所包含的实体时，该实体即为未知实体，基于余弦法计算未知实体与词典中其他词的相似度，选择相似度最高的词替代未知实体。

进一步地，所述步骤S3具体为：

S31.统计文本文档，查找距离特征，得到词间距离与实体对存在关系的概率分布图，其中，当实体对间的距离为2时，该实体对存在关系的概率最大，随着词间距离增大，实体对存在关系的概率逐渐减小；

S32.计算实体对出现频次，其中，有效的实体对在文本文档中出现的频次越高，实体对间存在关系的概率越大；

S33.统计文本文档，查找关系指示词特征，得到关系指示词在实体对中的位置与实体对存在关系的概率分布图，其中，关系指示词出现在两个实体的中间位置时，该实体对存在关系的概率最大；

S34.用距离特征、实体对频次特征、和关系指示词特征来评定实体对是否存在关系。

进一步地，所述步骤S34中评定实体对是否存在关系的评定模型为：

M＝αX_distance+βY_frequency+γZ_relation

其中，α,β,γ是利用网格搜索的方法确定，X_distance为距离特征，Y_frequency为实体对频次特征，Z_relation为关系指示词特征。

进一步地，所述步骤S6具体为：

S61.定义匹配结果的相关性指标和距离指标，产生结果多样性计算模型，其中，相关性指标基于“对象”集合的属性，而距离指标则基于“对象”集合属性的Jaccard距离或集合属性的Jaccard距离的加权值；

S62.根据多样性计算模型，从“对象”集合中，迭代选取最优的“对象”对，直到k个“对象”选择完毕为止。

进一步地，所述步骤S61具体为：

S611.将实体的评价分值作为判断其匹配相关性的标准ω(υ_i)；

S612.将ω(υ_i)零均值归一化为ω'(υ_i)；

S613.将实体的其它属性作为实体间距离判断的依据，并将两个实体间的距离d(υ_i,υ_j)定义为集合属性的Jaccard距离或集合属性的Jaccard距离的加权值；

S614.将d(υ_i,υ_j)零均值归一化为d'(υ_i,υ_j)；

所述步骤S62具体为：

S621.定义“对象”集合的多样化函数即“对象”集合的多样性计算模型F(S)：

S622.计算并存储实体对的多样化函数值；

S623.对与“查询焦点”相匹配的“对象”进行迭代，挑选多样化函数值最大的“对象”对；

S624.当k个对象选择完毕，迭代终止。

本发明与现有技术相比，具有以下的有益效果：

本发明的面向自然语言的内容多样化搜索方法支持自然语言查询，并通过结果多样化计算来提高查询友好度，增强用户体验，且可适用于多种领域，该方法不仅能够有效地理解用户的查询需求、聚焦查询焦点，还能为用户快速检索出k个高度相关且多样化的结果，从而优化用户体验；因此，与现有技术相比本发明的方法可为用户提供更为多样化的检索内容，且搜索速度快。

附图说明

图1是本发明的面向自然语言的内容多样化搜索方法的流程示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

实施例一：

如图1所示，一种面向自然语言的内容多样化搜索方法，具体包括以下几个步骤：

步骤s1：构造知识图谱，将实体作为节点，“实体——实体”关系作为边，建立知识图谱G；

步骤s2：对用户输入的自然语言查询语句进行实体抽取，本方案采用CRF++来实现实体抽取；

步骤s3：若抽取到的实体在知识图谱中不存在时，采用相似度计算的方法得到与其相近的实体；

步骤s4：对实体间的关系进行判断；

步骤s5：基于实体和“实体——实体”关系构造查询模式图Q，并标记“查询焦点”；

步骤s6：将查询模式图Q和知识图谱G通过子图同构算法进行匹配，得到与“查询焦点”相匹配的“对象”集合；

步骤s7：从匹配结果中挑选出相关度高且典型的Top-k个结果进行输出。

其中，步骤s2具体包含：

步骤s21：:利用分词工具对训练语料进行粗标记；

步骤s22：对粗标后的语料进行人工细标，得到标注准确的语料作为训练样本；

步骤s23：利用CRF++对标注准确的语料进行训练得到一个训练模型，利用该模型实现对查询语句的实体识别。

步骤s3具体包含：

步骤s31：对语料分词，然后使用word2vec计算语料中多次出现的词的词向量；

步骤s32：当知识图谱中不存在用户输入的查询信息所包含的实体w时，基于余弦法计算与词典中其他词的相似度，选择相似度最高的词替代。

步骤s4具体包含：

步骤s41：统计文本文档，查找距离特征，得到词间距离与实体对存在关系的概率分布图，当实体对间的距离为2时，该实体对存在关系的概率最大，随着词间距离增大，实体对存在关系的概率逐渐减小；

步骤s42：计算实体对出现频次，有效的实体对在文本中出现的频次越高，实体对间存在关系的概率越大；

步骤s43：统计文本文档，查找关系指示词特征，得到指示词在实体对中的位置与实体对存在关系的概率分布图，指示词出现在两个实体的中间位置时，该实体对存在关系的概率最大；

步骤s44：利用距离特征，实体对频次特征，和关系指示词特征来评定实体对是否存在关系，其评定模型如下，α,β,γ是利用网格搜索的方法确定：

M＝αX_distance+βY_frequency+γZ_relation

X_distance为距离特征，Y_frequency为实体对频次特征，Z_relation为关系指示词特征。

步骤s7具体为：

步骤s71：将实体的评价分值作为判断其匹配相关性的标准ω(υ_i)；

步骤s72：将ω(υ_i)零均值归一化为ω'(υ_i)；

步骤s73：将实体的其它属性作为实体间距离判断的依据，并将两个实体间的距离d(υ_i,υ_j)定义为属性的Jaccard距离，或属性集合的Jaccard距离的加权值；

步骤s74：将d(υ_i,υ_j)零均值归一化为d'(υ_i,υ_j)；

步骤s75：定义实体集合S的多样化函数F(S)：

步骤s76：计算并存储实体对的多样化函数值；

步骤s77：对与“查询焦点”相匹配的“对象”进行迭代，挑选多样化函数值最大的“对象”对；

步骤s78：当k个对象选择完毕，迭代终止。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (7)

1.一种面向自然语言的内容多样化搜索方法，其特征在于，包含以下步骤：

S1.利用CRF++工具对由自然语言描述的查询语句进行实体识别；

S2.采用word2vec技术对实体进行消歧处理，其中，若识别出的实体在知识图谱中不存在，则采用相似度计算的方法查找语义相近的实体；

S3.采用无监督的实体关系识别方法，利用距离特征、频次特征、关系指示词特征建立实体关系识别模型，提取查询语句中的“实体——实体”的实体对关系；

S4.以实体为节点，“实体——实体”关系为边，建立查询模式图，并对查询语句中的“查询焦点”在查询模式图中予以标注；

S5.利用子图同构算法将查询模式图与知识图谱进行结构匹配，返回与“查询焦点”相匹配的“对象”集合；

S6.采用结果多样化技术，选择Top-k个对象作为查询结果。

2.根据权利要求1所述的一种面向自然语言的内容多样化搜索方法，其特征在于，所述步骤S1具体为：

S11.利用分词工具对训练语料进行粗标记；

S12.对粗标后的训练再进行人工细标，得到标注准确的语料作为训练样本；

S13.利用CRF++工具对训练样本进行训练，产生用于实体识别的模型，并利用该模型识别自然语言查询语句中的实体。

3.根据权利要求2所述的一种面向自然语言的内容多样化搜索方法，其特征在于，所述步骤S2具体为：

S21.对语料分词，然后使用word2vec计算语料中多次出现的词的词向量；

S22.当知识图谱中不存在用户输入的查询语句所包含的实体时，该实体即为未知实体，基于余弦法计算未知实体与词典中其他词的相似度，选择相似度最高的词替代未知实体。

4.根据权利要求3所述的一种面向自然语言的内容多样化搜索方法，其特征在于，所述步骤S3具体为：

S31.统计文本文档，查找距离特征，得到词间距离与实体对存在关系的概率分布图，其中，当实体对间的距离为2时，该实体对存在关系的概率最大，随着词间距离增大，实体对存在关系的概率逐渐减小；

S32.计算实体对出现频次，其中，有效的实体对在文本文档中出现的频次越高，实体对间存在关系的概率越大；

S33.统计文本文档，查找关系指示词特征，得到关系指示词在实体对中的位置与实体对存在关系的概率分布图，其中，关系指示词出现在两个实体的中间位置时，该实体对存在关系的概率最大；

S34.用距离特征、实体对频次特征、和关系指示词特征来评定实体对是否存在关系。

5.根据权利要求4所述的一种面向自然语言的内容多样化搜索方法，其特征在于，所述步骤S34中评定实体对是否存在关系的评定模型为：

M＝αX_distance+βY_frequency+γZ_relation

其中，α,β,γ是利用网格搜索的方法确定，X_distance为距离特征，Y_frequency为实体对频次特征，Z_relation为关系指示词特征。

6.根据权利要求5所述的一种面向自然语言的内容多样化搜索方法，其特征在于，所述步骤S6具体为：

S61.定义匹配结果的相关性指标和距离指标，产生结果多样性计算模型，其中，相关性指标基于“对象”集合的属性，而距离指标则基于“对象”集合属性的Jaccard距离或集合属性的Jaccard距离的加权值；

S62.根据多样性计算模型，从“对象”集合中，迭代选取最优的“对象”对，直到k个“对象”选择完毕为止。

7.根据权利要求6所述的一种面向自然语言的内容多样化搜索方法，其特征在于，所述步骤S61具体为：

S611.将实体的评价分值作为判断其匹配相关性的标准ω(υ_i)；

S612.将ω(υ_i)零均值归一化为ω'(υ_i)；

S613.将实体的其它属性作为实体间距离判断的依据，并将两个实体间的距离d(υ_i,υ_j)定义为集合属性的Jaccard距离或集合属性的Jaccard距离的加权值；

S614.将d(υ_i,υ_j)零均值归一化为d'(υ_i,υ_j)；

所述步骤S62具体为：

S621.定义“对象”集合的多样化函数即“对象”集合的多样性计算模型F(S)：

S622.计算并存储实体对的多样化函数值；

S623.对与“查询焦点”相匹配的“对象”进行迭代，挑选多样化函数值最大的“对象”对；

S624.当k个对象选择完毕，迭代终止。