CN104199965B

CN104199965B - 一种语义信息检索方法

Info

Publication number: CN104199965B
Application number: CN201410483181.8A
Authority: CN
Inventors: 吴晨
Original assignee: Individual
Current assignee: Individual
Priority date: 2014-09-22
Filing date: 2014-09-22
Publication date: 2020-08-07
Anticipated expiration: 2034-09-22
Also published as: CN104199965A

Abstract

发明公开了一种语义信息检索方法，该方法包括：接收用户提交的查询词，通过分词处理得到该查询词中所包含的关键词；依据关键词之间的语义关系，进行查询分析，将其转换为概念表达；从存储介质中以篇为单位读取待检索文本；对待检索文本进行分句分词，把读取的文本切分为语句、词语；对语句进行语义分析，得到语句的概念类别和词语的概念表达；计算上述获取的查询词的概念表达与待检索文本的概念表达之间的语义距离；依据语义距离由近及远排序，返回查询结果。与传统信息检索方法通过词语匹配得到的检索结果相比,可以有效提升检索结果的准确性。

Description

一种语义信息检索方法

技术领域

本发明涉及互联网技术领域，尤其是一种语义信息检索方法。

背景技术

信息检索的发展到现在已经经历了两代。第一代信息检索是人工分目录检索；第二代是计算机依靠算法实现的以关键词检索为主要表现的自动信息检索。第二代检索的主要技术特征为概率统计算法在检索中取得的成功。这一技术的出现无疑莫定了检索技术发展的一个重要里程碑，基本方法为对文本进行分词，同时构建由词语作为特征的文本特征向量，并建立倒排索引供查询匹配使用。另一方面，将用户输入的检索请求也表示为特征向量，计算两者之间的余弦距离，或者计算当出现检索特征向量时出现文本特征向量的概率值，并将结果从高到低排序，作为检索返回结果。比如，专利号CN102023989公开了一种信息检索方法及系统，所述方法包括：接收查询词，通过分词处理得到该查询词中所包含的关键词，通过所述信息检索系统的倒排索引数据查找与所述关键词匹配的文本，以及与所述文本对应的正排索引数据，根据所述文本对应的正排索引数据确定出所述文本的摘要，将所述文本的摘要以及文本的信息作为检索结果进行输出。通过此方法进而解决检索效率低的问题；专利号CN103365910A公开了一种信息检索的方法和系统，所述方法利用QA词表扩展检索关键词，从而提升检索的覆盖率；专利号CN103383701A公开了一种信息检索方法、装置及终端，所述方法通过历史检索记录来对当前输入关键词进行补全从而降低用户输入的难度，扩充检索结果。

采用概率统计算法实现检索的最大优势在于：已有相当多成熟、可供利用的数学模型，同时算法实现的方案明确、复杂度不高、易于工程化。

然而，这些方法都无一例外的将词语作为处理对象，并将其看作相互独立的离散符号，即一个词语的出现与其它词语的出现相互独立，这就不可避免地存在处理上的欠缺，以篇章为单元、以词语为单位的数据集合无法满足概率统计模型对数据无关性的要求。这已经成为影响当前信息检索效能进一步提高的瓶颈。

发明内容

为了解决以上问题，本发明提供了一种基于语义的信息检索方法，目的是充分利用上下文中蕴含的丰富语义知识来提升信息检索的效能。该方法通过自然语言理解手段获取词汇及语句的形式化语义表示，并在这基础上结合一定的统计模型实现信息检索。

所述技术方案如下：

接收用户提交的查询词，通过分词处理得到该查询词中所包含的关键词；

依据关键词之间的语义关系，进行查询分析，将关键词转换为概念表达；

从存储介质中以篇为单位读取待检索文本；

对待检索文本进行分句分词，把读取的文本切分为语句、词语；

对语句进行语义分析，得到语句的概念类别和词语的概念表达；

计算上述获取的查询词的概念表达与待检索文本的概念表达之间的语义距离；

依据语义距离由近及远排序，返回查询结果。

本发明提供的技术方案的有益效果是：

基于对语义的概念表示，通过语句语义分析获取检索词以及待检索文本的概念表达，利用概念之间的相关性和统计特性，计算两者之间的语义距离来实现高效的信息检索，与传统信息检索方法通过词语匹配得到的检索结果相比,可以有效提升检索结果的准确性。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明语义信息检索方法流程图；

图2是本发明语义距离计算的流程图；

图3语句语义理解结果示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明实施方式作进一步地详细描述：

本实施例提供了一种信息检索方法方法，如图1所示，该方法包括：

步骤10接收用户提交的查询词，通过分词处理得到该查询词中所包含的关键词；

查询词可以是单个词或多个词或词句，还可以是通过关系运算符(and,or等)连接的多个单词(或词句)。通过分词处理得到该查询词中所包含的关键词，并过滤掉停用词，比如：的、是。

步骤20依据关键词之间的语义关系，进行查询分析，将关键词转换为概念表达；

首先，将上述步骤获得的关键词读入到候选数组，假设由n个关键词组成，Q＝{q₁,q₂,...,q_n}；

其次，从词语知识库中选取查询关键字q_i的所有候选义项的概念表达c_i，假设有k个，将它们读入到新的数组c_i＝{c_i1,c_i2,...,c_ik}，其中，1<＝i<＝n,k表示查询关键字q_i的候选概念表达的序号；

如果HasRelation(ci_x,c_jy)＝＝true，即c_ix和c_jy之间被定义了语义相关性，其中c_ix∈c_i,c_jy∈c_j,i≠j则，从词语知识库中返回两者之间的相关度值R(c_ix,c_jy)；否则两者之间相关度设为零；

获取使得

最优的一组数组概念表达C_m＝{c_1x,c_2y,...,c_nz}以及对应的

值，其中，x、y、z表示c_i的第x个、第y个、第z个概念表达。

其中，词语知识库由人工预先维护好，词语知识库中包含：义项数：为词语可能对应的概念数；概念符号：概念表达，为词语所对应的概念；句类代码：为该词语所能激活的语句的句类表示式代码；语义相关性：为该词语概念表达与其他存在相关性词语对应的概念表达之间的相关性度量值。

下表给出了一个词语知识库的实施示例：

步骤30从存储介质中以篇为单位读取待检索文本；

步骤40对待检索文本进行分句分词，把读取的文本切分为语句、词语；

以文本的“回车、换行、句号、问号、叹号和分号”等字符为切分点，把文本切分成若干个语句。再通过逆向最大匹配法，依据词语知识库中词语，将语句切分为若干词语。

步骤50对语句进行语义分析，得到语句的概念类别和词语的概念表达；

对于每一个语句，依据词语知识库，分析语句得到语句的概念类别和各词语所映射的概念(Term concept),语句的概念类别用句类表示式(SCE)来表示。

具体地，语义分析的流程为：

依据词语知识库，从语句中挑选一个特征词语；

从词语知识库中获取该特征词语所能激活的语句的句类表示式；

提出假设，假设上述表示式就是本语句的句类表示式；

寻找语句中的其他词语是否存在这样一组概念表达，使得句类表示式对他们的语义要求都满足；

如果满足，则假设成立，语义分析成功，输出句类表示式以及各组成词语所映射的概念表达；

如果不满足，则重新寻找语句中的特征词语，直至语义分析成功，或者所有假设都不成立，输出语义分析失败。

在本实施例中，如果语义分析失败，该语句将跳过不再做处理。

图3给出了一个经过语义分析后所得到的语句理解结果，处理结果包括了语句的句类表示式(SCE)以及各元素所映射的概念(Term concept)。其中，原语句之上的“||”为主语义块划分标志，“||～”和“～||”为辅语义块划分标志。“SB+S+SC+Cn1+Cn2”为句类表达式(SCE)，句类表达式的模式是预先设置好的，该表达式表明了该语句是一个状态句，描述了一种状态。句类表达式中的各个语义块与语句之中的词语的对应关系已经由箭头指出。图中同时指出了语句中的每个词语对应的概念表达式(Term concept)。

步骤60计算上述获取的查询词的概念表达与待检索文本的概念表达之间的语义距离；

具体地，语义距离计算的方法如图2所示。

步骤201计算全局模型下，待检索文本与检索词概念表达之间的语义距离。用文本出现某个概念表达的概率来表示，具体计算公式为：

其中，

其中，p为基于Kullback-Leibler算法生成的文本聚类；

kl(d,p)是文本d和聚类p之间的K-L距离；

n(t_i,d)为概念表达t_i在文本d中的权重，为文本d中出现的概念表达t的数量；

|d|为文本d中出现的所有概念表达的数量。

度量的是概念表达t在聚类p中的出现的数量；

tf(p,t)为聚类p中出现的概念表达t的数量；

|p|为p中出现的所有概念表达的数量。

步骤202计算局部模型下，待检索文本与检索词概念表达之间的语义距离；

具体方法为：度量某个文本，在某个领域下，独立产生某个概念表达的可能性。采用了泊松分布(Poisson distribution)模型对模型的风险进行了模型化，采用泊松分布模型的原因是其较好的反映了词条分布模型。

具体计算公式为：

其中，P(t,d)为概念表达t与文本d之间的相关度，

tf(d_i,t)为文本d_i出现概念表达t的次数，|d_i|为文本d_i中所有概念表达的数量；

P_avg(t,p)为所有包含文本d_i的聚类p出现概念表达t的平均可能性，具体计算公式为：

df(t)为出现概念表达t的文本的数量；

P(k_i,λ)为风险函数，k_i为文档d_i中出现概念表达t的次数，k_i＝tf(d_i,t)，λ为该文档所在领域中概念表达t出现的次数。

k！为k的阶乘，

λ为该文本d_i所在聚类p中概念表达t出现的次数，

df(t)为出现概念表达t的文档的数量。

步骤203采用差值方法将局部模型和全局模型进行平滑，计算最终待检索文本与检索词之间的语义距离；

具体公式为：

其中，P(t|d)＝λP(t|d,p)+(1-λ)P(t|d,c)。

即

arg_Tmax P(T|Q)表示出现查询条件Q的情况下出现某一个概念表达T的可能性最大；

α为平滑参数；

T为所有概念表达t的集合，Q为所有查询词的概念表达的集合，即q的集合；

t∞q表示查询q被翻译成了相应的概念表达t；

Q表示查询条件；

T表示查询条件对应的概念表达；

q_i表示查询条件Q中第i个关键词；

t_ij表示第i个关键词q_i所对应的第j个候选概念表达。

步骤70依据语义距离由近及远排序，返回查询结果；

具体地，计算每一个文本产生查询条件的可能性P(Q|d)，可能性越大则语义距离越近，并对文本按语义距离由近及远进行排序，返回查询结果d的排序后集合。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims

1.一种语义信息检索方法，包括：接收用户提交的查询词，查询词是单个词或多个词或词句，或者是通过关系运算符and或者or连接的多个单词或词句；通过分词处理得到该查询词中所包含的关键词；依据关键词之间的语义关系，进行查询分析，将其转换为概念表达；从存储介质中以篇为单位读取待检索文本；对待检索文本进行分句分词，把读取的文本切分为语句、词语；对语句进行语义分析，得到语句的概念类别和词语的概念表达；计算上述获取的查询词的概念表达与待检索文本的概念表达之间的语义距离；依据语义距离由近及远排序，返回查询结果；其中，上述查询词的概念表达与待检索文本的概念表达之间的语义距离计算的方法分为下述三个步骤：

步骤1：计算全局模型下，待检索文本d与检索词概念表达t之间的语义距离P(t|d,c)；

其中，p为基于Kullback-Leibler算法生成的文本聚类；

P(p|d)为文本d属于某个聚类p的可能性，

kl(d,p)是文本d和聚类p之间的K-L距离；

其中，n(t_i,d)为概念表达t_i在文本d中出现的数量；

|d|为文本d中出现的所有概念表达的数量；

P(t|p)为聚类p产生某个概念表达t的可能性，

即为概念表达t在聚类p中的出现的数量，tf(p,t)为聚类p中出现的概念表达t的数量，|p|为p中出现的所有概念表达的数量；

步骤2：计算局部模型下，待检索文本d与检索词概念表达t之间的语义距离P(t|d,p)；

其中，P(t,d)为概念表达t与文本d之间的相关度，

其中，P_avg(t,p)为所有包含文本d_i的聚类p出现概念表达t的平均可能性，具体计算公式为：

df(t)为出现概念表达t的文本的数量；

其中，P(k_i,λ)为风险函数，k_i为文档d_i中出现概念表达t的次数，k_i＝tf(d_i,t)，λ为该文档所在聚类中概念表达t出现的次数，

k！为k的阶乘，λ为该文本d_i所在聚类p中概念表达t出现的次数，

df(t)为出现概念表达t的文档的数量；

步骤3：采用差值方法将局部模型和全局模型进行平滑，计算最终待检索文本d与检索词Q之间的语义距离P(Q|d)；

其中，P(q|t)为出现概念表达t时出现检索词q的可能性；

P(t|d)为文档d与概念表达t的相关度，具体计算公式为：

P(t|d)＝λP(t|d,p)+(1-λ)P(t|d,c)；

其中，P(t|d,p)同上，P(t|d,c)同上，λ为平滑参数；

其中，t∞q表示查询q被映射成了相应的概念表达t；

其中，P(T|Q)为查询条件Q下，出现T的可能性，具体计算公式为：

其中，arg_TmaxP(T|Q)表示出现查询条件Q的情况下出现某一个概念表达T的可能性最大；

T为所有概念表达t的集合；

Q为所有查询词的概念表达的集合，即q的集合；

q_i表示查询条件Q中第i个关键词；

t_ij表示第i个关键词q_i所对应的第j个候选概念表达；

R(x,y)表示概念表达x和概念表达y之间的语义相关度，值越大，表明两者相关度越大。

2.根据权利要求1所述的语义信息检索方法，其特征在于，将关键词转换为概念表达的具体流程为：

将上述步骤获得的关键词读入到候选数组，假设由n个关键词组成，Q＝{q₁,q₂,...,q_n}；

从词语知识库中选取查询关键字q_i的所有候选义项的概念表达c_i，假设有k个，将它们读入到新的数组c_i＝{c_i1,c_i2,...,c_ik}，其中，1<＝i<＝n,k表示查询关键字q_i的候选概念表达的序号；

如果HasRelation(c_ix,c_jy)＝＝true，即c_ix和c_jy之间被定义了语义相关性，其中c_ix∈c_i,c_jy∈c_j,i≠j则，从词语知识库中返回两者之间的相关度值R(c_ix,c_jy)；否则两者之间相关度设为零；

获取使得

最优的一组数组概念表达C_m＝{c_1x,c_2y,...,c_nz}以及对应的

值，其中，x、y、z表示c_i的第x个、第y个、第z个概念表达。

3.根据权利要求1所述的语义信息检索方法，其特征在于，对语句进行语义分析的具体流程为：

依据词语知识库，从语句中挑选一个特征词语；

提出假设，假设上述表示式就是本语句的句类表示式；

4.根据权利要求2或3所述的语义信息检索方法，其特征在于，词语知识库由人工预先维护好，词语知识库中包含：义项数：为词语可能对应的概念数；概念符号：概念表达，为词语所对应的概念；句类代码：为该词语所能激活的语句的句类表示式代码；语义相关性：为该词语概念表达与其他存在相关性词语对应的概念表达之间的相关性度量值。