CN102214180A - 检索方法及其建立文本语义提取模型的方法 - Google Patents

Abstract

本发明提供一种检索方法，其包括：将待检索数据库表示成文档_关键词矩阵，所述文档关键词矩阵的行数为文档的篇数n，列数为关键词的个数m；产生一个目标矩阵以表示改善后的待检索数据库，其包括：对文档_关键词矩阵进行转置以形成关键词文档矩阵，利用奇异值分解算法将所述关键词_文档矩阵分解成关键词向量矩阵、一对角线矩阵和文档向量矩阵的乘积；和选取所述关键词向量矩阵，利用所述文档关键词矩阵和所述关键词向量矩阵相乘以建立目标矩阵；和在所述目标矩阵表示的改善后的待检索数据库中进行检索。利用本发明的检索方法大大地提高了检索速度与效率。

Description

检索方法及其建立文本语义提取模型的方法

【技术领域】

本发明涉及检索方法及其文本语义提取模型的建立，特别是关于一种基于隐型语义分析的文本语义提取模型建立的方法。

【背景技术】

随着互联网技术的飞速发展，近几十年来网上的文本信息量成指数增长，如何快速有效地组织和管理大量的文本信息已成为现代信息检索技术的首要挑战。

图1为信息检索适应的环境示意图。请参照图1所示，其中计算机102通过局域网LAN与服务器104A互联，服务器104A又与服务器104B或其他服务器相连以得到从服务器104B到服务器104N的所有的网络资源，这样计算机102通过服务器104A便可获得所有与相连的服务器上的资源，网民在使用端机计算机102中变可通过信息检索来获取想要的数据资源。由于每台服务器均有很大数据量的文本资源，为服务器带来很大的负担，怎样能够快速有效地组织和管理大量的文本信息已成为现代信息检索技术的首要挑战。

现代搜索引擎常利用向量空间模型来表示与组织文档，每个关键词在向量空间中表示文档的一个特征，然而由于文本集由成千上万的不同关键词组成，导致向量空间中表示文本的特征量非常庞大，从而，进一步造成文本数据挖掘技术的计算量十分惊人。一个简捷、高效的文本表示模型对现代信息检索技术的效率起着关键的作用，但是向量空间模型中文本特征的高维性已成为文本索引、分类、聚类、摘要等应用的瓶颈。同时，由于每个关键词在向量空间模型中代表一个独立的特征，这种直接的表示法忽略了特征间的相互关系。然而自然语言里往往存在大量的同义词与反义词，一个概念能够由许多不同的关键词表示，而一个关键词又可能有多重的含义。如何有效的表示文档的特征是信息检索与自然语言处理的难点与重点。

现代信息检索技术常把文档中每个关键词当作一个独立的单元表示，文档中关键词的数目在向量空间模型中等价于文档特征的维数。然而由于自然语言表达习惯的多样性，直接导致特征的维数非常庞大，从而，进一步造成信息检索技术的计算量十分惊人。现有的降维技术仅仅简单地选取一些词频较高的关键词来表示文档，其特征的维数往往和原始的维数在同一个数量级，不能从本质上达到降维的目的。同时，这种直接的降维方法仍把不同的关键词当作相互独立的特征，忽略了特征间的相互关系。

现代搜索引擎对检索技术提出更高的挑战，要求能从语义上检索到相关的文档，于是基于词典和基于文集的方法应运而生，用来解决文档间语义相关性的问题。

基于词典的方法利用概念的分类技术把词汇组织成树型的分层结构，树型结构中每个结点代表一个概念，每个概念包括一系列语义上相似的词汇，Wordnet提供了一个分层的树型结构和覆盖面广泛的词库，我们可以利用其概念间最短路径长度和最近共同父结点深度来计算两个关键词间的语义相关性。但是Wordnet的词库在一些专业性很强的领域仍十分有限，很难准确地衡量相关概念间的相似性。同时，在树型结构中查找概念间最短路径长度与最近父结点深度的时间复杂度非常地高。

基于文集的方法通过计算两个概念在文集中覆盖的最大信息背景(信息量)来衡量概念间的相关性，概念间的信息量通过文集中两个概念及其子概念的实例重叠概率来计算，此方法需要一个全面的文集来提供丰富的信息背景支持，但也导致该方法的时间复杂度十分惊人。同时，由于概念间的相关性受限于所选取的具体文集，对于一些专家数据库该方法的作用十分有限。

因此有必要提出一种改进的技术方案来克服上述问题。

【发明内容】

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

本发明的目的在于提供一种建立文本语义提取模型的方法，其可以既能有效地把表示文档的特征维数降到文档篇数的数量级(原始的特征维数为关键词的数量级)，去除冗余的特征，大大降低了信息检索算法的计算复杂度；同时，又能充分地发掘文档间潜在的语义联系，因为相似背景的文档往往在语义空间中分享相似的语义向量。

根据本发明的一方面，本发明提供检索方法，其包括：将待检索数据库表示成文档_关键词矩阵，所述文档_关键词矩阵的行数为文档的篇数n，列数为关键词的个数m；产生一个目标矩阵以表示改善后的待检索数据库，其包括：对文档_关键词矩阵进行转置以形成关键词_文档矩阵，利用奇异值分解算法将所述关键词_文档矩阵分解成关键词向量矩阵、一对角线矩阵和文档向量矩阵的乘积；和选取所述关键词向量矩阵，利用所述文档_关键词矩阵和所述关键词向量矩阵相乘以建立目标矩阵；和在所述目标矩阵表示的改善后的待检索数据库中进行检索。

进一步的，其中所述对角线矩阵是一个以文档篇数n为秩的对角线矩阵，所述关键词向量矩阵为m阶矩阵，所述文档向量矩阵为n阶矩阵。

进一步的，其中所述对角线矩阵是一个以小于文档篇数n的数量k为秩的对角线矩阵，所述关键词向量矩阵的行数为m，其列由其经济矩阵的前k列构成，所述文档向量矩阵的行数为k，其列数为n。

根据本发明的另一方面，本发明提供一种建立文本语义提取模型的方法，其包括：在向量空间模型中以文档_关键词矩阵表示待检索数据库，所述文档_关键词矩阵的行数为文档的篇数n，列数为关键词的个数m；对文档_关键词矩阵进行转置以形成关键词_文档矩阵，利用奇异值分解算法将所述关键词_文档矩阵分解成关键词向量矩阵、一对角线矩阵和文档向量矩阵的乘积；和选取所述关键词向量矩阵，利用文档_关键词矩阵和所述关键词向量矩阵相乘以建立目标矩阵。

进一步的，其中所述对角线矩阵是一个以文档篇数n为秩的对角线矩阵，所述关键词向量矩阵为m阶矩阵，所述文档向量矩阵为n阶矩阵。

进一步的，其中所述对角线矩阵是一个以小于文档篇数n的数量k为秩的对角线矩阵，所述关键词向量矩阵的行数为m，其列由其经济矩阵的前k列构成，所述文档向量矩阵的行数为k，其列数为n。

根据本发明的再一方面，本发明提供一种建立文本语义提取模型的方法，其包括：在向量空间模型中以文档_关键词矩阵表示待检索数据库，所述文档_关键词矩阵的行数为文档的篇数n，列数为关键词的个数m；对文档_关键词矩阵进行转置以形成关键词_文档矩阵，利用奇异值分解算法将关键词_文档矩阵分解成关键词向量矩阵的酉矩阵的前k列构成的k列关键词向量矩阵、关键词_文档矩阵的前k个最大的奇异值构成的k阶对角线矩阵和文档向量矩阵的前k行构成的k行文档向量矩阵的乘积；和选取所述k列关键词向量矩阵，利用文档_关键词矩阵和所述k列关键词向量矩阵相乘以建立目标矩阵；其中k为小于或等于文档篇数n的数量的一个值。

进一步的，所述k的值通过所述的文档_关键词矩阵和目标矩阵的相似性差异函数来确定，所述相似性差异函数SStress为：

$\mathrm{SStress}=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{({s_{i,j}}^2-{s_{i,j}^{\′}}^2)}^2$

其中n代表文档_关键词矩阵的行数，其中s_i，j表示所述文档_关键词矩阵中第i行元素d_i(w_i，1，w_i，2，...w_i，m)和第j行元素d_j(w_i，1，w_i，2，...w_i，m)间的cosine值，S′_i，j表示所述目标矩阵中第i行元素

和j行元素间的cosine值，其中s_i，j、s′_i，j分别为：

$s_{i,j}=(\underset{p=1}{\overset{m}{\mathrm{\Σ}}}{w}_{i,p}\·w_{j,p})/(\sqrt{\underset{p=1}{\overset{m}{\mathrm{\Σ}}}{w}_{i,p}^2}\·\sqrt{\underset{p=1}{\overset{m}{\mathrm{\Σ}}}{w}_{j,p}^2})$

$s_{i,j}^{\′}=(\underset{p=1}{\overset{k}{\mathrm{\Σ}}}{v}_{i,p}\·v_{j,p})/(\sqrt{\underset{p=1}{\overset{k}{\mathrm{\Σ}}}{v}_{i,p}^2}\·\sqrt{\underset{p=1}{\overset{k}{\mathrm{\Σ}}}{v}_{j,p}^2})$

其中m代表所述文档_关键词矩阵中关键词的数目，k(k≤n)代表所述目标矩阵的维数；

所述k值可以为所述相似性差异函数曲线的拐点处对应的k值到n之间的任何一个值，而所述相似性差异函数曲线的拐点处对应的k值为所述k的最佳值。

根据本发明的再一方面，本发明提供一种建立文本语义提取模型的方法，其包括：在向量空间模型中以文档_关键词矩阵表示待检索数据库，其中n代表文档的篇数，m代表关键词的个数；对文档_关键词矩阵进行转置以形成关键词_文档矩阵，利用奇异值分解算法将所述关键词_文档矩阵分解成关键词向量矩阵、一对角线矩阵和文档向量矩阵V^T的乘积；和选取所述关键词向量矩阵的经济矩阵，利用文档_关键词矩阵和所述关键词向量矩阵的经济矩阵相乘以建立目标矩阵。

进一步的，所述∑是一个以文档篇数n为秩的对角线矩阵，所述关键词向量矩阵为m阶矩阵，所述文档向量矩阵为n阶矩阵。

与现有技术相比，本发明通过文本矩阵表示待检索数据库，并对所述文本矩阵进行降维产生目标矩阵，使得通过目标矩阵表示的待检索数据库进行了改善，既高效降维又充分地发掘文档间潜在的语义联系，去除冗余特征，准确地评价文档间的语义相关性。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为信息检索适用的环境示意图；

图2为本发明中检索方法的流程图；和

图3为本发明中在一个实施例中原始文档集与选取不同的k时所产生的目标矩阵间的SStress值关系示意图。

【具体实施方式】

本发明的详细描述主要通过程序、步骤、逻辑块、过程或其他象征性的描述来直接或间接地模拟本发明技术方案的运作。为透彻的理解本发明，在接下来的描述中陈述了很多特定细节。而在没有这些特定细节时，本发明则可能仍可实现。所属领域内的技术人员使用此处的这些描述和陈述向所属领域内的其他技术人员有效的介绍他们的工作本质。换句话说，为避免混淆本发明的目的，由于熟知的方法和程序已经容易理解，因此它们并未被详细描述。

此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。此外，表示一个或多个实施例的方法、流程图或功能框图中的模块顺序并非固定的指代任何特定顺序，也不构成对本发明的限制。

现代搜索引擎常利用向量空间模型来表示和组织文档，文档的向量空间模型即文本语义提取模型一般利用文档_关键词矩阵或关键词_文档矩阵来表示，其中文档_关键词矩阵的行表示文档，列表示关键词，而文档_关键词矩阵的转置为关键词_文档矩阵。由于每个文档由成千上万个关键词组成，这样导致文档的向量空间的维数非常庞大，为了更大程度上的减少文档的向量空间的冗余，本发明提出了基于隐型语义分析的文本语义提取方法，下面将详细地描述建立基于隐型语义分析的文本语义提取方法的具体过程。

图2为本发明中检索方法200的流程图。请参阅图2所示，所述建立文本语义提取模型的方法200包括：

步骤220，将待检索数据库表示为文档矩阵，即将待检索数据库表示成文档_关键词矩阵D(n×m)，其中n代表文档的篇数，m代表关键词的个数；

步骤240，建立目标矩阵，即产生一个表示改善后的待检索数据库的目标矩阵，其包括：

步骤2402，对文档_关键词矩阵D(n×m)进行转置以形成关键词_文档矩阵A(m×n)，利用奇异值分解算法将原始的关键词_文档矩阵A(m×n)分解成关键词向量矩阵U、一对角线矩阵∑和文档向量矩阵V^T的乘积(其具体分解将在下述的一个示例中进行描述)；和

步骤2404，选取所述关键词向量矩阵U，利用文档_关键词矩阵D和所述关键词向量矩阵U相乘以建立目标矩阵C(其具体建立目标矩阵将在下述的一个示例中进行描述)；和

步骤260，在目标矩阵表示的改善后的待检索数据库中进行检索。

下面将结合具体的实例来讲述本发明的前述方法的各个步骤。

在一个具体示例中，测试文集在向量空间模型中以文档_关键词矩阵D(n×m)表示，其中n代表文档的篇数，m代表所有关键词的个数，D(n×m)转置矩阵为关键词_文档矩阵A(m×n)，则D与A的关系为：

D＝A^T                        (1)

根据本发明中文本检索方法的上述步骤240建立目标矩阵。其具体过程则先进行上述步骤2402，首先对关键词_文档矩阵A(m×n)进行奇异值分解，则A分解后可以表示为：

A＝U∑V^T                (2)

其中矩阵U和矩阵V均为矩阵A的奇异向量，矩阵∑为矩阵A的奇异值，且矩阵U和矩阵V均为酉矩阵，U(m×n)和V^T(n×n)分别代表分解后的关键词向量矩阵和文档向量矩阵，矩阵∑＝diag(σ₁，σ₂，...，σ_n)是一个对角线矩阵，n为矩阵A的秩。其具体分解公式为：

然后根据本发明中文本检索方法的上述步骤2404建立目标矩阵，即利用文档_关键词矩阵D(n×m)和分解产生的后续矩阵U(m×n)建立目标矩阵C：

C＝DU                      (4)

由式(4)可知C是一个(n×n)矩阵，其具体结构为：

在向量空间模型中原始的文档集以矩阵D(n×m)表示，由于本发明提出在计算文档相似性时以矩阵C(n×n)替代矩阵D(n×m)，再由于在信息检索过程中，关键词的数目m要远大于文件的篇数n，因此本发明可以将原始文档集的特征数由m维降到n维。而通常衡量文档间的相似性的参数为cosine值或欧几里德距离，也就是说，当目标矩阵C(n×n)中的任意两行元素之间的cosine值或欧几里得距离分别和原始矩阵D(n×m)中相对应的两行元素之间的cosine值或欧几里得距离相同，则认为矩阵C(n×n)的文档间的相似性和矩阵D(n×m)的文档间的相似性一样，即矩阵C(n×n)可以替代矩阵D(n×m)。因此为证明目标矩阵C(n×n)能准确的模拟原始文档矩阵D(n×m)，下面将分别对矩阵C(n×n)和矩阵D的cosine值或欧几里德距离进行计算，以验证目标矩阵C(n×n)能准确的模拟原始文档矩阵D(n×m)。

在实际的信息检索过程中，关键词的数目m要远大于文件的篇数n，但为了论证本发明的完备性，下面根据两个实施例对m≤n和m＞n两种情况进行分别论证。

实施例一：

当m≤n时，根据上述步骤2402，对关键词_文档矩阵A(m×n)进行奇异值分解，分解后产生的矩阵分别为关键词向量矩阵U，对角线矩阵∑，文档向量矩阵V^T，这里为了简化矩阵并突出矩阵之间维数的关系则将矩阵中元素用“*”表示，则具体如下：

根据上述步骤1404得其对应的产生的目标矩阵为：

假设D₁和D₂是从文档_关键词矩阵D中随机选取的两行元素，C₁和C₂是矩阵C中分别与D₁和D₂相对应的两行元素，可得：

C₁＝D₁U                    (8)

C₂＝D₂U                    (9)

由于D₁与D₂分别表示为{w_1，1，w_1，2，…，w_1，m}和{w_2，1，w_2，2，…，w_2，m}，那么D₁与D₂的内积定义为：

$\⟨D_1,D_2\⟩=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{w}_{1,k}\·w_{2,k}---\left(10\right)$

其中w_1，k和w_2，k分别是D₁和D₂的第k个元素。由于C₁和C₂可分别表示为{v_1，1，v_1，2，…，v_1，m}和{v_2，1，v_2，2，…，v_2，m}，那么C₁与C₂的内积定义为：

$\⟨C_1,C_2\⟩=\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{v}_{1,k}\·v_{2,k}---\left(11\right)$

由于矩阵U是一个酉矩阵(unitary matrix)，可得：

<D₁，D₂>＝<D₁U，D₂U>            (12)

<D₁，D₁>＝<D₁U，D₁U>            (13)

<D₂，D₂>＝<D₂U，D₂U>            (14)

从式(8)、式(9)和式(12)可得：

<D₁，D₂>＝<C₁，C₂>              (15)

同理，从式(8)、式(9)、式(13)和(14)可得：

<D₁，D₁>＝<C₁，C₁>              (16)

<D₂，D₂>＝<C₂，C₂>              (17)

由于D₁和D₂间的cosine值定义为：

$\cos (D_1,D_2)=(\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_{1,k}\&CenterDot;w_{2,k})/(\sqrt{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_{1,k}^2}\&CenterDot;\sqrt{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}}{w}_{2,k}^2)---\left(18\right)$

同时，C₁和C₂间的cosine值定义为：

$\cos (C_1,C_2)=(\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{v}_{1,k}\&CenterDot;v_{2,k})/(\sqrt{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{v}_{1,k}^2}\&CenterDot;\sqrt{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}}{v}_{2,k}^2)---\left(19\right)$

从式(10)、式(18)和内积的定义可得：

$\cos (D_1,D_2)=\&lang;D_1,D_2\&rang;/(\sqrt{\&lang;D_1,D_1\&rang;}\&CenterDot;\sqrt{\&lang;D_2,D_2\&rang;})---\left(20\right)$

同理，从式(11)、式(19)和内积的定义可得：

$\cos (C_1,C_2)=\&lang;C_1,C_2\&rang;/(\sqrt{\&lang;C_1,C_1\&rang;}\&CenterDot;\sqrt{\&lang;C_2,C_2\&rang;})---\left(21\right)$

因此，从式(15)、式(16)、式(17)、式(20)和式(21)可得：

cos(D₁，D₂)＝cos(C₁，C₂)，m≤n    (22)

由于D₁和D₂间的欧几里德距离定义为：

$\mathrm{Dis}(D_1,D_2)=\sqrt{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{(w_{1,k}-w_{2,k})}^2}=\sqrt{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}(w_{1,k}^2+w_{2,k}^2-2w_{1,k}\&CenterDot;w_{2,k})}---\left(23\right)$

同时，C₁和C₂间的欧几里德距离定义为：

$\mathrm{Dis}(C_1,C_2)=\sqrt{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}{(v_{1,k}-v_{2,k})}^2}=\sqrt{\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}(v_{1,k}^2+v_{2,k}^2-2v_{1,k}\&CenterDot;v_{2,k})}---\left(24\right)$

从式(10)、式(23)和内积的定义可得：

$\mathrm{Dis}(D_1,D_2)=\sqrt{<D_1,D_1>+<D_2,D_2>-2<D_1,D_2>}---\left(25\right)$

同理，从式(11)、式(24)和内积的定义可得：

$\mathrm{Dis}(C_1,C_2)=\sqrt{<C_1,C_1>+<C_2,C_2>-2<C_1,C_2>}---\left(26\right)$

因此，从式(15)、式(16)、式(17)、式(25)和式(26)可得：

Dis(D₁，D₂)＝Dis(C₁，C₂)，m≤n                (27)

由此论证当m≤n时，目标矩阵C中任何两行元素间的cosine值与欧几里德距离分别和的原始矩阵D中相对应的两行元素的cosine值与欧几里德距离相同。

实施例二：

当m＞n时，同样根据上述步骤2402，对关键词_文档矩阵A进行奇异值分解后得到的矩阵分别为关键词向量矩阵U，对角线矩阵∑，文档向量矩阵V^T，同样，这里为了简化矩阵并突出矩阵之间维数的关系则将矩阵中元素用“*”表示，具体如下：

当m＞n时，本发明仅采用矩阵U₁(m×n)来构造目标矩阵C，其中U₁是矩阵U的经济矩阵，其n由矩阵∑的奇异值个数决定，也就是说，n等价于文档集中文档的篇数。

因此，当m＞n时，目标矩阵C可定义为：

C＝DU₁                    (29)

其具体如下：

由式(30)可见当m＞n时，C是一个n×n矩阵，特征维数从向量空间模型中文档集矩阵D的m维降至n(m＞＞n)维。本发明将论证在计算文档间相似性时，目标矩阵C(29)能准确的模拟原始文档集矩阵D。从式(1)和式(2)可得：

$D=A^T={\left({\mathrm{U\&Sigma;V}}^T\right)}^T={\left((U_1,U_2)\left(\begin{array}{c}{\mathrm{\&Sigma;}}_1\\ 0\end{array}\right)V^T\right)}^T$

$=V({\mathrm{\&Sigma;}}_1^T,0)\left(\begin{array}{c}{U}_1^T\\ U_2^T\end{array}\right)=(V{\mathrm{\&Sigma;}}_1^T,0)\left(\begin{array}{c}{U}_1^T\\ U_2^T\end{array}\right)=V{\mathrm{\&Sigma;}}_1^T{U}_1^T---\left(31\right)$

从式(31)可推出：

$\mathrm{DU}=D(U_1,U_2)=V{\mathrm{\&Sigma;}}_1^T{U}_1^T(U_1,U_2)=(V{\mathrm{\&Sigma;}}_1^T{U}_1^T{U}_1,V{\mathrm{\&Sigma;}}_1^T{U}_1^T{U}_2)---\left(32\right)$

根据酉矩阵(unitary matrix)的性质可得：

$U_1^T{U}_2=0---\left(33\right)$

因此，从式(31)、式(32)和式(33)可得：

$\mathrm{DU}=(V{\mathrm{\&Sigma;}}_1^T{U}_1^T{U}_1,0)=({\mathrm{DU}}_1,0)---\left(34\right)$

假设D₁和D₂是矩阵D中任意两行元素，从式(34)可得：

D₁U＝(D₁U₁，0)                (35)

D₂U＝(D₂U₁，0)                (36)

根据酉矩阵U的性质，式(29)、式(35)、式(36)以及内积的定义可得：

<D₁，D₂>＝<D₁U，D₂U>＝<(D₁U₁，0)，(D₂U₁，0)>

＝<D₁U₁，D₂U₁>＝<C₁，C₂>                (37)

其中C₁和C₂是矩阵C中分别与矩阵D中D₁和D₂相对应的两行元素，同理可得：

<D₁，D₁>＝<D₁U，D₁U>＝<(D₁U₁，0)，(D₁U₁，0)>

＝<D₁U₁，D₁U₁>＝<C₁，C₁>                    (38)

<D₂，D₂>＝<D₂U，D₂U>＝<(D₂U₁，0)，(D₂U₁，0)>

＝<D₂U₁，D₂U₁>＝<C₂，C₂>                    (39)

因此，从式(37)、式(38)、式(39)以及矩阵C中cosine定义与矩阵D中cosine定义可得：

cos(D₁，D₂)＝cos(C₁，C₂)，m＞n                (40)

式(40)则表示C中任意两行元素间的Cosine值与D中相对应的两行元素间的cosine值相同。

同理，从式(37)、式(38)、式(39)以及矩阵C中欧几里德距离与矩阵D中欧几里德距离可得：

Dis(D₁，D₂)＝Dis(C₁，C₂)，m＞n                (41)

式(41)则表示C中任意两行元素间的欧几里得距离与D中相对应的两行元素间的欧几里得距离相同。

由上根据实施例一和实施例二可知在m≤n和m＞n的情况下目标矩阵C和原始矩阵D的Cosine值和欧几里得距离都相同，则表示根据步骤140获得的目标矩阵C能够准确替代原始矩阵D进行文档间相似性计算。也就是说，目标矩阵C(n×n)能准确的模拟原始文档矩阵D(n×m)，且能够从原始矩阵D的m维降到目标矩阵的n维。

在前述实施例中，所述∑为一个以文档篇数n为秩的对角线矩阵。经过转化最终的目标矩阵则由m维降到了n维。在其他实施例中，∑的也可以是小于n的任意数量k的对角线矩阵，由对所述关键词_文档A的奇异值分解可知：矩阵∑作为所述关键词_文档A的奇异值，其对角线上元素个数r决定了矩阵U选取前r列，目标矩阵C的行数则由所述文档_关键词矩阵D的行数决定，而目标矩阵C的列数则由U的列数决定，于是A的奇异值个数的选取控制后面构造目标矩阵C，所以控制∑的对角线上元素个数r就能进一步控制目标矩阵C的维数，假设∑的对角线上元素个数r＝k，如果选择∑的个数k(k≤n)，即有效秩的阶数为k(k≤n)，则可以在保持原有信息的基础上将原来的维数由m降维到k。这里，本发明选取矩阵A中k个最大的奇异值，即在矩阵∑的元素中从大到小选取k个，则有：

$A=U_{1k}{\mathrm{\&Sigma;}}_k{V}_k^T---\left(42\right)$

其中U_1k由经济矩阵U₁中前k列构成，V_k ^T由矩阵V^T中前k行构成。∑_k＝diag(σ₁，σ₂，...，σ_k)是矩阵∑前k个奇异值。通过选取合适的k值，矩阵A_k能够移除大量冗余，准确的表示文档集中潜在的语义联系。因此，最终降维后的目标矩阵C_k表示为：

$\underset{n\&times;k}{C_k}=\underset{n\&times;m}{D}\underset{m\&times;k}{U_{1k}}---\left(43\right)$

同时，目标矩阵C_k中的每篇文档表示为：

$\underset{1\&times;k}{\overset{^}{d}}={\underset{1\&times;m}{d}}^T\underset{m\&times;k}{U_{1k}}---\left(44\right)$

由上可知，对于原始文档可以直接先选取文档关键词矩阵A中k个最大的奇异值、经济矩阵U₁中前k列构成的U_1k、矩阵V^T中前k行构成的V_k ^T和矩阵∑前k个奇异值∑_k＝diag(σ₁，σ₂，...，σ_k)来进行奇异值分解，即式(42)所示，然后建立目标矩阵C_k，即式(43)所示，这时目标矩阵C_k则为通过原始矩阵D的m维降到k维的语义提取模型，其中k＜n。

需要注意的是，建立文本语义提取模型的方法中有一个k值，是最终降维的维数，但并非k的值降的越低越好，因为在降维的同时需要保证目标矩阵C_k必须与文档_关键词矩阵D的相似性，本发明通过的相似性差异函数即多维测量法(Multidimensional scaling method)来分析原始文档集矩阵D和选取不同k值时的目标矩阵C_k间的相似性差异。选择出的k值在保证降维的同时也保证目标矩阵C_k和文档_关键词矩阵的相似性，这样目标矩阵C_k才能够准确地发掘文档间的语义相关性，下面通过一个实施例来说明k的选取问题。

在一个具体的实施方式中，为了评价基于隐型语义分析的文本语义提取模型的有效性，实验采用20新闻集(20-newsgroup)18828版本和路透社文集(Reuter)21578版本对该模型进行检测。测试集1选取200篇20新闻集文档，测试集2选取600篇路透社文集文档。在进行文本预处理后，测试集1和测试集2中分别包含7117和5870个独立索引的关键词。为了表示每篇文档，首先在向量空间模型中分别对测试集1和测试集2中的文档进行初始化为：

d_i＝{w_i，1，w_i，2，…，w_i，7117}             (45)

d_i′＝{w_i，1′，w_i，2′，...，w_i，5870′}    (46)

通过直接选取词频最高的关键词进行简单降维后，测试集1和测试集2中的文档分别降维到1500维和1000维，即：

d_i＝{w_i，1，w_i，2，…，w_i，1500}            (47)

d_i′＝{w_i，1，w_i，2，…，w_i，1000}          (48)

通过选取不同的维数k，本发明利用多维测量法(Multidimensional scalingmethod)来分析原始文档集矩阵D和目标矩阵C_k间的关系。多维测量的SStress值定义为：

$\mathrm{SStress}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{({s_{i,j}}^2-{s_{i,j}^{\&prime;}}^2)}^2---\left(49\right)$

其中n代表文档集中文档的篇数，s_i，j表示原始文档集矩阵D中第i行元素d_i(w_i，1，w_i，2，...w_i，m)和第j行元素d_j(w_i，1，w_i，2，...w_i，m)间的cosine值，s′_i，j表示目标矩阵C_k中第i行元素

和j行元素

间的cosine值。其cosine计算公式表示为：

$s_{i,j}(\underset{p=1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_{i,p}\&CenterDot;w_{j,p})/(\sqrt{\underset{p=1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_{i,p}^2}\&CenterDot;\sqrt{\underset{p=1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_{j,p}^2})---\left(50\right)$

$s_{i,j}^{\&prime;}(\underset{p=1}{\overset{k}{\mathrm{\&Sigma;}}}{v}_{i,p}\&CenterDot;v_{j,p})/(\sqrt{\underset{p=1}{\overset{k}{\mathrm{\&Sigma;}}}{v}_{i,p}^2}\&CenterDot;\sqrt{\underset{p=1}{\overset{k}{\mathrm{\&Sigma;}}}{v}_{j,p}^2})---\left(51\right)$

其中m代表原始文档集矩阵D中关键词的数目，k(k≤n)代表目标矩阵C_k中所降至的维数。

图3表示原始文档集矩阵与选取不同k时所产生的目标矩阵C_k间的SStress值关系，其中n1表示测试集1选取的200篇文档，n2表示测试集2选取的600篇文档。从图中可以看出，SStress值与k值之间呈类似反比例函数的二次曲线函数，当SStress＝0时，在测试集1中则表示k＝n1，在测试集2中则表示k＝n2，即没有对原始文档矩阵降维，且此时根据SStress计算公式可知目标矩阵的cosine值和原始矩阵的cosine值相等，所以相似度最高。为了更清楚的描述，不妨选择其中一条代表原始矩阵D(600×5870)和目标矩阵C1(200×k)之间SStress值的曲线进行说明，当k不断减小时则SStress值不断增大，但k最初从n2减小的一段时间，SStress值随k值减小的变化并不十分明显，如图所示，图中kh至n2一段SStress值的曲线比较平缓，即表示降维之后的目标矩阵与原始文档矩阵的相似性变化并不明显，但当k值降到图示曲线的拐点处的kh值(也可称为降维门限值)时，则SStress值随k值减小的变化变得非常明显，即图中当k从kh到0的一段，SStress值曲线变得非常陡峭。所以选择图中曲线拐点处的k值kh，则可以既保证最大程度的降维，又可以充分保证降维后的目标矩阵与原始文档矩阵的相似性。这样，目标矩阵C_k才能够保证降维去除冗余的同时准确地发掘文档间的语义相关性。

综上所述，本发明通过对待检索数据库的降维以产生通过目标矩阵表示的改善后的待检索数据库，使得对文本检索速度大大提高。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (10)

1.一种检索方法，其特征在于，其包括：

将待检索数据库表示成文档_关键词矩阵，所述文档_关键词矩阵的行数为文档的篇数n，列数为关键词的个数m；

产生一个目标矩阵以表示改善后的待检索数据库，其包括：

对文档_关键词矩阵进行转置以形成关键词_文档矩阵，利用奇异值分解算法将所述关键词_文档矩阵分解成关键词向量矩阵、一对角线矩阵和文档向量矩阵的乘积；和

选取所述关键词向量矩阵，利用所述文档_关键词矩阵和所述关键词向量矩阵相乘以建立目标矩阵；和

在所述目标矩阵表示的改善后的待检索数据库中进行检索。

2.根据权利要求1所述的方法，其特征在于，所述对角线矩阵是一个以文档篇数n为秩的对角线矩阵，所述关键词向量矩阵为m阶矩阵，所述文档向量矩阵为n阶矩阵。

3.根据权利要求1所述的方法，其特征在于，所述对角线矩阵是一个以小于文档篇数n的数量k为秩的对角线矩阵，所述关键词向量矩阵的行数为m，其列由其经济矩阵的前k列构成，所述文档向量矩阵的行数为k，其列数为n。

4.一种建立文本语义提取模型的方法，其特征在于，其包括：

在向量空间模型中以文档_关键词矩阵表示待检索数据库，所述文档_关键词矩阵的行数为文档的篇数n，列数为关键词的个数m；

对文档_关键词矩阵进行转置以形成关键词_文档矩阵，利用奇异值分解算法将所述关键词_文档矩阵分解成关键词向量矩阵、一对角线矩阵和文档向量矩阵的乘积；和

选取所述关键词向量矩阵，利用文档_关键词矩阵和所述关键词向量矩阵相乘以建立目标矩阵。

5.根据权利要求4所述的方法，其特征在于，所述对角线矩阵是一个以文档篇数n为秩的对角线矩阵，所述关键词向量矩阵为m阶矩阵，所述文档向量矩阵为n阶矩阵。

6.根据权利要求4所述的方法，其特征在于，所述对角线矩阵是一个以小于文档篇数n的数量k为秩的对角线矩阵，所述关键词向量矩阵的行数为m，其列由其经济矩阵的前k列构成，所述文档向量矩阵的行数为k，其列数为n。

7.一种建立文本语义提取模型的方法，其特征在于，其包括：

在向量空间模型中以文档_关键词矩阵表示待检索数据库，所述文档_关键词矩阵的行数为文档的篇数n，列数为关键词的个数m；

对文档_关键词矩阵进行转置以形成关键词_文档矩阵，利用奇异值分解算法将关键词_文档矩阵分解成关键词向量矩阵的酉矩阵的前k列构成的k列关键词向量矩阵、关键词_文档矩阵的前k个最大的奇异值构成的k阶对角线矩阵和文档向量矩阵的前k行构成的k行文档向量矩阵的乘积；和

选取所述k列关键词向量矩阵，利用文档_关键词矩阵和所述k列关键词向量矩阵相乘以建立目标矩阵；其中

k为小于或等于文档篇数n的数量的一个值。

8.根据权利要求3、6或7所述的方法，其特征在于，所述k的值通过所述的文档_关键词矩阵和目标矩阵的相似性差异函数来确定，所述相似性差异函数SStress为：

$\mathrm{SStress}=\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{({s_{i,j}}^2-{s_{i,j}^{\&prime;}}^2)}^2$

其中n代表文档_关键词矩阵的行数，其中s_i，j表示所述文档_关键词矩阵中第i行元素d_i(w_i，1，w_i，2，...w_i，m)和第j行元素d_j(w_i，1，w_i，2，...w_i，m)间的cosine值，s′_i，j表示所述目标矩阵中第i行元素

和j行元素

)间的cosine值，其中s_i，j、s′_i，j分别为：

$s_{i,j}=(\underset{p=1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_{i,p}\&CenterDot;w_{j,p})/(\sqrt{\underset{p=1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_{i,p}^2}\&CenterDot;\sqrt{\underset{p=1}{\overset{m}{\mathrm{\&Sigma;}}}{w}_{j,p}^2})$

$s_{i,j}^{\&prime;}=(\underset{p=1}{\overset{k}{\mathrm{\&Sigma;}}}{v}_{i,p}\&CenterDot;v_{j,p})/(\sqrt{\underset{p=1}{\overset{k}{\mathrm{\&Sigma;}}}{v}_{i,p}^2}\&CenterDot;\sqrt{\underset{p=1}{\overset{k}{\mathrm{\&Sigma;}}}{v}_{j,p}^2})$

其中m代表所述文档_关键词矩阵中关键词的数目，k(k≤n)代表所述目标矩阵的维数；

所述k值可以为所述相似性差异函数曲线的拐点处对应的k值到n之间的任何一个值，而所述相似性差异函数曲线的拐点处对应的k值为所述k的最佳值。

9.一种建立文本语义提取模型的方法，其特征在于，其包括：

在向量空间模型中以文档_关键词矩阵表示待检索数据库，其中n代表文档的篇数，m代表关键词的个数；

对文档_关键词矩阵进行转置以形成关键词_文档矩阵，利用奇异值分解算法将所述关键词_文档矩阵分解成关键词向量矩阵、一对角线矩阵和文档向量矩阵V^T的乘积；和

选取所述关键词向量矩阵的经济矩阵，利用文档_关键词矩阵和所述关键词向量矩阵的经济矩阵相乘以建立目标矩阵。

10.根据权利要求9所述的建立文本语义提取模型的方法，其特征在于，所述∑是一个以文档篇数n为秩的对角线矩阵，所述关键词向量矩阵为m阶矩阵，所述文档向量矩阵为n阶矩阵。

Images