CN103324664A - 一种基于傅里叶变换的文档相似判别方法 - Google Patents

Abstract

本发明提供一种基于傅里叶变换的文档相似判别方法，包括以下步骤：获得文档集合S的关键词序列Ks和对应的关键词次数集合Ns，以及检测文档s′相对于文档集合S的关键词序列Ks'和对应的关键词次数集合Ns'；计算关键词序列Ks和Ks'中每个关键词的权值系数，以及关键词序列Ks的权值序列FKs和关键词序列Ks'的权值序列FKs'；对权值序列FKs和FKs'进行傅里叶变换，并计算检测文档s′和文档集合S中任意文档是否相似的相似度距离的阀值ω_S；计算检测文档s′和文档集合S中文档s_i之间的相似度距离D(s′,s_i)，并将其与阀值ω_S进行比较，判定检测文档s′与文档集合S是否相似。本发明不仅可以在计算相似度时降低对文档表示方法的要求，而且会降低计算的复杂度，提高计算效率。

Description

一种基于傅里叶变换的文档相似判别方法

技术领域

本发明属于信息检索和文本挖掘技术领域，具体涉及一种基于傅里叶变换的文档相似判别方法。

背景技术

随着人们对科学技术和社会发展的日益重视，学术领域逐渐向多元化、信息化、现代化的趋势发展。在这种形势下，人们比以往任何时候都迫切地需要高效、全面、方便的检索学术信息。另一方面，人们还要防止学术抄袭，以达到对学位论文和学术期刊进行监管和规范的目的。论文的检索和查重，最关键的就是对文本信息相似度的比较和计算，因此，文本相似度的计算广泛应用于信息检索、文本挖掘等领域，是一个非常基础而关键的问题，也一直是人们研究的热点和难点。

文本相似度计算有着比较广泛的应用，典型的应用有：

(1)信息智能检索：搜索引擎对用户输入关键字的反应是列出所有与该关键字相匹配的网页。这些网页的数量往往很大，而且对于某一关键字检索出来的网页并没有一定的相关性，也不一定全都是用户想要检索的网页，这些都增加了用户获得有用信息的难度。如果利用文本相似度技术，在搜索过程中去掉相似度很高的重复信息，这将大大的有利于用户发现自己感兴趣的信息，提高信息检索的质量。

(2)自动问答系统：在这种系统中，问题是多种多样，且非常巨大的，有些问题是非常相似的，如果用人工来回答，将耗费大量的时间和人力，如果在这种系统中应用文本相似度技术，将相似度很高的问题归为一类，使系统对这类问题自动做出答复，将节省大量的时间。

(3)文本查重：在某些领域，考虑到隐私性和独创性，要求文本不能重复出现，那么应用文本相似度技术，对这类文本进行相似度的计算，就可以看出哪些文本多次出现。因此，研究文本相似度的算法具有重要的实际价值。

目前，为了计算文档之间的相似度，常见的计算方法就是余弦相似度计算方法，该方法是在对文档进行特征选取后，进行文本加权，将语料变为一个空间向量模型。最后通过内积与余弦公式最终计算出文本间的相似度大小，但是该方法的最大缺点就是当语料库增大时，用向量来表示文本的难度就会增加，同时随着向量维数的增大，计算相似度的复杂度会随之增大，效率随之降低。

傅里叶变换是一种特殊的积分变换。它能将满足一定条件的某个函数表示成正弦基函数的线性组合或者积分。在不同的研究领域，傅里叶变换具有多种不同的变体形式，如连续傅里叶变换和离散傅里叶变换。傅里叶变换通过对函数的分析来达到对复杂函数的深入理解和研究。最初，傅立叶分析是作为热过程的解析分析的工具，但是其思想方法仍然具有典型的还原论和分析主义的特征。“任意”的函数通过一定的分解，都能够表示为正弦函数的线性组合的形式，而正弦函数在物理上是被充分研究而相对简单的函数类。利用这一点，傅里叶变换可通过对相对简单的事物的研究来了解复杂事物。

发明内容

为了克服上述现有技术的不足，本发明提供一种基于傅里叶变换的文档相似判别方法，主要用于判别一个文档与文档集合中的文档是否相似，以便保证文档的安全性和合法性。该方法不仅可以在计算相似度时降低对文档表示方法的要求，而且会降低计算的复杂度，提高计算效率。

为了实现上述发明目的，本发明采取如下技术方案：

提供一种基于傅里叶变换的文档相似判别方法，所述方法包括以下步骤：

步骤1：获得文档集合S的关键词序列Ks和对应的关键词次数集合Ns，以及检测文档s′相对于文档集合S的关键词序列Ks'和对应的关键词次数集合Ns'；

步骤2：计算关键词序列Ks和Ks'中每个关键词的权值系数，以及关键词序列Ks的权值序列FKs和关键词序列Ks'的权值序列FKs'；

步骤3：对权值序列FKs和FKs'进行傅里叶变换，并计算检测文档s′和文档集合S中任意文档是否相似的相似度距离的阀值ω_S；

步骤4：计算检测文档s′和文档集合S中文档s_i之间的相似度距离D(s′,s_i)，并将其与阀值ω_S进行比较，判定检测文档s′与文档集合S是否相似。

所述步骤1中，对文档集合S中的每个文档s_i进行划词，选取文档s_i的关键词，并记录每个关键词出现的次数，得到文档s_i的关键词序列Ks_i和对应的关键词次数集合Ns_i，进而合并得到文档集合S的关键词序列Ks和对应的关键词次数集合Ns；

同时，将检测文档s'也进行划词，并得到检测文档s′关于文档s_i的关键词集合Ks_i'和对应的关键词次数集合Ns_i'，最后合并得到检测文档s′相对于文档集合S的关键词序列Ks'和对应的关键词次数集合Ns'。

所述步骤1包括以下步骤：

步骤1-1：分别对文档集合S和检测文档s′进行划词，得到各自的分词集合，分别记为Ds和Ds'，其中文档集合S＝{s₁,s₂,s₃,......,s_n}，s_i表示文档集合S中的第i个文档，分词集合Ds＝{Ds₁,Ds₂,Ds₃,......,Ds_n}，Ds_i表示文档集合S中文档s_i的分词集合，s_i和Ds_i中的i均满足1≤i≤n；

步骤1-2：在文档s_i的分词集合Ds_i中，按分词出现的次数，选出前m个分词作为文档s_i的关键词，其中m＞0；并将关键词k_ij出现的次数记为n_ij，其中k_ij表示文档s_i中的第j个关键词；分别得到文档s_i的关键词集合Ks_i和对应的关键词次数集合Ns_i，则有Ks_i＝{k_i1,k_i2,k_i3......k_im}，Ns_i＝{n_i1,n_i2,n_i3......n_im}；

步骤1-3：计算检测文档s′关于文档s_i的关键词集合Ks_i'和对应的关键词次数集合Ns_i'；其中Ks_i'中的元素k'_ij＝k_ij，再依据公式（1）确定关键词次数集合Ns_i'中的元素n'_ij，有：

$n_{\mathrm{ij}}^{\′}=\left\{\begin{array}{cc}{n}_{\mathrm{sj}}^{\′}& k_{\mathrm{ij}}^{\′}\∈{\mathrm{Ds}}^{\′}\\ 0& k_{\mathrm{ij}}^{\′}\∉{\mathrm{Ds}}^{\′}\end{array}\right.(1\≤i\≤n,1\≤j\≤m)---\left(1\right)$

其中n'_sj为关键词k'_ij在检测文档s′中出现的次数；

步骤1-4：将所有属于文档集合S中文档s_i的关键词集合Ks_i和对应的关键词次数集合Ns_i分别进行合并，得到文档集合S的关键词序列Ks和对应的关键词次数集合Ns；

将检测文档s′关于文档s_i的关键词序列Ks_i'和对应的关键词次数集合Ns_i'分别进行合并，得到检测文档s′相对于文档集合S的关键词序列Ks'和对应的关键词次数集合Ns'；

有：

Ks＝{k_ij|k_ij∈Ks_i,1≤j≤m,1≤i≤n}，Ns＝{n_ij|n_ij∈Ns_i,1≤j≤m,1≤i≤n}；

Ks'＝{k'_ij|k'_ij∈Ks_i',1≤j≤m,1≤i≤n}，Ns'＝{n'_ij|n'_ij∈Ns_i',1≤j≤m,1≤i≤n}。

所述步骤2包括以下步骤：

步骤2-1：依据公式（2）分别计算关键词序列Ks和Ks'中关键词k_ij的权值系数a_ij，有：

$a_{\mathrm{ij}}=\left\{\begin{array}{cc}1-\frac{1}{n_{\mathrm{ij}}}& n_{\mathrm{ij}}\≠0\\ 0& n_{\mathrm{ij}}=0\end{array}\right.(1\≤i\≤n,1\≤j\≤m)---\left(2\right)$

步骤2-2：依据公式（3）计算关键词序列Ks中关键词k_ij的权值f(k_ij)，有：

进而即可得到关键词序列Ks的权值序列FKs，即有

FKs＝{f(k_ij)|f(k_ij)∈FKs_i,1≤j≤m,1≤i≤n}     （4）；

步骤2-3：按同样的方法，得到关键词序列Ks'的权值序列FKs'，有

FKs'＝{f(k'_ij)|f(k'_ij)∈FKs_i',1≤j≤m,1≤i≤n}     （5）。

所述步骤3中，所述步骤3包括以下步骤：

步骤3-1：对权值序列FKs和FKs'分别进行傅里叶变换，即可得到

$\mathrm{FKs}\left(e^{\mathrm{j\θ}}\right)=\underset{p=1}{\overset{n\×m}{\mathrm{\Σ}}}f\left(k_{\mathrm{ij}}\right)e^{-\mathrm{jp\θ}}(1\≤i\≤n,1\≤j\≤m,1\≤p\≤n\×m)---\left(6\right)$

$\mathrm{FK}{s}^{\′}\left(e^{\mathrm{j\θ}}\right)=\underset{q=1}{\overset{n\×m}{\mathrm{\Σ}}}f\left(k_{\mathrm{ij}}^{\′}\right)e^{-\mathrm{jq\θ}}(1\≤i\≤n,1\≤j\≤m,1\≤q\≤n\×m)---\left(7\right)$

其中：p表示权值序列FKs中从1到n×m的下标；q表示权值序列FKs'中从1到n×m的下标；

步骤3-2：根据计算出的FKs(e^jθ)和FKs'(e^jθ)，计算检测文档s′和文档集合S中任意文档是否相似的相似度距离的阀值ω_S，有

${\mathrm{\ω}}_S=D(s^{\′},S)={\left(\underset{\mathrm{\θ}=0}{\overset{\mathrm{\θ}=2\mathrm{\π}}{\mathrm{\Σ}}}{\left(\right|\mathrm{FKs}\left(e^{\mathrm{j\θ}}\right)|-|{\mathrm{FKs}}^{\′}\left(e^{\mathrm{j\θ}}\right)\left|\right)}^2\right)}^{\frac{1}{2}}---\left(8\right)$

其中，D(s′,S)为检测文档s′和文档集合S的相似度距离。

所述步骤4包括以下步骤：

步骤4-1：分别对权值序列FKs和FKs'的n个子序列FKs_i和FKs_i'进行傅里叶变换，计算出检测文档s′和文档集合S中文档s_i之间的相似度距离D(s′,s_i)；

步骤4-2：将计算出的n个相似度距离D(s',s_i)逐一与公式（8）计算出的阀值ω_S进行比较；若存在i满足D(s',s_i)＞ω_S，则判定检测文档s′与文档集合S相似，即检测文档s′为敏感文档；否则，判定检测文档s′与文档集合S不相似，即检测文档s′为安全文档。

与现有技术相比，本发明的有益效果在于：

1.较目前主流的余弦相似度计算方法而言，本发明的优势在于：避免了大语料库下，用向量来表示文本特征难度大的问题，同时也解决了在向量维数增大时，计算向量余弦过于复杂和效率较低的问题；

2.很大程度上降低了用向量来表示文档的难度和计算向量余弦的复杂度，该方法对相似度的计算简单，效率较高，具有一定的实用性。

附图说明

图1是基于傅里叶变换的文档相似判别方法流程图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1，提供一种基于傅里叶变换的文档相似判别方法，所述方法包括以下步骤：

步骤1：获得文档集合S的关键词序列Ks和对应的关键词次数集合Ns，以及检测文档s′相对于文档集合S的关键词序列Ks'和对应的关键词次数集合Ns'；

步骤2：计算关键词序列Ks和Ks'中每个关键词的权值系数，以及关键词序列Ks的权值序列FKs和关键词序列Ks'的权值序列FKs'；

步骤3：对权值序列FKs和FKs'进行傅里叶变换，并计算检测文档s′和文档集合S中任意文档是否相似的相似度距离的阀值ω_S；

步骤4：计算检测文档s′和文档集合S中文档s_i之间的相似度距离D(s′,s_i)，并将其与阀值ω_S进行比较，判定检测文档s′与文档集合S是否相似。

所述步骤1中，对文档集合S中的每个文档s_i进行划词，选取文档s_i的关键词，并记录每个关键词出现的次数，得到文档s_i的关键词序列Ks_i和对应的关键词次数集合Ns_i，进而合并得到文档集合S的关键词序列Ks和对应的关键词次数集合Ns；

同时，将检测文档s'也进行划词，并得到检测文档s′关于文档s_i的关键词集合Ks_i'和对应的关键词次数集合Ns_i'，最后合并得到检测文档s′相对于文档集合S的关键词序列Ks'和对应的关键词次数集合Ns'。

所述步骤1包括以下步骤：

步骤1-1：分别对文档集合S和检测文档s′进行划词，得到各自的分词集合，分别记为Ds和Ds'，其中文档集合S＝{s₁,s₂,s₃,......,s_n}，s_i表示文档集合S中的第i个文档，分词集合Ds＝{Ds₁,Ds₂,Ds₃,......,Ds_n}，Ds_i表示文档集合S中文档s_i的分词集合，s_i和Ds_i中的i均满足1≤i≤n；

步骤1-2：在文档s_i的分词集合Ds_i中，按分词出现的次数，选出前m个分词作为文档s_i的关键词，其中m＞0；并将关键词k_ij出现的次数记为n_ij，其中k_ij表示文档s_i中的第j个关键词；分别得到文档s_i的关键词集合Ks_i和对应的关键词次数集合Ns_i，则有Ks_i＝{k_i1,k_i2,k_i3......k_im}，Ns_i＝{n_i1,n_i2,n_i3......n_im}；

步骤1-3：计算检测文档s′关于文档s_i的关键词集合Ks_i'和对应的关键词次数集合Ns_i'；其中Ks_i'中的元素k'_ij＝k_ij，再依据公式（1）确定关键词次数集合Ns_i'中的元素n'_ij，有：

$n_{\mathrm{ij}}^{\′}=\left\{\begin{array}{cc}{n}_{\mathrm{sj}}^{\′}& k_{\mathrm{ij}}^{\′}\∈{\mathrm{Ds}}^{\′}\\ 0& k_{\mathrm{ij}}^{\′}\∉{\mathrm{Ds}}^{\′}\end{array}\right.(1\≤i\≤n,1\≤j\≤m)---\left(1\right)$

其中n'_sj为关键词k'_ij在检测文档s′中出现的次数；

步骤1-4：将所有属于文档集合S中文档s_i的关键词集合Ks_i和对应的关键词次数集合Ns_i分别进行合并，得到文档集合S的关键词序列Ks和对应的关键词次数集合Ns；

将检测文档s′关于文档s_i的关键词序列Ks_i'和对应的关键词次数集合Ns_i'分别进行合并，得到检测文档s′相对于文档集合S的关键词序列Ks'和对应的关键词次数集合Ns'；

有：

Ks＝{k_ij|k_ij∈Ks_i,1≤j≤m,1≤i≤n}，Ns＝{n_ij|n_ij∈Ns_i,1≤j≤m,1≤i≤n}；

Ks'＝{k'_ij|k'_ij∈Ks_i',1≤j≤m,1≤i≤n}，Ns'＝{n'_ij|n'_ij∈Ns_i',1≤j≤m,1≤i≤n}。

所述步骤2包括以下步骤：

步骤2-1：依据公式（2）分别计算关键词序列Ks和Ks'中关键词k_ij的权值系数a_ij，其值和关键词k_ij在文档中出现的频率成正比，反应该关键词在文档中的重要程度，有：

$a_{\mathrm{ij}}=\left\{\begin{array}{cc}1-\frac{1}{n_{\mathrm{ij}}}& n_{\mathrm{ij}}\≠0\\ 0& n_{\mathrm{ij}}=0\end{array}\right.(1\≤i\≤n,1\≤j\≤m)---\left(2\right)$

步骤2-2：依据公式（3）计算关键词序列Ks中关键词k_ij的权值f(k_ij)，其值与关键词k_ij在文档中出现的频率及其权值系数a_ij相关，不仅可以反应出该关键词在文档中的重要程度，而且可以反应出各个关键词之间的差异，有：

进而即可得到关键词序列Ks的权值序列FKs，即有

FKs＝{f(k_ij)|f(k_ij)∈FKs_i,1≤j≤m,1≤i≤n}     （4）；

步骤2-3：按同样的方法，得到关键词序列Ks'的权值序列FKs'，有

FKs'＝{f(k'_ij)|f(k'_ij)∈FKs_i',1≤j≤m,1≤i≤n}     （5）。

所述步骤3中，所述步骤3包括以下步骤：

步骤3-1：对权值序列FKs和FKs'分别进行傅里叶变换，即可得到

$\mathrm{FKs}\left(e^{\mathrm{j\θ}}\right)=\underset{p=1}{\overset{n\×m}{\mathrm{\Σ}}}f\left(k_{\mathrm{ij}}\right)e^{-\mathrm{jp\θ}}(1\≤i\≤n,1\≤j\≤m,1\≤p\≤n\×m)---\left(6\right)$

$\mathrm{FK}{s}^{\′}\left(e^{\mathrm{j\θ}}\right)=\underset{q=1}{\overset{n\×m}{\mathrm{\Σ}}}f\left(k_{\mathrm{ij}}^{\′}\right)e^{-\mathrm{jq\θ}}(1\≤i\≤n,1\≤j\≤m,1\≤q\≤n\×m)---\left(7\right)$

其中：p表示权值序列FKs中从1到n×m的下标；q表示权值序列FKs'中从1到n×m的下标；

步骤3-2：根据计算出的FKs(e^jθ)和FKs'(e^jθ)，计算检测文档s′和文档集合S中任意文档是否相似的相似度距离的阀值ω_S，有

${\mathrm{\ω}}_S=D(s^{\′},S)={\left(\underset{\mathrm{\θ}=0}{\overset{\mathrm{\θ}=2\mathrm{\π}}{\mathrm{\Σ}}}{\left(\right|\mathrm{FKs}\left(e^{\mathrm{j\θ}}\right)|-|{\mathrm{FKs}}^{\′}\left(e^{\mathrm{j\θ}}\right)\left|\right)}^2\right)}^{\frac{1}{2}}---\left(8\right)$

其中，D(s′,S)为检测文档s′和文档集合S的相似度距离。

所述步骤4包括以下步骤：

步骤4-1：分别对权值序列FKs和FKs'的n个子序列FKs_i和FKs_i'进行傅里叶变换，计算出检测文档s′和文档集合S中文档s_i之间的相似度距离D(s′,s_i)；

步骤4-2：将计算出的n个相似度距离D(s',s_i)逐一与公式（8）计算出的阀值ω_S进行比较；若存在i满足D(s',s_i)＞ω_S，则判定检测文档s′与文档集合S相似，即检测文档s′为敏感文档；否则，判定检测文档s′与文档集合S不相似，即检测文档s′为安全文档。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于傅里叶变换的文档相似判别方法，其特在于：所述方法包括以下步骤：

步骤1：获得文档集合S的关键词序列Ks和对应的关键词次数集合Ns，以及检测文档s′相对于文档集合S的关键词序列Ks'和对应的关键词次数集合Ns'；

步骤2：计算关键词序列Ks和Ks'中每个关键词的权值系数，以及关键词序列Ks的权值序列FKs和关键词序列Ks'的权值序列FKs'；

步骤3：对权值序列FKs和FKs'进行傅里叶变换，并计算检测文档s′和文档集合S中任意文档是否相似的相似度距离的阀值ω_S；

步骤4：计算检测文档s′和文档集合S中文档s_i之间的相似度距离D(s′,s_i)，并将其与阀值ω_S进行比较，判定检测文档s′与文档集合S是否相似。

2.根据权利要求1所述的基于傅里叶变换的文档相似判别方法，其特在于：所述步骤1中，对文档集合S中的每个文档s_i进行划词，选取文档s_i的关键词，并记录每个关键词出现的次数，得到文档s_i的关键词序列Ks_i和对应的关键词次数集合Ns_i，进而合并得到文档集合S的关键词序列Ks和对应的关键词次数集合Ns；

同时，将检测文档s'也进行划词，并得到检测文档s′关于文档s_i的关键词集合Ks_i'和对应的关键词次数集合Ns_i'，最后合并得到检测文档s′相对于文档集合S的关键词序列Ks'和对应的关键词次数集合Ns'。

3.根据权利要求2所述的基于傅里叶变换的文档相似判别方法，其特在于：所述步骤1包括以下步骤：

步骤1-1：分别对文档集合S和检测文档s′进行划词，得到各自的分词集合，分别记为Ds和Ds'，其中文档集合S＝{s₁,s₂,s₃,......,s_n}，s_i表示文档集合S中的第i个文档，分词集合Ds＝{Ds₁,Ds₂,Ds₃,......,Ds_n}，Ds_i表示文档集合S中文档s_i的分词集合，s_i和Ds_i中的i均满足1≤i≤n；

步骤1-2：在文档s_i的分词集合Ds_i中，按分词出现的次数，选出前m个分词作为文档s_i的关键词，其中m＞0；并将关键词k_ij出现的次数记为n_ij，其中k_ij表示文档s_i中的第j个关键词；分别得到文档s_i的关键词集合Ks_i和对应的关键词次数集合Ns_i，则有Ks_i＝{k_i1,k_i2,k_i3......k_im}，Ns_i＝{n_i1,n_i2,n_i3......n_im}；

步骤1-3：计算检测文档s′关于文档s_i的关键词集合Ks_i'和对应的关键词次数集合Ns_i'；其中Ks_i'中的元素k′_ij＝k_ij，再依据公式（1）确定关键词次数集合Ns_i'中的元素n′_ij，有：

$n_{\mathrm{ij}}^{\′}=\left\{\begin{array}{ccc}{n}_{\mathrm{sj}}^{\′}& k_{\mathrm{ij}}^{\′}\∈{\mathrm{Ds}}^{\′}& \\ 0& k_{\mathrm{ij}}^{\′}\∉{\mathrm{Ds}}^{\′}& \end{array}(1\≤i\≤n,1\≤j\≤m)---\left(1\right)\right.$

其中n'_sj为关键词k′_ij在检测文档s′中出现的次数；

步骤1-4：将所有属于文档集合S中文档s_i的关键词集合Ks_i和对应的关键词次数集合Ns_i分别进行合并，得到文档集合S的关键词序列Ks和对应的关键词次数集合Ns；

将检测文档s′关于文档s_i的关键词序列Ks_i'和对应的关键词次数集合Ns_i'分别进行合并，得到检测文档s′相对于文档集合S的关键词序列Ks'和对应的关键词次数集合Ns'；

有：

Ks＝{k_ij|k_ij∈Ks_i,1≤j≤m,1≤i≤n}，Ns＝{n_ij|n_ij∈Ns_i,1≤j≤m,1≤i≤n}；

Ks'＝{k′_ij|k′_ij∈Ks_i',1≤j≤m,1≤i≤n}，Ns'＝{n′_ij|n′_ij∈Ns_i',1≤j≤m,1≤i≤n}。

4.根据权利要求1所述的基于傅里叶变换的文档相似判别方法，其特在于：所述步骤2包括以下步骤：

步骤2-1：依据公式（2）分别计算关键词序列Ks和Ks'中关键词k_ij的权值系数a_ij，有：

$a_{\mathrm{ij}}=\left\{\begin{array}{cc}1-\frac{1}{n_{\mathrm{ij}}}& n_{\mathrm{ij}}\≠0\\ 0& n_{\mathrm{ij}}=0\end{array}\right.(1\≤i\≤n,1\≤j\≤m)---\left(2\right)$

步骤2-2：依据公式（3）计算关键词序列Ks中关键词k_ij的权值f(k_ij)，有：

进而即可得到关键词序列Ks的权值序列FKs，即有

FKs＝{f(k_ij)|f(k_ij)∈FKs_i,1≤j≤m,1≤i≤n}   （4）；

步骤2-3：按同样的方法，得到关键词序列Ks'的权值序列FKs'，有

FKs'＝{f(k′_ij)|f(k′_ij)∈FKs_i',1≤j≤m,1≤i≤n}   （5）。

5.根据权利要求1所述的基于傅里叶变换的文档相似判别方法，其特在于：所述步骤3中，所述步骤3包括以下步骤：

步骤3-1：对权值序列FKs和FKs'分别进行傅里叶变换，即可得到

$\mathrm{FKs}\left(e^{\mathrm{j\θ}}\right)=\underset{p=1}{\overset{n\×m}{\mathrm{\Σ}}}f\left(k_{\mathrm{ij}}\right)e^{-\mathrm{jp\θ}}(1\≤i\≤n,1\≤j\≤m,1\≤p\≤n\×m)---\left(6\right)$

${\mathrm{FKs}}^{\′}\left(e^{\mathrm{j\θ}}\right)=\underset{q=1}{\overset{n\×m}{\mathrm{\Σ}}}f\left(k_{\mathrm{ij}}^{\′}\right)e^{-\mathrm{jq\θ}}(1\≤i\≤n,1\≤j\≤m,1\≤q\≤n\×m)---\left(7\right)$

其中：p表示权值序列FKs中从1到n×m的下标；q表示权值序列FKs'中从1到n×m的下标；

步骤3-2：根据计算出的FKs(e^jθ)和FKs'(e^jθ)，计算检测文档s′和文档集合S中任意文档是否相似的相似度距离的阀值ω_S，有

${\mathrm{\ω}}_S=D(s^{\′},S)={\left(\underset{\mathrm{\θ}=0}{\overset{\mathrm{\θ}=2\mathrm{\π}}{\mathrm{\Σ}}}{\left(\right|\mathrm{FKs}\left(e^{\mathrm{j\θ}}\right)|-|{\mathrm{FKs}}^{\′}\left(e^{\mathrm{j\θ}}\right)|)}^2\right)}^{\frac{1}{2}}---\left(8\right)$

其中，D(s′,S)为检测文档s′和文档集合S的相似度距离。

6.根据权利要求1所述的基于傅里叶变换的文档相似判别方法，其特在于：所述步骤4包括以下步骤：

步骤4-1：分别对权值序列FKs和FKs'的n个子序列FKs_i和FKs_i'进行傅里叶变换，计算出检测文档s′和文档集合S中文档s_i之间的相似度距离D(s′,s_i)；

步骤4-2：将计算出的n个相似度距离D(s',s_i)逐一与公式（8）计算出的阀值ω_S进行比较；若存在i满足D(s',s_i)＞ω_S，则判定检测文档s′与文档集合S相似，即检测文档s′为敏感文档；否则，判定检测文档s′与文档集合S不相似，即检测文档s′为安全文档。

Images