CN110807099B - 一种基于模糊集的文本分析检索方法 - Google Patents

Abstract

本发明公开了一种基于模糊集的文本分析检索方法，属于文本检索领域。本发明通过对文本进行预处理和分词处理，可以有效地释放更多的存储空间，为后续步骤进行快速搜索提供支撑；结合聚类算法对出现的次数进行分析，获得构建隶属度函数的参数，而关键词在文本的频率是高中低三个等级，对应优先级也是高中低，通过取大取小操作避免了将低优先级的判断成高优先级，引起不必要的误判，进一步提高检索的准确度。

Description

一种基于模糊集的文本分析检索方法

技术领域

本发明涉及一种基于模糊集的文本分析检索方法，属于文本检索领域。

背景技术

公司通常涉及的业务众多，业务产生的文本数量也会越来越多，即使归类后每类的文本数量依然众多。因此当相关人员想要查阅某些文件时，搜索难度高。而根据公司信息化规划以及信息化实施计划，要对信息化需求进行规划符合性审查，即需要通过一些关键词搜索到相关的文本。但目前一般的文本搜索工具只能根据文本的标题进行搜索，而能根据文本内容进行搜索的工具XSearch和everything存在搜索速度慢、搜索不到或是非准确搜索的问题。因此需要一种能根据关键词快速且准确搜索文本内容从而搜索到需要的文本的方法。

发明内容

本发明提供了一种基于模糊集的文本分析检索方法，以用于通过本方法实现文本的检索。

本发明的技术方案是：一种基于模糊集的文本分析检索方法，所述方法步骤如下：

Step1、输入搜索的关键词；其中，搜索的关键词中的第j个关键词记为S_j；

Step2、建立文本库W，将文本库W中存入所有需要被检索的文本；其中，文本库W中的第n个文本记为W_n；

Step3、文本预处理：采用常用词分词工具Jieba对文本库中的每个文本进行串匹配分词；其中，经过分词处理后的第n个文本中的第i个分词记为W_n_A_i，将第n个文本W_n中所有关键词出现的总次数记为N_W_n；

Step4、分词处理：建立停用词表，再将经过Step3处理得到的每个分词中出现的停用词进行删除；接着使用近义词工具包Synonyms合并同义词；

Step5、利用近义词工具判断文本库中每个文本中是否存在与关键词一致的分词：

如果第n个文本中的第i个分词W_n_A_i与搜索的第j个关键词S_j一致，则统计分词W_n_A_i出现的次数，即关键词S_j在文本W_n出现的次数，记为N_W_nS_j；

如果第n个文本W_n中不存在与关键词S_j一致的词，则令关键词S_j在文本W_n出现的次数N_W_nS_j等于0；

Step6、利用隶属度函数将关键词在文本中出现的次数模糊化为频率，频率为“高”、“中”、“低”三个等级，其计算方法如下：

将关键词S_j在文本W_n出现的次数记为

其包括

和

其中

表示关键词S_j在文本中W_n出现的频率为“低”，

表示关键词S_j在文本中W_n出现的频率为“中”，

表示关键词S_j在文本中W_n出现的频率为“高”；

Step7、根据频率等级的个数，利用k-means算法对关键词在文本中出现的次数聚成3个类，得到关键词S_j在文本中出现的次数的聚类结果，根据聚类结果选取第一个类的质心为S_jχ₁，第二个类的质心为S_jχ₂，第三个类的质心为S_jχ₃；

Step8、关键词S_j在文本中W_n出现的次数N_W_nS_j符合正态分布，结合质心，确定N_W_nS_j的隶属度函数表示为式(1)：

其中，

表示关键词S_j在文本W_n中出现次数N_W_nS_j的等级属于

的程度；式(1)可简记为

Step9、将第n个文本W_n的决策值P_n用模糊语言进行定义，记为

根据关键词的权重不同，将关键词的权重集记为R，关键词S_j的权重记为R_j，则关键词的权重集R＝(R₁,R₂,…,R_j)；则第n个文本W_n的决策值P_n为式(2)：

其中，

表示文本W_n与搜索的关键词的匹配符合程度为“低”，

表示文本W_n与搜索的关键词的匹配符合程度为“中”，

表示文本W_n与搜索的关键词的匹配符合程度为“高”；R₁+R₂+…+R_j＝1；

表示模糊合成max-min，模糊算子“∧”采用取小运算，“∨”采用取大运算；而文本中关键词出现次数的频率：

Step10、文本匹配：由Step9得出第n个文本W_n的决策值

所述停用词表包括以下几类：助词、副词、连词、冠词、指示词、特定词。

根据Step10的决策值进行被检索的文本输出：

如果文本W_n的决策值中最大值对应存在

则输出该文本；如果文本W_n的决策值中最大值对应的不存在

则不输出该文本；或者，

如果文本W_n的决策值中最大值对应的不存在

则输出该文本；否则，不输出该文本；

其中，当决策值中存在最大值为两个值相同的情况，则两个值都作为最大值，参与判断。

本发明的有益效果是：本发明通过对文本进行预处理和分词处理，可以有效地释放更多的存储空间，为后续步骤进行快速搜索提供支撑；结合聚类算法对出现的次数进行分析，获得构建隶属度函数的参数，而关键词在文本的频率是高中低三个等级，对应优先级也是高中低，通过取大取小操作避免了将低优先级的判断成高优先级，引起不必要的误判，进一步提高检索的准确度。

附图说明

图1为本发明的流程图。

具体实施方式

实施例1：如图1所示，一种基于模糊集的文本分析检索方法，所述方法步骤如下：

Step1、输入搜索的关键词；其中，搜索的关键词中的第j个关键词记为S_j；

Step2、建立文本库W，将文本库W中存入所有需要被检索的文本；其中，文本库W中的第n个文本记为W_n；

Step3、文本预处理：采用常用词分词工具Jieba对文本库中的每个文本进行串匹配分词；其中，经过分词处理后的第n个文本中的第i个分词记为W_n_A_i，将第n个文本W_n中所有关键词出现的总次数记为N_W_n；

通过该步骤的处理，可以把文本句子中所有的可能是词语的都扫描出来；

Step4、分词处理：建立停用词表，再将经过Step3处理得到的每个分词中出现的停用词进行删除；接着使用近义词工具包Synonyms合并同义词；

进一步，可以设置所述停用词表包括以下几类：助词、副词、连词、冠词、指示词、特定词。

如：

(1)助词：中文本文中的“的”、“地”、“得”，英文文本中的“of”等；

(2)副词：中文本文中的“十分”、“特别”、“非常”等，英文文本中的“really”；

(3)连词：中文本文中的“是”，英文文本中的“am”、“is”、“are”；

(4)冠词：中文本文中的“你”、“我”、“他”、“她”等，英文文本中的“I”、“my”、“you”等；

(5)指示词：中文本文中的“这”、“那”等，英文文本中的“the”、“these”、“those”等；

(6)特定词：与文本无关的词，如“html”、“www”等。

通过Step2的预处理后，还存在大量含义相近的分词，不仅占用了存储空间，而且造成了搜索效率低的问题；本申请中采用首先要建立停用词表，再将经过step1的每个分词中出现的所有停用词都删除，其可以去掉非常多无意义的词(停用词)，接着利用近义词工具包Synonyms能搜索近义词和比较语句相似度，且包含的词汇量巨大的特征进行合并同义词处理，处理后可以释放更多的存储空间，为后续步骤进行快速搜索提供支撑；

Step5、利用近义词工具判断文本库中每个文本中是否存在与关键词一致的分词：

如果第n个文本中的第i个分词W_n_A_i与搜索的第j个关键词S_j一致，则统计分词W_n_A_i出现的次数，即关键词S_j在文本W_n出现的次数，记为N_W_nS_j；

如果第n个文本W_n中不存在与关键词S_j一致的词，则令关键词S_j在文本W_n出现的次数N_W_nS_j等于0；

本发明基于根据关键词在文本中出现的次数作为是否被搜索出的依据，即关键词在某个文本中出现的次数越多说明该文本为需要被搜索出的文本的可能性越大；但次数是具体值，对于哪个大小的次数相应的文本是所需的，并没有判断依据，因此将其进行聚类，判断次数属于某个类的程度；再结合隶属度将关键词在文本中出现的次数的频率划为属于“高”、“中”、“低”的程度，不易遗漏文件；且函数计算简单。因此与其他方式(XSearch和DocFetcher)相比准确率更高且速度更快。

Step6、利用隶属度函数将关键词在文本中出现的次数模糊化为频率，频率为“高”、“中”、“低”三个等级，其计算方法如下：

将关键词S_j在文本W_n出现的次数记为

其包括

和

其中

表示关键词S_j在文本中W_n出现的频率为“低”，

表示关键词S_j在文本中W_n出现的频率为“中”，

表示关键词S_j在文本中W_n出现的频率为“高”；

Step7、根据频率等级的个数，利用k-means算法对关键词在文本中出现的次数聚成3个类，得到关键词S_j在文本中出现的次数的聚类结果，根据聚类结果选取第一个类的质心为S_jχ₁，第二个类的质心为S_jχ₂，第三个类的质心为S_jχ₃；

Step8、关键词S_j在文本中W_n出现的次数N_W_nS_j符合正态分布，结合质心，确定N_W_nS_j的隶属度函数表示为式(1)：

其中，

表示关键词S_j在文本W_n中出现次数N_W_nS_j的等级属于

的程度；式(1)可简记为

Step9、将第n个文本W_n的决策值P_n用模糊语言进行定义，记为

根据关键词的权重不同，将关键词的权重集记为R，关键词S_j的权重记为R_j，则关键词的权重集R＝(R₁,R₂,…,R_j)；则第n个文本W_n的决策值P_n为式(2)：

其中，

表示文本W_n与搜索的关键词的匹配符合程度为“低”，

表示文本W_n与搜索的关键词的匹配符合程度为“中”，

表示文本W_n与搜索的关键词的匹配符合程度为“高”；R₁+R₂+…+R_j＝1；

表示模糊合成max-min，模糊算子“∧”采用取小运算，“∨”采用取大运算；而文本中关键词出现次数的频率：

Step10、文本匹配：由Step9得出第n个文本W_n的决策值

进一步地，可以设置根据Step10的决策值进行被检索的文本输出：

如果文本W_n的决策值中最大值对应存在

则输出该文本；如果文本W_n的决策值中最大值对应的不存在

则不输出该文本；或者，

如果文本W_n的决策值中最大值对应的不存在

则输出该文本；否则，不输出该文本；

其中，当决策值中存在最大值为两个值相同的情况，则两个值都作为最大值，参与判断。

设定“决策值中存在最大值为两个值相同的情况，则两个值都作为最大值，参与判断”可以综合权衡权重的影响和文本中关键词出现的次数的影响。

进一步地，对本申请中的步骤作出如下实例说明：

假设需要被搜索的文本有W₁、W₂和W₃。搜索的关键词为：“耗时环节”、“用户活跃度”、“活跃状态”。“耗时环节”对应的权重为0.5；“用户活跃度”对应的权重为0.4；“活跃状态”对应的权重为0.1。文本W₁中的内容为“最最耗时的环节用户的活跃度安全生产非常活跃的状态最最耗时的环节最最耗时的环节非常活跃的状态……”，文本W₂中的内容为“出现的次数最耗时的环节用户的活跃度用户的活跃度最耗时的环节最耗时的环节……”，文本W₃中的内容为“耗时间的环节用户的活跃度安全的生产方式耗时间的环节耗时间的环节……”。

根据建立的文本库W，将所有需要被搜索的文本存入文本库W中。使用分词工具Jieba对文本W₁、W₂和W₃进行分词后的结果为：文本W₁的分词：“最耗时的环节”、“用户的活跃度”、“安全生产”、“非常活跃的状态”；文本W₂的分词：“出现的次数”、“最耗时的环节”、“用户的活跃度”；文本W₃的分词：“耗时间的环节”、“用户的活跃度”、“安全的生产方式”。

根据分词处理后的结果为：文本W₁的分词：“耗时环节”、“用户活跃度”、“安全生产”、“活跃状态”；文本W₂的分词：“出现次数”、“耗时环节”、“高工艺”；文本W₃的分词：“耗时环节”、“用户活跃度”、“安全生产”。将文本W₁的分词分别记为：“耗时环节”为W₁_A₁，“用户活跃度”为W₁_A₂、“安全生产”为W₁_A₃、“活跃状态”为W₁_A₄；文本W₂的分词分别记为：“出现次数”为W₂_A₁、“耗时环节”为W₂_A₂、“用户活跃度”为W₂_A₃；文本W₃的分词分别记为：“耗时间的环节”为W₃_A₁、“用户的活跃度”为W₃_A₂、“安全的生产方式”为W₃_A₃。

将搜索的关键词“耗时环节”记为S₁、“用户活跃度”记为S₂、“活跃状态”记为S₃。根据近义词工具得到文本W₁中的第1个分词W₁_A₁与搜索的第1个关键词S₁一致，统计得到分词W₁_A₁出现的次数N_W₁S₁＝80；文本W₁中的第2个分词W₁_A₂与搜索的第2个关键词S₂一致，统计得到分词W₁_A₂出现的次数N_W₁S₂＝110；文本W₁中的第4个分词W₁_A₄与搜索的第3个关键词S₃一致，统计得到分词W₁_A₄出现的次数N_W₁S₃＝50。文本W₂中的第2个分词W₂_A₂与搜索的第1个关键词S₁一致，统计得到分词W₂_A₂出现的次数N_W₂S₁＝50；文本W₂中不存在与搜索的第2个关键词S₂一致的词，令关键词S₂在文本W₂出现的次数N_W₂S₂＝0；文本W₂中不存在与搜索的第3个关键词S₃一致的词，令关键词S₃在文本W₂出现的次数N_W₂S₃＝0。文本W₃中的第1个分词W₃_A₁与搜索的第1个关键词S₁一致，统计得到分词W₃_A₁出现的次数N_W₃S₁＝240；文本W₃中的第2个分词W₃_A₂与搜索的第2个关键词S₂一致，统计得到分词W₃_A₂出现的次数N_W₃S₂＝100；文本W₃中不存在与搜索的第3个关键词S₃一致的词，令关键词S₃在文本W₃出现的次数N_W₃S₃＝0。根据k-means算法得到关键词S₁在文本中出现的次数的聚类结果：S₁χ₁＝0，S₁χ₂＝50，S₁χ₃＝100；关键词S₂在文本中出现的次数的聚类结果：S₂χ₁＝0，S₂χ₂＝40，S₂χ₃＝80；关键词S₃在文本中出现的次数的聚类结果：S₃χ₁＝0，S₃χ₂＝100，S₃χ₃＝200。

在文本W₁中，S₁χ₁＝0，S₁χ₂＝50，S₁χ₃＝100，因此N_W₁S₁的隶属度函数：

N_W₁S₂的隶属度函数：

同理可得：N_W₁S₃的隶属度函数：

在文本W₂中，S₂χ₁＝0，S₂χ₂＝40，S₂χ₃＝80。同理可得：N_W₂S₁的隶属度函数：

N_W₂S₂的隶属度函数：

N_W₂S₃的隶属度函数：

在文本W₃中，S₃χ₁＝0，S₃χ₂＝100，S₃χ₃＝200。同理可得：N_W₃S₁的隶属度函数：

N_W₃S₂的隶属度函数：

N_W₃S₃的隶属度函数：

关键词S₁对应的权重为0.5，即R₁＝0.5；“用户活跃度”对应的权重为0.4，即R₂＝0.4；“活跃状态”对应的权重为0.1，即R₃＝0.1。则关键词的权重集R＝(0.5,0.4,0.1)。

第1个文本W₁的决策值P₁为：

第2个文本W₂的决策值P₂为：

第3个文本W₃的决策值P₃为

文本信息系统M＝<W,S,V,P>。其中，W为文本库，包括文本W₁、W₂和W₃；S为搜索的关键词，包括文本W₁、W₂和W₃；V为文本中关键词出现次数的频率；P为决策值，将第n个文本W_n的决策值记为P_n。

文本信息系统用决策表表示如表2：

采用“如果文本W_n的决策值中最大值对应存在

则输出该文本；如果文本W_n的决策值中最大值对应的不存在

则不输出该文本；”，得出：

根据得出的文本W₁的决策值P₁为(0 0.24 0.5)，其中最大值0.5对应的是

则输出文本W₁；文本W₂的决策值P₁为(0.4 0.5 0.19)，其中最大值0.5对应的是

则不输出文本W₂；文本W₃的决策值P₁为(0.1 0.4 0.5)，其中最大值0.5对应的是

则输出文本W₃。

采用“如果文本W_n的决策值中最大值对应的不存在

则输出该文本；否则，不输出该文本；”，得出：

根据得出的文本W₁的决策值P₁为(0 0.24 0.5)，其中最大值0.5对应的是

(不存在

则输出文本W₁；文本W₂的决策值P₁为(0.4 0.5 0.19)，其中最大值0.5对应的是

(不存在

)，则输出文本W₂；文本W₃的决策值P₁为(0.1 0.4 0.5)，其中最大值0.5对应的是

(不存在

)，则输出文本W₃。

上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.一种基于模糊集的文本分析检索方法，其特征在于：所述方法步骤如下：

Step1、输入搜索的关键词；其中，搜索的关键词中的第j个关键词记为S_j；

Step2、建立文本库W，将文本库W中存入所有需要被检索的文本；其中，文本库W中的第n个文本记为W_n；

Step3、文本预处理：采用常用词分词工具Jieba对文本库中的每个文本进行串匹配分词；其中，经过分词处理后的第n个文本中的第i个分词记为W_n_A_i，将第n个文本W_n中所有关键词出现的总次数记为N_W_n；

Step4、分词处理：建立停用词表，再将经过Step3处理得到的每个分词中出现的停用词进行删除；接着使用近义词工具包Synonyms合并同义词；

Step5、利用近义词工具判断文本库中每个文本中是否存在与关键词一致的分词：

如果第n个文本中的第i个分词W_n_A_i与搜索的第j个关键词S_j一致，则统计分词W_n_A_i出现的次数，即关键词S_j在文本W_n出现的次数，记为N_W_nS_j；

如果第n个文本W_n中不存在与关键词S_j一致的词，则令关键词S_j在文本W_n出现的次数N_W_nS_j等于0；

Step6、利用隶属度函数将关键词在文本中出现的次数模糊化为频率，频率为“高”、“中”、“低”三个等级，其计算方法如下：

将关键词S_j在文本W_n出现的次数记为

其包括

和

其中

表示关键词S_j在文本中W_n出现的频率为“低”，

表示关键词S_j在文本中W_n出现的频率为“中”，

表示关键词S_j在文本中W_n出现的频率为“高”；

Step7、根据频率等级的个数，利用k-means算法对关键词在文本中出现的次数聚成3个类，得到关键词S_j在文本中出现的次数的聚类结果，根据聚类结果选取第一个类的质心为S_jχ₁，第二个类的质心为S_jχ₂，第三个类的质心为S_jχ₃；

Step8、关键词S_j在文本中W_n出现的次数N_W_nS_j符合正态分布，结合质心，确定N_W_nS_j的隶属度函数表示为式(1)：

其中，

表示关键词S_j在文本W_n中出现次数N_W_nS_j的等级属于

的程度；式(1)可简记为

Step9、将第n个文本W_n的决策值P_n用模糊语言进行定义，记为

根据关键词的权重不同，将关键词的权重集记为R，关键词S_j的权重记为R_j，则关键词的权重集R＝(R₁,R₂,…,R_j)；则第n个文本W_n的决策值P_n为式(2)：

其中，

表示文本W_n与搜索的关键词的匹配符合程度为“低”，

表示文本W_n与搜索的关键词的匹配符合程度为“中”，

表示文本W_n与搜索的关键词的匹配符合程度为“高”；R₁+R₂+…+R_j＝1；

表示模糊合成max-min，模糊算子“∧”采用取小运算，“∨”采用取大运算；而文本中关键词出现次数的频率：

Step10、文本匹配：由Step9得出第n个文本W_n的决策值

2.根据权利要求1所述的基于模糊集的文本分析检索方法，其特征在于：所述停用词表包括以下几类：助词、副词、连词、冠词、指示词、特定词。

3.根据权利要求1所述的基于模糊集的文本分析检索方法，其特征在于：根据Step10的决策值进行被检索的文本输出：

如果文本W_n的决策值中最大值对应存在

则输出该文本；如果文本W_n的决策值中最大值对应的不存在

则不输出该文本；或者，

如果文本W_n的决策值中最大值对应的不存在

则输出该文本；否则，不输出该文本；

其中，当决策值中存在最大值为两个值相同的情况，则两个值都作为最大值，参与判断。

Images