CN105279150A - 一种基于lucene全文检索的中文分词方法 - Google Patents

Abstract

本发明公开了一种基于lucene全文检索的中文分词方法，将字典以每行一个词的形式存储在数据库中；将数据库中的字典以树的形式缓存在服务器中；输入需要分词的文本信息；文本逐字匹配缓存中的字典树，输出匹配成功的最长的词语；输出分词结果。该方法使用户可以从海量模糊数据中，提取有用信息加以详细研究和概括总结，方便用户进行语义分析和数据分析，从而及时发现营销服务中的问题，提高电网营销服务水平。

Description

一种基于lucene全文检索的中文分词方法

技术领域

本发明属于电力系统，涉及一种用于电力系统数据分析方法，具体地说是一种基于lucene全文检索的中文分词方法。

背景技术

在目前电力系统，特别是营销领域中，数据量大，涉及面广，值得深入分析挖掘。但由于多为文字描述，存在信息模糊、冗余的问题，难以使用传统数据分析方法定量准确分析。

发明内容

针对现有技术中存在的问题，本发明的目的是提供一种基于lucene全文检索的中文分词方法，该方法对系统中收集的海量中文文本信息进行分词操作，不仅可以在分词前通过维护分词所依赖的字典，使分词更加切合电网系统实际，而且可以通过后期对分词结果的进一步分析归纳，使得结果更加清晰明了。从分词前中后三个阶段出发，更好地提取营销领域信息，加深对营销问题的理解。

本发明的目的通过以下技术方案实现：

一种用于电力系统异常分类封装的方法，其特征在于该方法包括以下步骤：

1)将字典以每行一个词的形式存储在数据库中；

2)将数据库中的字典以树的形式缓存在服务器中；

3)输入需要分词的文本信息；

4)文本逐字匹配缓存中的字典树，输出匹配成功的最长的词语；

5)输出分词结果。

本发明在程序运行之前，可以人工维护字典，除了程序自带的包含常用词语的主词典和常用量词的量词词典以外，用户可根据需要增加拓展词典和停止词词典，拓展词典中可以添加电力系统的专有词汇，停止词词典中可以添加统计不关心的词汇，如虚词、连接词等。

本发明在程序运行过程中，首先将数据库中的字典以树的数据结构形式缓存在系统内存当中，缓存中的字典一共分为主词典、停止词词典和量词字典三个，用户添加的拓展词典缓存在主词典中。分词过程中，依次取出输入文本的单个词元，首先进行该词元与其后词元的合并操作，若前后词元符合：英文数词与中文数词、英文数词与中文量词、中文数词与中文量词这三类结构，则直接将前后词元合并得到新词元，若不满足，则不合并。将词元与停止词词典匹配，若匹配上，则放弃该词元，继续取下一个词元；若未匹配上，继续与主词典匹配。主词典若未匹配上，则输出该词元，即该词元分词结束；若匹配上，则将该词元与下一个词元合并，继续重复上述过程，直至全部文本取完。

分词结束后，对于得到的分词结果，可进行同义词分析，即对得到的分词结果，逐一判断是否存在同义词，如果存在，则保存时以该组同义词的主次保存，如不存在，则以原词保存。

本发明将字典词条缓存在服务器内存中，并根据缓存的字典词条，将文本段落拆分成相应的字词，通过统计拆分所得字词，来分析段落语句。该方法还支持多词典：可屏蔽掉部分无用的词语的停止词词典、增加电网相关专有名词的拓展词典、将多个意义相同的词汇在统计上合并为一个主词的同义词词典等，从而提高数据分析效率。

本发明对于电网系统中海量文本信息进行分词，使难于统计的文本信息转变成易于统计的字词信息，并通过前期字典维护，过滤掉无关信息，以及后期同义词转化，合并同类信息，使得分词结果更加清晰明了。使用户可以从海量模糊数据中，提取有用信息加以详细研究和概括总结，方便用户进行语义分析和数据分析，从而及时发现营销服务中的问题，提高电网营销服务水平。

附图说明

图1是基于lucene全文检索的中文分词方法的流程图。

具体实施方式

一种基于lucene全文检索的中文分词方法，图1是用基于lucene全文检索的中文分词方法的流程图。该方法包括以下步骤：

1.将字典以每行一个词的形式存储在数据库中。除了程序自带的包含常用词语的主词典和常用量词的量词词典以外，用户可根据需要增加拓展词典和停止词词典。

2.将数据库中的字典以树的形式缓存在服务器中。缓存中的字典一共分为主词典、停止词词典和量词字典三个，用户自行添加的拓展词词典存放在主词典中。

3.输入需要分词的文本信息；

4.输入文本逐字匹配缓存中的量词、停止词和主词三棵字典树，如果前词元和后词元可以符合数词量词结构，则两词元合并为一个词元。继续匹配停止词字典，若匹配，则放弃该词元，否则，继续匹配主词典。主词典若不不匹配，则输出该词元，该词元分词结束，否则，将该词元与下一个词元合并后，重复上述过程。

5.输出分词结果，并对得到的分词结果进行同义词分析，逐一判断是否存在同义词，如存在，则保存时以该组同义词的主词保存，如不存在，以原词保存。

本发明对于电网系统中海量文本信息进行分词，使难于统计的文本信息转变成易于统计的字词信息，并通过前期字典维护，过滤掉无关信息，以及后期同义词转化，合并同类信息，使得分词结果更加清晰明了。

Claims (4)

1.一种基于lucene全文检索的中文分词方法，其特征在于该方法具体步骤如下：

1)将字典以每行一个词的形式存储在数据库中；

2)将数据库中的字典以树的形式缓存在服务器中；

3)输入需要分词的文本信息；

4)文本逐字匹配缓存中的字典树，输出匹配成功的最长的词语；

5)输出分词结果。

2.根据权利要求1所述的基于lucene全文检索的中文分词方法，其特征在于：步骤2)中，缓存中的字典一共分为主词典、停止词词典和量词字典三个，用户可根据需要增加拓展词典，拓展词典的词条在缓存中增加在主词典之中；三个字典在服务器中以树的数据结构形式缓存。

3.根据权利要求1所述的基于lucene全文检索的中文分词方法，其特征在于：步骤4)中，依次取出输入文本的单个词元，首先进行该字符与其后词元的合并操作，若前后词元符合：英文数词与中文数词、英文数词与中文量词、中文数词与中文量词这三类结构，则直接和其后词元合并得到新的词元，若不满足，依旧判断原先取出的词元；将词元与停止词词典匹配，若匹配上，则放弃该词元，继续取下一个词元；若未匹配上，继续与主词典匹配；主词典若未匹配上，则输出该词元，即该词元分词结束；若匹配上，则将该词元与下一个词元合并，继续重复上述过程。

4.根据权利要求1所述的基于lucene全文检索的中文分词方法，其特征在于：步骤5)中，对步骤4)得到的分词结果，进行同义词分析，即对得到的分词结果，逐一判断是否存在同义词，如存在，则保存时以该组同义词的主词保存，如不存在，以原词保存。