CN109885836A - 一种精准分词的方法 - Google Patents

Abstract

本发明涉及精准分词技术领域，且公开了一种精准分词的方法，包括下述步骤：第一步，预先创建专用语素库群和专用词库群；第二步，获取文本，根据预先创建的专用数据库群中的多字语素库，通过字符串匹配的分词方法，检索匹配抽取文本中的多字语素，作为分词结果，将剩余的文本进行单字分词。该精准分词的方法通过预先创建专用数据库群，将专用数据库群通过字符串匹配的分词方法检索匹配抽取文本中的数据汇总成不成词单字数据集和成词单字数据集，再通过对不成词单字数据集和成词单字数据集按照不同的规则进行分词，该精准分词的方法在使用过程中分词的准确度更高，使得机器能够更快更好地学习和识别人类语言，实用性更强。

Description

一种精准分词的方法

技术领域

本发明涉及精准分词技术领域，具体为一种精准分词的方法。

背景技术

分词就是将句子切分成一个一个单独的词，是将连续的句子按照一定的规范重新组合成词序列的过程，随着自然语言处理人工智能技术的不断发展，机器能够不断识别人类的语言与人类进行交互，实现机器识别人类语言的第一步是将句子切分为单独的词，因此分词技术至关重要，但是现有的精准分词方法准确性不佳，机器难以快速的识别人类语言。

发明内容

针对现有技术的不足，本发明提供了一种精准分词的方法，解决了现有的精准分词的方法准确性不佳，机器难以快速的识别人类语言的问题。

本发明提供如下技术方案：一种精准分词的方法，包括下述步骤：

第一步，预先创建专用语素库群和专用词库群，所述专用数据库群均支持用户自定义增减数据；

第二步，获取文本，根据预先创建的专用数据库群中的多字语素库，通过字符串匹配的分词方法，检索匹配抽取文本中的多字语素，作为分词结果，将剩余的文本进行单字分词，获得单字数据集；

第三步，根据预先创建的专用数据库群中的单字库，通过字符串匹配的分词方法，检索匹配抽取单字数据集中的不成词单字和成词单字，汇总成不成词单字数据集和成词单字数据集；

第四步，分别将不成词单字数据集和成词单字数据集分词。

优选的，其中语素库群包括将不可单独成词的单音节语素汇总成的不成词单字库、将可以单独成词的单音节语素汇总成的成词单字库、将不可以单独成词的双音节和多音节语素汇总成的多字语素库。

优选的，其中专用词库群包含有姓名前缀词数据库、姓名后缀词数据库、机构名称词语数据库、机构部门称呼词语数据库、行业专业术语数据库、特别字词数据库、商标名称词语数据库、企业名称词语数据库、地名数据库、商品名数据库、成语数据库、俗语谚语数据库、词语数据库、短语库、诗词库、文艺作品名称数据库、名人姓名库、姓氏库、方言口头禅词库、网络热词库、绰号外号数据库。

优选的，其中行业专业术语数据库主要根据不同的行业进行分类，其中主要分为互联网、网络、软件与药品。

优选的，其中特别字词数据库主要由年份月份日期以及阿拉伯数字组成。

优选的，其中企业名称词语数据库中的企业名称应当由行政区划、字号、行业分类、组织形式组成。

优选的，其中文本是指电子格式的面向计算机信息处理的中文汉字组合，且文本包括电子文档文本、web页面文本、通讯消息内容文本、通讯录联系人内容文本。

优选的，其中不成词单字数据集的分词操作包含以下步骤：

S1：将不成词单字分别和前面的和后面的一个或多个连续字序列组合，根据预先创建的专用数据库群中的专用词库群，检索匹配识别是否能组合成词，如不能组合成词，将该不成词单字作为分词结果，如能组合成词，则将组合词语汇总成第一备选分词数据集；

S2：按照规则，对第一备选分词数据集进行分词。

优选的，其中第一备选分词数据集的分词操作包含三个规则：

规则1：不成词单字只能向左或向右单向组合成词语的，汇总成第一单向分词数据集，如单向分词只有一个词语，将该词语作为分词结果，如单向分词超过一个词语，将最长的词语作为分词结果；

规则2：不成词单字向左和向右双向共同组合成词语的，汇总成第一双向共同分词数据集，如双向共同分词只有一个词语，将该词语作为分词结果，如双向共同分词超过一个词语，将最长的词语作为分词结果；

规则3：不成词单字向左和向右双向均能独立组合成词语的，汇总成第一双向分词数据集；和不成词单字向左或向右组合的字，其中如有不成词单字且该不成词单字不能再向左或向右和其他字组合成词，则将该不成词单字+不成词单字组合成的词语作为分词结果。

优选的，其中成词单字数据集的分词操作包含以下步骤：

S1：检测成词单字向左和向右是否有相连的成词单字，如无，将该成词单字作为分词结果，如有，进入S2；

S2：将成词单字分别和前面的和后面的一个或多个连续的成词单字序列组合，根据预先创建的专用数据库群中的专用词库群，检索匹配识别是否能组合成词，如不能组合成词，将该成词单字作为分词结果，如能组合成词，则将组合词语汇总成第二备选分词数据集；

S3：按照规则，对第二备选分词数据集进行分词操作。

优选的，其中第二备选分词数据集的分词操作包含三个规则：

规则1：成词单字只能向左或向右和其他成词单字单向组合成词语的，汇总成第二单向分词数据集，如单向分词只有一个词语，将该词语作为分词结果，如单向分词超过一个词语，将最长的词语作为分词结果；

规则2：成词单字向左和向右和其他成词单字双向共同组合成词语的，汇总成第二双向共同分词数据集，如双向共同分词只有一个词语，将该词语作为分词结果，如双向共同分词超过一个词语，将最长的词语作为分词结果；

规则3：成词单字向左和向右和其他成词单字双向均能独立组合成词语的，汇总成第二双向分词数据集；和成词单字向左或向右组合的成词单字，如不能再向左或向右和其他字组合成词，则将该成词单字+成词单字组合成词语的，作为分词结果。

本发明具备以下有益效果：

该精准分词的方法通过预先创建专用数据库群，将专用数据库群通过字符串匹配的分词方法检索匹配抽取文本中的数据汇总成不成词单字数据集和成词单字数据集，再通过对不成词单字数据集和成词单字数据集按照不同的规则进行分词，该精准分词的方法在使用过程中分词的准确度更高，使得机器能够更快更好地学习和识别人类语言，实用性更强。

附图说明

图1为本发明方法步骤图；

图2为本发明专用数据库群细化图；

图3为本发明文本细化图；

图4为本发明不成词单字数据集的分词方法步骤图；

图5为本发明不成词单字数据集的分词方法规则细化图；

图6为本发明成词单字数据集的分词方法步骤图；

图7为本发明成词单字数据集的分词方法规则细化图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，一种精准分词的方法，包括下述步骤：

第一步，预先创建专用语素库群和专用词库群，所述专用数据库群均支持用户自定义增减数据；

第二步，获取文本，根据预先创建的专用数据库群中的多字语素库，通过字符串匹配的分词方法，检索匹配抽取文本中的多字语素，作为分词结果，将剩余的文本进行单字分词，获得单字数据集；

第三步，根据预先创建的专用数据库群中的单字库，通过字符串匹配的分词方法，检索匹配抽取单字数据集中的不成词单字和成词单字，汇总成不成词单字数据集和成词单字数据集；

第四步，分别将不成词单字数据集和成词单字数据集分词。

请参阅图1至图3，第一步中，语素库群包括将不可单独成词的单音节语素汇总成的不成词单字库、将可以单独成词的单音节语素汇总成的成词单字库、将不可以单独成词的双音节和多音节语素汇总成的多字语素库，专用词库群包含有姓名前缀词数据库、姓名后缀词数据库、机构名称词语数据库、机构部门称呼词语数据库、行业专业术语数据库、特别字词数据库、商标名称词语数据库、企业名称词语数据库、地名数据库、商品名数据库、成语数据库、俗语谚语数据库、词语数据库、短语库、诗词库、文艺作品名称数据库、名人姓名库、姓氏库、方言口头禅词库、网络热词库、绰号外号数据库，且行业专业术语数据库主要根据不同的行业进行分类，其中主要分为互联网、网络、软件与药品，特别字词数据库主要由年份月份日期以及阿拉伯数字组成，且企业名称词语数据库中的企业名称应当由行政区划、字号、行业分类、组织形式组成；第二步中，文本是指电子格式的面向计算机信息处理的中文汉字组合，且文本包括电子文档文本、web页面文本、通讯消息内容文本、通讯录联系人内容文本，通过对不成词单字数据集和成词单字数据集按照不同的规则进行分词，使得该精准分词的方法在使用过程中分词的准确度更高，使得机器能够更快更好地学习和识别人类语言。

请参阅图4至图5，其中不成词单字数据集的分词操作包含以下步骤：

S1：将不成词单字分别和前面的和后面的一个或多个连续字序列组合，根据预先创建的专用数据库群中的专用词库群，检索匹配识别是否能组合成词，如不能组合成词，将该不成词单字作为分词结果，如能组合成词，则将组合词语汇总成第一备选分词数据集；

S2：按照规则，对第一备选分词数据集进行分词。

其中不成词单字只能向左或向右单向组合成词语的，汇总成第一单向分词数据集，如单向分词只有一个词语，将该词语作为分词结果，如单向分词超过一个词语，将最长的词语作为分词结果，不成词单字向左和向右双向共同组合成词语的，汇总成第一双向共同分词数据集，如双向共同分词只有一个词语，将该词语作为分词结果，如双向共同分词超过一个词语，将最长的词语作为分词结果，不成词单字向左和向右双向均能独立组合成词语的，汇总成第一双向分词数据集；和不成词单字向左或向右组合的字，其中如有不成词单字且该不成词单字不能再向左或向右和其他字组合成词，则将该不成词单字+不成词单字组合成的词语作为分词结果。

请参阅图6至图7，其中成词单字数据集的分词操作包含以下步骤：

S1：检测成词单字向左和向右是否有相连的成词单字，如无，将该成词单字作为分词结果，如有，进入S2；

S2：将成词单字分别和前面的和后面的一个或多个连续的成词单字序列组合，根据预先创建的专用数据库群中的专用词库群，检索匹配识别是否能组合成词，如不能组合成词，将该成词单字作为分词结果，如能组合成词，则将组合词语汇总成第二备选分词数据集；

S3：按照规则，对第二备选分词数据集进行分词操作。

其中成词单字只能向左或向右和其他成词单字单向组合成词语的，汇总成第二单向分词数据集，如单向分词只有一个词语，将该词语作为分词结果，如单向分词超过一个词语，将最长的词语作为分词结果，成词单字向左和向右和其他成词单字双向共同组合成词语的，汇总成第二双向共同分词数据集，如双向共同分词只有一个词语，将该词语作为分词结果，如双向共同分词超过一个词语，将最长的词语作为分词结果，成词单字向左和向右和其他成词单字双向均能独立组合成词语的，汇总成第二双向分词数据集；和成词单字向左或向右组合的成词单字，如不能再向左或向右和其他字组合成词，则将该成词单字+成词单字组合成词语的，作为分词结果。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (11)

1.一种精准分词的方法，其特征在于：包括下述步骤：

第一步，预先创建专用语素库群和专用词库群，所述专用数据库群均支持用户自定义增减数据；

第二步，获取文本，根据预先创建的专用数据库群中的多字语素库，通过字符串匹配的分词方法，检索匹配抽取文本中的多字语素，作为分词结果，将剩余的文本进行单字分词，获得单字数据集；

第三步，根据预先创建的专用数据库群中的单字库，通过字符串匹配的分词方法，检索匹配抽取单字数据集中的不成词单字和成词单字，汇总成不成词单字数据集和成词单字数据集；

第四步，分别将不成词单字数据集和成词单字数据集分词。

2.根据权利要求1所述的一种精准分词的方法，其特征在于：其中语素库群包括将不可单独成词的单音节语素汇总成的不成词单字库、将可以单独成词的单音节语素汇总成的成词单字库、将不可以单独成词的双音节和多音节语素汇总成的多字语素库。

3.根据权利要求1所述的一种精准分词的方法，其特征在于：其中专用词库群包含有姓名前缀词数据库、姓名后缀词数据库、机构名称词语数据库、机构部门称呼词语数据库、行业专业术语数据库、特别字词数据库、商标名称词语数据库、企业名称词语数据库、地名数据库、商品名数据库、成语数据库、俗语谚语数据库、词语数据库、短语库、诗词库、文艺作品名称数据库、名人姓名库、姓氏库、方言口头禅词库、网络热词库、绰号外号数据库。

4.根据权利要求3所述的一种精准分词的方法，其特征在于：其中行业专业术语数据库主要根据不同的行业进行分类，其中主要分为互联网、网络、软件与药品。

5.根据权利要求3所述的一种精准分词的方法，其特征在于：其中特别字词数据库主要由年份月份日期以及阿拉伯数字组成。

6.根据权利要求3所述的一种精准分词的方法，其特征在于：其中企业名称词语数据库中的企业名称应当由行政区划、字号、行业分类、组织形式组成。

7.根据权利要求1所述的一种精准分词的方法，其特征在于：其中文本是指电子格式的面向计算机信息处理的中文汉字组合，且文本包括电子文档文本、web页面文本、通讯消息内容文本、通讯录联系人内容文本。

8.根据权利要求1所述的一种精准分词的方法，其特征在于：其中不成词单字数据集的分词操作包含以下步骤：

S1：将不成词单字分别和前面的和后面的一个或多个连续字序列组合，根据预先创建的专用数据库群中的专用词库群，检索匹配识别是否能组合成词，如不能组合成词，将该不成词单字作为分词结果，如能组合成词，则将组合词语汇总成第一备选分词数据集；

S2：按照规则，对第一备选分词数据集进行分词。

9.根据权利要求8所述的一种精准分词的方法，其特征在于：其中第一备选分词数据集的分词操作包含三个规则：

规则1：不成词单字只能向左或向右单向组合成词语的，汇总成第一单向分词数据集，如单向分词只有一个词语，将该词语作为分词结果，如单向分词超过一个词语，将最长的词语作为分词结果；

规则2：不成词单字向左和向右双向共同组合成词语的，汇总成第一双向共同分词数据集，如双向共同分词只有一个词语，将该词语作为分词结果，如双向共同分词超过一个词语，将最长的词语作为分词结果；

规则3：不成词单字向左和向右双向均能独立组合成词语的，汇总成第一双向分词数据集；和不成词单字向左或向右组合的字，其中如有不成词单字且该不成词单字不能再向左或向右和其他字组合成词，则将该不成词单字+不成词单字组合成的词语作为分词结果。

10.根据权利要求1所述的一种精准分词的方法，其特征在于：其中成词单字数据集的分词操作包含以下步骤：

S1：检测成词单字向左和向右是否有相连的成词单字，如无，将该成词单字作为分词结果，如有，进入S2；

S2：将成词单字分别和前面的和后面的一个或多个连续的成词单字序列组合，根据预先创建的专用数据库群中的专用词库群，检索匹配识别是否能组合成词，如不能组合成词，将该成词单字作为分词结果，如能组合成词，则将组合词语汇总成第二备选分词数据集；

S3：按照规则，对第二备选分词数据集进行分词操作。

11.根据权利要求10所述的一种精准分词的方法，其特征在于：其中第二备选分词数据集的分词操作包含三个规则：

规则1：成词单字只能向左或向右和其他成词单字单向组合成词语的，汇总成第二单向分词数据集，如单向分词只有一个词语，将该词语作为分词结果，如单向分词超过一个词语，将最长的词语作为分词结果；

规则2：成词单字向左和向右和其他成词单字双向共同组合成词语的，汇总成第二双向共同分词数据集，如双向共同分词只有一个词语，将该词语作为分词结果，如双向共同分词超过一个词语，将最长的词语作为分词结果；

规则3：成词单字向左和向右和其他成词单字双向均能独立组合成词语的，汇总成第二双向分词数据集；和成词单字向左或向右组合的成词单字，如不能再向左或向右和其他字组合成词，则将该成词单字+成词单字组合成词语的，作为分词结果。