CN106649251B

CN106649251B - 一种中文分词的方法及装置

Info

Publication number: CN106649251B
Application number: CN201510727506.7A
Authority: CN
Inventors: 胡斌; 崔维福
Original assignee: Beijing Gridsum Technology Co Ltd
Current assignee: Beijing Gridsum Technology Co Ltd
Priority date: 2015-10-30
Filing date: 2015-10-30
Publication date: 2019-07-09
Anticipated expiration: 2035-10-30
Also published as: CN106649251A

Abstract

本发明公开了一种中文分词方法及装置，涉及分词技术领域，为解决分词结果不准确的问题而发明。本发明的方法包括：对同一个目标字符串分别进行正向匹配分词和逆向匹配分词，分别获得正向分词序列和逆向分词序列；查找正向分词序列和逆向分词序列之间的冲突词，冲突词包括正向分词序列包含、但逆向分词序列不包含的第一冲突词，以及逆向分词序列包含、但正向分词序列不包含的第二冲突词；计算第一冲突词的贡献值，记做第一贡献值；计算第二冲突词的贡献值，记做第二贡献值；比较第一贡献值与第二贡献值的大小，将贡献值大的冲突词记做优质冲突词；将优质冲突词与非冲突词结合，确定目标字符串最终的分词结果。本发明主要应用于中文分词的过程中。

Description

一种中文分词的方法及装置

技术领域

本发明涉及分词技术领域，尤其涉及一种中文分词的方法及装置。

背景技术

中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果。中文分词指的是将一个中文字符串切分成一个一个单独的词语，获得由这些独立词语组合而成的分词序列。

中文分词目前使用最广泛是机械分词方法，它是按照一定的策略将待分析的中文字符串与一个“充分大的”机器词典中的词条进行匹配，若在词典中找到与中文字符串部分相同的字符，则匹配成功，即识别出一个词语。

对于有特定含义的特定词语，可能会出现其他分词的组合，这样根据词条匹配得到的分词结果，可能与实际的语义有偏差。例如，对于中文字符串“被告人丁建设犯抢劫罪”，会出现两种不同的分词结果：第一种情况为“被告、人丁、建设、犯、抢劫、罪”，第二种情况为“被告人、丁、建设、犯、抢劫、罪”。其中“被告人”是法律行业中的一个特定词，应当作为一个词语进行划分，而“丁”属于姓氏的专有名词，不应将其与“人”合在一起划分为“人丁”这个词语。可见，第一种分词结果并不准确，错误的分词方式导致了实际语义的错误识别。

发明内容

本发明提供了一种中文分词的方法及装置，能够解决分词结果不准确的问题。

为了解决上述技术问题，一方面，本发明提供了一种中文分词的方法，包括：

对同一个目标字符串分别进行正向匹配分词和逆向匹配分词，分别获得正向分词序列和逆向分词序列；

查找所述正向分词序列和所述逆向分词序列之间的冲突词，所述冲突词包括所述正向分词序列包含、但所述逆向分词序列不包含的第一冲突词，以及所述逆向分词序列包含、但所述正向分词序列不包含的第二冲突词；

计算所述第一冲突词的贡献值，记做第一贡献值；

计算所述第二冲突词的贡献值，记做第二贡献值；

比较所述第一贡献值与所述第二贡献值的大小，将贡献值大的冲突词记做优质冲突词；

将优质冲突词与非冲突词结合，确定目标字符串最终的分词结果。

另一方面，本发明还提供了一种中文分词的装置，包括：

分词单元，用于对同一个目标字符串分别进行正向匹配分词和逆向匹配分词，分别获得正向分词序列和逆向分词序列；

查找单元，用于查找所述分词单元获得的正向分词序列和所述逆向分词序列之间的冲突词，所述冲突词包括所述正向分词序列包含、但所述逆向分词序列不包含的第一冲突词，以及所述逆向分词序列包含、但所述正向分词序列不包含的第二冲突词；

第一计算单元，用于计算所述查找单元查找到的第一冲突词的贡献值，记做第一贡献值；

第二计算单元，用于计算所述查找单元查找到的第二冲突词的贡献值，记做第二贡献值；

比较单元，用于比较所述第一计算单元得到的第一贡献值与所述第二计算单元得到的第二贡献值的大小，将贡献值大的冲突词记做优质冲突词；

确定单元，用于将由比较单元获得的优质冲突词与非冲突词结合，确定目标字符串最终的分词结果。

本发明提供的中文分词的方法及装置，能够对目标字符串通过正向匹配分词和逆向匹配分词，获得的正向分词序列和逆向分词序列，查找两个分词序列的冲突词，计算并比较冲突词的贡献值，将贡献值大的冲突词作为优质冲突词，将优质冲突词与非冲突词结合确定目标字符串的分词结果。与现有技术相比，本发明通过选择贡献值较大的冲突词做为优质冲突词，以确定最终的分词结果。贡献值是根据冲突词词频与冲突词所在词典表的等级值确定的，词频与等级值越高，冲突词出现概率的越大，越符合实际的语义，因此能提高最终分词的准确性，有效的避免特定词的错误分词组合。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种中文分词的方法流程图；

图2示出了本发明实施例提供的另一种中文分词的方法流程图；

图3示出了本发明实施例提供的一种中文分词的装置组成框图；

图4示出了本发明实施例提供的另一种中文分词的装置组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种中文分词的方法，如图1所示，该方法包括：

101、对同一个目标字符串分别进行正向匹配分词和逆向匹配分词，分别获得正向分词序列和逆向分词序列。

所述目标字符串，是指要进行分词的中文字符串。目标字符串是字符串中没有标点分割的连续的字符串。示例性的，若将字符串“原告开发公司与被告张某房屋迁让一案，本院受理后，依法组成合议庭，公开开庭进行了审理”进行分词，字符串中间有标点分割，是不连续的，不能将该字符串作为目标字符串。根据标点的位置，将该字符串分为“原告开发公司与被告张某房屋迁让一案”、“本院受理后”、“依法组成合议庭”、“公开开庭进行了审理”四个子字符串，将每个子字符串作为一个目标字符串，然后对每个目标字符串做匹配分词，最后确定每个目标字符串的分词序列。

所述正向匹配分词，是指从左到右将待分词字符串中的几个连续字符与词典匹配，如果匹配上，则切分出一个词。由正向匹配分词得到的分词结果为正向分词序列。示例性的，选取上述子字符串“原告开发公司与被告张某房屋迁让一案”为目标字符串，正向即从左往右取词，每次减一个字，直到中文字符串与词典中词语匹配或剩下一个单字。第一次选取字符串“原告开发公司与被告张某房屋迁让一”，不能与词典中词语匹配，也不是单字，继续下一次的匹配。第二次选取字符串“原告开发公司与被告张某房屋迁让”，减掉第一次匹配选取的字符串中最右侧的一个字，不能与词典中词语匹配，也不是单字，继续下一次的匹配。每次减少上一次字符串中最右侧的一个字，再进行下一次匹配，直到找出第一个与词典中词语匹配的分词，“原告”。在找到第一个分词后，将目标字符串中的第一分词去掉，再开始下一次的匹配。查找第二个分词的第一次选取的字符串为“开发公司与被告张某房屋迁让一案”，如第一个分词的选取方法相同，经过多次的匹配，直到查找到第二个分词。根据该方法继续查找目标字符串的分词，直到目标字符串的分词全部查询完毕，得到正向分词序列。

正向匹配分词还可以设置最大连续字符个数，从左往右取词，选取的字符数为设置的最大连续字符数，每次减一个字，直到中文字符串与词典中词语匹配或剩下一个单字。示例性的，上述目标字符串中“原告开发公司与被告张某房屋迁让一案”，最大的连续字符数为五，则在匹配过程中第一次选取字符串“原告开发公”，不能与词典中词语匹配，也不是单字，继续下一次的匹配。第二次选取字符串“原告开发”，比第一次匹配选取的字符串减少一个字，不能与词典中词语匹配，也不是单字，继续下一次的匹配。每次减少上一次字符串中最右侧的一个字，再进行下一次匹配，直到找出第一个与词典中词语匹配的分词，“原告”。在找到第一个分词后，将目标字符串中的第一分词去掉，再开始下一次的匹配。查找第二个分词的第一次选取的字符串为“开发公司与”，字符串的连续字符数为5，如第一个分词的选取方法相同，经过多次的匹配，直到查找到第二个分词。

在本实施例中，对正向匹配分词的实现方式不做限定。

所述逆向匹配分词，是指从右到左将待分词文本中的几个连续字符与词典匹配，如果匹配上，则切分出一个词。由逆向匹配分词得到的分词结果为逆向分词序列。逆向匹配分词的方法与正向匹配分词的方法类似，这里不再赘述。在本实施例中，对逆向匹配分词的实现方式不做限定。

102、查找正向分词序列和逆向分词序列之间的冲突词。

根据步骤101得到的正向分词序列和逆向分词序列，将分词序列中的分词，按照目标字符串中字符的排列顺序，逐一对比，查找两种分词序列中分词结果不同的冲突词。

冲突词包括正向分词序列包含、但逆向分词序列不包含的第一冲突词，以及逆向分词序列包含、但正向分词序列不包含的第二冲突词。示例性的，目标字符串“被告人丁建设犯抢劫罪”，正向最大匹配的分词结果为“被告人、丁、建设、犯、抢劫、罪”，逆向最大匹配的分词结果为“被告、人丁、建设、犯、抢劫、罪”。在两种分词结果中，找出两种分词结果不相同的词，“被告人、丁、被告、人丁”，这些词为冲突词。正向分词序列包含、但逆向分词序列不包含的第一冲突词为“被告人、丁”；逆向分词序列包含、但正向分词序列不包含的第二冲突词为“被告、人丁”。

103、计算第一冲突词的贡献值，记做第一贡献值。

所述第一冲突词的贡献值，记做第一贡献值，表示第一冲突词对应的字符串以第一冲突词的分词方法分词的可能性。第一冲突词中的分词序列，对应在目标字符串中是连续的。

104、计算第二冲突词的贡献值，记做第二贡献值。

与步骤103中的第一冲突词的贡献值类似，所述第二冲突词的贡献值，记做第二贡献值，表示第二冲突词对应的字符串以第二冲突词的分词方法分词的可能性。第二冲突词中的分词序列，对应在目标字符串中是连续的。

105、比较第一贡献值与第二贡献值的大小，将贡献值大的冲突词记做优质冲突词。

贡献值代表了分词方法的可能性，贡献值越大，按照其对应的分词方法分词的可能性越大。将贡献值较大的冲突词记做优质冲突词，即为优选的冲突词的分词方式。将优质冲突词作为冲突词对应字符串的分词结果。

106、将优质冲突词与非冲突词结合，确定目标字符串最终的分词结果。

非冲突词与冲突词相对应。在步骤102的示例中，第一冲突词为“被告人、丁”，第二冲突词为“被告、人丁”，但是对“被告人丁建设犯抢劫罪”中“犯抢劫罪”部分，无论是正向最大匹配还是逆向最大匹配分词方式均为“犯、抢劫、罪”，所以“犯、抢劫、罪”为非冲突词。根据贡献值的计算结果，将第一冲突词“被告人、丁”记做优质冲突词。将优质冲突词语非冲突词结合，是将优质冲突词中的分词序列与非冲突词中的分词序列提取出来，放在同一个分词序列中，作为目标字符串最终的分词结果。

按照目标字符串最终的分词结果，将分词还原成一个字符串，那么该字符串中包括目标字符串中所有的字符，而且保证目标字符串中字符不重复。

通过一个示例说明，若第一冲突词和第二冲突词中的分词序列对应到目标字符串中均是不连续的，最终分词结果是如何确定的。示例性的，目标字符串为“被告人丁建设是抢劫罪犯”，将目标字符串为“被告人丁建设是抢劫罪犯”。通过正向匹配方式获得正向匹配分词序列“被告人、丁、建设、是、抢劫罪、犯”通过逆向匹配方式获得逆向匹配分词序列“被告、人丁、建设、是、抢劫、罪犯”。其中，冲突词为“被告人、丁、抢劫罪、犯，被告、人丁、抢劫、罪犯”，非冲突词为“建设、是”。冲突词在目标字符串中的位置是不连续的，而贡献值的计算要针对连续的字符串。所以要根据冲突词在目标字符串中的连续性，将冲突词拆分为两个连续的部分，再分别计算贡献值。

将连续的冲突词划分为一组，即分为“被告人、丁、被告、人丁”与“抢劫罪、犯、抢劫、罪犯”，两个冲突词组。第一个冲突词组中有第一冲突词“被告人、丁”，第二冲突词为“被告、人丁”。第二个冲突词组中有第一冲突词“抢劫罪、犯”，第二冲突词为“抢劫、罪犯”。对每个冲突词组，分别做优质冲突词的选取。

计算第一个冲突词组的第一冲突词的第一贡献值。

计算第一个冲突词组的第二冲突词的第二贡献值。

选择第一冲突词组中的“被告人、丁”为优质冲突词。

计算第二冲突词组的第一贡献值与第二贡献值，选择第二冲突词组中的“抢劫、罪犯”为优质冲突词。

提取第一冲突词组的优质冲突词“被告人、丁”，第二冲突词组的优质冲突词“抢劫罪犯”，非冲突词“建设、是”，将三个分词序列放到同一个分词序列中“被告人、丁、建设、是、抢劫、罪犯”，即为最终的分词结果。

本发明实施例提供的中文分词的方法，能够对目标字符串通过正向匹配分词和逆向匹配分词，获得的正向分词序列和逆向分词序列，查找两个序列的冲突词，计算并比较冲突词的贡献值，将贡献值大的冲突词作为优质冲突词，将优质冲突词与非冲突词结合确定目标字符串的分词结果。与现有技术相比，本发明实施例通过选择贡献值较大的冲突词为优质冲突词，以确定最终的分词结果。贡献值是根据冲突词词频与冲突词所在词典表的等级值确定的，词频与等级值越高，冲突词出现概率的越大，越符合实际的语义，因此能提高最终分词的准确性，有效的避免特定词的错误分词组合。

进一步的，作为图1的细化和扩展，本发明另一实施例还提供了一种中文分词的方法，如图2所示，该方法包括：

201、建立语料库。

所述语料库，是指对目标字符串分词时的匹配词典。语料库中词语的来源可以是通用词典，可以是某行业的专用词典，也可以是网络流行的流行词语。在本实施例中，对语料库中词语的来源不做限定。

语料库中的词语范围要以匹配尽可能多的词语为目的，并兼顾语料库的大小。若语料库较大，则分词匹配速度较慢，若语料库较小，则分词结果与实际语义偏差较大。所以要两者兼顾。

将语料库中的词语根据类别分为不同的词典表，将词典表中的词语对应的放入词典表中。根据词典表中词语的使用频率，为词典表设置等级值。所述使用频率，是指在某个特定的大型文献数据库中的使用频率。词典表中词语的使用频率与该词语所在的词典表的等级值成正相关关系。词典表中词语的使用频率越高，该词语所在的词典表的等级值成大。若文献数据库中的文献类型范围广泛，词典中日常用语应用的最多，那么日常用语所在的词典表的等级值是最高的。若文献数据库中的文献只涉及一个行业，那么这个行业的专业词语使用频率最高，行业的专业词语所在词典表的等级值就最高。

示例性的，以法律行业为例，若文献数据库中的文献均为法律文献，将语料库中词典分为“法律专业词典表、基础词典表、人名词典表”等，那么词典表的等级值分别为“60、38、2”。

词典表的等级值，不是固定不变的。随着文献数据库的更改，词典表的等级值也要做相应的调整。也可以根据分词结果的准确度，更改词典表的等级值。

语料库分为不同的词典表，每个词典表都有其对应的等级值。词典表有不同的词语，每个词语都有其对应的词频。所述词频，是指在一个大型的文献数据库中，某个词在整个库中出现的次数与整个库的所有词出现次数的总和的比。

将词频与等级值均记录在语料库中。词语的词频与词语所在词典表的等级值，是确定最终分词结果的必要条件。

202、对同一个目标字符串分别进行正向匹配分词和逆向匹配分词，分别获得正向分词序列和逆向分词序列。

根据语料库中的词语，对目标字符串做正向匹配分词和逆向匹配分词，获得正向分词序列和逆向分词序列。正向分词序列与逆向分词序列，是将目标字符串根据语料库中的词语进行匹配后，拆分成的词语和单字。在本实施例中，对单个词语的字符个数不做限定。正向分词序列的字符总和，逆向分词序列中的字符总和，均为目标字符串。

203、查找正向分词序列和逆向分词序列之间的冲突词。

查找到的冲突词包括第一冲突词与第二冲突词，第一冲突词与第二冲突词是对应的，而且组成第一冲突词的分词在正向分词序列中是连续的，组成第二冲突词的分词在逆向分词序列中是连续的。第一冲突词与第二冲突词对应，是指第一冲突词与第二冲突词是对目标字符串中部分相同字符串的不同分词结果。组成第一冲突词及第二冲突词的分词分别在其所在的分词序列中是连续的，是指划分为不同分词结果的相同字符串是连续不间断的。

若查找到的冲突词在目标字符串中的位置是不连续的，那么将冲突词划分为不同的冲突词组，有几个连续的冲突词位置，就分为几个冲突词组。每个冲突词组对应的字符串都是连续的。每个冲突词组都包括第一冲突词与第二冲突词。在本实施例中，对冲突词组的个数不做限定。

204、计算第一冲突词的贡献值，记做第一贡献值。

第一贡献值的计算公式如下：

R₁＝F₁1×L₁1+F₁2×L₁2+F₁3×L₁3...+F₁n×L₁n

其中，R₁为第一贡献值，F₁n为第一冲突词中第n个冲突词的词频值，L₁n 为第一冲突词中第n个冲突词所在词典表的等级值，n为第一冲突词中冲突词的数量。

205、计算第二冲突词的贡献值，记做第二贡献值。

第二贡献值的计算公式如下：

R₂＝F₂1×L₂1+F₂2×L₂2+F₂3×L₂3...+F₂m×L₂m

其中，R₂为第二贡献值，F₂m为第二冲突词中第m个冲突词的词频值， L₂为第二冲突词中第m个冲突词所在词典表的等级值，m为第二冲突词中冲突词的数量。

206、比较第一贡献值与第二贡献值的大小，将贡献值大的冲突词记做优质冲突词。

比较由步骤204与步骤205计算得到的第一贡献值与第二贡献值的大小，获得贡献值较大的优质冲突词。若第一贡献值与第二贡献值相等，则将第一冲突词和第二冲突词中的任意一项记做优质冲突词。对优质冲突词的获取只需考虑冲突词贡献值的大小，无需考虑优质冲突词来自正向匹配分词序列还是逆向分词序列。

若冲突词有多个冲突词组，分别计算每个冲突词组对应的第一贡献值与第二贡献值，比较并获得每个冲突词组对应的优质冲突词。优质冲突词与冲突词组是一一对应的，在本实施例中对优质冲突词的个数不做限定。

207、将优质冲突词与非冲突词结合，确定目标字符串最终的分词结果。

将由步骤206获得所有优质冲突词，与非冲突词结合，优质冲突词中的分词序列与非冲突词中的分词序列提取出来，放在同一个分词序列中，作为目标字符串最终的分词结果。

进一步的，作为对上述图1与图2所示方法的实现，本发明另一实施例还提供了一种中文分词的装置。该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。如图3所示，该装置包括：分词单元31、查找单元32、第一计算单元33、第二计算单元34、比较单元35和确定单元36，其中，

分词单元31，用于对同一个目标字符串分别进行正向匹配分词和逆向匹配分词，分别获得正向分词序列和逆向分词序列；

查找单元32，用于查找分词单元31获得的正向分词序列和所述逆向分词序列之间的冲突词，冲突词包括正向分词序列包含、但逆向分词序列不包含的第一冲突词，以及逆向分词序列包含、但正向分词序列不包含的第二冲突词；

第一计算单元33，用于计算查找单元32查找到的第一冲突词的贡献值，记做第一贡献值；

第二计算单元34，用于计算查找单元32查找到的第二冲突词的贡献值，记做第二贡献值；

比较单元35，用于比较第一计算单元33得到的第一贡献值与第二计算单元34得到的第二贡献值的大小，将贡献值大的冲突词记做优质冲突词；

确定单元36，用于将由比较单元35获得的优质冲突词与非冲突词结合，确定目标字符串最终的分词结果。

进一步的，第一计算单元33，用于：

按照下述公式计算第一贡献值：

R₁＝F₁1×L₁1+F₁2×L₁2+F₁3×L₁3...+F₁n×L₁n

其中，R₁为第一贡献值，F₁n为第一冲突词中第n个冲突词的词频值，L₁n 为第一冲突词中第n个冲突词所在词典表的等级值，n为第一冲突词中冲突词的数量；

进一步的，第二计算单元34，用于：

按照下述公式计算第二贡献值：

R₂＝F₂1×L₂1+F₂2×L₂2+F₂3×L₂3...+F₂m×L₂m

其中，R₂为第二贡献值，F₂m为第二冲突词中第m个冲突词的词频值， L₂m为第二冲突词中第m个冲突词所在词典表的等级值，m为第二冲突词中冲突词的数量。

进一步的，如图4所示，该装置进一步包括：

分类单元37，用于在分词单元31将同一个目标字符串分别进行正向匹配分词和逆向匹配分词之前，根据词语类别，将词典中词语分为不同的词典表；

等级值设置单元38，用于根据分类单元37分类的词典表中词语的使用频率，为词典表设置等级值。

进一步的，在等级值设置单元38中使用频率与等级值成正相关关系。

进一步的，组成查找单元32查找到的第一冲突词的分词在正向分词序列中是连续的，组成查找单元32查找到的第二冲突词的分词在逆向分词序列中是连续的。

进一步的，比较单元35，用于：

若第一贡献值与第二贡献值相等，则将第一冲突词和第二冲突词中的任意一项确定为优质冲突词。

本发明实施例提供的一种中文分词的装置，能够对目标字符串通过正向匹配分词和逆向匹配分词，获得的正向分词序列和逆向分词序列，查找两个序列的冲突词，计算并比较冲突词的贡献值，将贡献值大的冲突词作为优质冲突词，将优质冲突词与非冲突词结合确定目标字符串的分词结果。与现有技术相比，本发明通过选择贡献值较大的冲突词为优质冲突词，以确定最终的分词结果。贡献值是根据冲突词词频与冲突词所在词典表的等级值确定的，词频与等级值越高，冲突词出现概率的越大，越符合实际的语义，因此能提高最终分词的准确性，有效的避免特定词的错误分词组合。

所述中文分词的装置包括处理器和存储器，上述分词单元31、查找单元32、第一计算单元33、第二计算单元34、比较单元35和确定单元36等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决分词结果不准确的问题。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：对同一个目标字符串分别进行正向匹配分词和逆向匹配分词，分别获得正向分词序列和逆向分词序列；查找所述正向分词序列和所述逆向分词序列之间的冲突词，所述冲突词包括所述正向分词序列包含、但所述逆向分词序列不包含的第一冲突词，以及所述逆向分词序列包含、但所述正向分词序列不包含的第二冲突词；计算所述第一冲突词的贡献值，记做第一贡献值；计算所述第二冲突词的贡献值，记做第二贡献值；比较所述第一贡献值与所述第二贡献值的大小，将贡献值大的冲突词记做优质冲突词；将优质冲突词与非冲突词结合，确定目标字符串最终的分词结果。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/ 输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims

1.一种中文分词的方法，其特征在于，所述方法包括：

根据所述第一冲突词词频值和所述第一冲突词所在词典表的等级值计算所述第一冲突词的贡献值，记做第一贡献值；

根据所述第二冲突词词频值和所述第二冲突词所在词典表的等级值计算所述第二冲突词的贡献值，记做第二贡献值；

2.根据权利要求1所述的方法，其特征在于，所述计算所述第一冲突词的贡献值，记做第一贡献值，包括：

按照下述公式计算所述第一贡献值：

R₁＝F₁1×L₁1+F₁2×L₁2+F₁3×L₁3...+F₁n×L₁n

其中，R₁为所述第一贡献值，F₁n为第一冲突词中第n个冲突词的词频值，L₁n为第一冲突词中第n个冲突词所在词典表的等级值，n为第一冲突词中冲突词的数量；

所述计算所述第二冲突词的贡献值，记做第二贡献值，包括：

按照下述公式计算所述第二贡献值：

R₂＝F₂1×L₂1+F₂2×L₂2+F₂3×L₂3...+F₂m×L₂m

其中，R₂为所述第二贡献值，F₂m为第二冲突词中第m个冲突词的词频值，L₂m为第二冲突词中第m个冲突词所在词典表的等级值，m为第二冲突词中冲突词的数量。

3.根据权利要求2所述的方法，其特征在于，在所述对同一个目标字符串分别进行正向匹配分词和逆向匹配分词之前，所述方法进一步包括：

根据词语类别，将词典中词语分为不同的词典表；

根据所述词典表中词语的使用频率，为所述词典表设置等级值。

4.根据权利要求3所述的方法，其特征在于，所述使用频率与所述等级值成正相关关系。

5.根据权利要求1所述的方法，其特征在于，组成所述第一冲突词的分词在所述正向分词序列中是连续的，组成所述第二冲突词的分词在所述逆向分词序列中是连续的。

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法进一步包括：

若所述第一贡献值与所述第二贡献值相等，则将所述第一冲突词和所述第二冲突词中的任意一项记做优质冲突词。

7.一种中文分词的装置，其特征在于，所述装置包括：

第一计算单元，用于根据所述第一冲突词词频值和所述第一冲突词所在词典表的等级值计算所述查找单元查找到的第一冲突词的贡献值，记做第一贡献值；

第二计算单元，用于根据所述第二冲突词词频值和所述第二冲突词所在词典表的等级值计算所述查找单元查找到的第二冲突词的贡献值，记做第二贡献值；

8.根据权利要求7所述的装置，其特征在于，所述第一计算单元，用于：

按照下述公式计算所述第一贡献值：

R₁＝F₁1×L₁1+F₁2×L₁2+F₁3×L₁3...+F₁n×L₁n

其中，R₁为所述第一贡献值，F₁n为所述第一冲突词中第n个冲突词的词频值，L₁n为所述第一冲突词中第n个冲突词所在词典表的等级值，n为所述第一冲突词中冲突词的数量；

所述第二计算单元，记做第二贡献值，用于：

按照下述公式计算所述第二贡献值：

R₂＝F₂1×L₂1+F₂2×L₂2+F₂3×L₂3...+F₂m×L₂m

其中，R₂为所述第二贡献值，F₂m为所述第二冲突词中第m个冲突词的词频值，L₂m为所述第二冲突词中第m个冲突词所在词典表的等级值，m为所述第二冲突词中冲突词的数量。

9.根据权利要求8所述的装置，其特征在于，所述装置进一步包括：

分类单元，用于在所述分词单元将同一个目标字符串分别进行正向匹配分词和逆向匹配分词之前，根据词语类别，将词典中词语分为不同的词典表；

等级值设置单元，用于根据所述分类单元分类的所述词典表中词语的使用频率，为所述词典表设置等级值。

10.根据权利要求9所述的装置，其特征在于，所述等级值设置单元中使用频率与所述等级值成正相关关系。

11.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求6中任意一项所述的中文分词的方法。

12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求6中任意一项所述的中文分词的方法。