CN1438592A - 一种文本自动分类方法 - Google Patents

Abstract

一种文本自动分类方法属于文本自动分类技术领域，其特征在于：它把二元权重计算方法引入到基于向量空间模型(VSM)的线性分类器，并结合复杂的非二元权重对二元权重进行平滑，以便一次性地对所有文本进行自动分类；它在构建线性分类器时，用可调系数k来调整非二元权重的平滑能力。它的分类准确率比只用二元权重的或者只用非二元权重的都要高，它在不同数量的特征集上都具有很高的分类准确率，而且用不同的非二元权重方法进行平滑的分类准确率大致相同。

Description

一种文本自动分类方法

技术领域

一种文本自动分类方法属于文本自动分类(Text Categorization，Text Classification)技术领域。

背景技术

随着Internet网和电子技术的发展，人们可用的电子信息越来越多，通过计算机和网络来获取资料和信息已成为人们获取信息的主要方式之一。现在，人们面对的是覆盖整个世界的海量信息，而且其增长速度非常快。因此，我们迫切需要解决的问题是：如何使用户尽快找到想要的信息，如何对这些海量电子信息进行有效的组织和维护。文本自动分类(TC)就是为解决这一问题而提出的。它以计算机作为工具，通过机器自动学习，使计算机具有对文本的自动分类能力；当任意输入一篇文本时，计算机能够根据已经掌握的知识，自动将文本分类到某一类型中。

从二十世纪八十年代末九十年代初开始，国内外学者开始对TC技术进行深入研究，许多机器学习技术和统计分类方法被应用到这一领域，例如：基于概率模型(Probabilistic Model)的贝叶斯分类器(Bayesian Classifier)，基于规则(Rule)的决策树/决策规则(DecisionTree/Decision Rule Classifier)分类器，基于类描述的线性分类器(Profile-Based LinearClassifier)，基于人类分类经验的K最近邻分类器(K-Nearest Neighbor)，基于最优超平面的支持向量机(Support Vector Machine，简称SVM)，通过对多个分类方法进行组合的分类器委员会(Classifier Committee)等。

在线性分类器，向量空间模型(Vector Space Model，简称VSM)被广泛用来描述文本。通过将文本描述为由各特征(例如词，字，字串等)为元素的向量，计算机可以使用向量运算来对文本进行操作，例如计算文本向量的长度，度量任意文本之间的相似程度，两篇文本合并等操作。

在VSM模型中，一项关键技术是如何度量特征的重要性，即权重。特征权重计算的好坏直接决定了分类器的分类效果。目前，被广泛使用的非二元权重(Non-Binary Weighting)计算方法主要有：特征频率(Term Frequency，简称TF)，文档频率(Document Frequency，简称DF)，特征频率-逆文档频率(Term Frequency-Inverse Document Frequency，简称TF-IDF)，信息增益(Information Gain，简称IG)，互信息(Mutual Information，简称MI)，信息熵(Entropy)，Chi-分布权重(Chi-Square，简称CHI)等。这些方法中，TF和DF方法认为在文本中出现次数多，在很多文本中出现的特征很重要；IG、MI、Entropy等方法则认为特征含有的信息量越多，则越重要；CHI方法强调了特征与类型之间的结合程度，即特征的整个分类能力。它们基于的共同思想是，特征的重要性被描述得越准确，实际文本也能够被特征向量描述得越准确。这样，试图通过构造复杂的数学模型或统计量对特征权重进行度量来提高特征向量对文本的描述能力，并最终提高分类效果。大量实验表明，这种分类效果的提高是有限的。这有三方面原因，一是用VSM模型描述文本时忽略了文本中的许多信息，例如特征之间的位置关系，特征的语法信息等；二是相对于自然语言的描述能力来说，能够获得的用于学习的数据是很稀疏的，不充分的；三是基于稀疏数据上的复杂统计量会将误差进一步扩大。

二元权重(Binary Weighting)计算方法主要用于概率模型分类器和决策树分类器中，它常常作为其它复杂分类方法的比较基准。在这种方法中，对一篇文本来说，一个特征只有“出现”(1)和“不再现”(0)两种情况。它非常简单，但很粗糙，描述能力有限。因此，在前人的研究中普遍认为这种权重计算方法分类效果很差，没有人将这种权重计算方法应用于基于VSM的线性分类器中。

发明目的

本发明的目的在于提供一种可以提高分类准确率的文本自动分类方法。

在文本分类中，不同主题类型之间分为两种情况。第一种情况是两种类型相距很远，即很不相似。在这两类文本中，它们使用的词/字集合完全不同，例如，军事类和财经类。要预测一篇文本属于其中哪一类，只需要检查它主要使用哪一类的特征集就可以了。这可以采用二元权重方法来实现；第二种情况是类型之间很相似，甚至使用完全相同的特征集来描述主题内容，例如，足球类、篮球类、游泳类。这时仅仅使用二元权重方法就不能将这些类型区别开来，而需要测量各个特征更趋向于描述哪一类型的文本，然后综合起来再预测文本所属的类型。在文本分类中，大部分文本属于第一种情况，最难的是第二种情况。

构造的统计量在描述统计数据的某方面统计特性时是存在误差的，只有当数据量趋于无穷大时才以概率1趋于所描述的统计特性。当数据量比较小，甚至数据稀疏时，统计量与真实值之间误差是很大的。要描述所有自然语言表示的文本，潜在的特征集会非常大，而用于机器学习的已知文本集(学习集)则相对较小。在相距较远的类型之间，由于它们使用的特征集很分散，会造成大量的稀疏数据。因此，在这种情况下得到的统计量是不可靠的，而且统计量越复杂，误差越大。在相近的类型之间，由于使用的特征相对集中，数据量能够达到一定规模。在这些类型之间得到的统计量具有较高的可靠性。

因此，我们将二元权重计算方法引入到基于VSM的线性分类器中，准确有效地对大部分相距很远的文本的自动分类。但是由于二元权重过于简单，丢失了特征的在文本中的大量信息，它对类型相似的文本分类准确率不高。针对这一固有缺陷，我们采用复杂的非二元权重对二元权重进行平滑(Smoothing)，以解决对类型相似的文本的分类。通过采用“非二元平滑的二元特征权重计算方法”，克服了基于VSM模型的线性分类器中存在的现有问题。在大规模数据上运行的结果显示，我们发明的文本自动分类方法显著地提高了分类准确率。

本发明的特征在于：

它是一种基于非二元平滑的二元特征权重计算的文本自动分类方法；它把二元权重计算方法引入到基于向量空间模型(Vector Space Model，VSM)的线性分类器，并结合复杂的非二元权重对二元权重进行平滑，以便一次性地对类型相似的文本进行自动分类；该分类方法在计算机内执行时依次含有以下步骤：

在学习阶段：

(1).输入学习文本集；

(2).确定采用的特征单位以及线性分类器类型；

(3).对学习集进行预处理；

(4).特征抽取：对学习集进行索引，得到原始特征集以及各学习文本的频度向量。某文本d的特征频度向量可表示为：

d＝(tf₁，tf₂，...，tf_n)

其中：n为原始特征集包含的特征总数；

tf_i为第i个特征在文本d中的频度。

(5).对原始特征集采用现有的特征选择技术，如频度降维、Chi-Square权重降维，进行降维操作，得到特征集；

(6).以类型为单位，合并各学习文本的频度向量，得到类型的轮廓描述(Profile)频度向量：

C_j＝(tf_1j，tf_2j，...，tf_nj)

其中：tf_ij为第i个特征在类型C_j的所有学习文本中出现的频度和。

(7).根据步骤(6)的结果计算类型轮廓描述的二元权重向量，并按所确定的特征非二元权重计算方法，计算类型轮廓描述的非二元权重向量：

C_jb＝(w_1jb，w_2jb，...，w_njb)，

C_{j b} ＝(w_{1j b} ，w_{2j b} ，...，w_{nj b} )，

其中：w_ijb为第i个特征在类型C_j中的二元权重；

w_{ij b} 为第i个特征在类型C_j中的非二元权重；

(8).根据下式构建相应的线性分类器： $f=\arg \underset{j=1}{\overset{M}{{\max }_p}}(C_{\mathrm{jb}}\·d_b+k\·C_{j\stackrel{\‾}{b}}\·d_{\stackrel{\‾}{b}}),$ 其中：M为类型总数；

  p为文本可能属于的类型数：p＝1，为单类分类器；p＞1为多类分类器；

  k为可调系数，用于调整非二元权重的平滑能力；

  ·为向量内积操作；

  d_b，d _b 为待分类文本d的二元权重向量和非二元权重向量；

(9).用一部分测试文本作为待分类文本，按照分类阶段的步骤对上一步骤得到的分类器进行测试，优化分类器的性能；

(10).学习阶段结束；

在分类阶段：

(1).输入待分类文本(集)；

(2).按学习阶段相同的方法对待分类文本进行预处理；

(3).根据学习阶段建立的特征集为待分类文本建立索引，得到文本频度向量，见学习阶段步骤(4)；

(4).计算待分类文本的二元权重向量，并按所确定的非二元权重计算方法计算待分类文本的非二元权重向量：

d_b＝(w_1b，w_2b，...，w_nb)，

d _b ＝(w_{1 b} ，w_{2 b} ，...，w_{n b} )，

其中：d_b，d _b 为某一待分类文本d的二元权重向量和非二元权重向量；

      w_ib，w_{j b} 为第i个特征在待分类文本d中的二元权重和非二元权重；

(5).按分类器进行自动分类，见学习阶段步骤(8)，得到分类结果；

(6).分类阶段结束。

所述的非二元权重计算方法是特征频度-逆文档频度(TF*IDF)权重计算方法或者TF*EXP*IG权重计算方法中的任何一种。

实验证明：待分类文本的类型符合用户的判断，机器分类正确。

附图说明

图1：学习阶段程序流程框图。

图2：分类阶段程序流程框图。

具体实验方式

本发明在一台PIII667MHz CPU，内存256M，硬盘40G的兼容计算机上，用Visual C++6.0程序语言实验。

在学习阶段，首先向机器提供经过专家分好类的大规模学习文本(学习集)，机器通过自动学习，构建分类器。程序流程图如图1所示。

在分类阶段，对待分类文本(集)进行预处理，输入分类器进行自动分类，输出可能属于的类型(集)。程序流程图如图2所示。

下面结合附图，对本方法中提到的非二元权重计算公式进行说明：

TF*IDF权重公式：

w_{i b} ＝log(tf_i+1.0)×log(N/df_i)

tf_i为第i个特征在文本d中的频度；

N为学习集中包含的文本数；

df_i为学习集中含有该特征i的文本数。

TF*EXP*IG权重公式： $w_{i\stackrel{\‾}{b}}=\log ({\mathrm{tf}}_i+1.0)\×e^{h\×\frac{{\mathrm{\σ}}_i}{{\mathrm{\μ}}_i}}\×{\mathrm{IG}}_i$

μ_i为特征频度在类型之间分布的均值；

σ_i为特征频度在类型之间分布的方差；

IG_i为第i个特征在学习集中的信息增益；

h为一个可调参数，根据学习集的情况确定，一般在0和1之间。在我们的系统中设为0.35。

实现如下：

学习文本集包含已经分好类的64533篇中文文本，属于财政税收金融价格、大气海洋水文科学、地理学、地质学、电影、数学、中国文学等55个类型。学习中采用“词”为特征单位，应用“华语词典”(由清华大学人工智能技术与系统国家重点实验室自然语言处理组研制)，采用正向最大匹配方法进行分词。分类器采用基于类质心的线性分类器(Centroid-BasedClassifier)，特征的非二元权重采用TF*IDF和TF*EXP*IG的权重计算方法。

学习阶段：

(1).对学习文本进行预处理；

(2).特征抽取：应用“华语词典”，采用正向最大匹配方法进行分词，得到49397个特征(词)，形成原始特征集；生成各学习文本的特征频度向量，形式如表1所示；

(3).降维操作。可以选择Chi-Square权重降维，但这里假设选择所有特征，不降维；

(4).以类型为单位，合并各文本的特征频度向量，生成各类型的轮廓描述频度向量，形式如表1所示；

(5).计算各类型的二元权重向量，形式如表2所示；

(6).计算各类型的非二元权重向量(例如：TF*IDF权重)，并规格化，形式如表4所示；

(7).生成“基于类质心的线性分类器”，并确定参数k，p都为1；

分类阶段：

例如，输入以下待分类文本：

阿拉伯非洲经济开发银行：阿拉伯国家联盟同非洲非阿拉伯国家间的国际金融机构。根据1973年11月第六次阿拉伯联盟首脑会议决议于1974年9月成立，1975年开始营业。行址设在喀土穆。宗旨是促进阿拉伯国家同非洲非阿拉伯国家间的财政经济合作，鼓励阿拉伯国家向非洲非阿拉伯国家提供经济建设项目所需的资金援助。银行创建资本为2.31亿美元，由阿拉伯18个产油国自愿提供，其中沙特阿拉伯出资较多。1976年该行理事会特别会议决定该行与阿拉伯援助非洲特别基金合并。(何德旭)

(1).对待分类文本进行预处理；

(2).根据在学习阶段确定的特征集，对待分类文本进行索引，共包含68个特征(词)，在该文本中共出现99次。生成特征频度向量，结果如表1所示；

               表1：待分类文本的频度向量

特征	频度	特征	频度	特征	频度
						宗旨	1	是	1	何	1
自愿	1	设在	1	国际	1
						资金	1	沙特阿拉伯	1	国	1
资本	1	其中	1	鼓励	1
						月	2	年	4	根据	1
援助	2	美元	1	个	1
						与	1	六	1	该	2
于	1	联盟	1	非洲	5
						油	1	理事会	1	非	3
由	1	开始	1	多	1
						营业	1	开发	1	第	1
银行	2	决议	1	的	3
						亿	1	决定	1	德	1
需	1	经济	3	促进	1
						行	3	金融	1	次	1
向	1	较	1	创建	1
						项目	1	建设	1	出资	1
为	1	间	2	成立	1
						同	2	机构	1	产	1
提供	2	基金	1	财政	1
						特别	2	会议	2	阿拉伯国家	6
所	1	合作	1	阿拉伯	3
						首脑	1	合并	1

(3).计算待分类文本的二元权重向量，结果如表2所示；

                表2：待分类文本的二元权重向量

特征	权重	特征	权重	特征	权重
						宗旨	1	是	1	何	1
自愿	1	设在	1	国际	1
						资金	1	沙特阿拉伯	1	国	1
资本	1	其中	1	鼓励	1
						月	1	年	1	根据	1
援助	1	美元	1	个	1
						与	1	六	1	该	1
于	1	联盟	1	非洲	1
						油	1	理事会	1	非	1
由	1	开始	1	多	1
						营业	1	开发	1	第	1
银行	1	决议	1	的	1
						亿	1	决定	1	德	1
需	1	经济	1	促进	1
						行	1	金融	1	次	1
向	1	较	1	创建	1
						项目	1	建设	1	出资	1
为	1	间	1	成立	1
						同	1	机构	1	产	1
提供	1	基金	1	财政	1
						特别	1	会议	1	阿拉伯国家	1
所	1	合作	1	阿拉伯	1
						首脑	1	合并	1

(4).计算待分类文本的TF*IDF非二元权重向量，并进行Cosine规格化，结果如表3所示；

                表3：待分类文本的TF-IDF非二元权重向量

特征	权重	特征	权重	特征	权重
						特征	频度	特征	频度	特征	频度
宗旨	0.116225	是	0.006416	何	0.096646
						自愿	0.145391	设在	0.107533	国际	0.065671
资金	0.110485	沙特阿拉伯	0.179427	国	0.051469
						资本	0.114355	其中	0.036766	鼓励	0.119048
月	0.057833	年	0.029096	根据	0.038669
						援助	0.226877	美元	0.133152	个	0.026603
与	0.010582	六	0.061026	该	0.078547
						于	0.011283	联盟	0.111603	非洲	0.263862
油	0.093608	理事会	0.133103	非	0.111101
						由	0.020761	开始	0.041538	多	0.020792
营业	0.149442	开发	0.088536	第	0.048291
						银行	0.178319	决议	0.128599	的	0.000469
亿	0.096419	决定	0.062782	德	0.04257
						需	0.063908	经济	0.101431	促进	0.07073

行	0.117148	金融	0.127981	次	0.043218
						向	0.038189	较	0.026362	创建	0.101512
项目	0.099646	建设	0.07927	出资	0.166034
						为	0.005173	间	0.072077	成立	0.063062
同	0.070167	机构	0.069243	产	0.072948
						提供	0.093209	基金	0.136361	财政	0.106279
特别	0.12722	会议	0.142972	阿拉伯国家	0.501621
						所	0.021006	合作	0.087997	阿拉伯	0.243381
首脑	0.151148	合并	0.102076

(5).将表2，表3中待分类文本的二元权重向量和非二元权重向量输入在学习阶段生成的分类器中进行自动分类，并输出分类结果。

以“财政税收金融价格”类型为例，待分类文本中的68个特征在“财政税收金融价格”类型所包含的特征集中都出现，它们之间的二元权重内积等于68；表4列出了“财政税收金融价格”类型的非二元权重向量中68个相应元素的权重值；对表4和表5中的对应元素求内积，结果为0.071268。合计二元权重和非二元权重的内积和，则待分类文本在“财政税收金融价格”类型中的分类值为68.071268。同理可以计算其他54个类型的分类值。将这55个分类值按降序排列后，“财政税收金融价格”类型的分类值最大，因此待分类文本被分为“财政税收金融价格”类型。这一结果符合待分类文本的实际内容，机器分类正确。

        表4：“财政税收金融价格”类型的TF-IDF非二元权重向量中的部分元素值

特征	权重	特征	权重	特征	权重
						宗旨	0.009753	是	0.0011764	何	0.0081102
自愿	0.012688	设在	0.0111198	国际	0.0106684
						资金	0.018684	沙特阿拉伯	0.0114678	国	0.0076371
资本	0.016629	其中	0.0046295	鼓励	0.0131297
						月	0.005612	年	0.0022034	根据	0.0058104
援助	0.013189	美元	0.0182403	个	0.0039249
						与	0.001809	六	0.0063106	该	0.0069003
于	0.001734	联盟	0.0090107	非洲	0.0084103
						油	0.010041	理事会	0.0137283	非	0.0078299
由	0.003431	开始	0.0055198	多	0.0029777
						营业	0.016564	开发	0.0102504	第	0.005952
银行	0.020321	决议	0.0097543	的	5.211E-05
						亿	0.011884	决定	0.0089697	德	0.0048794
需	0.007714	经济	0.0086697	促进	0.0094785
						行	0.00767	金融	0.0202671	次	0.0057253
向	0.005656	较	0.0038524	创建	0.0078096
						项目	0.014496	建设	0.0108591	出资	0.013933
为	0.000922	间	0.0056473	成立	0.00737
						同	0.005935	机构	0.0109062	产	0.0084457
提供	0.008075	基金	0.0197202	财政	0.0181207
						特别	0.009689	会议	0.0093755	阿拉伯国家	0.0100846
所	0.003313	合作	0.0101122	阿拉伯	0.0087843
						首脑	0.008531	合并	0.0107374

为了检验我们发明的文本自动分类方法的分类效果，我们输入7141篇待分类文本，分类结果如下表所示：

                 表5：不同权重计算方法在不同特征集上的分类准确率(％)。

特征集大小	只用元权重	只用非二元权重		非二元权重平滑的二元权重方法
						TF*IDF	TF*EXP*IG	二元+TF*IDF	二元+TF*EXP*IG
		10000	58.0	73.1	74.8					83.3	84.0
20000	75.0					73.9	76.7	89.0	89.3
		30000	83.0	74.1	77.5					91.6	92.1
40000	87.1					74.6	78.3	93.5	93.8
		49397	89.7	75.1	78.7					94.8	95.0

由表5可以看出，我们发明的“基于非二元权重平滑的二元权重计算方法”在所有的特征集上都显著地提高了文本分类准确率。当特征集包含全部特征(49397个集征)时，分类准确率最高，达到95.0％，比只用TF*IDF非二元权重方法(75.1％)提高了19.9％，比只用TF*EXP*IG非二元权重方法(78.7％)提高了16.3％，比只用二元权重方法(89.7％)提高了5.3％。可以看出，二元权重计算方法只在特征集较大时才具有较好的分类效果，当特征集只包含10000个特征时，分类准确率很低，只有58.0％。而我们发明的“非二元权重平滑的二元权重计算方法”在所有特征集上都具有很高的分类准确率，而且用不同的非二元权重方法进行平滑的分类准确率大致相同。

Claims (2)

1、一种文本自动分类方法，其特征在于，它是一种基于非二元平滑的二元特征权重计算的文本自动分类方法；它把二元权重计算方法引入到基于向量空间模型(Vector Space Model，VSM)的线性分类器，并结合复杂的非二元权重对二元权重进行平滑，以便一次性地对所有文本进行自动分类；该分类方法在计算机内执行时依次含有以下步骤：

在学习阶段：

(1)输入学习文本集；

(2)确定采用的特征单位以及线性分类器类型；

(3)对学习集进行预处理；

(4)特征抽取：对学习集进行索引，得到原始特征集以及各学习文本的频度向量。某文本d的特征频度向量可表示为：

d＝(tf₁，tf₂，...，tf_n)

其中：n为原始特征集包含的特征总数；

tf_i为第i个特征在文本d中的频度。

(5)对原始特征集采用现有的特征选择技术，如频度降维、Chi-Square权重降维，进行降维操作，得到特征集；

(6)以类型为单位，合并各学习文本的频度向量，得到类型的轮廓描述(Profile)频度向量：

C_j＝(tf_1j，tf_2j，...,tf_nj)

其中：tf_ij为第i个特征在类型C_j的所有学习文本中出现的频度和。

(7)根据步骤(6)的结果计算类型轮廓描述的二元权重向量，并按所确定的特征非二元权重计算方法，计算类型轮廓描述的非二元权重向量：

C_jb＝(w_1jb，w_2jb，...，w_njb)，

C_{j b} ＝(w_{1j b} ，w_{2j b} ，...，w_{nj b} )，

其中：w_ijb为第i个特征在类型C_j中的二元权重；

w_{ij b} 为第i个特征在类型C_j中的非二元权重；

(8)根据下式构建相应的线性分类器： $f=\arg \underset{j=1}{\overset{M}{{\max }_p}}(C_{\mathrm{jb}}\·d_b+k\·C_{j\stackrel{\‾}{b}}\·d_{\stackrel{\‾}{b}}),$ 其中：M为类型总数；

  p为文本可能属于的类型数：p＝1，为单类分类器；p＞1为多类分类器；

  k为可调系数，用于调整非二元权重的平滑能力；

  ·为向量内积操作；

  d_b，d _b 为待分类文本d的二元权重向量和非二元权重向量；

(9)用一部分测试文本作为待分类文本，按照分类阶段的步骤对上一步骤得到的分类器进行测试，优化分类器的性能；

(10)学习阶段结束；

在分类阶段：

(1)输入待分类文本(集)；

(2)按学习阶段相同的方法对待分类文本进行预处理；

(3)根据学习阶段建立的特征集为待分类文本建立索引，得到文本频度向量，见学习阶段步骤(4)；

(4)计算待分类文本的二元权重向量，并按所确定的非二元权重计算方法计算待分类文本的非二元权重向量：

d_b＝(w_1b，w_2b，...，w_nb)，

d _b ＝(w_{1 b} ，w_{2 b} ，...，w_{n b} )，

其中：d_b，d _b 为某一待分类文本d的二元权重向量和非二元权重向量；

      w_ib，w_{i b} 为第i个特征在待分类文本d中的二元权重和非二元权重；

(5)按分类器进行自动分类，见学习阶段步骤(8)，得到分类结果；

(6)分类阶段结束。

2.根据权利要求1所述的一种文本自动分类的方法，其特征在于：所述的现有非二元权重计算方法是特征频度-逆文档频度(TF*IDF)权重计算方法或者TF*EXP*IG权重计算方法中的任何一种。

Images