CN102298632B - 字符串相似度计算方法及装置以及物资分类方法及装置 - Google Patents

Abstract

本发明公开了一种字符串相似度计算方法及装置以及物资分类方法及装置，该相似度计算方法包括：计算字符串X与字符串d_i之间的初始相似度；获取字符串X与字符串d_i之间的最长公共前缀与最长公共后缀；确定所述最长公共前缀的权重以及所述最长公共后缀的权重；以及计算字符串X与字符串d_i之间的相似度。通过上述技术方案，针对中文物资名称的特点，本发明给出了一种面向物资分类的中文字符串相似度计算方法(即，动态权重法(DynamicWeight))，其可动态地估计出物资名称字符串的前、后缀的权重，使得同一类别的物资名称具有较高的相似度，提高了物资自动分类的准确率。

Description

字符串相似度计算方法及装置以及物资分类方法及装置

技术领域

本发明涉及相似度计算及物资分类领域，具体地，涉及一种基于字符串前、后缀动态权重的字符串相似度计算方法及装置以及物资分类方法及装置。

背景技术

目前比较成熟的文本自动分类技术有神经网络(Neural Net，NNet)、支持向量机(Support Vector Machine，SVM)、简单贝叶斯(Naive Bayes，NB)、k近邻(k nearest neighbor，k-NN)和线性最小二乘法拟合(Linear Least SquaresFit，LLSF)等。将这些方法应用到物资分类中来，都需要解决物资间相似度计算的问题。与传统的文本自动分类的应用环境不同，企业中物资的名称和描述往往比较简短，基于词频的文本相似度计算方法不能满足物资分类的需要，所以需要借助于其它方法来计算物资间的相似度，如字符串的相似度。

关于字符串相似度的计算，英文环境中已经建立了成熟的理论和模型，并且已经被广泛应用。其中，来自统计学、数据库、人工智能领域的学者都从自身的研究领域出发，提出了不同的相似度计算方法。这些方法在对各类名称的匹配试验中，Jaro-Winkler和Monge-Elkan表现最好，更适合人名、地名、机构名称的匹配。后来的学者发现相似字符串匹配和语言有很大相关性，于是根据不同语言的特点，提出了改进的算法：如Piskorski针对波兰语系提出了改进算法；Arehart等针对罗马字符串的相似度进行了研究。对中文字符串相似度的研究也已经有不少成果，并且已经得到许多实际应用。如李红莲等提出了一种适合语音识别的相似度算法；周法国等针对在线问答系统提出了句子的相似度计算方法；章成志提出了一种集成字面、语义及统计关联等多层特征的相似度计算方法。

虽然文本分类和字符串相似度的研究已经有很多成果，但是还没有专门针对中文环境下企业物资分类的研究。企业中物资的名称和描述有其自身的特点，所以需要新的技术来准确度量物资名称和描述的相似度，提高分类的准确率。

发明内容

本发明的目的是提供一种基于字符串前、后缀动态权重的字符串相似度计算方法及装置以及物资分类方法及装置，该方法及装置可使得同一类别的物资名称具有较高的相似度，提高了物资自动分类的准确率。

为了实现上述目的，本发明提供一种字符串相似度计算方法，该方法包括：计算字符串X与字符串d_i之间的初始相似度Sim，字符串d_i为属于一集合{C₁，C₂...C_n}的类别C_j的一字符串，该集合包含多个类别C，n为类别C的个数，每一类别包含多个字符串；获取字符串X与字符串d_i之间的最长公共前缀Prefix_MaxCommon与最长公共后缀Suffix_MaxCommon；确定所述最长公共前缀Prefix_MaxCommon的权重PW(Prefix_MaxCommon，C_j)以及所述最长公共后缀Suffix_MaxCommon的权重SW(Suffix_MaxCommon，C_j)；以及计算字符串X与字符串d_i之间的相似度Sim_{DynamicWeight}(X，d_i)，计算公式如下：Sim_{DynamicWeight}(X，d_i)＝Sim+θ*PW_MaxCommon*(1-Sim)+(1-θ)*SW_Maxommon*(1-Sim)，其中θ为大于0且小于1的合并系数。

本发明另提供一种物资分类方法，该方法包括：利用上述相似度计算方法，计算一待分类物资的物资名称X与多个物资类别内每一物资的物资名称d_i之间的相似度Sim_{DynamicWeight}(X，d_i)；取相似度最大的K个物资名称，构成集合KNN；根据相似度最大的K个物资名称所属的类别，对待分类物资的候选类C_j进行评分，评分公式如下： $p(X,C_j)=\underset{d_i\∈\mathrm{KNN}}{\mathrm{\Σ}}{\mathrm{Sim}}_{\mathrm{DynamicWeight}}(X,d_i)*y(d_i,C_j),$ 其中y(d_i，C_j)为类别属性函数；以及根据评分结果，确定所述待分类物资所属的类别。

相应地，本发明还提供一种字符串相似度计算装置，该装置包括：初始相似度计算装置(10)，用于计算字符串X与字符串d_i之间的初始相似度Sim，字符串d_i为属于一集合{C₁，C₂...C_n}的类别C_j的一字符串，该集合包含多个类别C，n为类别C的个数，每一类别包含多个字符串；公共前后缀获取装置(20)，用于获取字符串X与字符串d_i之间的最长公共前缀Prefix_MaxCommon与最长公共后缀Suffix_MaxCommon；权重确定装置(30)，用于确定所述最长公共前缀Prefix_MaxCommon的权重PW(Prefix_MaxCommon，C_j)以及所述最长公共后缀Suffix_MaxCommon的权重SW(Suffix_MaxCommon，C_j)以及相似度计算装置(40)，用于计算字符串X与字符串d_i之间的相似度Sim_{DynamicWeight}(X，d_i)，计算公式如下：Sim_{DynamicWeight}(X，d_i)＝Sim+θ*PW_MaxCommon*(1-Sim)+(1-θ)*SW_MaxCommon*(1-Sim)，其中θ为大于0且小于1的合并系数。

相应地，本发明还提供一种物资分类装置，该装置包括：上述字符串相似度计算装置(100)，用于计算一待分类物资的物资名称X与多个物资类别内每一物资的物资名称d_i之间的相似度Sim_{DynamicWeight}(X，d_i)；相似度最大集合确定装置(200)，用于取相似度最大的K个物资名称，构成集合KNN；评分装置(300)，用于根据相似度最大的K个物资名称所属的类别，对待分类物资的候选类C_j  进行评分，评分公式如下： $p(X,C_j)=\underset{d_i\∈\mathrm{KNN}}{\mathrm{\Σ}}{\mathrm{Sim}}_{\mathrm{DynamicWeight}}(X,d_i)*y(d_i,C_j),$ 其中y(d_i，C_j)为类别属性函数；以及类别确定装置(400)，用于根据评分结果，确定所述待分类物资所属的类别。

通过上述技术方案，针对中文物资名称的特点，本发明给出了一种面向物资分类的中文字符串相似度计算方法(即，动态权重法(DynamicWeight))，其可动态地估计出物资名称字符串的前、后缀的权重，使得同一类别的物资名称具有较高的相似度，提高了物资自动分类的准确率。

本发明的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1为本发明提供的基于字符串前、后缀动态权重的字符串相似度计算方法的流程图；

图2为前、后缀权重估计的流程图；

图3为本发明提供的物资分类的流程图；

图4为分别采用Jaro-Winkler、Monge-Elkan以及本发明的DynamicWeight对9个大类进行分类的准确率比较示意图；

图5为分别采用Jaro-Winkler、Monge-Elkan以及本发明的DynamicWeight对60个大类、660个中类以及3940个小类进行分类的准确率比较示意图；

图6为分别采用Jaro-Winkler、Monge-Elkan以及本发明的DynamicWeight对3940个小类进行分类的召回率比较示意图；

图7为本发明提供的基于字符串前、后缀动态权重的字符串相似度计算装置的框图；以及

图8为物资分类装置的框图。

附图标记说明

10初始相似度计算装置        20公共前后缀获取装置

30权重确定装置              40相似度计算装置

100字符串相似度计算装置     200相似度最大集合确定装置

300评分装置                 400类别确定装置

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

图1为本发明提供的基于字符串前、后缀动态权重的字符串相似度计算方法的流程图。如图1所示，本发明提供了一种字符串相似度计算方法，该方法包括：计算字符串X与字符串d_i之间的初始相似度Sim，字符串d_i为属于一集合{C₁，C₂...C_n}的类别C_j的一字符串，该集合包含多个类别C，n为类别C的个数，每一类别包含多个字符串；获取字符串X与字符串d_i之间的最长公共前缀Prefix_MaxCommon与最长公共后缀Suffix_MaxCommon；确定所述最长公共前缀Prefix_MaxCommon的权重PW(Prefix_MaxCommon，C_j)以及所述最长公共后缀Suffix_MaxCommon的权重SW(Suffix_MaxCommon，C_j)；计算字符串X与字符串d_i之间的相似度Sim_{DynamicWeight}(X，d_i)，计算公式如下：Sim_{DynamicWeight}(X，d_i)＝Sim+θ*PW_MaxCommon*(1-Sim)+(1-θ)*SW_MaxCommon*(1-Sim)，其中θ为大于0且小于1的合并系数，该合并系数可设定前、后缀权重对相似度的影响，一般可设定为0.5，即前、后缀权重对相似度的影响相同。

所述初始相似度的计算公式可为：

Sim＝1/3(m/|length(X)|+m/|length(d_i)|+(m-t)/m)，

其中，m为字符串X与字符串d_i相匹配的字符个数，length(X)和length(d_i)分别表示字符串X与字符串d_i的字符，t表示字符串X与字符串d_i相匹配的过程中，字符位置发生变化的次数，即不同顺序的匹配字符的数目的一半即为换位的数目t，举例来说，MARTHA与MARHTA的字符都是匹配的，但是这些匹配的字符中，T和H要换位才能把MARTHA变为MARHTA，那么T和H就是不同的顺序的匹配字符，t＝2/2＝1。该公式所计算的相似度为Jaro相似度，当然，本发明并不限于此，其他可实现类似相似度计算的公式亦可应用于此。

所述权重PW(Prefix_MaxCommon，C_j)和SW(Suffix_MaxCommon，C_j)的计算公式可为：

$\mathrm{PW}({\mathrm{Prefix}}_{\mathrm{MaxCommon}},C_j)=\mathrm{Freq}(\mathrm{Cateogy}=C_j|\mathrm{Prefix}={\mathrm{Prefix}}_{\mathrm{MaxCommon}})$

$=\frac{N(\mathrm{Cateogy}=C_j,\mathrm{Prefix}={\mathrm{Prefix}}_{\mathrm{MaxCommon}})}{N(\mathrm{Prefix}={\mathrm{Prefix}}_{\mathrm{MaxCommon}})}$

$\mathrm{PW}({\mathrm{Suffix}}_{\mathrm{MaxCommon}},C_j)=\mathrm{Freq}(\mathrm{Cateogy}=C_j|\mathrm{Suffix}={\mathrm{Suffix}}_{\mathrm{MaxCommon}})$

$=\frac{N(\mathrm{Cateogy}=C_j,\mathrm{Suffix}={\mathrm{Suffix}}_{\mathrm{MaxCommon}})}{N(\mathrm{Suffix}={\mathrm{Suffix}}_{\mathrm{MaxCommon}})}$

其中，N(Cateogy＝C_j，Prefix＝Prefix_MaxCommon)表示所述集合{C₁，C₂...C_n}中前缀为Prefix_MaxCommon且属于类别C_j的字符串的个数，N(Cateogy＝C_j，Suffix＝Suffix_MaxCommon)表示所述集合{C₁，C₂...C_n}中后缀为Suffix_MaxCommon且属于类别C_j的字符串的个数，N(Prefix＝Prefix_MaxCommon)表示所述集合{C₁，C₂...C_n}中前缀为Prefix_MaxCommon的字符串的个数，N(Suffix＝Suffix_MaxCommon)表示所述集合{C₁，C₂...C_n}中后缀为Suffix_MaxCommon的字符串的个数。

优选地，可对上述权重PW(Prefix_MaxCommon，C_j)和SW(Suffix_MaxCommon，C_j)进行平滑处理，具体公式如下：

PW(Prefix_MaxCommon，C_j)＝α*Freq(Cateogy＝C_j|Prefix＝Prefix_MaxCommon)+(1-α)/n

PW(Suffix_MaxCommon，C_j)＝β*Freq(Cateogy＝C_j|Suffix＝Suffix_MaxCommon)+(1-β)/n

其中，α和β为大于0且小于1的合并系数，该合并系数可分别设定前、后缀在分类中出现的概率对权重的影响，一般可设定为0.9，即设定前、后缀在分类中出现的概率对权重的影响非常大。

图2为前、后缀权重估计的流程图。如图2所示，可对所述集合{C₁，C₂...C_n}中每一类别的每一字符串(该字符串可包括汉字字符以及西文字符)，从前向后依次取子字符串，西文字符作汉字字符处理，子字符串的起始位置为所述字符串的第一个字符，结束位置从第一个位置开始依次递增，直至所述字符串的尾部，该子字符串可记为Prefix_i，即为前缀。对所述集合{C₁，C₂...C_n}中每一类别的每一字符串(该字符串可包括汉字字符以及西文字符)，从后向前依次取子字符串，西文字符作汉字字符处理，子字符串的结束位置为所述字符串的尾部，起始位置从所述字符串的尾部开始依次递增，直至所述字符串的头部，该子字符串可记为Suffix_i，即为后缀。藉此，可利用上述权重计算公式(可包括平滑处理)，对集合{C₁，C₂...C_n}中每一类别的每一字符串的每一可能的前、后缀进行权重估计(即，计算每一可能的前、后缀于每一类别中出现的概率，之后可进行平滑处理)，得到每一可能的前、后缀的权重，从而构建前、后缀权重数据表。从而，在计算字符串X与字符串d_i之间的最长公共前缀Prefix_MaxCommon与最长公共后缀Suffix_MaxCommon的权重PW(Prefix_MaxCommon，C_j)和SW(Suffix_MaxCommon，C_j)时，可直接于该前、后缀权重数据表内获取权重PW(Prefix_MaxCommon，C_j)和SW(Suffix_MaxCommon，C_j)。

图3为本发明提供的物资分类的流程图。如图3所示，本发明另提供一种采用上述字符串相似度计算方法的物资分类方法，该方法包括：利用上述相似度计算方法，计算一待分类物资的物资名称X与多个物资类别内每一物资的物资名称d_i之间的相似度Sim_{DynamicWeight}(X，d_i)；取相似度最大的K个物资名称，构成集合KNN(K-NearestNeighbour)；根据相似度最大的K个物资名称所属的类别，对待分类物资的候选类C_j进行评分，评分公式如下： $p(X,C_j)=\underset{d_i\∈\mathrm{KNN}}{\mathrm{\Σ}}{\mathrm{Sim}}_{\mathrm{DynamicWeight}}(X,d_i)*y(d_i,C_j),$ 其中y(d_i，C_j)为类别属性函数；以及根据评分结果，确定所述待分类物资所属的类别。在此物资分类方法中，上述相似度计算方法中所提及的“字符串”即为物资的“物资名称”。

其中，所述y(d_i，C_j)为类别属性函数，如果d_i属于类别C_j，则该函数的函数值为1，否则为0。当然，本发明并不限于此，亦可采用其他取值，只要可实现差异化按级评分即可，诸如可于d_i属于类别C_j，则该函数的函数值为0.9，否则为0。

通过上述评分公式，可得出待分类物资位于相似度最大的K个物资名称所属的类别中每一类别(即，候选类C_j)中的可能性，之后可根据该可能性，确定待分类物资的类别。对于某些待分类物资而言，其可分入多个候选类(即，具有多种类别)，从而需设置一阈值，对所述评分结果进行排序，取得分最高的前一个或多个类别(该类别的数量由所述阈值决定)。对于一般情形而言，即阈值为1的情形，取p(X，C_j)最大的C_j作为所述待分类物资所属的类别。

以下通过具体实施例说明本发明的物资分类方法的有益效果。按照技术内容的三个阶段，实施步骤也分为三个阶段。

一、权重估计阶段：

步骤1：在权重估计阶段，先要定义物资的类别。本例子中给出物资分类中常用的七个类别：普通钢材、有色金属及加工材料、建筑五金、非金属材料、轻纺产品、木材及制品和日用电器。

步骤2：然后为每个分类添加一些物资名称，如在“建筑五金”分类中添加的物资名称有：铝合金平开窗、铝合金纱窗、铝合金百叶窗、安全锁具工具包、柔性钢缆电路锁、六孔锁具、便携式共锁盒、钢缆锁具、蝶阀锁具、安全停工装置锁套、开关锁具、锁具挂板等。这些物资及其对应的分类作为训练数据集(即，上述集合{C₁，C₂...C_n})。

步骤3：对训练数据集的每个物资名称，列出其前缀和后缀。如物资“铝合金纱窗”的前缀集合是{铝，铝合，铝合金，铝合金纱，铝合金纱窗}，它的后缀集合是{窗，纱窗，金纱窗，合金纱窗，铝合金纱窗}。

步骤4：统计每个前缀和后缀在每个分类中出现的概率。

步骤5：对统计出的概率进行平滑处理，以后缀“窗”和“板”为例，其在每个分类出现的概率和平滑后得到的权重如表1所示。

表1后缀“窗”和“板”在每个分类出现的概率和权重

二、相似度计算阶段

此阶段以“铝合金推拉窗”作为待分类物资的物资名称，“铝合金平开窗”作为训练集合中的某个物资的物资名称。

步骤1：计算“铝合金推拉窗”和“铝合金平开窗”的Jaro相似度，这两个字符串的长度都是6，匹配的字符个数是4，位置发生变化的次数是0，按照Jaro的计算公式得到的相似度为0.778。

步骤2：比对“铝合金推拉窗”和“铝合金平开窗”，最长的公共前缀是“铝合金”，最长的公共后缀是“窗”。

步骤3：因为“铝合金平开窗”属于建筑五金分类，在训练到的前、后缀权重集中找到相应的权重估计值：PW(铝合金，建筑五金)＝0.587，SW(窗，建筑五金)＝0.529。

步骤4：计算“铝合金推拉窗”和“铝合金平开窗”的Sim_{DynamicWeight}的相似度，其中设定合并系数θ＝0.5，得到的相似度为0.902。

三、自动分类阶段

步骤1：输入待分类物资的物资名称“铝合金推拉窗”。

步骤2：按照阶段2中的方法计算“铝合金推拉窗”和训练集中每个物资名称的相似度。

步骤3：找到与“铝合金推拉窗”相似度最大的前k个物资名称。此处，k设定为5，找到的最相似的5个物资名称、相似度和分类如表2。

	物资名称	相似度	所属分类
				1	铝合金推拉窗料	0.973	有色金属及加工材料
2	铝合金纱窗	0.921	建筑五金
				3	铝合金平开窗	0.902	建筑五金
4	铝合金百叶窗	0.902	建筑五金
				5	铝合金线	0.823	有色金属及加工材料

表2 训练集合中和“铝合金推拉窗”最相似的5个物资名称

步骤4：根据前5个最相似物资所属分类的情况，计算p(铝合金推拉窗，建筑五金)＝2.725，p(铝合金推拉窗，有色金属及加工材料)＝1.875。

步骤5：根据计算得到的结果，p(铝合金推拉窗，建筑五金)最大，当输出结果数目为1时，“铝合金推拉窗”被自动分到“建筑五金”这个类别。

本发明的分类效果如图4、图5和图6所示，为了例证本发明中提出的基于动态权重的字符串相似度对于物资分类的有效性，还用同时用Jaro-Winkler和Monge-Elkan两种相似度计算方法进行对比。物资分类的评价从准确度和全面度两方面考虑，主要指标是准确率和召回率。准确率的计算公式为：准确率(Precision)＝输出结果中分类正确的数目/输出结果中类别的数目；召回率的计算公式是：召回率(Recall)＝输出结果中分类正确的数目/应被分入的类别的数目。准确率主要关注输出结果中有多少是正确的；召回率主要关注正确的分类结果有多少被覆盖到了。

图4为分别采用Jaro-Winkler、Monge-Elkan以及本发明的DynamicWeight对9个大类进行分类的准确率比较示意图。从图4中可以看出，三种字符串相似度方法都有效对中文物资名称自动分类，且基于动态权重的Dynamic-Weight方法得到的分类准确率在各个类别都优于Jaro-Winkler和Monge-Elkan方法。

图5为分别采用Jaro-Winkler、Monge-Elkan以及本发明的DynamicWeight对60个大类、660个中类以及3940个小类进行分类的准确率比较示意图。从图5中可以看，随着分类的粒度越来越细，各种方法的分类准确率都明显下降。但基于动态权重的Dynamic-Weight方法在三个分类级别的准确率都是最高的

图6为分别采用Jaro-Winkler、Monge-Elkan以及本发明的DynamicWeight对3940个小类进行分类的召回率比较示意图。从图6中可以看出，随着输出结果数目(即，所述阈值)的增加，自动分类的召回率(Recall)有了明显的提高，并且在三种方法中，基于动态权重的Dynamic-Weight方法始终在三条曲线的上方，表明了这种方法是稳定的。

本发明的优点在于根据中文物资分类的实际特点，设计了面向中文物资名称的字符串相似度计算方法。这种方法通过训练估计出物资名称前、后缀在每个物资分类中的权重，在比较物资名称的时候，增加了同一种类物资的相似度，从而提高了物资自动分类的准确率。

图7为本发明提供的基于字符串前、后缀动态权重的字符串相似度计算装置的框图。相应地，如图7所示，本发明还提供一种字符串相似度计算装置，该装置包括：初始相似度计算装置10，用于计算字符串X与字符串d_i之间的初始相似度Sim，字符串d_i为属于一集合{C₁，C₂...C_n}的类别C_j的一字符串，该集合包含多个类别C，n为类别C的个数，每一类别包含多个字符串；公共前后缀获取装置20，用于获取字符串X与字符串d_i之间的最长公共前缀Prefix_MaxCommon与最长公共后缀Suffix_MaxCommon；权重确定装置30，用于确定所述最长公共前缀Prefix_MaxCommon的权重PW(Prefix_MaxCommon，C_j)以及所述最长公共后缀Suffix_MaxCommon的权重SW(Suffix_MaxCommon，C_j)以及相似度计算装置40，用于计算字符串X与字符串d_i之间的相似度Sim_{DynamicWeight}(X，d_i)，计算公式如下：Sim_{DynamicWeight}(X，d_i)＝Sim+θ*PW_MaxCommon*(1-Sim)+(1-θ)*SW_MaxCommon*(1-Sim)，其中θ为大于0且小于1的合并系数。

其中，所述初始相似度的计算公式可为：

Sim＝1/3(m/|length(X)|+m/|length(d_i)|+(m-t)/m，其中m为字符串X与字符串d_i相匹配的字符个数，length(X)和length(d_i)分别表示字符串X与字符串d_i的字符，t表示字符串X与字符串d_i相匹配的过程中，字符位置发生变化的次数。

其中，所述权重PW(Prefix_MaxCommon，C_j)和SW(Suffix_MaxCommon，C_j)的计算公式可为：

PW(Prefix_MaxCommon，C_j)＝Freq(Cateogy＝C_j|Prefix＝Prefix_MaxCommon)

PW(Suffix_MaxCommon，C_j)＝Freq(Cateogy＝C_j|Suffix＝Suffix_MaxCommon)

其中，Freq(Cateogy＝C_j|Prefix＝Prefix_MaxCommon)表示前缀为Prefix_MaxCommon的字符串于类别C_j内出现的概率，Freq(Cateogy＝C_j|Suffix＝Suffix_MaxCommon)表示后缀为Suffix_MaxCommon的字符串于类别C_j内出现的概率。

其中，所述权重PW(Prefix_MaxCommon，C_j)和SW(Suffix_MaxCommon，C_j)的计算公式可为：

PW(Prefix_MaxCommon，C_j)＝α*Freq(Cateogy＝C_j|Prefix＝Prefix_MaxCommon)+(1-α)/n

PW(Suffix_MaxCommon，C_j)＝β*Freq(Cateogy＝C_j|Suffix＝Suffix_MaxCommon)+(1-β)/n

其中，α和β为大于0且小于1的合并系数。

有关该基于字符串前、后缀动态权重的字符串相似度计算装置的具体细节及有益效果与上述针对基于字符串前、后缀动态权重的字符串相似度计算方法的描述相同，于此不再赘述。

图8为物资分类装置的框图。相应地，如图8所述，本发明还提供一种物资分类装置，该装置包括：上述字符串相似度计算装置100，用于计算一待分类物资的物资名称X与多个物资类别内每一物资的物资名称d_i之间的相似度Sim_{DynamicWeight}(X，d_i)；相似度最大集合确定装置200，用于取相似度最大的K个物资名称，构成集合KNN；评分装置300，用于根据相似度最大的K个物资名称所属的类别，对待分类物资的候选类C_j进行评分，评分公式如下： $p(X,C_j)=\underset{d_i\∈\mathrm{KNN}}{\mathrm{\Σ}}{\mathrm{Sim}}_{\mathrm{DynamicWeight}}(X,d_i)*y(d_i,C_j),$ 其中y(d_i，C_j)为类别属性函数；以及类别确定装置400，用于根据评分结果，确定所述待分类物资所属的类别。

其中，所述类别确定装置400可取p(X，C_j)最大的C_j作为所述待分类物资所属的类别。

有关该物资分类装置的具体细节及有益效果与上述针对物资分类方法的描述相同，于此不再赘述。

以上结合附图详细描述了本发明的优选实施方式，但是，本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内，可以对本发明的技术方案进行多种简单变型，这些简单变型均属于本发明的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。

此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。

Claims (10)

1.一种物资分类方法，该方法包括：

计算一待分类物资的物资名称X与多个物资类别内每一物资的物资名称d_i之间的相似度Sim_{DynamicWeight}(X,d_i)；

取相似度最大的K个物资名称，构成集合KNN;

根据相似度最大的K个物资名称所属的类别，对待分类物资的候选类C_j进行评分，评分公式如下： $p(X,C_j)=\underset{d_i\∈\mathrm{KNN}}{\mathrm{\Σ}}{\mathrm{Sim}}_{\mathrm{DynamicWeight}}(X,d_i)*y(d_i,C_j),$ 其中y(d_i,C_j)为类别属性函数；以及

根据评分结果，确定所述待分类物资所属的类别，

其中计算所述相似度包括：

计算物资名称X与多个物资类别内每一物资的物资名称d_i之间的初始相似度Sim，物资名称d_i为属于一集合{C₁,C₂...C_n}的类别C_j的一物资名称，该集合包含多个类别C，n为类别C的个数，每一类别包含多个物资名称；

获物资名称X与物资名称d_i之间的最长公共前缀Prefix_MaxCommon与最长公共后缀Suffix_MaxCommon；

确定所述最长公共前缀Prefix_MaxCommon的权重PW(Prefix_MaxCommon,C_j)以及所述最长公共后缀Suffix_MaxCommon的权重SW(Suffix_MaxCommon,C_j)；以及

计算物资名称X与物资名称d_i之间的相似度Sim_{DynamicWeight}(X,d_i)，计算公式如下：Sim_DnamicWeight(X,d_i)=Sim+θ*PW_MaxCommon*(1-Sim)+(1-θ)*SW_MaxCommon*(1-Sim)，其中θ为大于0且小于1的合并系数。

2.根据权利要求1所述的方法，其特征在于，所述初始相似度Sim的计算公式如下：

Sim=1/3(m/|length(X)|+m/|length(d_i)|+(m-t)/m)，其中m为物资名称X与物资名称d_i相匹配的字符个数，length(X)和length(d_i)分别表示物资名称X与物资名称d_i的字符，t表示物资名称X与物资名称d_i相匹配的过程中，字符位置发生变化的次数。

3.根据权利要求1所述的方法，其特征在于，所述权重PW(Prefix_MaxCommon,C_j)和SW(Suffix_MaxCommon,C_j)的计算公式如下：

PW(Prefix_MaxCommon,C_j)=Freq(Cateogy=C_j|Prefix=Prefix_MaxCommon)

PW(Suffix_MaxCommon,C_j)=Freq(Cateogy=C_j|Suffix=Suffix_MaxCommon)

其中，Freq(Cateogy=C_j|Prefix=Prefix_MaxCommon)表示前缀为Prefix_MaxCommon的物资名称于类别C_j内出现的概率，Freq(Cateogy=C_j|Suffix=Suffix_MaxCommon)表示后缀为Suffix_MaxCommon的物资名称于类别C_j内出现的概率。

4.根据权利要求1所述的方法，其特征在于，所述权重PW(Prefix_MaxCommon,C_j)和SW(Suffix_MaxCommon,C_j)的计算公式如下：

PW(Prefix_MaxCommon,C_j)=α*Freq(Cateogy=C_j|Prefix=Prefix_MaxCommon)+(1-α)/n

PW(Suffix_MaxCommon,C_j)=β*Freq(Cateogy=C_j|Suffix=Suffix_MaxCommon)+(1-β)/n

其中，α和β为大于0且小于1的合并系数。

5.根据权利要求1所述的方法，其特征在于，所述确定所述待分类物资所属的类别包括：取p(X,C_j)最大的C_j作为所述待分类物资所属的类别。

6.一种物资分类装置，该装置包括：

字符串相似度计算装置（100），用于计算一待分类物资的物资名称X与多个物资类别内每一物资的物资名称d_i之间的相似度Sim_{DynamicWeight}(X,d_i)；

相似度最大集合确定装置（200），用于取相似度最大的K个物资名称，构成集合KNN;

评分装置（300），用于根据相似度最大的K个物资名称所属的类别，对待分类物资的候选类C_j进行评分，评分公式如下： $p(X,C_j)=\underset{d_i\∈\mathrm{KNN}}{\mathrm{\Σ}}{\mathrm{Sim}}_{\mathrm{DynamicWeight}}(X,d_i)*y(d_i,C_j),$ 其中y(d_i,C_j)为类别属性函数；以及

类别确定装置（400），用于根据评分结果，确定所述待分类物资所属的类别，

其中所述字符串相似度计算装置（100）包括：

初始相似度计算装置（10），用于计算物资名称X与物资名称d_i之间的初始相似度Sim，物资名称d_i为属于一集合{C₁,C₂...C_n}的类别C_j的一物资名称，该集合包含多个类别C，n为类别C的个数，每一类别包含多个物资名称；

公共前后缀获取装置（20），用于获取物资名称X与物资名称d_i之间的最长公共前缀Prefix_MaxCommon与最长公共后缀Suffix_MaxCommon；

权重确定装置（30），用于确定所述最长公共前缀Prefix_MaxCommon的权重PW(Prefix_MaxCommon,C_j)以及所述最长公共后缀Suffix_MaxCommon的权重SW(Suffix_MaxCommon,C_j)；以及

相似度计算装置（40），用于计算物资名称X与物资名称d_i之间的相似度Sim_{DynamicWeight}(X,d_i)，计算公式如下：Sim_{DynamicWeight}(X,d_i)=Sim+θ*PW_MaxCommon*(1-Sim)+(1-θ)*SW_MaxCommon*(1-Sim)，其中θ为大于0且小于1的合并系数。

7.根据权利要求6所述的物资分类装置，其特征在于，所述初始相似度Sim的计算公式如下：

Sim=1/3(m/|length(X)|+m/|length(d_i)|+(m-t)/m)，其中m为物资名称X与物资名称d_i相匹配的字符个数，length(X)和length(d_i)分别表示物资名称X与物资名称d_i的字符，t表示物资名称X与物资名称d_i相匹配的过程中，字符位置发生变化的次数。

8.根据权利要求6所述的物资分类装置，其特征在于，所述权重PW(Prefix_MaxCommon,C_j)和SW(Suffix_MaxCommon,C_j)的计算公式如下：

PW(Prefix_MaxCommon,C_j)=Freq(Cateogy=C_j|Prefix=Prefix_MaxCommon)

PW(Suffix_MaxCommon,C_j)=Freq(Cateogy=C_j|Suffix=Suffix_MaxCommon)

其中，Freq(Cateogy=C_j|Prefix=Prefix_MaxCommon)表示前缀为Prefix_MaxCommon的物资名称于类别C_j内出现的概率，Freq(Cateogy=C_j|Suffix=Suffix_MaxCommon)表示后缀为Suffix_MaxCommon的物资名称于类别C_j内出现的概率。

9.根据权利要求6所述的物资分类装置，其特征在于，所述权重PW(Prefix_MaxCommon,C_j)和SW(Suffix_MaxCommon,C_j)的计算公式如下：

PW(Prefix_MaxCommon,C_j)=α*Freq(Cateogy=C_j|Prefix=Prefix_MaxCommon)+(1-α)/n

PW(Suffix_MaxCommon,C_j)=β*Freq(Cateogy=C_j|Suffix=Suffix_MaxCommon)+(1-β)/n

其中，α和β为大于0且小于1的合并系数。

10.根据权利要求6所述的物资分类装置，其特征在于，所述类别确定装置（400）取p(X,C_j)最大的C_j作为所述待分类物资所属的类别。