CN103902527B - 结合词性的英语近形词干扰项生成方法 - Google Patents

Abstract

本发明涉及一种结合词性的英语近形词干扰项生成方法，包括以下步骤：从词库中选取源单词作为源单词字符串，其他单词作为目标单词字符串，遍历单词库中的所有单词，根据归一化融合相似度算法求出源单词字符串和目标字符串的相似度；把相似度阈值控制在0.6～1.0之间，满足上述阈值范围的单词为候选词；对上步中输出的候选词和源单词进行结合词性的相似度计算，把相似度a阈值控制在0.6～1.0之间，即得到源单词的干扰项；结束一次处理过程。本发明引入了LCS算法进行归一化融合，改变了单纯依赖一种相似度算法计算英语单词相似度的盲目性，提高了生成英语近形词干扰项的可靠性和准确性，解决了相同词义但是不同词性重复出现的问题。

Description

结合词性的英语近形词干扰项生成方法

技术领域

本发明涉及一种自然语言的处理方法，具体的说是一种结合词性的英语近形词干扰项生成方法。

背景技术

英语学习的过程中，经常会遇到一些易混淆的单词。易混词主要包括近义词和近形词等，其中近形词就是具有相似词形的词。例如：形容词sensitive的意思是“敏感的”，而形容词sensible的意思却是“理智的”。尽管sensitive和sensible有共同的词根，词性也相同，但这两个词却不是近义词，而是近形词。在英语测试题或其他英语学习资源的设计中，近形词经常会作为正确词选项的干扰项出现，以此增加选择的难度并且提高学习者对单词的掌握程度。

传统的近形词干扰项生成算法主要采用编辑距离算法计算单词相似度，而编辑距离算法本身存在一些缺陷，导致生成近形词的准确性和合理性上存在不足，干扰项相似度低，设计不合理的问题。

发明内容

针对现有技术中英语单词学习中出现的干扰项相似度低，设计不合理等不足，本发明要解决的技术问题是提供一种能够提高英语单词相似度计算的准确性的结合词性的英语近形词干扰项生成方法。

为解决上述技术问题，本发明采用的技术方案是：

本发明结合词性的英语近形词干扰项生成方法包括以下步骤：

从词库中选取源单词作为源单词字符串str1，其他单词作为目标单词字符串str2，遍历单词库中的所有单词，根据归一化融合相似度算法求出源单词字符串str1和目标字符串str2的相似度a(str1，str2)；

把相似度阈值控制在0.6～1.0之间，即相似度0.6≤a(str1，str2)<1.0，满足上述阈值范围的单词输出，作为候选词；

对上步中输出的候选词和源单词进行结合词性的相似度计算，把结合词性的相似度α阈值控制在0.6～1.0之间，即相似度0.6≤α<1.0，输出单词，即得到源单词的干扰项；

结束一次处理过程；

结合词性的相似度计算公式为：

$\mathrm{\&alpha;}=\frac{8-8D(str1,str2)}{25max(length1,length2)}+\frac{24LCS(str1,str2)}{25(length1+length2)}+0.2b(str1,str2)---\left(8\right)$

式中，str1为源单词字符串、str2为目标单词字符串，length1、length2分别为源单词字符串和目标单词字符串的长度，D(str1，str2)为源单词字符串和目标单词字符串的编辑距离，LCS(str1，str2)为源单词字符串和目标单词字符串的最长公共子序列的长度，b(str1，str2)为源单词字符串和目标单词字符串代表的两个单词词性的相似度。

所述归一化融合相似度算法包括以下步骤：

通过计算从源单词字符串str1转换到目标单词字符串str2所需要的最少的插入、删除和替换的次数得到编辑距离，依此求出编辑距离相似度；

通过LCS算法得到源单词字符串str1和目标单词字符串str2中最长公共子序列，并根据得到的最长公共子序列的长度求出LCS相似度；

通过对编辑距离相似度和LCS相似度进行归一化融合得到源单词字符串str1和目标单词字符串str2的相似度a(str1，str2)。

通过对编辑距离相似度和LCS相似度进行归一化融合得到源单词字符串str1和目标单词字符串str2的相似度a(str1，str2)公式如下：

$a(str1,str2)={\mathrm{\&lambda;}}_1-\frac{{\mathrm{\&lambda;}}_1\&times;D(str1,str2)}{max(length1,length2)}+\frac{2{\mathrm{\&lambda;}}_2\&times;LCS(str1,str2)}{length1+length2}---\left(5\right)$

式中，str1为源单词字符串、str2为目标单词字符串，length1、length2分别为源单词字符串和目标单词字符串的长度，a(str1，str2)为所求源单词字符串和目标单词字符串的相似度，D(str1，str2)为源单词字符串和目标单词字符串的编辑距离，LCS(str1，str2)为源单词字符串和目标单词字符串的最长公共子序列的长度；λ₁、λ₂为系数，λ₁＝0.3～0.5，λ₂＝0.5～0.7，且λ₁+λ₁＝1。

通过计算从源单词字符串str1转换到目标单词字符串str2所需要的最少的插入、删除和替换的次数得到编辑距离步骤为：

如果字符串str1或str2的长度为0，则返回另一个字符串的长度；

构造并初始化一个(m+1)×(n+1)的矩阵D，使第一行和第一列的值从0开始增长；

扫描两字符串，用cost记录结果，若str1[i]＝str2[j]则cost＝0，否则cost＝1；

在矩阵D_ij处赋值D_i-1,j+1、D_i,j-1+1和D_i-1,j-1+cost三个中的最小值；

扫描完后,返回矩阵的最后一个值即D_mn即编辑距离D(str1,str2)。

编辑距离算法相似度计算公式：

编辑距离相似度

式中，str1为源单词字符串、str2为目标单词字符串，length1、length2分别为源单词字符串和目标单词字符串的长度，length1＝m，length2＝n。

通过LCS算法求源单词字符串str1和目标字符串str2中最长公共子序列，并根据得到的最长公共子序列的长度求出LCS相似度步骤为；

如果字符串str1或str2的长度为0，则返回0；

构造并初始化一个(m+1)×(n+1)的矩阵L，使第一行和第一列的值都为0，即L_0j＝L_i0＝0，若str1[i]＝str2[j]则L_ij＝1，否则L_ij＝0；

按公式(3)刷新矩阵L，最后得到矩阵L中的最大值即最长公共子序列长度LCS(str1,str2)：

$L_{ij}=\left\{\begin{array}{c}{L}_{i-1,j-1}+1,str1\&lsqb;i\&rsqb;=str2\&lsqb;j\&rsqb;\\ \max (L_{i-1,j},L_{i,j-1}),str1\&lsqb;i\&rsqb;\&NotEqual;str2\&lsqb;j\&rsqb;\end{array}\right\}---\left(3\right)$

LCS算法相似度计算公式：

LCS相似度

式中，str1为源单词字符串、str2为目标单词字符串，length1、length2分别为源单词字符串和目标单词字符串的长度，LCS(str1,str2)代表源单词字符串和目标单词字符串的最长公共子序列的长度；L_ij代表矩阵L中的第i行第j列的元素，length1＝m，length2＝n。

本发明具有以下有益效果及优点：

1.本发明提出一种改进的计算英语单词相似度的算法。同时结合了单词自身词性进行干扰项设计，提高了英语单词相似度计算的准确性，并能生成更合理的单词干扰项。

2.本发明提出了结合词性的英语近形词干扰项生成方法，在原有的基于编辑距离算法的基础上引入了LCS算法进行归一化融合，改变了单纯依赖一种相似度算法计算英语单词相似度的盲目性，提高了生成英语近形词干扰项的可靠性和准确性。

3.本发明方法在干扰项生成中引入单词词性作为限制条件，很好的解决了相同词义但是不同词性重复出现的问题。

4.本发明方法通过实验验证了干扰项生成算法在准确性和可靠性上的提高，并且能生成效果良好的英语近形词干扰项。

附图说明

图1为本发明方法流程图。

具体实施方式

下面结合说明书附图对本发明作进一步阐述。

本发明在编辑距离算法的基础上引入了LCS算法，并对两者归一化融合，提高了单词的相似度计算的准确性和可靠性。然后在此基础上结合了英语单词本身的词性最为筛选条件，生成更合理的单词干扰项。最后通过实验比较，证明了该算法较传统的基于编辑距离的干扰项生成算法更加准确合理。

如图1所示，本发明一种结合词性的英语近形词干扰项生成方法包括以下步骤：

从词库中选取源单词作为源单词字符串str1，其他单词作为目标单词字符串str2，遍历单词库中的所有单词，根据归一化融合相似度算法求出源单词字符串str1和目标字符串str2的相似度a(str1，str2)；

把相似度阈值控制在0.6～1.0之间，即相似度0.6≤a(str1，str2)<1.0，满足上述阈值范围的单词输出，作为候选词；

对上步中输出的候选词和源单词进行结合词性的相似度计算，把相似度α阈值控制在0.6到1.0之间，即相似度0.6≤α<1.0，输出单词，即得到源单词的干扰项；

结束一次处理过程。

所述归一化融合相似度算法包括以下步骤：

通过计算从源单词字符串str1转换到目标单词字符串str2所需要的最少的插入、删除和替换的次数得到编辑距离，依此求出编辑距离相似度；

通过LCS算法得到源字符串str1和目标单词字符串str2中最长公共子序列，并根据得到的最长公共子序列的长度求出LCS相似度；

通过对编辑距离相似度和LCS相似度进行归一化融合得到源单词字符串str1和目标单词字符串str2的相似度a(str1，str2)。

为了减小编辑距离算法本身存在一些缺陷对相似度的影响，在对编辑距离算法和LCS算法求相似度进行归一化融合时，分别把编辑距离算法和LCS算法的系数设置为0.4和0.6，即得到源单词字符串str1和目标单词字符串str2的相似度为a(str1，str2)＝0.4α₁+0.6α₂。

编辑距离(Edit Distance)是通过计算由一个字符串转成另一个所需的最少编辑操作次数来衡量两个字符串的相似度，即计算从原字符串S(str1)转换到目标字符串T(str2)所需要的最少的插入、删除和替换的数目。此算法首先由俄国科学家Levenshtein提出的，故又叫Levenshtein距离。例如：S＝kitten，T＝sitting，转换需要三步：k替换成s，e替换成i，最后插入一个g，那么编辑距离D(str1,str2)＝3。

对于字符串str1＝[s1,s2…si,…sm],str2＝[t1,t2…tj…tn]，长度分别为length1＝m和length2＝n。构造(m+1)×(n+1)的矩阵D(D_ij表示从s1…si到t1…tj的编辑距离)，计算公式(1)如下：

算法描述：

1)字符串str1或str2的长度为0，则返回另一个字符串的长度。

2)构造并初始化一个(m+1)×(n+1)的矩阵D，使第一行和第一列的值从0开始增长。

3)扫描两字符串，用cost记录结果，若str1[i]＝str2[j]则cost＝0，否则cost＝1。然后在矩阵D_ij处赋值D_i-1,j+1、D_i,j-1+1和D_i-1,j-1+cost三个中的最小值。

4)扫描完后,返回矩阵的最后一个值即D_mn即编辑距离D(str1,str2)。

编辑距离算法相似度计算公式：

编辑距离相似度

式中，str1为源单词字符串、str2为目标单词字符串，length1、length2分别为源单词字符串和目标单词字符串的长度。

编辑距离算法中的插入和删除操作都会引起字符串长度的变化，如此便忽略了字符串的长度对于编辑距离的影响。例如，长度不一的两个相似单词，会有较大的编辑距离，从而使相似度降低。同时，编辑距离算法对于插入、删除、替换三种基本操作的代价值的确定没有统一的、合理的方法，这也会使得计算结果受到一定影响。通过LCS算法的引入进行归一化融合可以降低这种影响，改变了单一依赖编辑距离算法的盲目性，更适合英语单词近形词的设计。

LCS(Longest Common Subsequence)即一个序列中最长的子序列。LCS算法是通过求两个字符串中最长的相同子序列来衡量两个字符串相似度的。例如对于字符串“abcdefgijkmnl”与字符串“ijkhabclmndefgq”的最长公共子序列LCString＝“abcdefg”，长度LCS(str1，str2)＝7。

算法描述：

1)字符串str1或str2的长度为0，则返回0。

2)构造并初始化一个(m+1)×(n+1)的矩阵L，使第一行和第一列的值都为0(即L_0j＝L_i0＝0)，若str1[i]＝str2[j]则L_ij＝1，否则L_ij＝0。

3)按公式(3)刷新矩阵L，最后得到矩阵L中的最大值即最长公共子序列，长度LCS(str1，str2)。

$L_{ij}=\left\{\begin{array}{c}{L}_{i-1,j-1}+1,str1\&lsqb;i\&rsqb;=str2\&lsqb;j\&rsqb;\\ \max (L_{i-1,j},L_{i,j-1}),str1\&lsqb;i\&rsqb;\&NotEqual;str2\&lsqb;j\&rsqb;\end{array}\right\}---\left(3\right)$

LCS算法相似度计算公式：

LCS相似度

式中，str1为源单词字符串、str2为目标单词字符串，length1、length2分别为源单词字符串和目标单词字符串的长度，LCS(str1,str2)代表源单词字符串和目标单词字符串的最长公共子序列的长度；L_ij代表矩阵L中的第i行第j列的元素。

为了减小编辑距离算法本身存在一些缺陷对相似度的影响，在对编辑距离算法和LCS算法求相似度进行归一化融合时，分别把编辑距离算法和LCS算法的系数设置为λ₁和λ₂，即得到源单词字符串str1和目标单词字符串str2的相似度为a(str1，str2)＝λ₁×α₁+λ₂×α₂，最终得到归一化融合后的公式(5)如下：

$a(str1,str2)={\mathrm{\&lambda;}}_1-\frac{{\mathrm{\&lambda;}}_1\&times;D(str1,str2)}{max(length1,length2)}+\frac{2{\mathrm{\&lambda;}}_2\&times;LCS(str1,str2)}{length1+length2}---\left(5\right)$

式中，str1为源单词字符串、str2为目标单词字符串，length1、length2分别为源单词字符串和目标单词字符串的长度，a(str1，str2)为所求源单词字符串和目标单词字符串的相似度，D(str1，str2)为源单词字符串和目标单词字符串的编辑距离，LCS(str1，str2)为源单词字符串和目标单词字符串的最长公共子序列的长度；λ₁、λ₂为系数，λ₁＝0.3～0.5，λ₂＝0.5～0.7，且λ₁+λ₂＝1。

本实施例中λ₁取0.4，λ₂取0.6，即λ₁+λ₂＝1，代入公式(5)，得到：

$a(str1,str2)=0.4-\frac{0.4D(str1,str2)}{\max (length1,length2)}+\frac{1.2LCS(str1,str2)}{length1+length2}---\left(6\right)$

归一化融合的相似度算法给出了英语单词在形态方面的相似程度，但是每个英语单词都有词性包括动词、名词、形容词和副词等。在设计相似单词干扰项的设计上存在这样一个问题，两个同义的(或者带有相同词根的)但是词性不同的单词会有很高的相似度，这样也会出现在干扰项中。例如：accelerate(v.加速，促进)和acceleration(n.加速，加速度)意思基本相同而且有相同词根但词性不同，但是学者会很容易区分哪个是动词哪个是名词，故在单词记忆中仅需要记忆其中一个即可。

所以相似度计算中引入单词的词性能很好的解决这方面的问题，即排除干扰项中同时出现相同词义不同词性单词的情况。记词性的相似度为b(str1,str2)＝1或0，词性相同记为1，否则为0。在公式(6)的基础上引入词性，同时为公式(6)得到的相似度和词性设置不同的系数μ₁和μ₂再次进行归一化融合，即得到源单词字符串str1和目标单词字符串str2的相似度为a＝μ₁×a(str1，str2)+μ₂×b(str1,str2)，得相似度公式如下：

$\mathrm{\&alpha;}=0.4{\mathrm{\&mu;}}_1-\frac{0.4{\mathrm{\&mu;}}_1\&times;D(str1,str2)}{max(length1,length2)}+\frac{1.2{\mathrm{\&mu;}}_1\&times;LCS(str1,str2)}{length1+length2}+{\mathrm{\&mu;}}_2\&times;b(str1,str2)---\left(7\right)$

本实施例中μ₁取0.8，μ₂取0.2，即μ₁+μ₂＝1，代入公式(7)，得到：

$\mathrm{\&alpha;}=\frac{8-8D(str1,str2)}{25\max (length1,length2)}+\frac{24LCS(str1,str2)}{25(length1,length2)}+0.2b(str1,str2)---\left(8\right)$

式中，str1为源单词字符串、str2为目标单词字符串，length1、length2分别为源单词字符串和目标单词字符串的长度，D(str1，str2)为源单词字符串和目标单词字符串的编辑距离，LCS(str1，str2)为源单词字符串和目标单词字符串的最长公共子序列的长度，b(str1，str2)为源单词字符串和目标单词字符串代表的两个单词词性的相似度(词性相同为1，不同为0)。

实验结果与分析

实验在Eclipse平台上用Java语言设计完成，选取CET4+CET6词库中的单词作为实验对象，进行了两组实验。

第一组实验分别采用公式(2)和公式(6)输出干扰项，对传统的基于编辑距离的相似度算法和基于归一化融合的相似度算法生成的干扰项进行相似度分析比较。对随机单词instruct的近形词干扰项(相似度0.6≤a<1.0,输出8个干扰项)按相似度由大到小顺序输出，括号中数字表示他们的相似度，结果如表1：

表1.两种算法输出干扰项的对比

从表1可以看出，两种算法输出的干扰项有一定的区别。前四个干扰项基本相同，但是在后四个干扰项相差很明显。采用基于归一化融合相似度算法输出的干扰项有更高的相似度和易混淆性，更符合人们对近形词的理解，更加准确。

实验二，采用公式(8)输出干扰项，即以实验一中基于归一化融合的干扰项作为候选词，结合词性后重新输出(相似度a≥0.6，输出7个干扰项)，结果如表2：

表2.结合词性的干扰项

实验二中输出的前四个干扰项都属于及物动词(vt)，而实验一中基于归一化融合的前四个干扰项没有相同的词性。显然实验二中的干扰项在保留高相似度的基础上，拥有更高的易混淆性，更符合近形词干扰项设计的合理性。

结合两组实验，证明了相对于传统的基于编辑距离生成干扰项的算法，结合词性的英语近形词干扰项生成算法提高了单词相似度计算的准确性和单词干扰项的合理性。

Claims (5)

1.一种结合词性的英语近形词干扰项生成方法，其特征在于包括以下步骤：

从词库中选取源单词作为源单词字符串str1，其他单词作为目标单词字符串str2，遍历单词库中的所有单词，根据归一化融合相似度算法求出源单词字符串str1和目标字符串str2的相似度a(str1，str2)；

把相似度阈值控制在0.6～1.0之间，即相似度0.6≤a(str1，str2)<1.0，满足上述阈值范围的单词输出，作为候选词；

对上步中输出的候选词和源单词进行结合词性的相似度计算，把结合词性的相似度α阈值控制在0.6～1.0之间，即相似度0.6≤α<1.0，输出单词，即得到源单词的干扰项；

结束一次处理过程；

结合词性的相似度计算公式为：

式中，str1为源单词字符串、str2为目标单词字符串，length1、length2分别为源单词字符串和目标单词字符串的长度，D(str1，str2)为源单词字符串和目标单词字符串的编辑距离，LCS(str1，str2)为源单词字符串和目标单词字符串的最长公共子序列的长度，b(str1，str2)为源单词字符串和目标单词字符串代表的两个单词词性的相似度。

2.按权利要求1所述的结合词性的英语近形词干扰项生成方法，其特征在于所述归一化融合相似度算法包括以下步骤：

通过计算从源单词字符串str1转换到目标单词字符串str2所需要的最少的插入、删除和替换的次数得到编辑距离，依此求出编辑距离相似度；

通过LCS算法得到源单词字符串str1和目标单词字符串str2中最长公共子序列，并根据得到的最长公共子序列的长度求出LCS相似度；

通过对编辑距离相似度和LCS相似度进行归一化融合得到源单词字符串str1和目标单词字符串str2的相似度a(str1，str2)。

3.按权利要求2所述的结合词性的英语近形词干扰项生成方法，其特征在于：

通过对编辑距离相似度和LCS相似度进行归一化融合得到源单词字符串str1和目标单词字符串str2的相似度a(str1，str2)公式如下：

式中，str1为源单词字符串、str2为目标单词字符串，length1、length2分别为源单词字符串和目标单词字符串的长度，a(str1，str2)为所求源单词字符串和目标单词字符串的相似度，D(str1，str2)为源单词字符串和 目标单词字符串的编辑距离，LCS(str1，str2)为源单词字符串和目标单词字符串的最长公共子序列的长度；λ₁、λ₂为系数，λ₁＝0.3～0.5，λ₂＝0.5～0.7，且λ₁+λ₂＝1。

4.按权利要求2所述的结合词性的英语近形词干扰项生成方法，其特征在于：通过计算从源单词字符串str1转换到目标单词字符串str2所需要的最少的插入、删除和替换的次数得到编辑距离步骤为：

如果字符串str1或str2的长度为0，则返回另一个字符串的长度；

构造并初始化一个(m+1)×(n+1)的矩阵D，使第一行和第一列的值从0开始增长；

扫描两字符串，用cost记录结果，若str1[i]＝str2[j]则cost＝0，否则cost＝1；

在矩阵D_ij处赋值D_i-1,j+1、D_i,j-1+1和D_i-1,j-1+cost三个中的最小值；

扫描完后,返回矩阵的最后一个值即D_mn即编辑距离D(str1,str2)；

编辑距离算法相似度计算公式：

式中，str1为源单词字符串、str2为目标单词字符串，length1、length2分别为源单词字符串和目标单词字符串的长度，length1＝m，length2＝n。

5.按权利要求2所述的结合词性的英语近形词干扰项生成方法，其特征在于：

通过LCS算法求源单词字符串str1和目标字符串str2中最长公共子序列，并根据得到的最长公共子序列的长度求出LCS相似度步骤为；

如果字符串str1或str2的长度为0，则返回0；

构造并初始化一个(m+1)×(n+1)的矩阵L，使第一行和第一列的值都为0，即L_0j＝L_i0＝0，若str1[i]＝str2[j]则L_ij＝1，否则L_ij＝0；

按公式(3)刷新矩阵L，最后得到矩阵L中的最大值即最长公共子序列长度LCS(str1,str2)：

LCS算法相似度计算公式：

式中，str1为源单词字符串、str2为目标单词字符串，length1、length2分别为源单词字符串和目标单词字符串的长度，LCS(str1,str2)代表源单词字符串和目标单词字符串的最长公共子序列的长度；L_ij代表矩阵L中的第i行第j列的元素，length1＝m，length2＝n。