CN104572633A

CN104572633A - 一种确定多义词词义的方法

Info

Publication number: CN104572633A
Application number: CN201410821314.8A
Authority: CN
Inventors: 江潮; 张芃
Original assignee: Language Network (wuhan) Information Technology Co Ltd
Current assignee: Wuhan Transn Information Technology Co., Ltd.
Priority date: 2014-12-25
Filing date: 2014-12-25
Publication date: 2015-04-29

Abstract

一种确定多义词词义的方法，包括：获取待判定词义的多义词w的关联文本，并从所述关联文本中找出其具有的词汇w的特征词；；以找出的所述特征词在用于判定词义的决策树中，按照所述决策树的生成顺序依次进行判定；根据判定结果，确定所述词汇w当前应采用的词义。本发明提高了多义词在不同文体和语境下的翻译准确性，降低了多义词类文本翻译的门槛，提升了翻译效率，大大节省了人力物力。

Description

一种确定多义词词义的方法

技术领域

本发明属于翻译技术领域，尤其是一种确定多义词词义的方法。

背景技术

由于大量的词汇都具有多义性，对于此类词汇的准确翻译，即便是具有扎实的语言和专业基础的翻译人员也难免在翻译过程中出现疏漏。以往为提高此类词汇翻译的准确率，需通过提高翻译人员的翻译水平和增加审校、质检来实现，不但提高了翻译门槛，降低了翻译效率，而且依然无法完全杜绝该类词汇的翻译错译。

发明内容

本发明的目的之一是提供一种确定多义词词义的方法，以解决现有技术中对于多义词的翻译效率低的问题。

在一些说明性实施例中，所述确定多义词词义的方法，包括：获取待判定词义的多义词w的关联文本，并从所述关联文本中找出其具有的词汇w的特征词；以找出的所述特征词在用于判定词义的决策树中，按照所述决策树的生成顺序依次进行判定；根据判定结果，确定所述词汇w当前应采用的词义。

与现有技术相比，本发明的说明性实施例包括以下优点：

本发明提高了多义词在不同文体和语境下的翻译准确性，降低了多义词类文本翻译的门槛，提升了翻译效率，大大节省了人力物力。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是按照本发明的说明性实施例的流程图；

图2是按照本发明的说明性实施例的流程图；

图3是按照本发明的说明性实施例的决策树示例图；

图4是按照本发明的说明性实施例的决策树示例图；

图5是按照本发明的说明性实施例的决策树示例图。

具体实施方式

在以下详细描述中，提出大量特定细节，以便于提供对本发明的透彻理解。但是，本领域的技术人员会理解，即使没有这些特定细节也可实施本发明。在其它情况下，没有详细描述众所周知的方法、过程、组件和电路，以免影响对本发明的理解。

如图1所示，公开了一种确定多义词词义的方法，包括：

S11、获取待判定词义的多义词w的关联文本，并从所述关联文本中找出其具有的词汇w的特征词；

S12、以找出的所述特征词在用于判定词义的决策树中，按照所述决策树的生成顺序依次进行判定；

S13、根据判定结果，确定所述词汇w当前应采用的词义。

在一些说明性实施例中，所述获取待判定词义的多义词w的关联文本，并从所述关联文本中找出其具有的词汇w的特征词之前，还包括：从语料库中随机选取一定数量的、包含词汇w的特定段落；对选取的所述特定段落进行至少一次数据筛选，筛选确定出所述词汇w的所述特征词。

其中，所述特定段落为词汇w在语料库中的所在句、所在的自然段或词汇w在语料库中前后一定范围的词汇集合。

如图2所示，在一些说明性实施例中，所述对选取的所述特定段落进行至少一次数据筛选，筛选确定出所述词汇w的所述特征词，具体包括：

S21、对选取的每个特定段落进行分词处理，去除其中的停用词，将剩余的词汇作为候选关联词；

具体包括：保留为名称、动词、形容词、副词、习语或缩略语的词汇。

其中，通过对停用词的去除，降低了不相关词汇对特征词的选取的噪声影响，提高了得到的特征词的可靠性和准确性。

S22、保留出现概率高于第一阈值的候选关联词作为关联词，并计算出每个所述关联词与词汇w的每个词义的互信息；

其中，通过去除词频低的词汇，可以有效的确定针对于词汇w的更加相关的词汇，进一步提高了得到的特征词的可靠性和准确性。

S23、将得到的所述互信息高于第二阈值的关联词作为与该词义具有对应关系的所述特征词。

其中，互信息是计算语言学模型分析的常用方法，可以更有效的筛选出与词汇w的词义更加相关联的词汇，确定特征词，大大提高了得到的特征词的可靠性和准确性。

在一些说明性实施例中，所述计算出每个所述关联词与词汇w的每个词义为互信息，具体包括：

按照如下公式计算出第i个词义m_i和第j个关联词w_j的互信息I(m_i,w_j)：

I (m_{i}, w_{j}) = \log \frac{P (m_{i} | w_{j})}{P (m_{i})} = \log \frac{P (m_{i}, w_{j})}{P (m_{i}) P (w_{j})};

其中，P(m_i)为词汇w的第i个词义m_j的先验概率，P(w_j)为第j个关联词w_j在所述选取的所述特定段落中的出现概率，P(m_iw_j)为第i个词义m_i和第j个关联词w_j同时出现的概率；i为词汇w的词义序号，，j为关联词的序号。

在一些说明性实施例中，在所述以找出的所述特征词在用于判定词义的决策树中，按照所述决策树的生成顺序依次进行判定之前，还包括：根据确定的所述特征词，利用ID3算法或C4.5算法构建词汇w用于判定词义的决策树。

ID3算法是基于信息增益的大小生成决策树，C4.5算法是基于信息增益比的大小生成决策树；C4.5算法是基于ID3算法的改进算法，相比ID3算法结果更加准确、可靠。

在一些说明性实施例中，所述利用ID3算法或C4.5算法构建词汇w用于判定词义的决策树的过程中，包括：将每个词义的对应特征词作为所述决策树的判定结点上的特征项；根据所述特征项的信息增益或信息增益比从大到小的顺序生成所述决策树；其中，每个所述特征项对应有判定其取值结果的第三阈值。

例如词汇w具有词义1、词义2和词义3三个词义，通过上述流程，确定出词义1对应的特征项A的信息增益比最大，词义2对应的特征项B的信息增益比次大，词义3对应的特征项C的信息增益比最小，得到的决策树如图3所示。

在一些说明性实施例中，所述根据判定结果，确定所述词汇w当前应采用的词义，具体包括：以所述关联文本中找出的特征词，在所述决策树上按该决策树的生成顺序依次进行判定；结果满足该决策树上叶子结点的判定，则将该决策树对应的词义作为所述词汇w当前应采用的词义。

以图3为例，找到待判定词义的多义词w的关联文本中具有特征词A、特征词B和特征词C，并确定每个特征词对应决策树中的特征项；之后，从决策树的根结点(即特征项A)进行判定，判断是否满足第三阈值a，若满足则确定当前应选取词义1进行翻译。若不满足a，则在根结点的子结点(特征项B)进行判定，判断是否满足第三阈值b，若满足则确定当前应选取词义2进行翻译。若不满足b，则在该子结点的子结点(特征项C)上再次判定，若满足则以词义3进行翻译，反之则失败。

图3是为了便于理解本发明中的说明性实施例所选用的决策树的示例，根据实际情况，决策树会更加复杂。

以下对上述过程，进行详细描述：

首先，对一些术语进行说明：

信息熵

设X是一个取有限个值的离散随机变量，其概率分布为P(X＝x_i)＝p_i,i＝1,2,…,n，则随机变量X的信息熵定义为：

H (X) = - Σ_{i = 1}^{n} p_{i} \log p_{i}

熵越大表明随机变量不确定性越大，从定义可知0≤H(X)≤logn，且令0log0＝0。

条件熵

设随机变量(X,Y)，其联合概率分布为P(X＝x_i,Y＝y_i)＝p_ij,i＝1,2,…,n；j＝1,2,…,m，在随机变量X给定的条件下随机变量Y的条件熵H(Y|X)定义为：

H (Y | X) = Σ_{i = 1}^{n} p_{i} H (Y | X = x_{i})

其中，p_i＝P(X＝x_i)，令0log0＝0，条件熵表示在已知随机变量X的条件下随机变量Y的不确定性。

信息增益

特征A对训练数据集D的信息增益g(D,A)，定义为集合D的信息熵H(D)和条件熵H(D|A)之差，即

g(D,A)＝H(D)-H(D|A)

一般的，信息熵H(Y)与条件熵H(Y|X)称为互信息，决策树学习中的信息增益等价于训练数据集中类与特征的互信息。

信息增益比

特征A对训练数据集D的信息增益比g_r(D,A)，定义为其信息增益g(D,A)与训练数据集D的信息熵H(D)之比，即

g_{r} (D, A) = \frac{g (D, A)}{H (D)}

一、特征选择和数据处理

多义词的不同词义与其所处的语义环境相关联，通过确定各个词义在不同语境下的特征词汇，然后再通过这些特征词汇来确定其语义。以下以一个多义词汇w为例具体阐述特征词汇的获取方法：

1)、在语料库中，检索出所有包含多义词汇w的语句，，得到语句集R，统计语句集R的语句数|R|；

2)、根据多义词w的k个词义{m₁,m₂,…,m_k}，将语句集R划分为k个子集R₁,R₁,…,R_k，显然有|R|＝|R₁|+|R₂|+…+|R_k|，计算每个词义m_i(i∈{1,2,…,k})的先验概率P(m_i)＝|R_i|/|R|(i∈{1,2,…,k})；

3)、对语句集R进行分词，去除其中的停用词，保留名称、动词、形容词、副词、习语、缩略语等，获得候选关联词集合，计算该集合里的每个词的出现概率，计算方法为：若该词汇在R中的某语句出现则其出现次数加1，出现概率为其在R中出现的总次数除以R中的语句数|R|；

4)、取出现概率大于阀值的候选词汇，从而得到词汇w的关联词汇集W＝{w₁,w₂,…,w_n}，将其出现概率记为P(w_j),(j∈{1,2,…,n})；

5)、计算w的每个词义m_i(i∈{1,2,…,k})和w_j,(j∈{1,2,…,n})共同出现的概率P(w_ij),(i∈{1,2,…,k},j∈{1,2,…,n})，计算方法为统计词汇w的每个词义与w_i在语句集R中的共同出现次数t_ij(i∈{1,2,…,k},j∈{1,2,…,n}，P(m_iw_j)＝t_ij/|R|；

6)、计算词汇w的每个词义m_i(i∈{1,2,…,k})和w_j,(j∈{1,2,…,n})的互信息I(m_i,w_j)，计算方法如下：

I (m_{i}, w_{j}) = \log \frac{P (m_{i} | w_{j})}{P (m_{i})} = \log \frac{P (m_{i} w_{j})}{P (m_{i}) P (w_{j})}

7)、对于每个词义m_i(i∈{1,2,,…,k})，将I(m_i,w_j)大于阀值I_all的关联词汇w_j作为其特征词汇；

8)、将每个特征词汇作为决策树的一个特征项，所有的特征项构成了决策树的特征项集A，特征项的取值为是否大于其特征项阀值I_k(k∈{1,2,…,|A|})，且I_k≥I_all。

二、构建决策树

采用c4.5算法生成决策树

输入：

训练集：包含词汇w的语句集R

分类：共有k个分类，每个分类C_i(i∈{1,2,…,k})对应词汇w的按词义m_i(i∈{1,2,…,k})进行翻译

特征集：将所有I(m_i,w_j)大于阀值的关联词汇w_j作为其特征项集A

阀值：TH

输出：多义词词义判定决策树T

算法流程：

若语句集R中的词汇w的词义都属于同一类C_i，将决策树T置为单结点树，以C_i作为该结点的类别，生成决策树T；

如果将决策树T置为单结点树，并将R中|R_i|最大的词义项m_i作为类C_i，将该结点的类别记为C_i，生成决策树T；

否则按1所述的信息增益比计算方法计算特征集A中各个特征对R的信息增益比，选择信息增益比最大的特征A_j；

如果A_j的信息增益比小于阀值TH，将T置为单结点树，并将R中|R_i|最大的词义项m_i作为类C_i，将该结点的类别记为C_i，生成决策树T；

否则，根据特征A_j取值为是或否，将R划分为2个非空子集R_yes和R_no，分别将两个子集中词义数最大的类作为标记，构建子结点，由结点及其子结点构成决策树T，生成决策树T；

对这两个结点，分别以R_yes和R_no为训练集，以A-{A_j}为特征集，递归调用步骤1)～5)，得到子树T_i，生成T_i。

三、通过决策树对输入语句中的多义词词义进行判定

对输入语句中的多义词进行词义判定：

1)、对输入语句进行分词，获取其中属于特征词汇的词，得到该语句中包含的特征词汇子集A_input；

2)、集合A_input的元素按其在决策树中自顶向下的次序进行排序，并按此顺序在决策树T中进行判断，若能判断直到决策树的叶子结点，则得到判定结果，获得该输入语句中词汇w的词义；

3)、若通过该集合A_input中的特征词汇无法得到确定的词义结果，则该语句中的多义词转人工处理。

以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种确定多义词词义的方法，其特征在于，包括：

获取待判定词义的多义词w的关联文本，并从所述关联文本中找出其具有的词汇w的特征词；

以找出的所述特征词在用于判定词义的决策树中，按照所述决策树的生成顺序依次进行判定；

根据判定结果，确定所述词汇w当前应采用的词义。

2.根据权利要求1所述的方法，其特征在于，所述获取待判定词义的多义词w的关联文本，并从所述关联文本中找出其具有的词汇w的特征词之前，还包括：

从语料库中随机选取一定数量的、包含词汇w的特定段落；

对选取的所述特定段落进行至少一次数据筛选，筛选确定出所述词汇w的所述特征词。

3.根据权利要求2所述的方法，其特征在于，所述对选取的所述特定段落进行至少一次数据筛选，筛选确定出所述词汇w的所述特征词，具体包括：

对选取的每个特定段落进行分词处理，去除其中的停用词，将剩余的词汇作为候选关联词；

保留出现概率高于第一阈值的候选关联词作为关联词，，并计算出每个所述关联词与词汇w的每个词义的互信息；

将得到的所述互信息高于第二阈值的关联词作为该词义的所述特征词。

4.根据权利要求3所述的方法，其特征在于，所述计算出每个所述关联词与词汇w的每个词义为互信息，具体包括：

I (m_{i}, w_{j}) = \log \frac{P (m_{i} | w_{j})}{P (m_{i})} = \log \frac{P (m_{i} w_{j})}{P (m_{i}) P (w_{j})};

其中，P(m_i)为词汇w的第i个词义m_i的先验概率，P(w_j)为第j个关联词w_j在所述选取的所述特定段落中的出现概率，P(m_iw_j)为第i个词义m_i和第j个关联词w_j同时出现的概率；i为词汇w的词义序号，，j为关联词的序号。

5.根据权利要求3所述的方法，其特征在于，在所述以找出的所述特征词在用于判定词义的决策树中，按照所述决策树的生成顺序依次进行判定之前，还包括：

根据确定的所述特征词，利用ID3算法或C4.5算法构建词汇w用于判定词义的决策树。

6.根据权利要求5所述的方法，其特征在于，所述利用ID3算法或C4.5算法构建词汇w用于判定词义的决策树的过程中，包括：

将每个词义的对应特征词作为所述决策树的判定结点上的特征项；

根据所述特征项的信息增益或信息增益比从大到小的顺序生成所述决策树；

其中，每个所述特征项对应有判定其取值结果的第三阈值。

7.根据权利要求6所述的方法，其特征在于，所述根据判定结果，确定所述词汇w当前应采用的词义，具体包括：

以所述关联文本中找出的特征词，在所述决策树上按该决策树的生成顺序依次进行判定；

结果满足该决策树上叶子结点的判定，则将该决策树对应的词义作为所述词汇w当前应采用的词义。

8.根据权利要求3所述的方法，其特征在于，所述对选取的每个特定段落进行分词处理，去除其中的停用词，将剩余的词汇作为候选关联词，具体包括：

保留为名称、动词、形容词、副词、习语或缩略语的词汇。

9.根据权利要求2所述的方法，其特征在于，所述特定段落为词汇w在语料库中的所在句、所在的自然段或词汇w在语料库中前后一定范围的词汇集合。