CN105808530B - 一种统计机器翻译中的翻译方法和装置 - Google Patents

一种统计机器翻译中的翻译方法和装置 Download PDF

Info

Publication number
CN105808530B
CN105808530B CN201610168375.8A CN201610168375A CN105808530B CN 105808530 B CN105808530 B CN 105808530B CN 201610168375 A CN201610168375 A CN 201610168375A CN 105808530 B CN105808530 B CN 105808530B
Authority
CN
China
Prior art keywords
word
phrase
vector
source
meaning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610168375.8A
Other languages
English (en)
Other versions
CN105808530A (zh
Inventor
熊德意
唐海庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201610168375.8A priority Critical patent/CN105808530B/zh
Publication of CN105808530A publication Critical patent/CN105808530A/zh
Application granted granted Critical
Publication of CN105808530B publication Critical patent/CN105808530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Abstract

本申请公开了一种统计机器翻译中的翻译方法和装置，在统计机器翻译的训练阶段，生成包含源端短语语义向量的翻译模型，并在解码阶段，计算待翻译短语的语义向量，然后再计算待翻译短语的语义向量与候选翻译规则源端短语语义向量的相似度，并将相似度作为一个子模型集成到对数线性模型中，以供统计机器翻译系统选择与待翻译短语语义最接近的译文。传统的统计机器翻译系统不包含语义信息，本申请通过生成源端短语的语义，并利用语义向量的相似度，帮助统计机器翻译系统更准确地选出与待翻译短语语义接近的译文，能够有效地提高统计机器翻译译文的质量。

Description

一种统计机器翻译中的翻译方法和装置
技术领域
本申请涉及数据处理领域，更具体地说，涉及一种统计机器翻译中的翻译方法和装置。
背景技术
随着互联网和社交网络的发展，机器翻译在社会发展和信息传播中的作用越来越突出。统计机器翻译(Statistical Machine Translation，SMT)作为机器翻译的一个重要研究方向，其基本思想是通过对大量的平行语料进行统计分析，构建统计翻译模型，进而使用此模型进行翻译。从早期基于单词的机器翻译已经过度到基于短语的翻译，译文质量得到很大提升。
但是，在统计机器翻译中，一个源端短语在训练得到的翻译模型中可能对应多个翻译规则。例如英文短语“run a”在翻译成中文时可以是“跑一个”，也可以是“经营一个”。目前，统计机器翻译中翻译系统仅根据词汇翻译概率，从多个候选翻译规则中选择概率最高的译文，有时候会造成整个句子的译文与源端句子表达的意义存在较大偏差的问题。
发明内容
有鉴于此，本申请提出一种统计机器翻译中的翻译方法和装置，欲通过引入短语语义向量，实现提高统计机器翻译的翻译性能的目标。
为了实现上述目的，现提出的方案如下：
一种统计机器翻译中的翻译方法，所述翻译方法包括：
对待翻译文本中的单词进行词义标注；
计算待翻译文本中的单词的词义向量，所述词义向量的每一维均是实数，且所述词义向量是将单词标注的词义映射到向量空间得到的；
根据所述待翻译文本中的单词的词义向量，计算待翻译短语的语义向量；
从预先训练得到的翻译模型中，获取与所述待翻译短语对应的每个候选翻译规则的源端短语语义向量，所述待翻译短语的语种与所述源端短语的语种一致；
计算所述待翻译短语的语义向量与每个所述候选翻译规则的源端短语语义向量的相似度；
将所述相似度作为一个子模型集成到对数线性模型中，以供统计机器翻译系统选择译文。
优选的，所述预先训练得到的翻译模型的训练过程，包括：
对源端语料库中的单词进行词义标注；
计算所述单词的词义向量；
根据所述词义向量，计算所述源端短语的语义向量，生成包含所述源端短语的语义向量的翻译模型；
优选的，所述对源端语料库中的单词进行词义标注，包括：
过滤所述源端语料库中的停止词和低频词，得到待标注单词；
从所述源端语料库中获取包含同一所述待标注单词的句子，组成一个伪文档；
对所述伪文档的主题信息进行评估，得到所述待标注单词的多个潜层词义；
对所述待标注单词标注概率最高的潜层词义。
优选的，所述对源端语料库中的单词进行词义标注，包括：
过滤所述源端语料库中的停止词和低频词，得到待标注单词；
利用WordNet词典定义的语义标签supersenses对待标注单词进行词义标注。
优选的，所述根据所述待翻译文本中的单词的词义向量，计算待翻译短语的语义向量，包括：
通过所述待翻译短语中的所有单词的词义向量相加得到所述待翻译短语的语义向量。
优选的，所述根据所述词义向量，计算所述源端短语的语义向量，包括：
根据公式计算源端短语的每个词义标注序列相对于所述源端短语的概率，其中，phrase代表源端短语(wi,wi+1,...,wj)，wk代表源端单词，k取值为i,i+1,…,j，sense代表源端短语的一种词义标注序列(wi|sa,wi+1|sb,...,wj|sm),so代表单词的词义标注，o取值为a,b,…,m；
根据公式计算每个sense向量，其中，代表单词词义向量。
根据公式计算源端短语的语义向量，其中，Px代表源端短语的第x种词义标记序列相对于源端短语的概率。
或：
根据公式计算正向短语翻译概率，其中，e代表目标端短语，f代表源端短语，sense代表源端短语的一种词义标注序列；
根据公式计算反向短语翻译概率；
根据公式计算源端短语语义向量。
一种统计机器翻译中的翻译装置，包括：
第二词义标注单元，用于对待翻译文本中的单词进行词义标注；
第二词义向量单元，用于计算待翻译文本中的单词的词义向量，所述词义向量的每一维均是实数，且所述词义向量是将单词标注的词义映射到向量空间得到的；
第二语义向量单元，用于根据所述待翻译文本中的单词的词义向量，计算待翻译短语的语义向量；
获取语义向量单元，用于从预先训练得到的翻译模型中，获取与所述待翻译短语对应的每个候选翻译规则的源端短语语义向量，所述待翻译短语的语种与所述源端短语的语种一致；
向量相似度单元，计算所述待翻译短语的语义向量与每个候选翻译规则的源端短语语义向量的相似度；
译文选择单元，用于将所述相似度作为一个子模型集成到对数线性模型中，以供统计机器翻译系统选择译文。
优选的，还包括：
第一词义标注单元，用于对源端语料库中的单词进行词义标注；
第一词义向量单元，用于计算所述单词的词义向量；
第一语义向量单元，用于根据所述词义向量，计算所述源端短语语义向量，生成包含所述源端短语语义向量的翻译模型。
优选的，所述第一词义标注单元，包括：
第一预处理单元，用于过滤所述源端语料库中的停止词和低频词，得到待标注单词；
伪文档单元，用于从所述源端语料库中获取包含同一所述待标注单词的句子，组成一个伪文档；
主题评估单元，用于对所述伪文档的主题信息进行评估，得到所述待标注单词的多个潜层词义；
第三词义标注单元，用于对所述待标注单词标注概率最高的潜层词义。
优选的，所述第一词义标注单元，包括：
第二预处理单元，用于过滤所述源端语料库中的停止词和低频词，得到待标注单词；
第四词义标注单元，用于利用WordNet词典定义的语义标签supersenses对待标注单词进行词义标注。
优选的，所述第二语义向量单元，用于通过所述待翻译短语中的所有单词的词义向量相加得到所述待翻译短语的语义向量。
优选的，所述第一语义向量单元，包括：
概率生成单元，用于根据公式计算源端短语的每个词义标注序列相对于所述源端短语的概率，其中，phrase代表源端短语(wi,wi+1,...,wj)，wk代表源端单词，k取值为i,i+1,…,j，sense代表源端短语的一种词义标注序列(wi|sa,wi+1|sb,...,wj|sm),so代表单词的词义标注，o取值为a,b,…,m；
第三语义向量单元，用于根据公式计算每个sense向量，其中，代表单词词义向量。
第四语义向量单元，用于根据公式计算源端短语的语义向量，其中，Px代表源端短语的第x种词义标记序列相对于源端短语的概率。
或：
正向概率单元，用于根据公式计算正向短语翻译概率，其中，e代表目标端短语，f代表源端短语，sense代表源端短语的一种词义标注序列；
反向概率单元，用于根据公式计算反向短语翻译概率；
第五语义向量单元，用于根据公式计算源端短语语义向量。
从上述的技术方案可以看出，本申请公开的统计机器翻译中的翻译方法和装置，在统计机器翻译的训练阶段，生成包含源端短语语义向量的翻译模型，并在解码阶段，计算待翻译短语的语义向量，然后再计算待翻译短语的语义向量与候选翻译规则源端短语语义向量的相似度，并将相似度作为一个子模型集成到对数线性模型中，以供统计机器翻译系统选择与待翻译短语语义最接近的译文。传统的统计机器翻译系统不包含语义信息，本申请通过生成源端短语的语义，并利用语义向量的相似度，帮助统计机器翻译系统更准确地选出与待翻译短语语义接近的译文，能够有效地提高统计机器翻译译文的质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本实施例公开的一种统计机器翻译中的翻译方法包括的训练过程的流程图；
图2为本实施例公开的一种统计机器翻译中的翻译方法包括的解码过程的流程图；
图3为本实施例公开的一种对源端语料库中的单词进行词义标注的方法流程图；
图4为本实施例公开的一种统计机器翻译中的翻译装置的示意图；
图5为本实施例公开的一种第一词义标注单元的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现对本申请设计的名词进行解释，以便于对本申请方案的理解：
停止词，stopword，在英文文档里面会遇到很多a，the，or等使用频率很多的词，常为冠词、介词、副词或连词等。如果搜索引擎要将这些词都索引的话，工作量巨大。在中文文档里面“在”、“里面”、“也”、“的”、“它”、“为”这些词都是停止词。
伪文档，是指通过对原始文档集合进行有指导地组织而形成的新的文档。
本申请公开的统计机器翻译中的翻译方案，在统计机器翻译的训练阶段，生成包含源端短语语义向量的翻译模型，在解码阶段，计算待翻译短语的语义向量，然后再计算待翻译短语的语义向量与候选翻译规则源端短语语义向量的相似度，并将相似度作为选择译文的一个因素。进而，更准确地选出与待翻译短语语义接近的译文，能够有效地提高统计机器翻译译文的质量。
本实施例公开一种统计机器翻译中的翻译方法，包括训练和解码两个过程，参见图1所示，训练过程包括：
步骤S11：对源端语料库中的单词进行词义标注。
同一个单词由于上下文语境的不同，其表达的含义也不同，即拥有不同的词义。通过将单词的不同词义以某种格式标记出来，进而借助单词的词义来计算短语的语义供统计机器翻译系统使用。如果训练要得到的翻译模型是用于将英语翻译为西班牙语，那么英语语料称为源端语料库，西班牙语语料称为目标端语料库。通过对源端语料库中的语料进行预处理，得到要标注词义的单词，进行单词的词义标注。
步骤S12：计算词义标注后的单词的词义向量。
即将被词义标注的单词映射到向量空间，单词词义用实数向量表示。通过开源工具word2vec可以训练得到单词的词义向量，采用CBOW(Continuous Bag-of-Words Model)模型将被词义标注的单词映射到200维的向量空间，生成的文件格式为：每一种词义标注的单词，对应一个200维的向量，向量的每一维都是实数。比如“made”标记的一个可能单词词义为made|B-verb.social，经word2vec工具训练后其词义可以表示为(0.01，0.03，0.04，0.02，0.01)(以5维向量做说明)。将单词的词义以实数向量表示有利于基于短语的统计机器翻译引入语义信息。
步骤S13：根据计算得到的词义向量，计算源端短语的语义向量生成包含源端短语的语义向量的翻译模型。
根据计算得到的词义向量，计算源端短语的语义向量，将源端短语的语义向量作为一项信息，加到传统的翻译模型中。一个源端短语在训练得到的翻译模型中可能对应多个翻译规则。
训练过程完成后，生成带有源端短语语义向量的翻译模型。解码过程即每一次的翻译过程，例如，平时我们利用百度翻译，去翻译待翻译文本的过程即一次解码过程，并不执行训练过程，训练过程是在我们翻译之前已经完成的操作。
参见图2所示，解码过程包括：
步骤S21：对待翻译文本中的单词进行词义标注。
在翻译之前，先对翻译文本进行数据预处理，去除停止词和低频词。其中去除哪些停止词可以从网络中获取，而低频词的阈值设定需要根据语料的规模来考虑。
步骤S22：计算待翻译文本中的单词的词义向量，所述词义向量的每一维均是实数，且所述词义向量是将单词标注的词义映射到向量空间得到的。
根据训练阶段生成的源端单词词义向量，计算待翻译文本中的单词的词义向量。
步骤S23：根据计算得到的待翻译文本中的单词的词义向量，计算待翻译短语的语义向量
对于待翻译的短语片段，根据每个单词词义标注所对应的语义向量，通过向量相加计算得到待翻译短语的语义向量
步骤S24：从训练过程得到的带有源端短语的翻译模型中，获取与待翻译短语对应的每个候选翻译规则的源端短语语义向量，所述待翻译短语的语种与所述源端短语的语种一致。
一个源端短语在训练得到的翻译模型中可能对应多个翻译规则，每个翻译规则对应一个源端短语语义向量。源端短语对应的翻译规则，即相应待翻译短语对应的翻译规则。例如，源端短语为“underline the”对应的多个翻译规则，即待翻译短语“underline the”对应的多个翻译规则。
步骤S25：计算待翻译短语的语义向量与每个候选翻译规则的源端短语语义向量的相似度。
在统计机器翻译中，一个源端短语在训练得到的翻译模型中可能对应多个翻译规则，即为待翻译短语在解码过程中对应的候选翻译规则。通过计算待翻译短语的语义向量与候选翻译规则的源端短语语义向量的相似度，进而帮助统计机器翻译系统选择最优译文。
向量相似度的计算公式如下：
其中，表示待翻译源端短语语义向量和翻译规则源端短语语义向量的相似度，ai和bi分别表示和每一维的值。当夹角越小时，相似性越高，其余弦值越大；当夹角越大时，相似性越低，其余弦值越小。
步骤S26：将相似度作为一个子模型集成到对数线性模型中，以供统计机器翻译系统选择译文。
将待翻译源端短语语义向量和翻译规则源端短语语义向量的相似度作为一个新特征加入到传统的统计机器翻译系统中。采用Och和Ney提出的对数线性模型去组合多种子模型，以获取最优译文，对数线性模型公式如下：
其中，hm(e,f)是子模型，即对数线性模型的特征。λm为对应子模型的权重。将短语语义向量相似度作为一个子模型集成到对数线性模型中，以帮助统计机器翻译系统选择合适的译文。
本实施例公开的统计机器翻译的翻译方法，通过计算待翻译源端短语语义向量和翻译规则源端短语语义向量的相似度，并将相似度作为一个新特征加入到传统的统计机器翻译系统中，为源端短语选择最接近的翻译规则，从而提高统计机器翻译的翻译性能。
本实施例公开一种对源端语料库中的单词进行词义标注方法，参见图3所示，该方法包括：
步骤S31：过滤源端语料库中的停止词和低频词，得到待标注单词。
统计源端语料库中各个单词出现的次数，将低于预设阈值的单词组成低频率词，并通过网络获得停止词，将语料中出现的低频词和停止词过滤，并将剩下的单词组成一个词汇表，词汇表中的单词即为待标注单词。
步骤S32：从源端语料库中获取包含同一待标注单词的句子，组成一个伪文档。
对词汇表中每一个单词组成一个伪文档。每个伪文档为从源端语料库中获取包含同一待标注单词的句子组合生成。每个伪文档的主题信息可以反映对应单词的语义信息。
步骤S33：对伪文档的主题信息进行评估，得到待标注单词的多个潜层词义。
HDP(Hierarchical Dirichlet Process)是主题训练模型LDA(Latent DirichletAllocation)的无参版本，可以动态自主调整文档的主题数量。通过HDP的WSI(Word SenseInduction)模型，对伪文档的主题信息进行评估，得到对应单词的多个潜层词义。
步骤S34：对待标注单词标注概率最高的潜层词义。
在获得待标注单词对应的多个潜层词义后，将概率最高的潜层词义标注到伪文档中的相应单词上。
对源端语料库中的单词的词义标注除了上述方法外，还可以借助WordNet词典，标注每个单词在当前语境中最有可能的词义。语料的处理过程同样是过滤源端语料库中的停止词和低频词，得到待标注单词，之后借助WordNet词典，标注每个单词在当前语境中最有可能的词义。
基于短语的统计机器翻译系统，其翻译模型通常是通过开源工具Moses训练得到。本申请将Moses生成的翻译模型中短语序列多增加一列：源端短语的词义标注序列。同一源端短语可能对应多个不同的词义标记序列。
本实施例公开一种计算源端短语的语义向量方法，同一源端短语得到一个语义向量，方法包括：
根据公式计算源端短语的每个词义标注序列相对于所述源端短语的概率，其中，phrase代表源端短语(wi,wi+1,...,wj)，wk代表源端单词，k取值为i,i+1,…,j，sense代表源端短语的一种词义标注序列(wi|sa,wi+1|sb,...,wj|sm),so代表单词的词义标注，o取值为a,b,…,m。
根据公式计算每个sense向量，其中，代表单词词义向量。
根据公式计算源端短语的语义向量，其中，Px代表源端短语的第x种词义标记序列相对于源端短语的概率。
本实施例公开另一种计算源端短语的语义向量方法，同一个源端短语对应N个不同的词义标记序列，翻译模中每个翻译规则的源端短语语义向量为其所对应的唯一单词词义标记序列多表示的向量。方法包括：
改变传统的短语翻译概率，将正向翻译概率由原始的计算方式修改为来计算正向短语翻译概率，其中，e代表目标端短语，f代表源端短语，sense代表源端短语的一种词义标注序列。
将反向翻译概率由计算方式改为计算反向短语翻译概率。
根据公式计算源端短语语义向量。实现翻译模型中每个翻译规则的源端短语语义向量为其所对应的唯一单词词义标记序列所表示的向量。
Moses生成的翻译模型中短语序列多增加一列：源端短语的词义标注序列。同一源端短语可能对应多个不同的词义标记序列。例如：
源端短语“underline the”，对应两个不同的词义标记序列“|NULL underline|B-verb.communication the|NULL”和“|NULL underline|NULL the|NULL”。使用公式得到源端短语的一种向量表示，对于正向翻译概率和反向翻译概率不做改变。使用另一种方法，根据公式得到源端短语的两种语义向量，但是正向翻译概率计算方式由原始的修改为反向翻译概率计算方式由原始修改为
本实施例公开一种统计机器翻译中的翻译装置，参见图4所示，包括训练模块和解码模块，训练模块包括：
第一词义标注单元111，用于对源端语料库中的单词进行词义标注。
第一词义向量单元112，用于计算单词的词义向量。
第一语义向量单元113，用于根据词义向量，计算源端短语语义向量，生成包含源端短语语义向量的翻译模型。
解码模块包括：
第二词义标注单元121，用于对待翻译文本中的单词进行词义标注。
第二词义向量单元122，用于计算待翻译文本中的单词的词义向量，所述词义向量的每一维均是实数，且所述词义向量是将单词标注的词义映射到向量空间得到的。
第二语义向量单元123，用于根据待翻译文本中的单词的词义向量，计算待翻译短语的语义向量。具体的通过所述待翻译短语中的所有单词的词义向量相加得到所述待翻译短语的语义向量。
获取语义向量单元124，从训练过程得到的带有源端短语的翻译模型中，获取与待翻译短语对应的每个候选翻译规则的源端短语语义向量，所述待翻译短语的语种与所述源端短语的语种一致。
向量相似度单元125，计算待翻译短语的语义向量与每个候选翻译规则的源端短语语义向量的相似度。
译文选择单元126，用于将所述相似度作为一个子模型集成到对数线性模型中，以供统计机器翻译系统选择译文。
本实施例公开一种第一词义标注单元111，参见图5所示，包括：
第一预处理单元1111，用于过滤源端语料库中的停止词和低频词，得到待标注单词；
伪文档单元1112，用于从源端语料库中获取包含同一待标注单词的句子，组成一个伪文档；
主题评估单元1113，用于对伪文档的主题信息进行评估，得到待标注单词的多个潜层词义；
第三词义标注单元1114，用于对待标注单词标注概率最高的潜层词义。
本实施例公开另一种第一词义标注单元111，包括：
第二预处理单元，用于过滤所述源端语料库中的停止词和低频词，得到待标注单词；
第四词义标注单元，用于利用WordNet词典定义的语义标签supersenses对待标注单词进行词义标注。
本实施例公开一种第一语义向量单元113，包括：
概率生成单元，用于根据公式计算源端短语的每个词义标注序列相对于所述源端短语的概率，其中，phrase代表源端短语(wi,wi+1,...,wj)，wk代表源端单词，k取值为i,i+1,…,j，sense代表源端短语的一种词义标注序列(wi|sa,wi+1|sb,...,wj|sm),so代表单词的词义标注，o取值为a,b,…,m；
第三语义向量单元，用于根据公式计算每个sense向量，其中，代表单词词义向量。
第四语义向量单元，用于根据公式计算源端短语的语义向量，其中，Px代表源端短语的第x种词义标记序列相对于源端短语的概率。
本实施例公开另一种第一语义向量单元113，包括：
正向概率单元，用于根据公式计算正向短语翻译概率，其中，e代表目标端短语，f代表源端短语，sense代表源端短语的一种词义标注序列；
反向概率单元，用于根据公式计算反向短语翻译概率；
第五语义向量单元，用于根据公式计算源端短语语义向量。
对于装置实施例而言，由于其基本相应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种统计机器翻译中的翻译方法，其特征在于，所述翻译方法包括：
对待翻译文本中的单词进行词义标注；
计算待翻译文本中的单词的词义向量，所述词义向量的每一维均是实数，且所述词义向量是将单词标注的词义映射到向量空间得到的；
根据所述待翻译文本中的单词的词义向量，计算待翻译短语的语义向量；
从预先训练得到的翻译模型中，获取与所述待翻译短语对应的每个候选翻译规则的源端短语语义向量，所述待翻译短语的语种与所述源端短语的语种一致；
计算所述待翻译短语的语义向量与每个所述候选翻译规则的源端短语语义向量的相似度；
将所述相似度作为一个子模型集成到对数线性模型中，以供统计机器翻译系统选择译文；
所述预先训练得到的翻译模型的训练过程，包括：
对源端语料库中的单词进行词义标注；
计算所述单词的词义向量；
根据所述词义向量，计算所述源端短语的语义向量，生成包含所述源端短语的语义向量的翻译模型；
所述根据所述词义向量，计算所述源端短语的语义向量，包括：
根据公式计算源端短语的每个词义标注序列相对于所述源端短语的概率，其中，phrase代表源端短语(wi,wi+1,...,wj)，wk代表源端单词，k取值为i,i+1,…,j，sense代表源端短语的一种词义标注序列(wi|sa,wi+1|sb,...,wj|sm)，so代表单词的词义标注，o取值为a,b,…,m；
根据公式计算每个sense向量，其中，代表单词词义向量；
根据公式计算源端短语的语义向量，其中，Px代表源端短语的第x种词义标记序列相对于源端短语的概率；
或：
根据公式计算正向短语翻译概率，其中，e代表目标端短语，f代表源端短语，sense代表源端短语的一种词义标注序列；
根据公式计算反向短语翻译概率；
根据公式计算源端短语语义向量。
2.根据权利要求1所述的方法，其特征在于，所述对源端语料库中的单词进行词义标注，包括：
过滤所述源端语料库中的停止词和低频词，得到待标注单词；
从所述源端语料库中获取包含同一所述待标注单词的句子，组成一个伪文档；
对所述伪文档的主题信息进行评估，得到所述待标注单词的多个潜层词义；
对所述待标注单词标注概率最高的潜层词义；
或：
过滤所述源端语料库中的停止词和低频词，得到待标注单词；
利用WordNet词典定义的语义标签supersenses对待标注单词进行词义标注。
3.根据权利要求1所述的方法，其特征在于，所述根据所述待翻译文本中的单词的词义向量，计算待翻译短语的语义向量，包括：
通过所述待翻译短语中的所有单词的词义向量相加得到所述待翻译短语的语义向量。
4.一种统计机器翻译中的翻译装置，其特征在于，包括：
第二词义标注单元，用于对待翻译文本中的单词进行词义标注；
第二词义向量单元，用于计算待翻译文本中的单词的词义向量，所述词义向量的每一维均是实数，且所述词义向量是将单词标注的词义映射到向量空间得到的；
第二语义向量单元，用于根据所述待翻译文本中的单词的词义向量，计算待翻译短语的语义向量；
获取语义向量单元，用于从预先训练得到的翻译模型中，获取与所述待翻译短语对应的每个候选翻译规则的源端短语语义向量，所述待翻译短语的语种与所述源端短语的语种一致；
向量相似度单元，计算所述待翻译短语的语义向量与每个候选翻译规则的源端短语语义向量的相似度；
译文选择单元，用于将所述相似度作为一个子模型集成到对数线性模型中，以供统计机器翻译系统选择译文；
还包括：
第一词义标注单元，用于对源端语料库中的单词进行词义标注；
第一词义向量单元，用于计算所述单词的词义向量；
第一语义向量单元，用于根据所述词义向量，计算所述源端短语语义向量，生成包含所述源端短语语义向量的翻译模型；
所述第一语义向量单元，包括：
概率生成单元，用于根据公式计算源端短语的每个词义标注序列相对于所述源端短语的概率，其中，phrase代表源端短语(wi,wi+1,...,wj)，wk代表源端单词，sense代表源端短语的一种词义标注序列(wi|sa,wi+1|sb,...,wj|sm)，so代表单词的词义标注，o取值为a,b,…,m；
第三语义向量单元，用于根据公式计算每个sense向量，其中，代表单词词义向量；
第四语义向量单元，用于根据公式计算源端短语的语义向量，其中，Px代表源端短语的第x种词义标记序列相对于源端短语的概率；
或：
正向概率单元，用于根据公式计算正向短语翻译概率，其中，e代表目标端短语，f代表源端短语，sense代表源端短语的一种词义标注序列；
反向概率单元，用于根据公式计算反向短语翻译概率；
第五语义向量单元，用于根据公式计算源端短语语义向量。
5.根据权利要求4所述的装置，其特征在于，所述第一词义标注单元，包括：
第一预处理单元，用于过滤所述源端语料库中的停止词和低频词，得到待标注单词；
伪文档单元，用于从所述源端语料库中获取包含同一所述待标注单词的句子，组成一个伪文档；
主题评估单元，用于对所述伪文档的主题信息进行评估，得到所述待标注单词的多个潜层词义；
第三词义标注单元，用于对所述待标注单词标注概率最高的潜层词义；
或：
第二预处理单元，用于过滤所述源端语料库中的停止词和低频词，得到待标注单词；
第四词义标注单元，用于利用WordNet词典定义的语义标签supersenses对待标注单词进行词义标注。
6.根据权利要求4所述的装置，其特征在于，所述第二语义向量单元，用于通过所述待翻译短语中的所有单词的词义向量相加得到所述待翻译短语的语义向量。
CN201610168375.8A 2016-03-23 2016-03-23 一种统计机器翻译中的翻译方法和装置 Active CN105808530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610168375.8A CN105808530B (zh) 2016-03-23 2016-03-23 一种统计机器翻译中的翻译方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610168375.8A CN105808530B (zh) 2016-03-23 2016-03-23 一种统计机器翻译中的翻译方法和装置

Publications (2)

Publication Number Publication Date
CN105808530A CN105808530A (zh) 2016-07-27
CN105808530B true CN105808530B (zh) 2019-11-08

Family

ID=56454691

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610168375.8A Active CN105808530B (zh) 2016-03-23 2016-03-23 一种统计机器翻译中的翻译方法和装置

Country Status (1)

Country Link
CN (1) CN105808530B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766319B (zh) * 2016-08-19 2021-05-18 华为技术有限公司 序列转换方法及装置
CN106776586A (zh) * 2016-12-19 2017-05-31 新译信息科技（深圳）有限公司 机器翻译方法及装置
CN110968664A (zh) * 2018-09-30 2020-04-07 北京国双科技有限公司 一种文书检索方法、装置、设备及介质
CN109446537B (zh) * 2018-11-05 2022-11-25 安庆师范大学 一种针对机器翻译的译文评估方法及装置
CN109508463B (zh) * 2018-11-21 2023-06-20 传神语联网网络科技股份有限公司 翻译工程的精细化处理方法、系统和可读存储介质
CN111444730A (zh) * 2020-03-27 2020-07-24 新疆大学 基于Transformer模型的数据增强维汉机器翻译系统训练方法和装置
CN111666774B (zh) * 2020-04-24 2022-06-03 北京大学 基于文档上下文的机器翻译方法及装置
CN111538766B (zh) * 2020-05-19 2023-06-30 支付宝(杭州)信息技术有限公司 一种文本分类方法、装置、处理设备和票据分类系统
CN111859997B (zh) * 2020-06-16 2024-01-26 北京百度网讯科技有限公司 机器翻译中的模型训练方法、装置、电子设备及存储介质
CN112949319B (zh) * 2021-03-12 2023-01-06 江南大学 文本中多义性单词的标注方法、设备、处理器和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1156287A (zh) * 1995-09-11 1997-08-06 松下电器产业株式会社 机器翻译用中文生成装置
US20090248394A1 (en) * 2008-03-25 2009-10-01 Ruhi Sarikaya Machine translation in continuous space
CN103699529A (zh) * 2013-12-31 2014-04-02 哈尔滨理工大学 一种使用词义消歧的融合机器翻译系统的方法及装置
CN104391842A (zh) * 2014-12-18 2015-03-04 苏州大学 一种翻译模型构建方法和系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7805289B2 (en) * 2006-07-10 2010-09-28 Microsoft Corporation Aligning hierarchal and sequential document trees to identify parallel data
US8060360B2 (en) * 2007-10-30 2011-11-15 Microsoft Corporation Word-dependent transition models in HMM based word alignment for statistical machine translation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1156287A (zh) * 1995-09-11 1997-08-06 松下电器产业株式会社 机器翻译用中文生成装置
US20090248394A1 (en) * 2008-03-25 2009-10-01 Ruhi Sarikaya Machine translation in continuous space
CN103699529A (zh) * 2013-12-31 2014-04-02 哈尔滨理工大学 一种使用词义消歧的融合机器翻译系统的方法及装置
CN104391842A (zh) * 2014-12-18 2015-03-04 苏州大学 一种翻译模型构建方法和系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
A Sense-Based Translation Model for Statistical Machine Translation;Deyi Xiong 等;《Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics》;20140625;第1卷;第1460、1462、1464页 *
Vector-based Models of Semantic Composition;Jeff Mitchell 等;《Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics》;20080131;第1-41页 *
一种基于上下文规则的词义消歧算法;宋国平 等;《吉林大学学报》;20140331;第52卷(第2期);第326-330页 *
基于双语合成语义的翻译相似度模型;王超超 等;《北京大学学报（自然科学版）》;20150331;第51卷(第2期);第337-340页，表1 *
基于选择偏向性的统计机器翻译模型;唐海庆 等;《北京大学学报》;20160130;第52卷(第1期);第127-133页 *
王超超 等.基于双语合成语义的翻译相似度模型.《北京大学学报（自然科学版）》.2015,第51卷(第2期),表1，表3，文章第3页第2.1部分，第4页第3部分第1段，第5页第2栏第3.3.2部分，第6页第2栏第1段. *

Also Published As

Publication number Publication date
CN105808530A (zh) 2016-07-27

Similar Documents

Publication Publication Date Title
CN105808530B (zh) 一种统计机器翻译中的翻译方法和装置
Ling et al. Latent predictor networks for code generation
Li et al. A co-attention neural network model for emotion cause analysis with emotional context awareness
Chen et al. Joint learning of character and word embeddings
Wan et al. A deep architecture for semantic matching with multiple positional sentence representations
Bhat et al. Iiit-h system submission for fire2014 shared task on transliterated search
Tran et al. JAIST: Combining multiple features for answer selection in community question answering
Barzilay et al. Bootstrapping lexical choice via multiple-sequence alignment
Zhu et al. Learning to ask unanswerable questions for machine reading comprehension
Visweswariah et al. A word reordering model for improved machine translation
CN105068997B (zh) 平行语料的构建方法及装置
CN106649749A (zh) 一种基于汉语音位特征的文本查重方法
Tedla et al. Tigrinya part-of-speech tagging with morphological patterns and the new nagaoka tigrinya corpus
Östling et al. The Helsinki neural machine translation system
Hämäläinen et al. Finding Sami cognates with a character-based NMT approach
Hossain et al. Towards Bengali word embedding: Corpus creation, intrinsic and extrinsic evaluations
Xu et al. Product feature mining: Semantic clues versus syntactic constituents
CN113343717A (zh) 一种基于翻译记忆库的神经机器翻译方法
Tosik et al. Word embeddings vs word types for sequence labeling: the curious case of cv parsing
Galinsky et al. Improving neural network models for natural language processing in russian with synonyms
Kammoun et al. ServOMap results for OAEI 2013.
Bungum et al. A survey of domain adaptation in machine translation: Towards a refinement of domain space
Nguyen et al. Korean morphological analysis for Korean-Vietnamese statistical machine translation
Parizi et al. Joint training for learning cross-lingual embeddings with sub-word information without parallel corpora
CN105653516B (zh) 平行语料对齐的方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant