CN112270200B - 一种文本信息的翻译方法、装置、电子设备和存储介质 - Google Patents
一种文本信息的翻译方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN112270200B CN112270200B CN202011254775.3A CN202011254775A CN112270200B CN 112270200 B CN112270200 B CN 112270200B CN 202011254775 A CN202011254775 A CN 202011254775A CN 112270200 B CN112270200 B CN 112270200B
- Authority
- CN
- China
- Prior art keywords
- translation
- translation model
- corpus
- basic
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013519 translation Methods 0.000 title claims abstract description 464
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000012549 training Methods 0.000 claims abstract description 92
- 238000012545 processing Methods 0.000 claims abstract description 43
- 238000007476 Maximum Likelihood Methods 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 125000004122 cyclic group Chemical group 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本公开实施例公开了一种文本信息的翻译方法、装置、电子设备和存储介质，该方法包括：根据获取到的并行语料对集合，对各初始翻译模型分别进行初始翻译训练，以获取初始训练完成的多个基础翻译模型；根据获取到的单语语料集合，对各基础翻译模型进行迭代训练，直至各基础翻译模型的输出结果之间的相似度符合预设相似阈值时，将当前各基础翻译模型作为增强翻译模型；通过各增强翻译模型，对待处理的文本信息进行翻译处理，以将文本信息翻译为目标语言文本。本公开实施例的技术方案，使得在缺少足够并行语料的情况下，仅根据少量的并行语料，依然可以通过单语语料建立语言翻译模型，在获取到大量并行语料的同时，提高了语言翻译模型的翻译准确性。
Description
技术领域
本公开实施例涉及机器语言处理技术，尤其涉及一种文本信息的翻译方法、装置、电子设备和存储介质。
背景技术
随着计算机技术的不断发展，多种多样的翻译软件出现在人们视野中，成为了人们获取外部信息的重要渠道。
现有的翻译软件，其语言翻译模型的建立，通常是基于大量的并行语料(例如，由中文文档和对应的英文文档组成的中英并行语料)的不断训练获取的，用于实现定向翻译(例如，中译英)。
但是，在实现本申请的过程中，发明人发现上述方式至少存在以下缺陷：获得大量的并行语料并不容易，特别是涉及小语种和特定领域(例如，中医)的并行语料获取难度极大，因此，在不能获取大量并行语料的时，建立的语言翻译模型，准确性极差，翻译效果不理想。
发明内容
本公开提供了一种文本信息的翻译方法、装置、设备和存储介质，以实现在并行语料对不足的情况下，获取语言翻译模型并提高文本信息的翻译准确性。
第一方面，本公开实施例提供了一种文本信息的翻译方法，包括：
根据获取到的并行语料对集合，对各初始翻译模型分别进行初始翻译训练，以获取初始训练完成的多个基础翻译模型；其中，各所述初始翻译模型基于神经网络构建，各所述初始翻译模型的网络结构和/或解码方向不同；
根据获取到的单语语料集合，对各所述基础翻译模型进行迭代训练，直至各所述基础翻译模型的输出结果之间的相似度符合预设相似阈值时，将当前各所述基础翻译模型作为增强翻译模型；
通过各所述增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本。
第二方面，本公开实施例提供了一种文本信息的翻译装置，包括：
基础翻译模型获取模块，用于根据获取到的并行语料对集合，对各初始翻译模型分别进行初始翻译训练，以获取初始训练完成的多个基础翻译模型；其中，各所述初始翻译模型基于神经网络构建，各所述初始翻译模型的网络结构和/或解码方向不同；
增强翻译模型获取模块，用于根据获取到的单语语料集合，对各所述基础翻译模型进行迭代训练，直至各所述基础翻译模型的输出结果之间的相似度符合预设相似阈值时，将当前各所述基础翻译模型作为增强翻译模型；
目标语言文本获取模块，用于通过各所述增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本。
第三方面，本公开实施例提供了一种电子设备，包括存储器、处理装置及存储在存储器上并可在处理装置上运行的计算机程序，处理装置执行程序时实现本公开任意实施例的文本信息的翻译方法。
第四方面，本公开实施例提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行本公开任意实施例的文本信息的翻译方法。
本公开实施例的技术方案，在获取到网络结构和/或解码方向不同的初始翻译模型后，通过并行语料对集合的初始训练获取多个基础翻译模型，再通过单语语料集合，对各基础翻译模型进行迭代训练后，得到增强翻译模型，进而通过增强翻译模型对待处理的文本信息进行翻译处理，使得在缺少足够并行语料的情况下，仅根据少量的并行语料，依然可以通过单语语料建立语言翻译模型，在获取到大量并行语料的同时，提高了语言翻译模型的翻译准确性。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。
图1是本公开实施例一中的一种文本信息的翻译方法的流程图；
图2是本公开实施例二中的一种文本信息的翻译方法的流程图；
图3是本公开实施例三中的一种文本信息的翻译装置的结构框图；
图4是本公开实施例四中的一种电子设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
实施例一
图1是本公开实施例一提供的一种文本信息的翻译方法的流程图，本实施例可适用于在缺少大量并行语料对的情况下，获取翻译模型并对文本信息进行翻译处理的情况，该方法可以由本公开实施例中的文本信息的翻译装置来执行，该装置可以通过软件和/或硬件实现，并集成在电子设备或服务器中，该方法具体包括如下步骤：
S110、根据获取到的并行语料对集合，对各初始翻译模型分别进行初始翻译训练，以获取初始训练完成的多个基础翻译模型；其中，各所述初始翻译模型基于神经网络构建，各所述初始翻译模型的网络结构和/或解码方向不同。
并行语料对集合包括至少一个并行语料对，并作为初始翻译模型的训练样本；并行语料对，是两个语种之间的对应语料，包括了源语言语料和目标语言语料，例如，中英并行语料对包括一个中文文本和一个对应的英文文本，如果翻译模型用于中译英操作，那么中文文本即为源语言语料，作为初始翻译模型的输入信息，英文文本即为目标语言语料，作为初始翻译模型的输出信息。各并行语料对均为相同语言类型的并行语料对，也即每个并行语料对的源语言相同，目标语言也相同；可选的，在本公开实施例中，对并行语料对中源语言语料和目标语言语料的语言类型均不作具体限定。
初始翻译模型是基于神经网络(Neural Networks，NNS)构建的数学模型，在预先建立的网络结构基础上，通过调整内部大量节点的连接关系，实现对信息的有效处理；在本公开实施例中，根据并行语料对的源语言语料与目标语言语料之间的对应关系，对初始翻译模型进行翻译训练，使之具备一定的翻译能力，并能够针对获取到的输入数据(即源语言语料)，给出对应的输出结果(即目标语言语料)；具体的，初始翻译模型针对输入的文本信息，提取文本特征并获取特征向量，通过对特征向量的识别，获取对应的输出结果；其中，文本特征是表示文本内容的基本单位，可以将文本信息中的字、词或短语作为文本特征，而特征向量则是文本特征量化表示的结果，通常为多维度的特征向量；不同类型的翻译模型具有不同的归纳偏差，为了获取到多样性的基础翻译模型，基于不同的网络结构和/或解码方向来构建初始翻译模型。
可选的，在本公开实施例中，所述初始翻译模型包括基于Transformer架构的神经网络模型、卷积神经网络模型和/或循环神经网络模型；所述解码方向包括从左向右解码和/或从右向左解码。循环神经网络(Recurrent Neural Network，RNN)，是以序列(sequence)数据为输入，在序列的演进方向进行递归(recursion)且所有节点按链式连接的递归神经网络(recursive neural network)，其特点在于将前后时刻输入的信息作为关联信息，保证了文本信息的内容连贯性；卷积神经网络(Convolutional Neural Networks，CNN)是深度学习(Deep Learning)中包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，其特点在于卷积运算的应用提高了文本特征的提取精度，池化层的应用则降低了文本特征的计算复杂度；Transformer架构是一种Attention(注意力)机制的Encoder(编码)-Decoder(解码)结构，包括多个相互堆叠的Encoder层和多个相互堆叠Decoder层，并通过与末层Decoder层连接的输出层输出结果，其特点在于将文本信息中各字符均看作等距离字符，而并非仅根据字符位置将字符位置相近的字符作为相关性字符，保证了每个字符的独立性。解码方向，是翻译模型进行解码操作时的翻译方向，可以针对句子中的每个字符按照从左向右的顺序解码，也可以按照从右向左的顺序解码。特别的，本公开实施例中，可以根据网络结构和解码方向构建六种初始翻译模型，即基于Transformer架构且解码方向为从左向右的初始翻译模型、基于Transformer架构且解码方向为从右向左的初始翻译模型、基于卷积神经网络且解码方向为从左向右的初始翻译模型、基于卷积神经网络且解码方向为从右向左的初始翻译模型、基于循环神经网络且解码方向为从左向右的初始翻译模型以及基于循环神经网络且解码方向为从右向左的初始翻译模型。
可选的，在本公开实施例中，所述根据获取到的并行语料对集合，对各初始翻译模型分别进行初始翻译训练，包括：根据获取到的并行语料对集合，对各初始翻译模型分别进行最大似然估计训练。最大似然估计(Maximum Likelihood Estimation，MLE)，是一种利用已知的样本结果信息，反向推导最具有可能(即最大概率)导致样本结果出现的模型参数的方法；在本公开实施例中，最大似然估计训练是将并行语料对集合中的各目标语言语料作为已知的样本结果，各初始翻译模型根据对应的源语言语料，估算自身网络参数的过程；将自身网络参数调整为计算后的数值，即获取到了训练完成的基础翻译模型。
S120、根据获取到的单语语料集合，对各所述基础翻译模型进行迭代训练，直至各所述基础翻译模型的输出结果之间的相似度符合预设相似阈值时，将当前各所述基础翻译模型作为增强翻译模型。
单语语料集合中单语语料的语言类型，与并行语料对中源语言语料的语言类型相同，也即单语语料集合作为各基础翻译模型的输入信息；特别的，为了获取针对特定领域(例如，中医领域)的增强翻译模型，但又无法获取到该特定领域内足够数量的并行语料对时，可以使用通用领域的并行语料对集合作为初始翻译训练的样本，以获取具备通用领域翻译能力的基础翻译模型，再使用该特定领域的单语语料对各基础翻译模型进行迭代训练，获取到该特定领域内大量并行语料对的同时，使得获取到的增强翻译模型在该特定领域内具备较好的翻译效果。
增强翻译模型可以基于最大期望算法，通过对各基础翻译模型的迭代训练获取；其中，最大期望算法(Expectation-Maximization algorithm，EM)是通过迭代进行最大似然估计的过程；针对单语语料集合，各基础翻译模型通过估算目标翻译概率的期望值，生成目标翻译集合，进而再将单语语料集合和目标翻译集合作为训练样本，对各基础翻译模型进行最大似然估计训练。
可选的，在本公开实施例中，所述根据获取到的单语语料集合，通过最大期望算法，对各所述基础翻译模型进行迭代训练，包括：将获取到的单语语料集合分别输入至各所述基础翻译模型，以通过各所述基础翻译模型获取对应的翻译语料集合，并根据所述单语语料集合和各所述翻译语料集合，构建组合语料对集合；根据所述组合语料对集合，对各所述基础翻译模型进行迭代训练。。相比较单语语料，并行语料对的获取较为困难，尤其涉及小语种的并行语料对，很难获取到两种语言匹配的文本内容，因此，在获取到大量的单语语料后，可以通过上述技术方案获取到的各基础翻译模型，分别生成对应的翻译语料，再进行组合以生成组合语料对集合，进而扩展了并行语料对的数量。
可选的，在本公开实施例中，所述根据所述组合语料对集合，对各所述基础翻译模型进行迭代训练，包括：根据所述组合语料对集合，对各所述基础翻译模型进行最大似然估计训练。由于对数似然与最大似然估计在数学上具有相同的解，而独立分布的样本在似然函数上具有连乘积的关系，对数似然求解相比于最大似然估计求解，运算过程更加简单，因此，可以通过对数似然来获取最大似然估计的最优解，以降低计算复杂度。
可选的，在本公开实施例中，在根据所述组合语料对集合，对各所述基础翻译模型进行最大似然估计训练后，还包括：判断各所述基础翻译模型的输出结果之间的相似度是否符合预设相似阈值；若各所述基础翻译模型的输出结果之间的相似度不符合预设相似阈值，则将所述单语语料集合再次输入至各所述基础翻译模型，以通过各所述基础翻译模型再次获取对应的翻译语料集合，并根据所述单语语料集合和再次获取的各所述翻译语料集合，再次构建组合语料对集合，并根据再次构建的所述组合语料对集合，对各所述基础翻译模型进行最大似然估计训练。将各基础翻译模型的输出结果之间的相似度作为是否训练完成的评价标准；如果未训练完成，则通过上述技术方案对各基础翻译模型继续进行训练；如果训练完成，则将当前的基础翻译模型作为增强翻译模型。
特别的，由于增强翻译模型对输入的文本信息进行翻译处理后，在每个输出位置都会预测可能生成哪些字符以及生成这些字符的概率，进而形成各个字符的概率分布，因此，各基础翻译模型的输出结果之间的相似度，可以通过比较相同输出位置的字符概率分布获取，例如，两个基础翻译模型针对同一个源语言语料进行翻译，在每个字符位置预测生成的字符完全相同，而各字符之间的概率差值均小于预设相似阈值，或各字符之间的概率差值的平均值均小于预设相似阈值，则表明上述两个基础翻译模型已训练完成。
可选的，在本公开实施例中，所述直至各所述基础翻译模型的输出结果之间的相似度符合预设相似阈值时，将当前各所述基础翻译模型作为增强翻译模型，包括：获取各所述基础翻译模型的输出结果之间的相对熵；若任意两个所述基础翻译模型的输出结果之间的相对熵均小于等于预设相对熵阈值，则将当前各所述基础翻译模型作为增强翻译模型。相对熵(Relative Entropy)，即KL散度(Kullback-Leibler divergence)，其表示了两个概率分布(probability distribution)间差异的非对称性度量，也即两个概率分布的信息熵(Shannon entropy)的差值，该差值越小表示两个基础翻译模型获取到的翻译结果越相似；如果任意两个基础翻译模型的输出结果中，各输出位置的相对熵均小于预设相对熵阈值，或各输出位置的相对熵的平均值小于话相对熵阈值，则表明上述两个基础翻译模型的输出结果相似。
S130、通过各所述增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本。
在上述技术方案的基础上，获取到了多个增强翻译模型，相比于通常仅获取一个特定的翻译模型，通过多数表决的方式可以做出更好的翻译预测，因此，可以将多个增强翻译模型进行组合使用，每个增强翻译模型分别进行文本翻译，再根据各自的输出结果确定最终的翻译版本。
除了将多个增强翻译模型进行组合使用外，还可以通过测试信息对各增强翻译模型进行测试，以验证翻译效果，并选择其中翻译效果最好的增强翻译模型作为最终翻译模型。具体的，所述通过各所述增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本，包括：将测试语料对集合输入至各所述增强翻译模型中，以对各所述增强翻译模型进行翻译测试，并根据测试结果在各所述增强翻译模型中获取目标增强翻译模型；通过所述目标增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本。在将测试语料对中的源语言语料输入至各增强翻译模型后，根据各增强翻译模型输出的预测结果，与测试语料对中的目标语言语料进行比对，相似性最高的作为目标增强翻译模型；特别的，为了获取到针对特定领域的目标增强翻译模型，测试语料对集合可以选择该特定领域内的文本信息，以测试各增强翻译模型对特定领域的文本信息的翻译效果。
本公开实施例的技术方案，在获取到网络结构和/或解码方向不同的初始翻译模型后，通过并行语料对集合的初始训练获取多个基础翻译模型，再通过单语语料集合，对各基础翻译模型进行迭代训练后，得到增强翻译模型，进而通过增强翻译模型对待处理的文本信息进行翻译处理，使得在缺少足够并行语料的情况下，仅根据少量的并行语料，依然可以通过单语语料建立语言翻译模型，在获取到大量并行语料的同时，提高了语言翻译模型的翻译准确性。
实施例二
图2是本公开实施例二提供的一种文本信息的翻译方法的流程图，本实施例以上述实施例为基础进行具体化，在本实施例中，多个增强翻译模型分别进行文本翻译，再根据各自的输出结果获取最终的翻译文本，相应的，本实施例的方法具体包括如下步骤：
S210、根据获取到的并行语料对集合，对各初始翻译模型分别进行初始翻译训练，以获取初始训练完成的多个基础翻译模型；其中，各所述初始翻译模型基于神经网络构建，各所述初始翻译模型的网络结构和/或解码方向不同。
S220、根据获取到的单语语料集合，对各所述基础翻译模型进行迭代训练，直至各所述基础翻译模型的输出结果之间的相似度符合预设相似阈值时，将当前各所述基础翻译模型作为增强翻译模型。
S230、通过各所述增强翻译模型，分别对待处理的文本信息进行翻译处理，以获取各输出位置的字符概率分布，并将相同输出位置的各所述字符概率分布进行累加，将累加结果最高的字符作为对应输出位置的目标字符。
增强翻译模型对输入的文本信息进行翻译处理后，在每个输出位置都会预测可能生成哪些字符以及生成这些字符的概率，进而形成各个字符的概率分布；以获取到三个用于英译汉的增强翻译模型为例，增强翻译模型A在输出的第1个字符位置预测会生成“白”、“亮”和“光”，概率分别为0.7、0.2和0.1；增强翻译模型B在输出的第1个字符位置预测会生成“白”、“亮”和“明”，概率分别为0.6、0.3和0.1；增强翻译模型C在输出的第1个字符位置预测会生成“亮”、“白”和“明”，概率分别为0.5、0.4和0.1；将上述三个增强翻译模型在第1个字符位置的概率分布进行累加，“白”、“亮”、“明”和“光”的累加结果分别为1.7、1.0、0.2和0.1，显然将累加结果最高的“白”作为第1个字符位置的目标字符；其它输出位置的目标字符也通过上述同样的方式获取，即获取到与待处理的文本信息匹配的目标语言文本。
还可以通过各所述增强翻译模型，分别对待处理的文本信息进行翻译处理，以获取各输出位置对应的预翻译字符，并在相同输出位置的各所述预翻译字符中，将出现次数最多的预翻译字符作为对应输出位置的目标字符。具体的，各增强翻译模型对输入的文本信息进行翻译处理后，在每个输出位置根据字符概率分布，都会预测最有可能生成(即概率最大)的字符，即预翻译字符，进而在相同输出位置的各个预翻译字符中选取出现次数最多的预翻译字符作为目标字符；以上述技术方案获取到的三个用于英译汉的增强翻译模型为例，增强翻译模型A在输出的第1个字符位置的预翻译字符为“白”，增强翻译模型B在输出的第1个字符位置的预翻译字符为“白”，增强翻译模型C在输出的第1个字符位置的预翻译字符为“亮”，由此“白”出现次数最多，因此，将“白”作为第1个字符位置的目标字符；其它输出位置的目标字符也通过上述同样的方式获取，即获取到与待处理的文本信息匹配的目标语言文本。特别的，还可以为字符概率分布以及预翻译字符，分别设定不同的权重系数，将各输出位置的字符概率分布的累加值以及预翻译字符的出现次数，分别乘以各自的权重系数，再进行求和，并将求和结果中数值最高的字符作为该输出位置的目标字符。
本公开实施例的技术方案，将获取到的多个增强翻译模型进行组合使用，对待处理的文本信息分别进行文本翻译后，根据各自的输出结果综合获取最终的翻译文本，多个增强翻译模型的综合使用，给出了更好的翻译预测，提升了文本信息的翻译效果。
实施例三
图3是本公开实施例三提供的一种文本信息的翻译装置的结构框图，具体包括：基础翻译模型获取模块310、增强翻译模型获取模块320和目标语言文本获取模块330。
基础翻译模型获取模块310，用于根据获取到的并行语料对集合，对各初始翻译模型分别进行初始翻译训练，以获取初始训练完成的多个基础翻译模型；其中，各所述初始翻译模型基于神经网络构建，各所述初始翻译模型的网络结构和/或解码方向不同；
增强翻译模型获取模块320，用于根据获取到的单语语料集合，对各所述基础翻译模型进行迭代训练，直至各所述基础翻译模型的输出结果之间的相似度符合预设相似阈值时，将当前各所述基础翻译模型作为增强翻译模型；
目标语言文本获取模块330，用于通过各所述增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本。
本公开实施例的技术方案，在获取到网络结构和/或解码方向不同的初始翻译模型后，通过并行语料对集合的初始训练获取多个基础翻译模型，再通过单语语料集合，对各基础翻译模型进行迭代训练后，得到增强翻译模型，进而通过增强翻译模型对待处理的文本信息进行翻译处理，使得在缺少足够并行语料的情况下，仅根据少量的并行语料，依然可以通过单语语料建立语言翻译模型，在获取到大量并行语料的同时，提高了语言翻译模型的翻译准确性。
可选的，在上述技术方案的基础上，基础翻译模型获取模块310，具体用于根据获取到的并行语料对集合，对各初始翻译模型分别进行最大似然估计训练。
可选的，在上述技术方案的基础上，所述初始翻译模型包括基于Transformer架构的神经网络模型、卷积神经网络模型和/或循环神经网络模型；所述解码方向包括从左向右解码和/或从右向左解码。
可选的，在上述技术方案的基础上，增强翻译模型获取模块320，具体包括：
组合语料对集合获取单元，用于将获取到的单语语料集合分别输入至各所述基础翻译模型，以通过各所述基础翻译模型获取对应的翻译语料集合，并根据所述单语语料集合和各所述翻译语料集合，构建组合语料对集合；
训练执行单元，用于根据所述组合语料对集合，对各所述基础翻译模型进行迭代训练。
可选的，在上述技术方案的基础上，训练执行单元，具体用于根据所述组合语料对集合，对各所述基础翻译模型进行最大似然估计训练。
可选的，在上述技术方案的基础上，增强翻译模型获取模块320，具体包括：
判断逻辑执行单元，用于判断各所述基础翻译模型的输出结果之间的相似度是否符合预设相似阈值；
判断结果执行单元，用于若各所述基础翻译模型的输出结果之间的相似度不符合预设相似阈值，则通过组合语料对集合获取单元，将所述单语语料集合再次输入至各所述基础翻译模型，以通过各所述基础翻译模型再次获取对应的翻译语料集合，并根据所述单语语料集合和再次获取的各所述翻译语料集合，再次构建组合语料对集合，并通过训练执行单元，根据再次构建的所述组合语料对集合，对各所述基础翻译模型进行最大似然估计训练。
可选的，在上述技术方案的基础上，增强翻译模型获取模块320，还包括：
相对熵获取单元，用于获取各所述基础翻译模型的输出结果之间的相对熵；
增强翻译模型获取单元，用于若任意两个所述基础翻译模型的输出结果之间的相对熵均小于等于预设相对熵阈值，则将当前各所述基础翻译模型作为增强翻译模型。
可选的，在上述技术方案的基础上，目标语言文本获取模块330，具体用于通过各所述增强翻译模型，分别对待处理的文本信息进行翻译处理，以获取各输出位置的字符概率分布，并将相同输出位置的各所述字符概率分布进行累加，将累加结果最高的字符作为对应输出位置的目标字符；和/或通过各所述增强翻译模型，分别对待处理的文本信息进行翻译处理，以获取各输出位置的预翻译字符，并在相同输出位置的各所述预翻译字符中，将出现次数最多的预翻译字符作为对应输出位置的目标字符。
可选的，在上述技术方案的基础上，目标语言文本获取模块330，具体包括：
目标增强翻译模型获取单元，用于将测试语料对集合输入至各所述增强翻译模型中，以对各所述增强翻译模型进行翻译测试，并根据测试结果在各所述增强翻译模型中获取目标增强翻译模型；
目标语言文本获取单元，用于通过所述目标增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本。
上述装置可执行本公开任意实施例所提供的文本信息的翻译方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本公开任意实施例提供的方法。
实施例四
图4示出了适于用来实现本公开实施例的电子设备400的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图4所示，电子设备400可以包括处理装置(例如中央处理器、图形处理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储装置408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有电子设备400操作所需的各种程序和数据。处理装置401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备400与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者从存储装置408被安装，或者从ROM 402被安装。在该计算机程序被处理装置401执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：根据获取到的并行语料对集合，对各初始翻译模型分别进行初始翻译训练，以获取初始训练完成的多个基础翻译模型；其中，各所述初始翻译模型基于神经网络构建，各所述初始翻译模型的网络结构和/或解码方向不同；根据获取到的单语语料集合，对各所述基础翻译模型进行迭代训练，直至各所述基础翻译模型的输出结果之间的相似度符合预设相似阈值时，将当前各所述基础翻译模型作为增强翻译模型；通过各所述增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，目标语言文本获取模块，可以被描述为“用于通过各所述增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本的模块”。本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，【示例1】提供了一种文本信息的翻译方法，包括：
根据获取到的并行语料对集合，对各初始翻译模型分别进行初始翻译训练，以获取初始训练完成的多个基础翻译模型；其中，各所述初始翻译模型基于神经网络构建，各所述初始翻译模型的网络结构和/或解码方向不同；
根据获取到的单语语料集合，对各所述基础翻译模型进行迭代训练，直至各所述基础翻译模型的输出结果之间的相似度符合预设相似阈值时，将当前各所述基础翻译模型作为增强翻译模型；
通过各所述增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本。
根据本公开的一个或多个实施例，【示例2】提供了示例1的方法，还包括：
根据获取到的并行语料对集合，对各初始翻译模型分别进行最大似然估计训练。
根据本公开的一个或多个实施例，【示例3】提供了示例1的方法，还包括：
所述初始翻译模型包括基于Transformer架构的神经网络模型、卷积神经网络模型和/或循环神经网络模型；所述解码方向包括从左向右解码和/或从右向左解码。
根据本公开的一个或多个实施例，【示例4】提供了示例1的方法，还包括：
将获取到的单语语料集合分别输入至各所述基础翻译模型，以通过各所述基础翻译模型获取对应的翻译语料集合，并根据所述单语语料集合和各所述翻译语料集合，构建组合语料对集合；
根据所述组合语料对集合，对各所述基础翻译模型进行迭代训练。
根据本公开的一个或多个实施例，【示例5】提供了示例4的方法，包括：
根据所述组合语料对集合，对各所述基础翻译模型进行对数似然训练。
根据本公开的一个或多个实施例，【示例6】提供了示例5的方法，还包括：
判断各所述基础翻译模型的输出结果之间的相似度是否符合预设相似阈值；
若各所述基础翻译模型的输出结果之间的相似度不符合预设相似阈值，则将所述单语语料集合再次输入至各所述基础翻译模型，以通过各所述基础翻译模型再次获取对应的翻译语料集合，并根据所述单语语料集合和再次获取的各所述翻译语料集合，再次构建组合语料对集合，并根据再次构建的所述组合语料对集合，对各所述基础翻译模型进行最大似然估计训练。
根据本公开的一个或多个实施例，【示例7】提供了示例1的方法，还包括：
获取各所述基础翻译模型的输出结果之间的相对熵；
若任意两个所述基础翻译模型的输出结果之间的相对熵均小于等于预设相对熵阈值，则将当前各所述基础翻译模型作为增强翻译模型。
根据本公开的一个或多个实施例，【示例8】提供了示例1-7中任一所述的方法，还包括：
通过各所述增强翻译模型，分别对待处理的文本信息进行翻译处理，以获取各输出位置的字符概率分布，并将相同输出位置的各所述字符概率分布进行累加，将累加结果最高的字符作为对应输出位置的目标字符；和/或
通过各所述增强翻译模型，分别对待处理的文本信息进行翻译处理，以获取各输出位置的预翻译字符，并在相同输出位置的各所述预翻译字符中，将出现次数最多的预翻译字符作为对应输出位置的目标字符。
根据本公开的一个或多个实施例，【示例9】提供了示例1-7中任一所述的方法，还包括：
将测试语料对集合输入至各所述增强翻译模型中，以对各所述增强翻译模型进行翻译测试，并根据测试结果在各所述增强翻译模型中获取目标增强翻译模型；
通过所述目标增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本。
根据本公开的一个或多个实施例，【示例10】提供了一种文本信息的翻译装置，包括：
基础翻译模型获取模块，用于根据获取到的并行语料对集合，对各初始翻译模型分别进行初始翻译训练，以获取初始训练完成的多个基础翻译模型；其中，各所述初始翻译模型基于神经网络构建，各所述初始翻译模型的网络结构和/或解码方向不同；
增强翻译模型获取模块，用于根据获取到的单语语料集合，对各所述基础翻译模型进行迭代训练，直至各所述基础翻译模型的输出结果之间的相似度符合预设相似阈值时，将当前各所述基础翻译模型作为增强翻译模型；
目标语言文本获取模块，用于通过各所述增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本。
根据本公开的一个或多个实施例，【示例11】提供了示例10的装置，基础翻译模型获取模块，具体用于根据获取到的并行语料对集合，对各初始翻译模型分别进行最大似然估计训练。
根据本公开的一个或多个实施例，【示例12】提供了示例10的装置，所述初始翻译模型包括基于Transformer架构的神经网络模型、卷积神经网络模型和/或循环神经网络模型；所述解码方向包括从左向右解码和/或从右向左解码。
根据本公开的一个或多个实施例，【示例13】提供了示例10的装置，增强翻译模型获取模块，具体包括：
组合语料对集合获取单元，用于将获取到的单语语料集合分别输入至各所述基础翻译模型，以通过各所述基础翻译模型获取对应的翻译语料集合，并根据所述单语语料集合和各所述翻译语料集合，构建组合语料对集合；
训练执行单元，用于根据所述组合语料对集合，对各所述基础翻译模型进行迭代训练。
根据本公开的一个或多个实施例，【示例14】提供了示例13的装置，训练执行单元，具体用于根据所述组合语料对集合，对各所述基础翻译模型进行最大似然估计训练。
根据本公开的一个或多个实施例，【示例15】提供了示例14的装置，增强翻译模型获取模块，具体还包括：
判断逻辑执行单元，用于判断各所述基础翻译模型的输出结果之间的相似度是否符合预设相似阈值；
判断结果执行单元，用于若各所述基础翻译模型的输出结果之间的相似度不符合预设相似阈值，则通过组合语料对集合获取单元，将所述单语语料集合再次输入至各所述基础翻译模型，以通过各所述基础翻译模型再次获取对应的翻译语料集合，并根据所述单语语料集合和再次获取的各所述翻译语料集合，再次构建组合语料对集合，并通过训练执行单元，根据再次构建的所述组合语料对集合，对各所述基础翻译模型进行最大似然估计训练。
根据本公开的一个或多个实施例，【示例16】提供了示例10的装置，增强翻译模型获取模块，具体包括：
相对熵获取单元，用于获取各所述基础翻译模型的输出结果之间的相对熵；
增强翻译模型获取单元，用于若任意两个所述基础翻译模型的输出结果之间的相对熵均小于等于预设相对熵阈值，则将当前各所述基础翻译模型作为增强翻译模型。
根据本公开的一个或多个实施例，【示例17】提供了示例10-16任一所述的装置，还包括：
目标语言文本获取模块，具体用于通过各所述增强翻译模型，分别对待处理的文本信息进行翻译处理，以获取各输出位置的字符概率分布，并将相同输出位置的各所述字符概率分布进行累加，将累加结果最高的字符作为对应输出位置的目标字符；和/或通过各所述增强翻译模型，分别对待处理的文本信息进行翻译处理，以获取各输出位置的预翻译字符，并在相同输出位置的各所述预翻译字符中，将出现次数最多的预翻译字符作为对应输出位置的目标字符。
根据本公开的一个或多个实施例，【示例18】提供了示例10-16任一所述的装置，目标语言文本获取模块，具体包括：
目标增强翻译模型获取单元，用于将测试语料对集合输入至各所述增强翻译模型中，以对各所述增强翻译模型进行翻译测试，并根据测试结果在各所述增强翻译模型中获取目标增强翻译模型；
目标语言文本获取单元，用于通过所述目标增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本。
根据本公开的一个或多个实施例，【示例19】提供了一种电子设备，包括存储器、处理装置及存储在存储器上并可在处理装置上运行的计算机程序，处理装置执行程序时实现如示例1-9中任一所述的文本信息的翻译方法。
根据本公开的一个或多个实施例，【示例20】提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行如示例1-9中任一所述的文本信息的翻译方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。
Claims (14)
1.一种文本信息的翻译方法，其特征在于，包括：
根据获取到的并行语料对集合，对各初始翻译模型分别进行初始翻译训练，以获取初始训练完成的多个基础翻译模型；其中，各所述初始翻译模型基于神经网络构建，各所述初始翻译模型的网络结构和/或解码方向不同；
根据获取到的单语语料集合，对各所述基础翻译模型进行迭代训练，直至各所述基础翻译模型的输出结果之间的相似度符合预设相似阈值时，将当前各所述基础翻译模型作为增强翻译模型；
通过各所述增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本；
所述根据获取到的单语语料集合，对各所述基础翻译模型进行迭代训练，包括：
将获取到的单语语料集合分别输入至各所述基础翻译模型，以通过各所述基础翻译模型获取对应的翻译语料集合，并根据所述单语语料集合和各所述翻译语料集合，构建组合语料对集合；
根据所述组合语料对集合，对各所述基础翻译模型进行迭代训练。
2.根据权利要求1所述的方法，其特征在于，所述根据获取到的并行语料对集合，对各初始翻译模型分别进行初始翻译训练，包括：
根据获取到的并行语料对集合，对各初始翻译模型分别进行最大似然估计训练。
3.根据权利要求1所述的方法，其特征在于，所述初始翻译模型包括基于Transformer架构的神经网络模型、卷积神经网络模型和/或循环神经网络模型；所述解码方向包括从左向右解码和/或从右向左解码。
4.根据权利要求1所述的方法，其特征在于，所述根据所述组合语料对集合，对各所述基础翻译模型进行迭代训练，包括：
根据所述组合语料对集合，对各所述基础翻译模型进行最大似然估计训练。
5.根据权利要求4所述的方法，其特征在于，在根据所述组合语料对集合，对各所述基础翻译模型进行最大似然估计训练后，还包括：
判断各所述基础翻译模型的输出结果之间的相似度是否符合预设相似阈值；
若各所述基础翻译模型的输出结果之间的相似度不符合预设相似阈值，则将所述单语语料集合再次输入至各所述基础翻译模型，以通过各所述基础翻译模型再次获取对应的翻译语料集合，并根据所述单语语料集合和再次获取的各所述翻译语料集合，再次构建组合语料对集合，并根据再次构建的所述组合语料对集合，对各所述基础翻译模型进行最大似然估计训练。
6.根据权利要求1所述的方法，其特征在于，所述直至各所述基础翻译模型的输出结果之间的相似度符合预设相似阈值时，将当前各所述基础翻译模型作为增强翻译模型，包括：
获取各所述基础翻译模型的输出结果之间的相对熵；
若任意两个所述基础翻译模型的输出结果之间的相对熵均小于等于预设相对熵阈值，则将当前各所述基础翻译模型作为增强翻译模型。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述通过各所述增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本，包括：
通过各所述增强翻译模型，分别对待处理的文本信息进行翻译处理，以获取各输出位置的字符概率分布，并将相同输出位置的各所述字符概率分布进行累加，将累加结果最高的字符作为对应输出位置的目标字符；和/或
通过各所述增强翻译模型，分别对待处理的文本信息进行翻译处理，以获取各输出位置的预翻译字符，并在相同输出位置的各所述预翻译字符中，将出现次数最多的预翻译字符作为对应输出位置的目标字符。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述通过各所述增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本，包括：
将测试语料对集合输入至各所述增强翻译模型中，以对各所述增强翻译模型进行翻译测试，并根据测试结果在各所述增强翻译模型中获取目标增强翻译模型；
通过所述目标增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本。
9.一种文本信息的翻译装置，其特征在于，包括：
基础翻译模型获取模块，用于根据获取到的并行语料对集合，对各初始翻译模型分别进行初始翻译训练，以获取初始训练完成的多个基础翻译模型；其中，各所述初始翻译模型基于神经网络构建，各所述初始翻译模型的网络结构和/或解码方向不同；
增强翻译模型获取模块，用于根据获取到的单语语料集合，对各所述基础翻译模型进行迭代训练，直至各所述基础翻译模型的输出结果之间的相似度符合预设相似阈值时，将当前各所述基础翻译模型作为增强翻译模型；
目标语言文本获取模块，用于通过各所述增强翻译模型，对待处理的文本信息进行翻译处理，以将所述文本信息翻译为目标语言文本；
增强翻译模型获取模块，具体包括：
组合语料对集合获取单元，用于将获取到的单语语料集合分别输入至各所述基础翻译模型，以通过各所述基础翻译模型获取对应的翻译语料集合，并根据所述单语语料集合和各所述翻译语料集合，构建组合语料对集合；
训练执行单元，用于根据所述组合语料对集合，对各所述基础翻译模型进行迭代训练。
10.根据权利要求9所述的装置，其特征在于，所述基础翻译模型获取模块具体用于根据获取到的并行语料对集合，对各初始翻译模型分别进行最大似然估计训练。
11.根据权利要求9所述的装置，其特征在于，所述初始翻译模型包括基于Transformer架构的神经网络模型、卷积神经网络模型和/或循环神经网络模型；所述解码方向包括从左向右解码和/或从右向左解码。
12.根据权利要求9所述的装置，其特征在于，所述增强翻译模型获取模块，包括：
组合语料对集合获取单元，用于将获取到的单语语料集合分别输入至各所述基础翻译模型，以通过各所述基础翻译模型获取对应的翻译语料集合，并根据所述单语语料集合和各所述翻译语料集合，构建组合语料对集合；
训练执行单元，用于根据所述组合语料对集合，对各所述基础翻译模型进行迭代训练。
13.一种电子设备，包括存储器、处理装置及存储在存储器上并可在处理装置上运行的计算机程序，其特征在于，所述处理装置执行所述程序时实现如权利要求1-8中任一所述的文本信息的翻译方法。
14.一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-8中任一所述的文本信息的翻译方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011254775.3A CN112270200B (zh) | 2020-11-11 | 2020-11-11 | 一种文本信息的翻译方法、装置、电子设备和存储介质 |
| PCT/CN2021/128071 WO2022100481A1 (zh) | 2020-11-11 | 2021-11-02 | 一种文本信息的翻译方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011254775.3A CN112270200B (zh) | 2020-11-11 | 2020-11-11 | 一种文本信息的翻译方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112270200A CN112270200A (zh) | 2021-01-26 |
| CN112270200B true CN112270200B (zh) | 2023-10-27 |
Family
ID=74339884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011254775.3A Active CN112270200B (zh) | 2020-11-11 | 2020-11-11 | 一种文本信息的翻译方法、装置、电子设备和存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112270200B (zh) |
| WO (1) | WO2022100481A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112270200B (zh) * | 2020-11-11 | 2023-10-27 | 北京有竹居网络技术有限公司 | 一种文本信息的翻译方法、装置、电子设备和存储介质 |
| CN113204977B (zh) * | 2021-04-29 | 2023-09-26 | 北京有竹居网络技术有限公司 | 信息翻译方法、装置、设备和存储介质 |
| CN113312451B (zh) * | 2021-06-15 | 2023-06-23 | 北京百度网讯科技有限公司 | 文本标签确定方法和装置 |
| CN114757214B (zh) * | 2022-05-12 | 2023-01-31 | 北京百度网讯科技有限公司 | 用于优化翻译模型的样本语料的选取方法、相关装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961093A (zh) * | 2019-03-07 | 2019-07-02 | 北京工业大学 | 一种基于众智集成学习的图像分类方法 |
| CN111008533A (zh) * | 2019-12-09 | 2020-04-14 | 北京字节跳动网络技术有限公司 | 一种翻译模型的获取方法、装置、设备和存储介质 |
| CN111325038A (zh) * | 2020-02-03 | 2020-06-23 | 苏州交驰人工智能研究院有限公司 | 翻译训练数据生成方法、装置、计算机设备及存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102449842B1 (ko) * | 2017-11-30 | 2022-09-30 | 삼성전자주식회사 | 언어 모델 학습 방법 및 이를 사용하는 장치 |
| CN109492233B (zh) * | 2018-11-14 | 2023-10-17 | 北京捷通华声科技股份有限公司 | 一种机器翻译方法和装置 |
| CN112270200B (zh) * | 2020-11-11 | 2023-10-27 | 北京有竹居网络技术有限公司 | 一种文本信息的翻译方法、装置、电子设备和存储介质 |
-
2020
- 2020-11-11 CN CN202011254775.3A patent/CN112270200B/zh active Active
-
2021
- 2021-11-02 WO PCT/CN2021/128071 patent/WO2022100481A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961093A (zh) * | 2019-03-07 | 2019-07-02 | 北京工业大学 | 一种基于众智集成学习的图像分类方法 |
| CN111008533A (zh) * | 2019-12-09 | 2020-04-14 | 北京字节跳动网络技术有限公司 | 一种翻译模型的获取方法、装置、设备和存储介质 |
| CN111325038A (zh) * | 2020-02-03 | 2020-06-23 | 苏州交驰人工智能研究院有限公司 | 翻译训练数据生成方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112270200A (zh) | 2021-01-26 |
| WO2022100481A1 (zh) | 2022-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112270200B (zh) | 一种文本信息的翻译方法、装置、电子设备和存储介质 | |
| CN109902186B (zh) | 用于生成神经网络的方法和装置 | |
| CN111008533B (zh) | 一种翻译模型的获取方法、装置、设备和存储介质 | |
| CN110413812B (zh) | 神经网络模型的训练方法、装置、电子设备及存储介质 | |
| CN111046677B (zh) | 一种翻译模型的获取方法、装置、设备和存储介质 | |
| CN109558605B (zh) | 用于翻译语句的方法和装置 | |
| CN113436620B (zh) | 语音识别模型的训练方法、语音识别方法、装置、介质及设备 | |
| CN113327599B (zh) | 语音识别方法、装置、介质及电子设备 | |
| CN112883968B (zh) | 图像字符识别方法、装置、介质及电子设备 | |
| CN114582329A (zh) | 语音识别方法、装置、计算机可读介质及电子设备 | |
| CN112650841A (zh) | 信息处理方法、装置和电子设备 | |
| CN111915480A (zh) | 生成特征提取网络的方法、装置、设备和计算机可读介质 | |
| US20240078385A1 (en) | Method and apparatus for generating text | |
| CN115908640A (zh) | 生成图像的方法、装置、可读介质及电子设备 | |
| Huai et al. | Zerobn: Learning compact neural networks for latency-critical edge systems | |
| CN116166271A (zh) | 代码生成方法、装置、存储介质及电子设备 | |
| CN110009101B (zh) | 用于生成量化神经网络的方法和装置 | |
| CN113591490B (zh) | 信息处理方法、装置和电子设备 | |
| CN111339789A (zh) | 一种翻译模型训练方法、装置、电子设备及存储介质 | |
| WO2022012178A1 (zh) | 用于生成目标函数的方法、装置、电子设备和计算机可读介质 | |
| CN111898338B (zh) | 文本生成方法、装置和电子设备 | |
| CN110750994A (zh) | 一种实体关系抽取方法、装置、电子设备及存储介质 | |
| CN115640815A (zh) | 翻译方法、装置、可读介质及电子设备 | |
| CN116108810A (zh) | 文本数据增强方法及装置 | |
| CN111581455B (zh) | 文本生成模型的生成方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |