CN110334360A - 机器翻译方法及装置、电子设备及存储介质 - Google Patents

机器翻译方法及装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110334360A
CN110334360A CN201910611919.7A CN201910611919A CN110334360A CN 110334360 A CN110334360 A CN 110334360A CN 201910611919 A CN201910611919 A CN 201910611919A CN 110334360 A CN110334360 A CN 110334360A
Authority
CN
China
Prior art keywords
translated
sentence
word
training
translation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910611919.7A
Other languages
English (en)
Other versions
CN110334360B (zh
Inventor
谢军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910611919.7A priority Critical patent/CN110334360B/zh
Publication of CN110334360A publication Critical patent/CN110334360A/zh
Priority to PCT/CN2020/096074 priority patent/WO2021004232A1/zh
Application granted granted Critical
Publication of CN110334360B publication Critical patent/CN110334360B/zh
Priority to US17/403,857 priority patent/US11995415B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/45—Example-based machine translation; Alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本发明实施例公开了一种机器翻译方法及装置、电子设备及存储介质，在该方法中，在接收待翻译语句后，调用训练得到的机器翻译模型，该机器翻译模型包括分块模型和翻译模型，然后基于分块模型，根据待翻译词的词向量，对待翻译语句进行分块得到待翻译块，最后基于翻译模型以及待翻译块，对待翻译语句进行翻译得到翻译结果；在本发明中，由于分块模型是根据词向量对待翻译语句进行分块得到待翻译块的，这样就可以将待翻译语句划分为更小的待翻译块，进而翻译模型基于这些待翻译块进行翻译时，各待翻译块对应的翻译结果更准确，将这些待翻译块对应的翻译结果进行组合，得到整个待翻译语句的翻译结果也更准确，提高了机器翻译的准确度。

Description

机器翻译方法及装置、电子设备及存储介质
技术领域
本发明涉及语言处理领域，具体涉及一种机器翻译方法及装置、电子设备及存储介质。
背景技术
自然语言处理是计算机学科人工智能的一个重要研究方向。它研究如何使得人与计算机之间能够使用自然语言进行有效通信。它是一门融语言学、计算机科学、数学于一体的学科，其中，神经机器翻译是一个很重要的任务。
当前机器翻译方法中，为了提高翻译准确度，根据标点符号将待翻译语句划分为多个子句，并基于这些子句进行翻译；但是这种方式在子句较长时，依然无法准确翻译。
即当前机器翻译方法仍然存在不足。
发明内容
本发明实施例提供一种机器翻译方法及装置、电子设备及存储介质，以提高机器翻译的准确度。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例提供一种机器翻译方法，其包括：
接收待翻译语句；所述待翻译语句由待翻译词组成；
调用训练得到的机器翻译模型；所述机器翻译模型包括分块模型和翻译模型；
基于所述分块模型，根据所述待翻译词的词向量，对所述待翻译语句进行分块得到待翻译块；所述待翻译块包括至少一个待翻译词；
基于所述翻译模型以及所述待翻译块，对所述待翻译语句进行翻译，得到翻译结果。
本发明实施例提供一种机器翻译装置，其包括：
接收模块，用于接收待翻译语句；所述待翻译语句由待翻译词组成；
调用模块，用于调用训练得到的机器翻译模型；所述机器翻译模型包括分块模型和翻译模型；
分块模块，用于基于所述分块模型，根据所述待翻译词的词向量，对所述待翻译语句进行分块得到待翻译块；所述待翻译块包括至少一个待翻译词；
翻译模块，用于基于所述翻译模型以及所述待翻译块，对所述待翻译语句进行翻译，得到翻译结果。
本发明实施例提供一种电子设备，其包括处理器和存储器，所述存储器存储有多条指令，所述指令适于处理器进行加载，以执行上述机器翻译方法中的步骤。
本发明实施例提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行上述机器翻译方法中的步骤。
本发明实施例提供了一种机器翻译方法及装置、电子设备及存储介质，在该方法中，在接收待翻译语句后，调用训练得到的机器翻译模型，该机器翻译模型包括分块模型和翻译模型，然后基于分块模型，根据待翻译词的词向量，对待翻译语句进行分块得到待翻译块，最后基于翻译模型以及待翻译块，对待翻译语句进行翻译得到翻译结果；在本发明中，由于分块模型是根据词向量对待翻译语句进行分块得到待翻译块的，这样就可以将待翻译语句划分为更小的待翻译块，进而翻译模型基于这些待翻译块进行翻译时，各待翻译块对应的翻译结果更准确，将这些待翻译块对应的翻译结果进行组合，得到整个待翻译语句的翻译结果也更准确，即本发明可以对待翻译语句进行更细粒度的分块，提高了机器翻译的准确度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的机器翻译系统的组网示意图；
图2是本发明实施例提供的机器翻译方法的第一种流程示意图；
图3是本发明实施例提供的机器翻译方法的第二种流程示意图；
图4是本发明实施例提供的机器翻译方法的第三种流程示意图；
图5是本发明实施例提供的机器翻译方法的第四种流程示意图；
图6是本发明实施例提供的机器翻译方法的第五种流程示意图；
图7是本发明实施例提供的机器翻译装置的第一种结构示意图；
图8是本发明实施例提供的机器翻译装置的第二种结构示意图；
图9是本发明实施例提供的终端的结构示意图；
图10是本发明实施例提供的服务器的结构示意图；
图11至图14是本发明实施例提供的模型示意图；
图15至图18是本发明实施例提供的界面示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，图1为本发明实施例所提供的机器翻译系统的场景示意图，该系统可以包括用户侧设备以及服务侧设备，用户侧设备与服务侧设备通过各种网关组成的互联网等方式连接，不再赘述，其中，用户侧设备包括多个终端11，服务侧设备包括多个服务器12；其中：
终端11包括但不局限于手机、平板等设置有即时通讯应用的便携终端，以及电脑、查询机、广告机等固定终端，是用户可以使用的服务端口，下文称为客户端；例如下载有聊天应用的手机等；在本发明中，客户端提供待翻译语句输入功能、翻译结果展示功能等；
服务器12为即时通讯用户提供各种业务服务，提供应用层支持，包括数据服务器、训练服务器、翻译服务器以及存储服务器等；数据服务器用于对数据进行预处理等，训练服务器用于对机器模型进行训练，翻译服务器用于根据机器模型进行翻译等。
在本发明实施例中，翻译服务器12在接收待翻译语句后，调用训练得到的机器翻译模型，该机器翻译模型包括分块模型和翻译模型，然后基于分块模型，根据待翻译词的词向量，对待翻译语句进行分块得到待翻译块，最后基于翻译模型以及待翻译块，对待翻译语句进行翻译得到翻译结果。
由于在本发明中，分块模型是根据词向量对待翻译语句进行分块得到待翻译块的，这样就可以将待翻译语句划分为更小的待翻译块，进而翻译模型基于这些待翻译块进行翻译时，各待翻译块对应的翻译结果更准确，将这些待翻译块对应的翻译结果进行组合，得到整个待翻译语句的翻译结果也更准确，提高了机器翻译的准确度。
需要说明的是，图1所示的系统场景示意图仅仅是一个示例，本发明实施例描述的服务器以及场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
以下针对本发明提供的机器翻译方法进行详细说明。
图2是本发明实施例提供的机器翻译方法的第一种流程示意图，请参阅图2，该机器翻译方法包括以下步骤：
S201：接收待翻译语句。
待翻译语句是指用户需要翻译的语句，可以是一句话、一段话、一篇文章的内容等。
待翻译语句由待翻译词组成，待翻译词可以是一个字或者单词，如“上”、“下”等，也可以是一个词组或者成语，如“危险”等，还可以是一个标点符号，如“，”等；是待翻译语句的基本组成单元。
接收待翻译语句的方式可以是多种多样的，例如本发明提供的机器翻译方法是终端执行的，那么终端就可以直接获取用户输入的待翻译语句进行翻译即可，若是服务器执行的，那么终端获取用户输入的待翻译语句之后，需要发送到服务器；下文将结合实施例进行说明。
在一种实施例中，如图2所示方法在本步骤之后，还包括以下步骤：对所述待翻译语句进行预处理，得到预处理文本；对所述预处理文本进行分词处理，得到所述待翻译语句对应的待翻译词。
例如针对待翻译语句“一旦有险情，能召之即来、来之能战。”，执行本步骤之后，得到“一旦”、“有”、“险情”、“，”、“能召之即来”、“、”、“来之能战”以及“。”这些待翻译词。
为了进一步降低后续工作量，可以根据待翻译词之间的关联关系，对待翻译词进行合并，具体的，如图2所示方法在得到所述待翻译语句对应的待翻译词的步骤之后，还包括：获取待翻译词之间的关联关系；将存在关联关系的待翻译词，组合为一个待翻译词。
关联关系是指两个或者多个待翻译词被一起翻译的概率等，例如“能召之即来”、“、”、“来之能战”这三个待翻译词往往被一起翻译为“people can come and fightimmediately”，那么就可以将其组合为一个待翻译词“能召之即来、来之能战”。
S202：调用训练得到的机器翻译模型。
所述机器翻译模型包括分块模型和翻译模型两部份组成，其具体训练过程将在下文进行描述。
S203：基于所述分块模型，根据所述待翻译词的词向量，对所述待翻译语句进行分块得到待翻译块。
所述待翻译块包括至少一个待翻译词，在分块结果中，待翻译块可以仅包括一个待翻译词，如“一旦”等，也可以包括多个待翻译词，如“能召之即来、来之能战”，是后续翻译的基本单位。
在一种实施例中，本步骤包括以下步骤：
根据待翻译词的词向量，得到当前待翻译词的词表示，以及当前待翻译块的块表示；
基于所述分块模型，根据所述当前待翻译词的词表示以及所述当前待翻译块的块表示，获取所述当前待翻译词与所述当前待翻译块的归属关系；
基于所述分块模型以及所述归属关系，对所述待翻译语句进行分块得到待翻译块。
在机器模型内，文本是以向量的方式提醒的，通过训练好的模型可以将待翻译词转换为对应的词向量，根据词向量就可以得到其在模型内的隐状态表示，例如当前待翻译词的词表示以及当前待翻译块的块表示。
S204：基于所述翻译模型以及所述待翻译块，对所述待翻译语句进行翻译，得到翻译结果。
翻译模型可以是基于CNN(Convolutional Neural Network，卷积神经网络)的神经模型，也可以是基于RNN(Recurrent Neural Network，循环神经网络)的神经模型，通过训练得到，将在下文结合实施例对本步骤进行说明。
本实施例提供一种机器翻译方法，在接收待翻译语句后，调用训练得到的机器翻译模型，该机器翻译模型包括分块模型和翻译模型，然后基于分块模型，根据待翻译词的词向量，对待翻译语句进行分块得到待翻译块，最后基于翻译模型以及待翻译块，对待翻译语句进行翻译得到翻译结果；提高了机器翻译的准确度。
图3是本发明实施例提供的机器翻译方法的第二种流程示意图，请参阅图3，该机器翻译方法包括机器翻译模型训练步骤，具体的，包括以下步骤：
S301：从平行语句库中选择训练语料。
所述平行语句库包括至少一个平行语句对，在平行语句库中，平行语句对的数量一般为万级别或者百万级别。
为了保证训练结果，训练语料所包含的平行语句对的数量应当为万级别等。
如图11所示，一个平行语句对包括一个源语句和一个目标语句。例如，针对中英机器翻译模型，源语句为中文“一旦有险情，能召之即来、来之能战。”，而目标语句为英文“Once an emergency occurs,people can come and fight immediately.”等。
平行语句对可以是语言专家翻译得到的，该方式实现简单，但是成本较高；也可以是前期为用户提供翻译服务的历史数据等，例如对用户输入的待翻译语句进行翻译得到翻译结果，若用户没有修改翻译结果，则将待翻译语句作为源语句，将翻译结果作为目标语句，若用户修改了翻译结果，则将用户修改后的翻译结果作为目标语句，可以降低成本。
在一种实施例中，从平行语句库中选择训练语料时，优选选择语言专家提供的平行语句对，或者优选选择用户接受比例大的平行语句对。
在一种实施例中，图3所示方法在本步骤之后，还包括：
使用词语对齐工具对所述训练语料中的平行语句对进行词对齐；
根据对齐结果，确定候选分块位置；
基于初始分块模型以及所述候选分块位置，对所述训练语料中的源语句进行分块，得到所述源语句的块。
S302：采用所述训练语料，对初始翻译模型进行训练，得到训练后翻译模型。
下文将对本步骤进行说明。
S303：基于所述训练后翻译模型，采用所述训练语料对初始分块模型进行训练，得到训练后分块模型。
在一种实施例中，本步骤包括：
基于初始分块模型，对所述训练语料中的源语句进行分块，得到所述源语句的块；
基于所述源语句的块以及所述训练后翻译模型，对所述源语句进行翻译，得到所述源语句对应的翻译语句；
根据所述源语句对应的翻译语句以及目标语句，得到所述初始分块模型的分块期望值；
根据分块期望值的最优原则，对所述初始分块模型进行训练，得到所述训练后分块模型。
在一种实施例中，根据所述源语句对应的翻译语句以及目标语句，得到所述初始分块模型的分块期望值的步骤，包括：
获取所述源语句对应的翻译语句以及目标语句的似然参数；
根据所述似然参数，得到所述初始分块模型的分块期望值。
在一种实施例中，所述根据所述源语句对应的翻译语句以及目标语句，得到所述初始分块模型的分块期望值的步骤，还包括：
获取所述源语句的块数量、以及所述源语句的词数量；
根据所述块数量以及所述词数量，得到惩罚参数；
根据所述似然参数以及惩罚参数，得到所述初始分块模型的分块期望值。
在一种实施例中，所述分块模型包括相似性函数；所述基于初始分块模型，对所述训练语料中的源语句进行分块，得到所述源语句的块的步骤，包括：
获取所述源语句中当前块的块表示、以及当前词的词表示；
基于所述相似性函数，得到当前词与当前块的相似性；
根据所述相似性，确定当前词与当前块的归属关系；
根据所述归属关系对所述源语句进行分块，得到所述源语句的块。
S304：采用所述训练语料，对所述训练后翻译模型以及所述训练后分块模型进行联合训练，得到所述机器翻译模型。
在一种实施例中，本步骤包括：
获取翻译模型的翻译期望值、以及分块模型的分块期望值；
根据所述翻译期望值以及所述分块期望值，得到模型期望值；
根据所述模型期望值的最优原则，对所述训练后翻译模型以及所述训练后分块模型进行联合训练，得到所述机器翻译模型。
现以采用RNN实现本发明提供的机器翻译模型为例，对本发明实施例做进一步的说明。
在一种实施例中，如图12所示，本实施例提供的机器翻译模型包括分块模型(Partitioning Network，PNet)和翻译模型(Translation Network，TNet)，其中：
针对训练语料中的平行句对，为了保留其对齐信息，需要对句对进行预处理，得到分块候选位置。
在一种实施例中，本步骤包括：
利用词语对齐工具Giza++对平行句对进行词对齐分析，对齐结果如图13所示。
根据对齐结果，找出分块候选位置。
在图13所示的对齐结果中，会存在对齐交叉的部分，在对齐交叉部分的内部是不能进行切分的，除此之外的其他位置都是候选位置，图13中的所有竖线都是切分候选位置。
对分块候选位置进行分组。
为保持双语对齐关系，根据在句子出现的顺序对所有分块候选位置进行切分，图13中同种形状的竖线为一组；在每一组候选位置中，源语句跟目标语句切分的次数一样。
在一种实施例中，如图14所示，翻译模型TNet由层次编码器(Encoder)和序列解码器(Decoder)组成。
层次编码器有两个级别，即块级别编码器和句子级别编码器。
如图14所示，块级别编码器由双向RNN构成，双向RNN首先根据每个词的词向量得到每个词的词表示：
Hw＝BiRNN(W)；
其中，W为输入的待翻译词的词向量，Hw为输入的词向量对应的隐状态表示，即待翻译词的词表示。
然后，双向RNN根据分块结果确定每个待翻译块的组成，例如某个待翻译块k的起始位置为待翻译词Bi，结束位置为待翻译词Bj，那么，该待翻译块的块表示Bk为：
其中，为该待翻译块正向编码是最后一个时刻的隐状态表示，勾该待翻译块反向编码是最后一个时刻的隐状态表示。
如图14所示，句子级别编码器由单向RNN构成，将某句子的所有待翻译块的块表示Bk依次输入到RNN中进行编码，得到该句子的句子表示HB：
HB＝RNN(B1，......，Bk)。
序列解码器用于根据上下文信息，将各待翻译块对应的翻译结果进行组合，得到句子的翻译结果，序列解码器的上下文信息p(yt)来自两个注意力模块：块级别注意力模块得到的块级别上下文信息CB、句子级别注意力模块得到的句子级别上下文信息CS：
p(yt)＝RNN(yt-1，CB，CS)；
其中，yt-1为上一次输出的上下文信息。
块级别上下文信息CB由块级别注意力模块得到：
其中，yt-1为上一次输出的块级别上下文信息，AttB为块级别注意力函数。
句子级别上下文信息CS由句子级别注意力模块得到：
CS＝AttS(yt-1，HB)；
其中，yt-1为上一次输出的句子级别上下文信息，AttS为句子级别注意力函数。
当解码器生成块结束符时，则开始一个新块的解码。
分块模型PNet就是通过学习当前词与当前块的相关程度，判断是否在当前位置进行切分，即判断当前词是属于当前块还是属于一个新的块。例如，若当前词与当前块相似性较高，则当前词属于当前块，在此位置不进行切分；若当前词与当前块相似性较低，则当前词不属于当前块，应该开始一个新块，在此位置进行切分。
分块模型PNet可以为：
其中，a代表的是策略网络可以采取的动作，该动作包括切分与不切分两种；f可以是任意函数，例如线性函数等，为分块模型的训练对象。
在本实施例中，机器翻译模型的目标函数为：
J＝JTNet+JPNet；
其中，JTNet为翻译模型的翻译期望值；JPNet为分块模型的分块期望值，J为机器翻译模型整体的模型期望值；
针对翻译模型的翻译期望值为JTNet：
JTNet(ΘTNet)＝log(Y|X，ΘTNet)；
其中，ΘTNet为翻译模型可以配置的参数，log(Y|X，ΘTNet)为翻译模型采用参数ΘTNet时，对某源语句进行翻译得到的翻译结果Y，与该源语句对应的目标语句X的对数似然值。
若训练语料包括n个平行语句对，那么：
JTNet(ΘTNet)＝log(Y|X，ΘTNet)＝∑n(log(y|x，ΘTNet))；
其中，log(y|x，ΘTNet)为翻译模型采用参数ΘTNet时，对平行语句对n中的源语句进行翻译得到的翻译结果y，与该源语句对应的目标语句x的对数似然值。
针对分块模型的分块期望值JPNet(ΘPNet)：
JPNet(ΘPNet)＝10g(Y|X，ΘPNet)；
其中，ΘPNet为分块模型可以配置的参数，分块模型的参数一般为函数系数、阈值等，log(Y|X，ΘPNet)为采用参数ΘPNet时，对某源语句进行分块，并基于该分块结果进行翻译得到的翻译结果Y，与该源语句对应的目标语句X的对数似然值。
JPNet(ΘPNet)＝log(Y|X，ΘPNet)＝∑(P(A)log(Y|X，ΘPNet，A))；
其中，A为分块结果，P(A)为分块模型得到分块结果A的概率。
分块模型的目标是寻找句子最佳分块方法以提升翻译模型的翻译结果；因为缺少真实的分块数据，可以使用强化学习来训练策略网络从而让策略网络自动学习到最佳的分块方法。在训练的过程中，强化学习通过采样的方法得到多个参数ΘPNet，基于这些参数ΘPNet得到多种分块方法，并将训练过程中由翻译模型得到的翻译结果与目标语句的对数似然作为每种分块方法的回报值，强化学习训练分块模型的参数使得回报的期望值JPNet(ΘPNet)最大化。
为了避免过度分块，在一种实施例中，本发明在分块模型中的回报中加入分块次数惩罚项，即惩罚参数Γ，对切分次数较多或者较少的方式进行惩罚；此时：
JPNet(ΘPNet)＝log(Y|X，ΘPNet)-λΓ；
Γ＝(L′/L+0.1L/L′)；
其中，L′为句子切分后得到的块的数量，L为句子中词的个数，λ为惩罚参数Γ对应的加权系数。
图4是本发明实施例提供的机器翻译方法的第三种流程示意图，本实施例对如何对初始翻译模型进行训练以得到训练后翻译模型进行描述。请参阅图4，该机器翻译方法包括以下步骤：
S401：从预置的平行语句库中随机提取预设数量的训练语料。
平行语句库又称翻译语料库，是由原文和译文共同组成的语料库，用于机器翻译模型的训练、测试等，例如可以是由汉语与维吾尔语、汉语与英语、汉语与日语、日语与英语等原文和译文共同组成的语料库。
本步骤可以从平行语句库中随机提取预设数量的训练语料，例如从汉语与英语组成的平行语料库中提取十万或百万级别的汉语和英语组成的平行语对作为训练语料，可以定义英语为目标语句，汉语为源语句。
S402：对所述训练语料进行预处理，得到预处理文本。
本步骤可以对训练语料进行规则化、纠错、数字正则化等预处理处理。
S403：对所述预处理文本进行分词处理，得到分词文本信息。
在对训练语料进行预处理后可以进行分词处理，得到训练语料的分词文本信息，例如对预处理后的源语句进行分词处理，得到源语句的分词文本信息，例如，处理后的源语句为“我今天中午不吃饭了”，进行分词处理后可以得到字符级别的分词文本信息：“我”、“今”、“天”、“中”、“午”、“不”、“吃”、“饭”、“了”、“。”。
S404：基于双向RNN编码器从正向和反向对所述分词文本信息进行编码，确定所述双向RNN编码器在每一时间步的隐状态，以及，基于单向RNN解码器对所述双向RNN编码器的每一时间步的隐状态和语义向量进行解码，建立翻译模型。
在一种实施例中，可以通过对分词文本信息的编码和解码建立翻译模型，具体地，此时，本步骤包括以下步骤：
S404-1：正向RNN按照正向对所述分词文本信息进行编码得到正向词向量特征序列XF＝(X1，X2，......，Xt)，并在每一时间步i产生正向隐状态Fhi：
Fhi＝(Fh1，Fh2，......，Fht)；
其中：i＝1，2，......，t；F表示翻译模型的正向隐状态参数。
在一种实施例中，本发明可以预设一个字典，该字典中每个字对应一个编码，在该字典中每个字的编码是唯一的，通过该字典可以查找分词文本信息对应的每个字的编码，然后按照顺序组成正向词向量特征序列。
例如在该字典中，以下字符的编码如下：“我”：102，“今”：38，“天”：5，“中”：138，“午”：321，“不”：8，“吃”：29，“饭”：290，“了”：202，″。″：0；那么，分词文本信息：“我”、“今”、“天”、“中”、“午”、“不”、“吃”、“饭”、“了”、“。”的正向词向量特征序列为：[102，38，5，138，321，8，29，290，202，0]。
同时，在正向RNN中输入正向词向量特征序列，由RNN按照预设的正向隐状态参数F计算每一时间步i的正向隐状态Fhi，得到所有时间步的正向隐状态Fhi＝(Fh1，Fh2，......，Fht)，i＝1，2，......，t，其中t是时间步。
S404-2：反向RNN按照反向对所述分词文本信息进行编码得到反向词向量特征序列XB＝(Xt，......，X2，X1)，并在每一时间步i产生反向隐状态Bhi：
Bhi＝(Bh1，Bh2，......，Bht)；
其中，i＝1，2，......，t，B表示翻译模型的反向隐状态参数。
例如对于S404-1中分词文本信息：“我”、“今”、“天”、“中”、“午”、“不”、“吃”、“饭”、“了”、“。”，经反向RNN编码后得到反向词向量特征序列为：[0，202，290，29，8，321，138，5，38，102]。
同时，在反向RNN中输入反向词向量特征序列，由RNN按照预设的反向隐状态参数B计算每一时间步i的反向隐状态Bhi，得到所有时间步的反向隐状态Bhi＝(Bh1，Bh2，......，Bht)，i＝1，2，......，t，其中t是时间步。
S404-3：根据正向隐状态Fhi和反向隐状态Bhi确定所述双向RNN编码器在每一时间步的隐状态hi，其中，hi＝(Fhi，Bhi)。
单向RNN解码器对每个时间步只会采用一个隐状态进行解码，因此需要确定双向RNN编码器在每一时间步的隐状态，具体地可以根据每一时间步i的正向隐状态Fhi和反向隐状态Bhi综合确定双向RNN编码器在每一时间步i的隐状态hi＝(Fhi，Bhi)，例如可以是求和等方式确定每一时间步i的隐状态hi。
S404-4：基于无向RNN解码器对双向RNN编码器的每一时间步的隐状态和语义向量进行解码，得到翻译模型的解码状态函数。
在一种实施例中，本步骤可以包括：
获取时间步i-1的无向RNN解码器的解码状态St-1及对应的标签Yi-1；
获取当前时间步i的双向RNN编码器的隐状态hi和语义向量Ci；
根据解码状态Si-1、标签Yi-1，隐状态hi以及语义向量Ci确定当前时间步长i对应的无向RNN解码器的解码状态Si；Si＝P(Si-1，Yi-1，hi，Ci)，P表示解码状态函数。
语义向量Ci以指示单向RNN解码器在输出预测目标语句的每个分词时选择最为合适的上下文信息，具体而言，语义向量Ci可以是双向RNN编码器的隐状态的hi＝(h1，h2，......，ht)的加权和。
由于单向RNN解码器相对于双向RNN编码器，在解码过程中无方向性，在进行解码的时候，除了基于双向RNN编码器的每一时间步的隐状态hi外，还参考了双向RNN编码器每一时间步的语义向量Ci，解码器在时间步i时的状态Si是由解码器在时间步i-1的状态Si-1，对应的标签Yi-1、当前时刻对齐的双向RNN编码器的隐状态hi和语义向量Ci共同决定，使得无向RNN解码器的每一时间步能够参考不同的语义向量进行解码，避免了所有信息都压缩在一个定长向量造成上下文信息稀释或者被覆盖以及解码器每一时间步参考同一个定长向量造成翻译模型翻译准确度低的问题，使得解码器在每一时间步参考不同的语义向量进行解码，提高了翻译模型对源语句翻译的准确度。
在一种实施例中，图4所示方法还可以包括以下步骤：
从所述平行语料库提取所述训练语料对齐的训练目标语料。
在本发明实施例中，平行语料库中训练语料和训练目标语料可以是配对的，可以从平行语料库中提取与训练语料对齐的训练目标语料。
根据解码状态函数计算各训练语料预测所述目标语料的概率。
在训练前，对翻译模型中的模型参数、学习率、迭代次数进行初始化，配置初始值，然后将随机提取的训练语料输入翻译模型中，提取候选目标语料，候选目标语料可以包括多个，其中也包括训练目标语料。每个候选目标语料都具有一个分值，例如可以是各个候选目标语料属于训练语料对齐的目标训练语料的概率。例如可以通过多元回归的方式计算候选目标语料属于训练目标语料的概率。
根据预设损失函数和所述概率计算损失率。
在训练过程中，目标训练语料的分值有可能与实际计算的分值不符，即预测结果存在偏差，因此需要根据损失率对翻译模型参数进行调整，则可以根据预设的损失函数和概率计算损失率。
采用所述损失率计算梯度。
在得到损失率之后，可以计算梯度以对模型的参数进行调整，在实际应用中，可以通过求偏导的方式根据损失率计算梯度。
判断所述梯度是否满足预设迭代条件，若是，则结束翻译模型训练，若否，则采用所述梯度与预设的学习率对所述翻译模型的模型参数进行梯度下降，所述模型参数包括正向隐状态参数和反向隐状态参数；并返回从所述平行语句库提取所述训练语料对齐的训练目标语料的步骤。
如果计算得到的梯度未满足预设的迭代条件，如连续多个梯度之间的差异大于或等于预设的差异阂值，或者未到达迭代次数，则更新翻译模型的模型参数，例如调整翻译模型的正向隐状态参数和反向隐状态参数，采用更新后的模型参数和预设的学习率进入下一轮迭代，反之，如果梯度满足预设的迭代条件，如连续多个梯度之间的差异小于或等于预设的差异阂值，或者到达迭代次数，则结束训练，输出模型参数。
在训练过程中可以采用SGD(stochastic gradient descent，随机梯度下降)、Adadelta和Adam(Adaptive Moment Estimation，自适应矩估计)进行提梯度下降，同时可以采用了以下损失函数计算损失率：MLE(Maximum Likelihood Estimation，极大似然估计方法)，MRT(Minimum Risk Training，最少风险训练)和SST(Semi-supervised Training，半监督式训练)，本发明实施例对提到下降方法和使用的损失函数不加以限制。
图5是本发明实施例提供的机器翻译方法的第四种流程示意图，本实施例对如何对初始分块模型进行训练以得到训练后分块模型进行描述。请参阅图5，该机器翻译方法包括以下步骤：
S501：对待翻译语句进行预处理，得到待翻译语句的待翻译词。
对所述待翻译语句进行预处理，得到预处理文本；对所述预处理文本进行分词处理，得到所述待翻译语句对应的待翻译词。
例如针对待翻译语句X进行处理，得到待翻译词x＝(x1、x2、……、xt)，这些待翻译词x作为块级别编码器的输入。
S502：通过翻译模型中的块级别编码器，获取待翻译词对应的词表示。
使用训练后的翻译模型的块级别编码器，根据每个词的词向量Wi得到每个词i的词表示
S503：使用训练后的分块模型，根据待翻译词对应的词表示，对待翻译语句进行分块，得到待翻译块。
针对待翻译词x1，直接将其作为第一个待翻译块1，此时待翻译块1为(x1)从块级别编码器获取待翻译块1对应的块表示
针对待翻译词x2，通过块级别编码器获取待翻译词x2对应的词表示
分块模型PNet为此时，针对翻译词x2，分块模型输出的结果为：通过函数f确定翻译词x2与待翻译块1的相似性是否较高。
若翻译词x2与待翻译块1相似性较高，则翻译词x2属于待翻译块1，将待翻译块1更新为(x1，x2)，并判断翻译词x3是否待翻译块1，此时待翻译块1对应的块表示分块模型输出的结果为：通过函数f确定翻译词x3与待翻译块1的相似性是否较高；若翻译词x3与待翻译块1的相似性较高，则将翻译词x3属于待翻译块1，将待翻译块1更新为(x1，x2，x3)，并判断翻译词x4是否待翻译块1，依次循环；
若翻译词x2与待翻译块1相似性较低，则翻译词x2不属于待翻译块1，保持待翻译块1为(x1)不变，将翻译词x2作为待翻译块2，此时待翻译块2为(x2)，下一步判断翻译词x3是否属于待翻译块2，判断过程与判断待翻译词x2是否属于待翻译块1相似，不再赘述；依次循环，直至所有的待翻译词都判断完毕。
S504：根据待翻译块，对待翻译语句进行翻译。
假定待翻译语句包括k个待翻译块；基于待翻译块，获取待翻译语句对应的块级别隐层向量序列(Y1，Y2，......，Yk)，Yk＝(Bk，CBk)为待翻译语句中每个待翻译块对应的块表示和上下文信息，待翻译块的块表示不仅可以用于计算attention网络的权重，还可以用于预测目标单词。
假定待翻译语句包括m个待翻译句子；待翻译句子i包括待翻译块1至待翻译块k，待翻译句子i对应的句子表示HB＝RNN(B1，......，Bk)；基于句子，获取待翻译语句对应的句子隐层向量序列(Z1，Z2，......，Zi，......，Zm)，Zm＝(HB，CSm)为待翻译语句中每个句子对应的句子表示和上下文信息，待翻译句子的句子表示不仅可以用于计算attention网络的权重，还可以用于预测目标单词级别。
在解码阶段，根据待翻译语句对应的块级别隐层向量序列，解码器根据待翻译块k的上下文向量CBk和当前己预测得到的目标单词{y1，y2，......，yk-1}，预测相应待翻译块k的目标单词yk，进而生成待翻译语句的翻译结果。
现结合一个应用场景对本发明进行说明。
图6是本发明实施例提供的机器翻译方法的第五种流程示意图，请参阅图6，该机器翻译方法包括以下步骤：
S601：用户在终端11输入待翻译语句。
如图15所示，用户在终端的翻译APP界面输入需要翻译的语句“一旦有险情，能召之即来、来之能战。”
S602：终端11上传待翻译语句到服务器12。
S603：服务器12对待翻译语句进行预处理，得到待翻译语句的待翻译词。
对待翻译语句“一旦有险情，能召之即来、来之能战。”进行预处理，得到预处理文本；对所述预处理文本进行分词处理，得到所述待翻译语句对应的待翻译词“一旦”、“有”、“险情”、“，”、“能召之即来”、“、”、“来之能战”以及“。”。
S604：服务器12对待翻译语句进行翻译，得到翻译结果。
若服务器12仅根据标点符号对待翻译语句“一旦有险情，能召之即来、来之能战。”进行划分，将得到3个子句“一旦有险情，”、“能召之即来、”、“来之能战。”，并基于这些子句进行翻译，得到如图16所示的翻译结果；如图16所示，待翻译语句“一旦有险情，能召之即来、来之能战。”对应的翻译结果为“Once there is a danger，can call，can fight.”，显然不够合乎用户的期望。
对应的，在本步骤中，若采用本发明提供的机器翻译方法，基于双向RNN可以得到待翻译词“一旦”、“有”、“险情”、“，”、“能召之即来”、“、”、“来之能战”以及“。”所有的词表示；然后使用训练后的分块模型，根据待翻译词对应的词表示，对待翻译语句“一旦有险情，能召之即来、来之能战。”进行分块，得到待翻译块“一旦”、“有险情”、“，”、“能召之即来、来之能战”和“。”。
然后基于这些待翻译块，对待翻译语句进行翻译，得到如图17所示的翻译结果；如图17所示，待翻译语句“一旦有险情，能召之即来、来之能战。”对应的翻译结果为“Once anemergency occurs,people can come and fight immediately.”，更合乎用户的期望。
S605：服务器12发送翻译结果到终端11。
S606：终端11在翻译界面显示翻译结果。
如图18所示，终端11通过翻译界面显示翻译结果。
相应的，图7是本发明实施例提供的机器翻译装置的第一种结构示意图，请参阅图7，该机器翻译装置包括以下模块：
接收模块71，用于接收待翻译语句；所述待翻译语句由待翻译词组成；
调用模块72，用于调用训练得到的机器翻译模型；所述机器翻译模型包括分块模型和翻译模型；
分块模块73，用于基于所述分块模型，根据所述待翻译词的词向量，对所述待翻译语句进行分块得到待翻译块；所述待翻译块包括至少一个待翻译词；
翻译模块74，用于基于所述翻译模型以及所述待翻译块，对所述待翻译语句进行翻译，得到翻译结果。
在一种实施例中，接收模块71还用于执行：对所述待翻译语句进行预处理，得到预处理文本；对所述预处理文本进行分词处理，得到所述待翻译语句对应的待翻译词。
在一种实施例中，接收模块71还用于执行：获取待翻译词之间的关联关系；将存在关联关系的待翻译词，组合为一个待翻译词。
在一种实施例中，分块模块73还用于执行：根据待翻译词的词向量，得到当前待翻译词的词表示，以及当前待翻译块的块表示；基于所述分块模型，根据所述当前待翻译词的词表示以及所述当前待翻译块的块表示，获取所述当前待翻译词与所述当前待翻译块的归属关系；基于所述分块模型以及所述归属关系，对所述待翻译语句进行分块得到待翻译块。
相应的，图8是本发明实施例提供的机器翻译装置的第二种结构示意图，请参阅图8，该机器翻译装置还包括以下模块：
语料模块75，用于从平行语句库中选择训练语料；所述平行语句库包括平行语句对，所述平行语句对包括源语句和目标语句；
翻译训练模块76，用于采用所述训练语料，对初始翻译模型进行训练，得到训练后翻译模型；
分块训练模块77，用于基于所述训练后翻译模型，采用所述训练语料对初始分块模型进行训练，得到训练后分块模型；
联合训练模块78，用于采用所述训练语料，对所述训练后翻译模型以及所述训练后分块模型进行联合训练，得到所述机器翻译模型。
在一种实施例中，分块训练模块77可以用于执行：基于初始分块模型，对所述训练语料中的源语句进行分块，得到所述源语句的块；基于所述源语句的块以及所述训练后翻译模型，对所述源语句进行翻译，得到所述源语句对应的翻译语句；根据所述源语句对应的翻译语句以及目标语句，得到所述初始分块模型的分块期望值；根据分块期望值的最优原则，对所述初始分块模型进行训练，得到所述训练后分块模型。
在一种实施例中，语料模块75还用于执行：使用词语对齐工具对所述训练语料中的平行语句对进行词对齐；根据对齐结果，确定候选分块位置；基于初始分块模型以及所述候选分块位置，对所述训练语料中的源语句进行分块，得到所述源语句的块。
在一种实施例中，分块训练模块77可以用于执行：获取所述源语句对应的翻译语句以及目标语句的似然参数；根据所述似然参数，得到所述初始分块模型的分块期望值。
在一种实施例中，分块训练模块77可以用于执行：获取所述源语句的块数量、以及所述源语句的词数量；根据所述块数量以及所述词数量，得到惩罚参数；根据所述似然参数以及惩罚参数，得到所述初始分块模型的分块期望值。
在一种实施例中，分块训练模块77可以用于执行：获取所述源语句中当前块的块表示、以及当前词的词表示；基于所述相似性函数，得到当前词与当前块的相似性；根据所述相似性，确定当前词与当前块的归属关系；根据所述归属关系对所述源语句进行分块，得到所述源语句的块。
在一种实施例中，联合训练模块78可以用于执行：获取翻译模型的翻译期望值、以及分块模型的分块期望值；根据所述翻译期望值以及所述分块期望值，得到模型期望值；根据所述模型期望值的最优原则，对所述训练后翻译模型以及所述训练后分块模型进行联合训练，得到所述机器翻译模型。
在一种实施例中，本发明实施例提供的电子设备包括终端和服务器等，现分别进行说明。
本发明实施例还提供一种终端，如图9所示，该终端可以包括射频(RF，RadioFrequency)电路901、包括有一个或一个以上计算机可读存储介质的存储器902、输入单元903、显示单元904、传感器905、音频电路906、无线保真(WiFi，Wireless Fidelity)模块907、包括有一个或者一个以上处理核心的处理器908、以及电源909等部件。本领域技术人员可以理解，图9中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路901可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器908处理；另外，将涉及上行的数据发送给基站。通常，RF电路901包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路901还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。
存储器902可用于存储软件程序以及模块，处理器908通过运行存储在存储器902的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器902可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器902可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器902还可以包括存储器控制器，以提供处理器908和输入单元903对存储器902的访问。
输入单元903可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元903可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。在一实施例中，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器908，并能接收处理器908发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元903还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元904可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元904可包括显示面板，在一实施例中，可以采用液晶显示器(LCD，Liquid CrystalDisplay)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器908以确定触摸事件的类型，随后处理器908根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图9中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器905，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路906包括扬声器，传声器可提供用户与终端之间的音频接口。音频电路906可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路906接收后转换为音频数据，再将音频数据输出处理器908处理后，经RF电路901以发送给比如另一终端，或者将音频数据输出至存储器902以便进一步处理。音频电路906还可能包括耳塞插孔，以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术，终端通过WiFi模块907可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块907，但是可以理解的是，其并不属于终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器908是终端的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器902内的软件程序和/或模块，以及调用存储在存储器902内的数据，执行终端的各种功能和处理数据，从而对手机进行整体监控。在一实施例中，处理器908可包括一个或多个处理核心；优选的，处理器908可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器908中。
终端还包括给各个部件供电的电源909(比如电池)，优选的，电源可以通过电源管理系统与处理器908逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源909还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端中的处理器908会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器902中，并由处理器908来运行存储在存储器902中的应用程序，从而实现各种功能：
接收待翻译语句；所述待翻译语句由待翻译词组成；
调用训练得到的机器翻译模型；所述机器翻译模型包括分块模型和翻译模型；
基于所述分块模型，根据所述待翻译词的词向量，对所述待翻译语句进行分块得到待翻译块；所述待翻译块包括至少一个待翻译词；
基于所述翻译模型以及所述待翻译块，对所述待翻译语句进行翻译，得到翻译结果。
在一种实施例中，实现功能：
对所述待翻译语句进行预处理，得到预处理文本；
对所述预处理文本进行分词处理，得到所述待翻译语句对应的待翻译词。
在一种实施例中，实现功能：
根据待翻译词的词向量，得到当前待翻译词的词表示，以及当前待翻译块的块表示；
基于所述分块模型，根据所述当前待翻译词的词表示以及所述当前待翻译块的块表示，获取所述当前待翻译词与所述当前待翻译块的归属关系；
基于所述分块模型以及所述归属关系，对所述待翻译语句进行分块得到待翻译块。
在一种实施例中，实现功能：
获取待翻译词之间的关联关系；
将存在关联关系的待翻译词，组合为一个待翻译词。
在一种实施例中，实现功能：
从平行语句库中选择训练语料；所述平行语句库包括平行语句对，所述平行语句对包括源语句和目标语句；
采用所述训练语料，对初始翻译模型进行训练，得到训练后翻译模型；
基于所述训练后翻译模型，采用所述训练语料对初始分块模型进行训练，得到训练后分块模型；
采用所述训练语料，对所述训练后翻译模型以及所述训练后分块模型进行联合训练，得到所述机器翻译模型。
在一种实施例中，实现功能：
基于初始分块模型，对所述训练语料中的源语句进行分块，得到所述源语句的块；
基于所述源语句的块以及所述训练后翻译模型，对所述源语句进行翻译，得到所述源语句对应的翻译语句；
根据所述源语句对应的翻译语句以及目标语句，得到所述初始分块模型的分块期望值；
根据分块期望值的最优原则，对所述初始分块模型进行训练，得到所述训练后分块模型。
在一种实施例中，实现功能：
使用词语对齐工具对所述训练语料中的平行语句对进行词对齐；
根据对齐结果，确定候选分块位置；
基于初始分块模型以及所述候选分块位置，对所述训练语料中的源语句进行分块，得到所述源语句的块。
在一种实施例中，实现功能：
获取所述源语句对应的翻译语句以及目标语句的似然参数；
根据所述似然参数，得到所述初始分块模型的分块期望值。
在一种实施例中，实现功能：
获取所述源语句的块数量、以及所述源语句的词数量；
根据所述块数量以及所述词数量，得到惩罚参数；
根据所述似然参数以及惩罚参数，得到所述初始分块模型的分块期望值。
在一种实施例中，实现功能：
获取所述源语句中当前块的块表示、以及当前词的词表示；
基于所述相似性函数，得到当前词与当前块的相似性；
根据所述相似性，确定当前词与当前块的归属关系；
根据所述归属关系对所述源语句进行分块，得到所述源语句的块。
在一种实施例中，实现功能：
获取翻译模型的翻译期望值、以及分块模型的分块期望值；
根据所述翻译期望值以及所述分块期望值，得到模型期望值；
根据所述模型期望值的最优原则，对所述训练后翻译模型以及所述训练后分块模型进行联合训练，得到所述机器翻译模型。
本发明实施例还提供一种服务器，如图10所示，其示出了本发明实施例所涉及的服务器的结构示意图，具体来讲：
该服务器可以包括一个或者一个以上处理核心的处理器1001、一个或一个以上计算机可读存储介质的存储器1002、电源1003和输入单元1004等部件。本领域技术人员可以理解，图10中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器1001是该服务器的控制中心，利用各种接口和线路连接整个服务器的各个部分，通过运行或执行存储在存储器1002内的软件程序和/或模块，以及调用存储在存储器1002内的数据，执行服务器的各种功能和处理数据，从而对服务器进行整体监控。可选的，处理器1001可包括一个或多个处理核心；优选的，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。
存储器1002可用于存储软件程序以及模块，处理器1001通过运行存储在存储器1002的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1002还可以包括存储器控制器，以提供处理器1001对存储器1002的访问。
服务器还包括给各个部件供电的电源1003，优选的，电源1003可以通过电源管理系统与处理器1001逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1003还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该服务器还可包括输入单元1004，该输入单元1004可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，服务器还可以包括显示单元等，在此不再赘述。具体在本实施例中，服务器中的处理器1001会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器1002中，并由处理器1001来运行存储在存储器1002中的应用程序，从而实现各种功能，如下：
接收待翻译语句；所述待翻译语句由待翻译词组成；
调用训练得到的机器翻译模型；所述机器翻译模型包括分块模型和翻译模型；
基于所述分块模型，根据所述待翻译词的词向量，对所述待翻译语句进行分块得到待翻译块；所述待翻译块包括至少一个待翻译词；
基于所述翻译模型以及所述待翻译块，对所述待翻译语句进行翻译，得到翻译结果。
在一种实施例中，实现功能：
对所述待翻译语句进行预处理，得到预处理文本；
对所述预处理文本进行分词处理，得到所述待翻译语句对应的待翻译词。
在一种实施例中，实现功能：
根据待翻译词的词向量，得到当前待翻译词的词表示，以及当前待翻译块的块表示；
基于所述分块模型，根据所述当前待翻译词的词表示以及所述当前待翻译块的块表示，获取所述当前待翻译词与所述当前待翻译块的归属关系；
基于所述分块模型以及所述归属关系，对所述待翻译语句进行分块得到待翻译块。
在一种实施例中，实现功能：
获取待翻译词之间的关联关系；
将存在关联关系的待翻译词，组合为一个待翻译词。
在一种实施例中，实现功能：
从平行语句库中选择训练语料；所述平行语句库包括平行语句对，所述平行语句对包括源语句和目标语句；
采用所述训练语料，对初始翻译模型进行训练，得到训练后翻译模型；
基于所述训练后翻译模型，采用所述训练语料对初始分块模型进行训练，得到训练后分块模型；
采用所述训练语料，对所述训练后翻译模型以及所述训练后分块模型进行联合训练，得到所述机器翻译模型。
在一种实施例中，实现功能：
基于初始分块模型，对所述训练语料中的源语句进行分块，得到所述源语句的块；
基于所述源语句的块以及所述训练后翻译模型，对所述源语句进行翻译，得到所述源语句对应的翻译语句；
根据所述源语句对应的翻译语句以及目标语句，得到所述初始分块模型的分块期望值；
根据分块期望值的最优原则，对所述初始分块模型进行训练，得到所述训练后分块模型。
在一种实施例中，实现功能：
使用词语对齐工具对所述训练语料中的平行语句对进行词对齐；
根据对齐结果，确定候选分块位置；
基于初始分块模型以及所述候选分块位置，对所述训练语料中的源语句进行分块，得到所述源语句的块。
在一种实施例中，实现功能：
获取所述源语句对应的翻译语句以及目标语句的似然参数；
根据所述似然参数，得到所述初始分块模型的分块期望值。
在一种实施例中，实现功能：
获取所述源语句的块数量、以及所述源语句的词数量；
根据所述块数量以及所述词数量，得到惩罚参数；
根据所述似然参数以及惩罚参数，得到所述初始分块模型的分块期望值。
在一种实施例中，实现功能：
获取所述源语句中当前块的块表示、以及当前词的词表示；
基于所述相似性函数，得到当前词与当前块的相似性；
根据所述相似性，确定当前词与当前块的归属关系；
根据所述归属关系对所述源语句进行分块，得到所述源语句的块。
在一种实施例中，实现功能：
获取翻译模型的翻译期望值、以及分块模型的分块期望值；
根据所述翻译期望值以及所述分块期望值，得到模型期望值；
根据所述模型期望值的最优原则，对所述训练后翻译模型以及所述训练后分块模型进行联合训练，得到所述机器翻译模型。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对资源管理方法的详细描述，此处不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种方法中的步骤。例如，该指令可以执行如下步骤：
接收待翻译语句；所述待翻译语句由待翻译词组成；
调用训练得到的机器翻译模型；所述机器翻译模型包括分块模型和翻译模型；
基于所述分块模型，根据所述待翻译词的词向量，对所述待翻译语句进行分块得到待翻译块；所述待翻译块包括至少一个待翻译词；
基于所述翻译模型以及所述待翻译块，对所述待翻译语句进行翻译，得到翻译结果。
在一种实施例中，实现功能：
对所述待翻译语句进行预处理，得到预处理文本；
对所述预处理文本进行分词处理，得到所述待翻译语句对应的待翻译词。
在一种实施例中，实现功能：
根据待翻译词的词向量，得到当前待翻译词的词表示，以及当前待翻译块的块表示；
基于所述分块模型，根据所述当前待翻译词的词表示以及所述当前待翻译块的块表示，获取所述当前待翻译词与所述当前待翻译块的归属关系；
基于所述分块模型以及所述归属关系，对所述待翻译语句进行分块得到待翻译块。
在一种实施例中，实现功能：
获取待翻译词之间的关联关系；
将存在关联关系的待翻译词，组合为一个待翻译词。
在一种实施例中，实现功能：
从平行语句库中选择训练语料；所述平行语句库包括平行语句对，所述平行语句对包括源语句和目标语句；
采用所述训练语料，对初始翻译模型进行训练，得到训练后翻译模型；
基于所述训练后翻译模型，采用所述训练语料对初始分块模型进行训练，得到训练后分块模型；
采用所述训练语料，对所述训练后翻译模型以及所述训练后分块模型进行联合训练，得到所述机器翻译模型。
在一种实施例中，实现功能：
基于初始分块模型，对所述训练语料中的源语句进行分块，得到所述源语句的块；
基于所述源语句的块以及所述训练后翻译模型，对所述源语句进行翻译，得到所述源语句对应的翻译语句；
根据所述源语句对应的翻译语句以及目标语句，得到所述初始分块模型的分块期望值；
根据分块期望值的最优原则，对所述初始分块模型进行训练，得到所述训练后分块模型。
在一种实施例中，实现功能：
使用词语对齐工具对所述训练语料中的平行语句对进行词对齐；
根据对齐结果，确定候选分块位置；
基于初始分块模型以及所述候选分块位置，对所述训练语料中的源语句进行分块，得到所述源语句的块。
在一种实施例中，实现功能：
获取所述源语句对应的翻译语句以及目标语句的似然参数；
根据所述似然参数，得到所述初始分块模型的分块期望值。
在一种实施例中，实现功能：
获取所述源语句的块数量、以及所述源语句的词数量；
根据所述块数量以及所述词数量，得到惩罚参数；
根据所述似然参数以及惩罚参数，得到所述初始分块模型的分块期望值。
在一种实施例中，实现功能：
获取所述源语句中当前块的块表示、以及当前词的词表示；
基于所述相似性函数，得到当前词与当前块的相似性；
根据所述相似性，确定当前词与当前块的归属关系；
根据所述归属关系对所述源语句进行分块，得到所述源语句的块。
在一种实施例中，实现功能：
获取翻译模型的翻译期望值、以及分块模型的分块期望值；
根据所述翻译期望值以及所述分块期望值，得到模型期望值；
根据所述模型期望值的最优原则，对所述训练后翻译模型以及所述训练后分块模型进行联合训练，得到所述机器翻译模型。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种方法中的步骤，因此，可以实现本发明实施例所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种机器翻译方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (15)

1.一种机器翻译方法，其特征在于，包括：
接收待翻译语句；所述待翻译语句由待翻译词组成；
调用训练得到的机器翻译模型；所述机器翻译模型包括分块模型和翻译模型；
基于所述分块模型，根据所述待翻译词的词向量，对所述待翻译语句进行分块得到待翻译块；所述待翻译块包括至少一个待翻译词；
基于所述翻译模型以及所述待翻译块，对所述待翻译语句进行翻译，得到翻译结果。
2.根据权利要求1所述的机器翻译方法，其特征在于，在接收待翻译语句的步骤之后，还包括：
对所述待翻译语句进行预处理，得到预处理文本；
对所述预处理文本进行分词处理，得到所述待翻译语句对应的待翻译词。
3.根据权利要求2所述的机器翻译方法，其特征在于，所述基于所述分块模型，根据所述待翻译词的词向量对所述待翻译语句进行分块得到待翻译块的步骤，包括：
根据待翻译词的词向量，得到当前待翻译词的词表示，以及当前待翻译块的块表示；
基于所述分块模型，根据所述当前待翻译词的词表示以及所述当前待翻译块的块表示，获取所述当前待翻译词与所述当前待翻译块的归属关系；
基于所述分块模型以及所述归属关系，对所述待翻译语句进行分块得到待翻译块。
4.根据权利要求2所述的机器翻译方法，其特征在于，在得到所述待翻译语句对应的待翻译词的步骤之后，还包括：
获取待翻译词之间的关联关系；
将存在关联关系的待翻译词，组合为一个待翻译词。
5.根据权利要求1至4任一项所述的机器翻译方法，其特征在于，在调用训练得到的机器翻译模型的步骤之前，还包括：
从平行语句库中选择训练语料；所述平行语句库包括平行语句对，所述平行语句对包括源语句和目标语句；
采用所述训练语料，对初始翻译模型进行训练，得到训练后翻译模型；
基于所述训练后翻译模型，采用所述训练语料对初始分块模型进行训练，得到训练后分块模型；
采用所述训练语料，对所述训练后翻译模型以及所述训练后分块模型进行联合训练，得到所述机器翻译模型。
6.根据权利要求5所述的机器翻译方法，其特征在于，基于所述训练后翻译模型，采用所述训练语料对初始分块模型进行训练，得到训练后分块模型的步骤，包括：
基于初始分块模型，对所述训练语料中的源语句进行分块，得到所述源语句的块；
基于所述源语句的块以及所述训练后翻译模型，对所述源语句进行翻译，得到所述源语句对应的翻译语句；
根据所述源语句对应的翻译语句以及目标语句，得到所述初始分块模型的分块期望值；
根据分块期望值的最优原则，对所述初始分块模型进行训练，得到所述训练后分块模型。
7.根据权利要求6所述的机器翻译方法，其特征在于，在基于初始分块模型，对所述训练语料中的源语句进行分块，得到所述源语句的块的步骤之前，还包括：
使用词语对齐工具对所述训练语料中的平行语句对进行词对齐；
根据对齐结果，确定候选分块位置；
基于初始分块模型以及所述候选分块位置，对所述训练语料中的源语句进行分块，得到所述源语句的块。
8.根据权利要求6所述的机器翻译方法，其特征在于，所述根据所述源语句对应的翻译语句以及目标语句，得到所述初始分块模型的分块期望值的步骤，包括：
获取所述源语句对应的翻译语句以及目标语句的似然参数；
根据所述似然参数，得到所述初始分块模型的分块期望值。
9.根据权利要求7所述的机器翻译方法，其特征在于，所述根据所述源语句对应的翻译语句以及目标语句，得到所述初始分块模型的分块期望值的步骤，还包括：
获取所述源语句的块数量、以及所述源语句的词数量；
根据所述块数量以及所述词数量，得到惩罚参数；
根据所述似然参数以及惩罚参数，得到所述初始分块模型的分块期望值。
10.根据权利要求6所述的机器翻译方法，其特征在于，所述分块模型包括相似性函数；所述基于初始分块模型，对所述训练语料中的源语句进行分块，得到所述源语句的块的步骤，包括：
获取所述源语句中当前块的块表示、以及当前词的词表示；
基于所述相似性函数，得到当前词与当前块的相似性；
根据所述相似性，确定当前词与当前块的归属关系；
根据所述归属关系对所述源语句进行分块，得到所述源语句的块。
11.根据权利要求5所述的机器翻译方法，其特征在于，所述对所述训练后翻译模型以及所述训练后分块模型进行联合训练的步骤包括：
获取翻译模型的翻译期望值、以及分块模型的分块期望值；
根据所述翻译期望值以及所述分块期望值，得到模型期望值；
根据所述模型期望值的最优原则，对所述训练后翻译模型以及所述训练后分块模型进行联合训练，得到所述机器翻译模型。
12.一种机器翻译装置，其特征在于，包括：
接收模块，用于接收待翻译语句；所述待翻译语句由待翻译词组成；
调用模块，用于调用训练得到的机器翻译模型；所述机器翻译模型包括分块模型和翻译模型；
分块模块，用于基于所述分块模型，根据所述待翻译词的词向量，对所述待翻译语句进行分块得到待翻译块；所述待翻译块包括至少一个待翻译词；
翻译模块，用于基于所述翻译模型以及所述待翻译块，对所述待翻译语句进行翻译，得到翻译结果。
13.根据权利要求12所述的机器翻译装置，其特征在于，还包括：
语料模块，用于从平行语句库中选择训练语料；所述平行语句库包括平行语句对，所述平行语句对包括源语句和目标语句；
翻译训练模块，用于采用所述训练语料，对初始翻译模型进行训练，得到训练后翻译模型；
分块训练模块，用于基于所述训练后翻译模型，采用所述训练语料对初始分块模型进行训练，得到训练后分块模型；
联合训练模块，用于采用所述训练语料，对所述训练后翻译模型以及所述训练后分块模型进行联合训练，得到所述机器翻译模型。
14.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至11任一项所述的机器翻译方法中的步骤。
15.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至11任一项所述的机器翻译方法中的步骤。
CN201910611919.7A 2019-07-08 2019-07-08 机器翻译方法及装置、电子设备及存储介质 Active CN110334360B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910611919.7A CN110334360B (zh) 2019-07-08 2019-07-08 机器翻译方法及装置、电子设备及存储介质
PCT/CN2020/096074 WO2021004232A1 (zh) 2019-07-08 2020-06-15 机器翻译方法及装置、电子设备及存储介质
US17/403,857 US11995415B2 (en) 2019-07-08 2021-08-16 Machine translation method and apparatus with joint optimization of translation model and partitioning model, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910611919.7A CN110334360B (zh) 2019-07-08 2019-07-08 机器翻译方法及装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110334360A true CN110334360A (zh) 2019-10-15
CN110334360B CN110334360B (zh) 2021-07-06

Family

ID=68143370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910611919.7A Active CN110334360B (zh) 2019-07-08 2019-07-08 机器翻译方法及装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN110334360B (zh)
WO (1) WO2021004232A1 (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929532A (zh) * 2019-11-21 2020-03-27 腾讯科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
CN111027681A (zh) * 2019-12-09 2020-04-17 腾讯科技（深圳）有限公司 时序数据处理模型训练方法、数据处理方法、装置及存储介质
CN111126087A (zh) * 2019-12-25 2020-05-08 北京百度网讯科技有限公司 领域翻译处理方法、装置及设备
CN111259652A (zh) * 2020-02-10 2020-06-09 腾讯科技（深圳）有限公司 双语语料句对齐方法、装置、可读存储介质和计算机设备
CN111274443A (zh) * 2020-01-10 2020-06-12 北京百度网讯科技有限公司 视频片段描述的生成方法、装置、电子设备及存储介质
CN111611811A (zh) * 2020-05-25 2020-09-01 腾讯科技（深圳）有限公司 翻译方法、装置、电子设备及计算机可读存储介质
WO2021004232A1 (zh) * 2019-07-08 2021-01-14 腾讯科技（深圳）有限公司 机器翻译方法及装置、电子设备及存储介质
CN112668326A (zh) * 2020-12-21 2021-04-16 平安科技（深圳）有限公司 语句翻译方法、装置、设备及存储介质
CN112836523A (zh) * 2019-11-22 2021-05-25 上海流利说信息技术有限公司 一种单词翻译方法、装置、设备和一种可读存储介质
CN113486679A (zh) * 2021-07-08 2021-10-08 中联国智科技管理(北京)有限公司 一种基于神经网络的语句翻译方法及装置
CN114997185A (zh) * 2021-10-27 2022-09-02 荣耀终端有限公司 翻译方法、介质、程序产品及电子设备
WO2023116709A1 (zh) * 2021-12-20 2023-06-29 中兴通讯股份有限公司 机器翻译方法、装置、电子设备和存储介质
US11995415B2 (en) 2019-07-08 2024-05-28 Tencent Technology (Shenzhen) Company Limited Machine translation method and apparatus with joint optimization of translation model and partitioning model, electronic device, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667177A (zh) * 2009-09-23 2010-03-10 清华大学 双语文本的对齐方法及装置
CN103020045A (zh) * 2012-12-11 2013-04-03 中国科学院自动化研究所 一种基于谓词论元结构的统计机器翻译方法
CN107632981A (zh) * 2017-09-06 2018-01-26 沈阳雅译网络技术有限公司 一种引入源语组块信息编码的神经机器翻译方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102396250B1 (ko) * 2015-07-31 2022-05-09 삼성전자주식회사 대역 어휘 결정 장치 및 방법
CN105912533B (zh) * 2016-04-12 2019-02-12 苏州大学 面向神经机器翻译的长句切分方法及装置
CN110334360B (zh) * 2019-07-08 2021-07-06 腾讯科技（深圳）有限公司 机器翻译方法及装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101667177A (zh) * 2009-09-23 2010-03-10 清华大学 双语文本的对齐方法及装置
CN103020045A (zh) * 2012-12-11 2013-04-03 中国科学院自动化研究所 一种基于谓词论元结构的统计机器翻译方法
CN107632981A (zh) * 2017-09-06 2018-01-26 沈阳雅译网络技术有限公司 一种引入源语组块信息编码的神经机器翻译方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张娟 等: "基于深度学习的形状建模方法", 《计算机学报》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021004232A1 (zh) * 2019-07-08 2021-01-14 腾讯科技（深圳）有限公司 机器翻译方法及装置、电子设备及存储介质
US11995415B2 (en) 2019-07-08 2024-05-28 Tencent Technology (Shenzhen) Company Limited Machine translation method and apparatus with joint optimization of translation model and partitioning model, electronic device, and storage medium
CN110929532B (zh) * 2019-11-21 2023-03-21 腾讯科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
CN110929532A (zh) * 2019-11-21 2020-03-27 腾讯科技（深圳）有限公司 数据处理方法、装置、设备及存储介质
CN112836523B (zh) * 2019-11-22 2022-12-30 上海流利说信息技术有限公司 一种单词翻译方法、装置、设备和一种可读存储介质
CN112836523A (zh) * 2019-11-22 2021-05-25 上海流利说信息技术有限公司 一种单词翻译方法、装置、设备和一种可读存储介质
CN111027681A (zh) * 2019-12-09 2020-04-17 腾讯科技（深圳）有限公司 时序数据处理模型训练方法、数据处理方法、装置及存储介质
CN111027681B (zh) * 2019-12-09 2023-06-27 腾讯科技（深圳）有限公司 时序数据处理模型训练方法、数据处理方法、装置及存储介质
CN111126087A (zh) * 2019-12-25 2020-05-08 北京百度网讯科技有限公司 领域翻译处理方法、装置及设备
CN111126087B (zh) * 2019-12-25 2023-08-29 北京百度网讯科技有限公司 领域翻译处理方法、装置及设备
CN111274443A (zh) * 2020-01-10 2020-06-12 北京百度网讯科技有限公司 视频片段描述的生成方法、装置、电子设备及存储介质
CN111274443B (zh) * 2020-01-10 2023-06-09 北京百度网讯科技有限公司 视频片段描述的生成方法、装置、电子设备及存储介质
US11615140B2 (en) 2020-01-10 2023-03-28 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for detecting temporal action of video, electronic device and storage medium
CN111259652B (zh) * 2020-02-10 2023-08-15 腾讯科技（深圳）有限公司 双语语料句对齐方法、装置、可读存储介质和计算机设备
CN111259652A (zh) * 2020-02-10 2020-06-09 腾讯科技（深圳）有限公司 双语语料句对齐方法、装置、可读存储介质和计算机设备
CN111611811B (zh) * 2020-05-25 2023-01-13 腾讯科技（深圳）有限公司 翻译方法、装置、电子设备及计算机可读存储介质
WO2021238604A1 (zh) * 2020-05-25 2021-12-02 腾讯科技（深圳）有限公司 翻译方法、装置、电子设备及计算机可读存储介质
CN111611811A (zh) * 2020-05-25 2020-09-01 腾讯科技（深圳）有限公司 翻译方法、装置、电子设备及计算机可读存储介质
JP7457125B2 (ja) 2020-05-25 2024-03-27 テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド 翻訳方法、装置、電子機器及びコンピュータプログラム
CN112668326B (zh) * 2020-12-21 2024-03-08 平安科技（深圳）有限公司 语句翻译方法、装置、设备及存储介质
CN112668326A (zh) * 2020-12-21 2021-04-16 平安科技（深圳）有限公司 语句翻译方法、装置、设备及存储介质
CN113486679A (zh) * 2021-07-08 2021-10-08 中联国智科技管理(北京)有限公司 一种基于神经网络的语句翻译方法及装置
CN114997185A (zh) * 2021-10-27 2022-09-02 荣耀终端有限公司 翻译方法、介质、程序产品及电子设备
CN114997185B (zh) * 2021-10-27 2023-07-04 荣耀终端有限公司 翻译方法、介质、程序产品及电子设备
WO2023116709A1 (zh) * 2021-12-20 2023-06-29 中兴通讯股份有限公司 机器翻译方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2021004232A1 (zh) 2021-01-14
US20210374363A1 (en) 2021-12-02
CN110334360B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN110334360A (zh) 机器翻译方法及装置、电子设备及存储介质
US11416681B2 (en) Method and apparatus for determining a reply statement to a statement based on a sum of a probability of the reply statement being output in response to the statement and a second probability in which the statement is output in response to the statement and further based on a terminator
US10956771B2 (en) Image recognition method, terminal, and storage medium
CN109145303B (zh) 命名实体识别方法、装置、介质以及设备
CN110599557B (zh) 图像描述生成方法、模型训练方法、设备和存储介质
CN111553162B (zh) 一种意图识别的方法以及相关装置
CN110890093B (zh) 一种基于人工智能的智能设备唤醒方法和装置
CN111816159B (zh) 一种语种识别方法以及相关装置
KR20190130636A (ko) 기계번역 방법, 장치, 컴퓨터 기기 및 기억매체
CN110162770A (zh) 一种词扩展方法、装置、设备及介质
CN110334347A (zh) 基于自然语言识别的信息处理方法、相关设备及存储介质
CN109036419A (zh) 一种语音识别匹配方法、终端及计算机可读存储介质
CN110570840B (zh) 一种基于人工智能的智能设备唤醒方法和装置
CN111178099A (zh) 一种文本翻译的方法以及相关装置
CN109902296A (zh) 自然语言处理方法、训练方法及数据处理设备
CN110110045A (zh) 一种检索相似文本的方法、装置以及存储介质
CN112214605A (zh) 一种文本分类方法和相关装置
CN112749252A (zh) 一种基于人工智能的文本匹配方法和相关装置
CN111597804A (zh) 一种实体识别模型训练的方法以及相关装置
CN113821589A (zh) 一种文本标签的确定方法及装置、计算机设备和存储介质
CN110276010A (zh) 一种权重模型训练方法和相关装置
CN112328783A (zh) 一种摘要确定方法和相关装置
CN114840563B (zh) 一种字段描述信息的生成方法、装置、设备及存储介质
CN111723783B (zh) 一种内容识别方法和相关装置
CN113392639B (zh) 基于人工智能的标题生成方法、装置及服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant