CN107943794A - 一种翻译方法及系统 - Google Patents

Abstract

本申请公开了一种翻译方法及系统，用以提高翻译效率。本申请实施例提供的一种翻译方法，包括：将待翻译语句与预设缓存中的源语句进行匹配；若所述匹配成功，则将匹配成功的源语句所对应的目标语句输出，其中，所述缓存中预先存储有先前翻译任务过程中得到的源语句与目标语句的对应关系，所述源语句与目标语句互为翻译结果。

Description

一种翻译方法及系统

技术领域

本申请涉及通信技术领域，尤其涉及一种翻译方法及系统。

背景技术

统计机器翻译是当前机器翻译的主流技术，通常而言，统计机器翻译系统包含线上解码以及线下训练模块两大模块，总体架构如图1所示，上方框是线下训练模块，下方框是线上解码模块。其中，线上解码模块，包括预处理、翻译解码、后处理三个部分。

目前常规的在线翻译系统由于采取单节点完成所有翻译流程的模式，因此翻译效率较低。

发明内容

本申请实施例提供了一种翻译方法及系统，用以提高翻译效率。

本申请实施例提供的一种翻译方法，包括：

将待翻译语句与预设缓存中的源语句进行匹配；

若所述匹配成功，则将匹配成功的源语句所对应的目标语句输出，其中，所述缓存中预先存储有先前翻译任务过程中得到的源语句与目标语句的对应关系，所述源语句与目标语句互为翻译结果。

通过该方法，将待翻译语句与预设缓存中的源语句进行匹配，若所述匹配成功，则直接将匹配成功的源语句所对应的目标语句输出，其中，所述缓存中预先存储有先前翻译任务过程中得到的源语句与目标语句的对应关系，所述源语句与目标语句互为翻译结果，从而提高了翻译效率，减少翻译延时。

可选地，所述待翻译语句是经过分词处理后的语句。

可选地，该方法还包括：

若所述匹配失败，则将待翻译语句分发给翻译解码节点，其中每一翻译解码节点负责翻译一个待翻译语句；

接收每一所述翻译解码节点反馈的翻译结果，并对翻译结果进行整合后输出。

可选地，每一翻译解码节点包括相同的用于实现多语种翻译的数据模型。

可选地，该方法还包括：

当任一所述翻译解码节点出现异常，调度新的空闲翻译解码节点执行翻译任务。

可选地，按照预设的翻译优先级，选择翻译任务，然后将翻译任务中的待翻译语句与预设缓存中的源语句进行匹配。

可选地，通过统一接口接收不同业务方的翻译请求，建立所述翻译任务。

可选地，所述业务方是具有翻译请求权限的业务方。

可选地，该方法还包括：监控所述翻译任务的执行过程数据，当出现异常时，发出告警信号。

与上述方法相对应地，本申请实施例提供的一种翻译系统，包括：

第一单元，用于将待翻译语句与预设缓存中的源语句进行匹配；

第二单元，用于若所述匹配成功，则将匹配成功的源语句所对应的目标语句输出，其中，所述缓存中预先存储有先前翻译任务过程中得到的源语句与目标语句的对应关系，所述源语句与目标语句互为翻译结果。

可选地，所述待翻译语句是经过分词处理后的语句。

可选地，该系统还包括用于翻译语句的翻译解码节点；

第二单元还用于：

若所述匹配失败，则将待翻译语句分发给翻译解码节点，其中每一翻译解码节点负责翻译一个待翻译语句；

接收每一所述翻译解码节点反馈的翻译结果，并对翻译结果进行整合后输出。

可选地，每一翻译解码节点包括相同的用于实现多语种翻译的数据模型。

可选地，该系统还包括：

调度单元，用于当任一所述翻译解码节点出现异常，调度新的空闲翻译解码节点执行翻译任务。

可选地，该系统还包括：

机翻平台，用于按照预设的翻译优先级，选择翻译任务并发给所述第一单元；

所述第一单元将翻译任务中的待翻译语句与预设缓存中的源语句进行匹配。

可选地，所述机翻平台通过统一接口接收不同业务方的翻译请求，建立所述翻译任务。

可选地，所述业务方是具有翻译请求权限的业务方。

可选地，还包括：

监控单元，用于监控所述翻译任务的执行过程数据，当出现异常时，发出告警信号。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中的统计机器翻译系统架构示意图；

图2为本申请实施例提供的一种翻译系统的具体结构示意图；

图3为本申请实施例提供的一种翻译方法的流程示意图；

图4为本申请实施例提供的一种翻译系统的整体结构示意图。

具体实施方式

本申请实施例提供了一种翻译方法及装置，用以提高翻译效率。

本申请实施例提供的技术方案，能够提供在高并发的情况下保持低延时，并具有良好的可扩展性。

参见图2，本申请实施例提供的一套大规模分布式高并发在线机器翻译系统可以分以下三部分进行介绍。

第一部分、机翻平台：该平台用于接收所有的外部业务翻译请求。其主要完成如下几件事情：

第一，权限控制。任何业务方需要申请权限，才能接入服务，必须在平台上进行登记使用什么样的相应服务，例如业务方需要使用中到英的翻译，需要在平台上进行注册后才可使用。也就是说，本申请实施例中所述业务方是具有翻译请求权限的业务方。

第二，第二，流量控制。对于所有的业务方，流量是根据时间或者节日都有所变化，不同时间段的流量变化非常大，通常晚上流量较小，白天流量规模较大，该平台根据业务方的流量变化进行控制，对不紧急的任务延后到低峰时段进行处理，做到流量平稳的进入到翻译引擎中。也就是说，本申请实施例可以按照预设的翻译优先级，选择翻译任务。

第三，第三，接口统一。对于不同的业务方，可能其需要的接口形式不同，因此该平台需要考虑所有可能的业务方的需求，进行通用接口的统一设计，根据业务方的不同需求，将接口调用方式归纳为异步和同步两大类调用方式，能够服务于所有的业务方。即本申请实施例通过统一接口接收不同业务方的翻译请求，建立所述翻译任务。

第二部分、翻译分发节点(SP)。翻译分发节点用于接收机翻平台转发的业务方的翻译请求，并通过翻平台将翻译结果返回给业务方。

具体地，翻译分发节点对待翻译请求进行解析，获取翻译请求的翻译方向(例如英文到中文的翻译)、待翻译文本等信息。并对待翻译文本按照其语种作相应的预处理。预处理包括文本格式解析、句子拆分、分词/token等操作。例如，若待翻译文本的文本格式为html，则此翻译分发节点将会首先从html格式的文本中抽取需要翻译的文本段落，并拆分为多个句子，如果待翻译文本是中文，则会对句子进行分词，若待翻译文本是英文，则会对句子进行token，达到的效果都是将句子中的词与词之间用空格隔开。总体来说，一个翻译请求对应一个翻译任务，每一翻译请求在经过预处理后会被拆分为多个子任务，每一子任务即一个句子的翻译任务。每一子任务后续发给分布式高速缓存(Memcached)，以及分发给翻译解码节点(D2)进行处理。在从分布式高速缓存和翻译解码节点获取翻译结果后，将各个子任务(即预处理后的各个句子)的翻译结果，按照原来的文本格式进行重组，生成最终的译文，返回给机翻平台。

关于分布式高速缓存(Memcached)：翻译文本在经过预处理后，将会首先提交给高速缓存进行查询，查询缓存中是否有先前已经翻译过的句子，如果命中缓存，则不需要进行翻译，直接将缓存的译文结果作为最终的翻译结果。从统计意义上看，在执行大批量的翻译任务过程中，文本被拆分为较短的句子后，将有大量重复。由于大量高频出现的句子已经被系统翻译过，通过高速缓存，能够极大的降低整体翻译延时，并极大的提高系统吞吐量。也就是说，本申请实施例可以将待翻译语句与预设缓存中的源语句进行匹配，若所述匹配成功，则将匹配成功的源语句所对应的目标语句输出，其中，所述缓存中预先存储有先前翻译任务过程中得到的源语句与目标语句的对应关系，所述源语句与目标语句互为翻译结果。从而可以提高翻译效率。

第三部分、翻译解码节点。如图2所示，其中的解码部分为核心翻译过程，此过程中一个经过预处理的句子被翻译为目标译文；多模型管理部分用于管理解码所需要的数据资源。

具体地，翻译解码节点用于执行核心的翻译过程，它从翻译分发节点获取经过预处理后的翻译子任务，翻译完成后实时返回给翻译分发节点。整个系统中翻译解码节点是同构的，即每一翻译解码节点包括相同的用于实现多语种翻译的数据模型，执行所有语种翻译的代码模块是与语种无关的，翻译不同语种的文本只需要提供不同语种的数据模型即可(数据模型由多模型管理模块统一存储和管理)，因此每一个翻译解码节点支持所有语言方向的翻译，非常易于进行横向扩展。整个系统部署有多个翻译解码节点，每个翻译节点部署的程序和数据完全一致，多个翻译解码节点同时工作，对一个翻译任务的多个子任务进行同时处理，因此能够提高系统的并发度和吞吐量，且任何一个翻译解码节点出现故障导致宕机时，其他翻译解码节点能够承担相应的工作，不会对系统的稳定性造成影响。

因此，本申请实施例中，若翻译分发节点中的分布式高速缓存对待翻译语句的匹配过程失败，则将待翻译语句分发给翻译解码节点，其中较佳地，每一翻译解码节点负责翻译一个待翻译语句；翻译解码节点将翻译结果返回给翻译分发节点，翻译分发节点接收每一所述翻译解码节点反馈的翻译结果，并对翻译结果进行整合后输出。

其中，关于多模型管理模块的功能具体介绍如下：为了能够在翻译解码节点上提供所有语种方向的翻译能力，翻译解码节点需要存储所有语种方向翻译模型数据，由于翻译模型数据所需磁盘的存储空间和内存使用量较多(常规模式下内存使用为几百GB，磁盘存储空间为上TByte)，通过多模型管理的内存控制技术，将翻译模型中的热数据(即使用频率较高的数据)加载到内存中，其余数据存储在磁盘，并且根据服务过程中动态调整内存的使用和热数据的加载，达到用较小内存加载多模型的目的，同时多模型管理技术实现了计算与数据分离，数据之间实现共享，即不同翻译语种之间的模型可以共享数据资源，达到减少模型存储数据量的目的。

第四部分、自动化运维和管理系统，包括图中的监控模块(Amonitor)和管理模块(HippoAM)。

其中，HippoAM管理所有的D2翻译节点，负责从机器资源池中调度机器部署和运行D2部分翻译程序，其中所述的机器资源池，即具体用于实现翻译的物理机器，即上述的翻译解码节点。如果翻译解码节点由于机器故障或者其他原因导致无法启动，HippoAM会快速从机器资源池中自动拉取空闲机器，并且部署相应的服务进行启动，填补机器故障导致的服务能力不足。也就是说，本申请实施例，当任一所述翻译解码节点出现异常，可以调度新的空闲翻译解码节点执行翻译任务。

Amonitor会监控系统的所有环节的重要数据指标，比如每秒查询率(QPS)、响应延时(Latency)、错误率(ErrorRate)等情况，Amonitor通过部署在机器上的监控程序，实时的获取监控数据，如果出现异常，则通过短信等形式通知服务维护人员。即本申请实施例，可以监控所述翻译任务的执行过程数据，当出现异常时，发出告警信号。

另外，图2中名字服务器(CM2)，提供寻址和定位服务，主要功能为SP通过查询CM2服务，获取D2服务器集群的IP地址和服务端口，当D2服务器集群有机器改变时，SP能够通过CM2获取其更新后的服务地址。

由此可见，参见图3，本申请实施例提供的一种翻译方法，包括：

S101、将待翻译语句与预设缓存中的源语句进行匹配；

S102、若所述匹配成功，则将匹配成功的源语句所对应的目标语句输出，其中，所述缓存中预先存储有先前翻译任务过程中得到的源语句与目标语句的对应关系，所述源语句与目标语句互为翻译结果。

通过该方法，将待翻译语句与预设缓存中的源语句进行匹配，若所述匹配成功，则直接将匹配成功的源语句所对应的目标语句输出，其中，所述缓存中预先存储有先前翻译任务过程中得到的源语句与目标语句的对应关系，所述源语句与目标语句互为翻译结果，从而提高了翻译效率，减少翻译延时。

可选地，所述待翻译语句是经过分词处理后的语句。

可选地，该方法还包括：

若所述匹配失败，则将待翻译语句分发给翻译解码节点，其中每一翻译解码节点负责翻译一个待翻译语句；

接收每一所述翻译解码节点反馈的翻译结果，并对翻译结果进行整合后输出。

可选地，每一翻译解码节点包括相同的用于实现多语种翻译的数据模型。所述数据模型，包括翻译模型和语言模型。

可选地，该方法还包括：

当任一所述翻译解码节点出现异常，调度新的空闲翻译解码节点执行翻译任务。

可选地，按照预设的翻译优先级，选择翻译任务，然后将翻译任务中的待翻译语句与预设缓存中的源语句进行匹配。其中，优先级较低的任务将在服务负载低峰时进行，从而达到流量控制的目的。

可选地，通过统一接口接收不同业务方的翻译请求，建立所述翻译任务。

可选地，所述业务方是具有翻译请求权限的业务方。

可选地，该方法还包括：监控所述翻译任务的执行过程数据，当出现异常时，发出告警信号。

与上述方法相对应地，参见图4，本申请实施例提供的一种翻译系统，包括：

第一单元11，用于将待翻译语句与预设缓存中的源语句进行匹配；

第二单元12，用于若所述匹配成功，则将匹配成功的源语句所对应的目标语句输出，其中，所述缓存中预先存储有先前翻译任务过程中得到的源语句与目标语句的对应关系，所述源语句与目标语句互为翻译结果。

上述第一单元11和第二单元12，相当于执行图2中的SP模块的功能。

可选地，所述待翻译语句是经过分词处理后的语句。

可选地，该系统还包括用于翻译语句的翻译解码节点，即对应图2中的D2模块；

第二单元还用于：

若所述匹配失败，则将待翻译语句分发给翻译解码节点，其中每一翻译解码节点负责翻译一个待翻译语句；

接收每一所述翻译解码节点反馈的翻译结果，并对翻译结果进行整合后输出。

可选地，每一翻译解码节点包括相同的用于实现多语种翻译的数据模型。

可选地，该系统还包括：

调度单元，用于当任一所述翻译解码节点出现异常，调度新的空闲翻译解码节点执行翻译任务。

该调度单元，相当于图2中的管理模块。

可选地，该系统还包括：

机翻平台(对应图2中的机翻平台)，用于按照预设的翻译优先级，选择翻译任务并发给所述第一单元；

所述第一单元将翻译任务中的待翻译语句与预设缓存中的源语句进行匹配。

可选地，所述机翻平台通过统一接口接收不同业务方的翻译请求，建立所述翻译任务。

可选地，所述业务方是具有翻译请求权限的业务方。

可选地，还包括：

监控单元，用于监控所述翻译任务的执行过程数据，当出现异常时，发出告警信号。

该监控单元，相当于图2中的监控模块。

综上所述，本申请实施例提出了一套大规模分布式高并发的机器翻译架构，实现以下功能：

翻译流量控制：由于工业界特殊的业务场景极多，导致无法监控各个业务方接入的情况，也无法控制流量的波动性。本申请开创性的提出了机翻平台模块用于直接对接业务方，用于处理与业务方的接口、流量控制等。由于各个业务方的流量呈现波浪型，通过流量控制将流量平均成直线型，保证了翻译引擎的稳定性。通过使用此方案，能够将所有调用平均分布到全天的各个时段进行处理，避免了某一时段系统负载过高或过低的情况。

可配置的统一前处理：现有技术中对于不同的语种、不同的业务方、不同版本的引擎都会存在其相应的不可配置的前处理模块，直接与相应的翻译引擎、业务方等绑定了。导致前处理需要升级的时候，必须对于所有的引擎一一升级，导致极大的麻烦。在引擎多达几百以上的时候，该工作变得不太可能。本申请开创性的设计并且开发了统一的可配置的前处理模块。不同的业务方、不同的语种可以选择配置其需要的模块，做到了可插拔的形式。前处理模块对于所有的人都是可见的，并且共用的。后续如果升级其中的模块时，只需要升级一次即可，无需重复投入人力劳动了。

高速分布式缓存：本申请开创性的使用了高速分布式缓存。所有机器共用一份缓存。使用高速缓存后，由于大部分重复的请求命中缓存，无需再部署大量的翻译解码节点，极大的减少了机器资源的消耗。

多模型加载：由于机器翻译的模型数据数据量很大，导致通常情况下一台计算机仅加载一份模型进行提供服务。本申请开创性的将所有的模型进行加载，利用内存控制技术，在有限的内存情况下，实现了多模型加载。所有的模型都在内存中，根据实时翻译请求决定使用哪一个模型。

内存控制：在多模型加载的情况下，需要进行内存控制，否则内存难以支撑住。本申请开创性的在数据存取方式进行设计，达到可以随意控制内存的上限。经过大量的实验验证，每个语种仅需2G左右的内存即可达到服务要求。

计算与数据分离：为了共享计算资源，本申请将计算资源与数据进行分离，计算资源之间达到了共享。在翻译的时候，分配相应的计算资源，并且动态加载所需要的数据，完成翻译过程。数据通过多模型管理模块统一管理，并且提供统一的动态接口供所有的计算模块使用。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (18)

1.一种翻译方法，其特征在于，该方法包括：

将待翻译语句与预设缓存中的源语句进行匹配；

若所述匹配成功，则将匹配成功的源语句所对应的目标语句输出，其中，所述缓存中预先存储有先前翻译任务过程中得到的源语句与目标语句的对应关系，所述源语句与目标语句互为翻译结果。

2.根据权利要求1所述的方法，其特征在于，所述待翻译语句是经过分词处理后的语句。

3.根据权利要求1所述的方法，其特征在于，该方法还包括：

若所述匹配失败，则将待翻译语句分发给翻译解码节点，其中每一翻译解码节点负责翻译一个待翻译语句；

接收每一所述翻译解码节点反馈的翻译结果，并对翻译结果进行整合后输出。

4.根据权利要求3所述的方法，其特征在于，每一翻译解码节点包括相同的用于实现多语种翻译的数据模型。

5.根据权利要求3所述的方法，其特征在于，该方法还包括：

当任一所述翻译解码节点出现异常，调度新的空闲翻译解码节点执行翻译任务。

6.根据权利要求1所述的方法，其特征在于，按照预设的翻译优先级，选择翻译任务，然后将翻译任务中的待翻译语句与预设缓存中的源语句进行匹配。

7.根据权利要求6所述的方法，其特征在于，通过统一接口接收不同业务方的翻译请求，建立所述翻译任务。

8.根据权利要求7所述的方法，其特征在于，所述业务方是具有翻译请求权限的业务方。

9.根据权利要求6所述的方法，其特征在于，该方法还包括：监控所述翻译任务的执行过程数据，当出现异常时，发出告警信号。

10.一种翻译系统，其特征在于，包括：

第一单元，用于将待翻译语句与预设缓存中的源语句进行匹配；

第二单元，用于若所述匹配成功，则将匹配成功的源语句所对应的目标语句输出，其中，所述缓存中预先存储有先前翻译任务过程中得到的源语句与目标语句的对应关系，所述源语句与目标语句互为翻译结果。

11.根据权利要求10所述的系统，其特征在于，所述待翻译语句是经过分词处理后的语句。

12.根据权利要求10所述的系统，其特征在于，该系统还包括用于翻译语句的翻译解码节点；

第二单元还用于：

若所述匹配失败，则将待翻译语句分发给翻译解码节点，其中每一翻译解码节点负责翻译一个待翻译语句；

接收每一所述翻译解码节点反馈的翻译结果，并对翻译结果进行整合后输出。

13.根据权利要求12所述的系统，其特征在于，每一翻译解码节点包括相同的用于实现多语种翻译的数据模型。

14.根据权利要求12所述的系统，其特征在于，该系统还包括：

调度单元，用于当任一所述翻译解码节点出现异常，调度新的空闲翻译解码节点执行翻译任务。

15.根据权利要求12所述的系统，其特征在于，该系统还包括：

机翻平台，用于按照预设的翻译优先级，选择翻译任务并发给所述第一单元；

所述第一单元将翻译任务中的待翻译语句与预设缓存中的源语句进行匹配。

16.根据权利要求15所述的系统，其特征在于，所述机翻平台通过统一接口接收不同业务方的翻译请求，建立所述翻译任务。

17.根据权利要求16所述的系统，其特征在于，所述业务方是具有翻译请求权限的业务方。

18.根据权利要求16所述的系统，其特征在于，还包括：

监控单元，用于监控所述翻译任务的执行过程数据，当出现异常时，发出告警信号。