JP2021093113A - 機械翻訳モデルのトレーニング方法、装置およびシステム - Google Patents

Abstract

【課題】機械翻訳モデルのトレーニング方法、装置および媒体を提供する。【解決手段】方法は、双方向翻訳モデルおよびソースコーパスおよびターゲットコーパスを含むトレーニングデータを取得することと、双方向翻訳モデルに対して各ラウンドがソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳および擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳を含むＮラウンドのトレーニングを実行することと、ターゲットコーパスと擬似ターゲットコーパスの類似度である順方向翻訳類似度およびソースコーパスと擬似ソースコーパスの類似度である逆方向翻訳類似度を取得することと、順方向翻訳類似度と逆方向翻訳類似度の和が収束すると、双方向翻訳モデルのトレーニングが完了したと決定することと、を含む。【選択図】図１

Description

本願は、２０１９年１２月１０日に中国特許局に提出された、出願番号がＣＮ２０１９１１２５９４１５．Ｘである中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願に組み込まれる。

本開示は、機械翻訳に関し、特に、機械翻訳モデルのトレーニング方法、装置およびシステムに関する。

機械翻訳アプリケーションでは、機械翻訳モデルをトレーニングする必要がある。機械翻訳モデルは、トレーニング時に、トレーニングデータとして大量のバイリンガル対訳コーパスを必要とする。しかしながら、マイナー言語に関する機械翻訳シナリオなど、多くの適用シナリオでは、大量のバイリンガル対訳コーパスリソースがなくて、トレーニングコーパスの不足のため、機械翻訳モデルが目的の翻訳効果を満たすことが困難である。これは主に、バイリンガル対訳コーパスを取得する難易度が高く、コストが高いため、多くのマイナー言語は、数十万または数万の対訳コーパスしかない。さらに、マイナー言語の数はメジャー言語よりもはるかに多いため、マイナー言語とメジャー言語またはマイナー言語とマイナー言語の言語ペアごとに大量のバイリンガル対訳コーパスを構築するためのコストは受け入れ難い。

したがって、リソースが少ない場合に機械翻訳モデルをトレーニングする方法が必要である。

関連技術に存在する問題を解決するために、本開示は、機械翻訳モデルのトレーニング方法、装置およびシステムを提供する。

本開示の実施例の第１の態様によれば、機械翻訳モデルのトレーニング方法を提供し、前記方法は、
トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得することであって、前記トレーニングデータは、ソースコーパスおよび対応するターゲットコーパスを含むことと、
前記双方向翻訳モデルに対してＮ（Ｎは１より大きい正の整数）ラウンドのトレーニングプロセスを実行することであって、トレーニングプロセスの各ラウンドは、前記ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび前記擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを含むことと、
順方向翻訳類似度および逆方向翻訳類似度を取得することであって、前記順方向翻訳類似度は、前記ターゲットコーパスと前記擬似ターゲットコーパスの類似度であり、前記逆方向翻訳類似度は、前記ソースコーパスと前記擬似ソースコーパスの類似度であることと、
前記順方向翻訳類似度と前記逆方向翻訳類似度の和が収束すると、前記双方向翻訳モデルのトレーニングが完了したと決定することとを含む。

ここで、前記双方向翻訳モデルに対してＮラウンドのトレーニングプロセスを実行することは、
前記双方向翻訳モデルに再構成器を設置し、前記再構成器を介して前記逆方向翻訳プロセスを実現することを含む。

ここで、前記双方向翻訳モデルに対してＮラウンドのトレーニングプロセスを実行することは、
前記順方向翻訳プロセスでは、微分可能なサンプリング関数を介して前記擬似ターゲットコーパスを取得することを含む。

ここで、前記双方向翻訳モデルに対してＮラウンドのトレーニングプロセスを実行することは、
ｉ（ｉは１より大きいか等しいかつＮより小さい正の整数）ラウンド目のトレーニングプロセスでは、前記微分可能なサンプリング関数を介して前記ターゲットコーパスと前記擬似ターゲットコーパスの間の誤差を取得することと、
ｉ＋１ラウンド目のトレーニングプロセスでは、前記ｉラウンド目のトレーニングプロセスで取得された前記誤差に基づいて、前記双方向翻訳モデルのトレーニングパラメータを調整することとをさらに含む。

ここで、前記微分可能なサンプリング関数はＧｕｍｂｅｌ−Ｓｏｆｔｍａｘ関数を含む。

ここで、前記順方向翻訳類似度および逆方向翻訳類似度を取得することは、
前記ターゲットコーパスと前記擬似ターゲットコーパスの対数尤度関数値、および前記ソースコーパスと前記擬似ソースコーパスの対数尤度関数値を取得することを含む。

ここで、前記トレーニングデータには、第１の言語タグまたは第２の言語タグが設定され、ここで、前記第１の言語タグが設定されたトレーニングデータはソースコーパスであり、前記第２の言語タグが設定されたトレーニングデータはターゲットコーパスであり、または、前記第２の言語タグが設定されたトレーニングデータはソースコーパスであり、前記第１の言語タグが設定されたトレーニングデータはターゲットコーパスである。

本開示の実施例の第２の態様によれば、機械翻訳モデルのトレーニング装置を提供し、前記装置は、
トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得するように構成されるモデルおよびデータ取得モジュールであって、前記トレーニングデータは、ソースコーパスおよび対応するターゲットコーパスを含むモデルおよびデータ取得モジュールと、
前記双方向翻訳モデルに対してＮ（Ｎは１より大きい正の整数）ラウンドのトレーニングプロセスを実行するように構成されるトレーニングモジュールであって、トレーニングプロセスの各ラウンドは、前記ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび前記擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを含むトレーニングモジュールと、
順方向翻訳類似度および逆方向翻訳類似度を取得するように構成される類似度取得モジュールであって、前記順方向翻訳類似度は、前記ターゲットコーパスと前記擬似ターゲットコーパスの類似度であり、前記逆方向翻訳類似度は、前記ソースコーパスと前記擬似ソースコーパスの類似度である類似度取得モジュールと、
前記順方向翻訳類似度と前記逆方向翻訳類似度の和が収束すると、前記双方向翻訳モデルのトレーニングが完了したと決定するように構成される決定モジュールとを含む。

ここで、前記トレーニングモジュールは再構成器をさらに含み、前記再構成器を介して前記逆方向翻訳プロセスを実現する。

ここで、前記トレーニングモジュールは、さらに、
前記順方向翻訳プロセスでは、微分可能なサンプリング関数を介して前記擬似ターゲットコーパスを取得するように構成される。

ここで、前記トレーニングモジュールは、さらに、
ｉ（ｉは１より大きいか等しいかつＮより小さい正の整数）ラウンド目のトレーニングプロセスでは、前記微分可能なサンプリング関数を介して前記ターゲットコーパスと前記擬似ターゲットコーパスの間の誤差を取得し、
ｉ＋１ラウンド目のトレーニングプロセスでは、前記ｉラウンド目のトレーニングプロセスで取得された前記誤差に基づいて、前記双方向翻訳モデルのトレーニングパラメータを調整するように構成される。

ここで、前記微分可能なサンプリング関数はＧｕｍｂｅｌ−Ｓｏｆｔｍａｘ関数を含む。

ここで、前記類似度取得モジュールは、さらに、
前記ターゲットコーパスと前記擬似ターゲットコーパスの対数尤度関数値、および前記ソースコーパスと前記擬似ソースコーパスの対数尤度関数値を取得するように構成される。

ここで、前記モデルおよびデータ取得モジュールは、さらに、
前記トレーニングデータに第１の言語タグまたは第２の言語タグを設定するように構成され、前記第１の言語タグが設定されたトレーニングデータをソースコーパスとして使用し、前記第２の言語タグが設定されたトレーニングデータをターゲットコーパスとして使用し、または、前記第２の言語タグが設定されたトレーニングデータをソースコーパスとして使用し、前記第１の言語タグが設定されたトレーニングデータをターゲットコーパスとして使用する。

本開示の実施例の第３の態様によれば、機械翻訳モデルのトレーニング装置を提供し、
プロセッサと、
プロセッサによって実行可能な命令を記憶するように構成されるメモリを含み、
ここで、前記プロセッサは、
トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得し、ここで、前記トレーニングデータは、ソースコーパスおよび対応するターゲットコーパスを含み、
前記双方向翻訳モデルに対してＮ（Ｎは１より大きい正の整数）ラウンドのトレーニングプロセスを実行し、トレーニングプロセスの各ラウンドは、前記ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび前記擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを含み、
順方向翻訳類似度および逆方向翻訳類似度を取得し、ここで、前記順方向翻訳類似度は、前記ターゲットコーパスと前記擬似ターゲットコーパスの類似度であり、前記逆方向翻訳類似度は、前記ソースコーパスと前記擬似ソースコーパスの類似度であり、
前記順方向翻訳類似度と前記逆方向翻訳類似度の和が収束すると、前記双方向翻訳モデルのトレーニングが完了したと決定するように構成される。

本開示の実施例の第４の態様によれば、非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記記憶媒体の命令が端末のプロセッサによって実行される時に、端末が機械翻訳モデルのトレーニング方法を実行することができるようにし、前記方法は、
トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得することであって、前記トレーニングデータは、ソースコーパスおよび対応するターゲットコーパスを含むことと、
前記双方向翻訳モデルに対してＮ（Ｎは１より大きい正の整数）ラウンドのトレーニングプロセスを実行することであって、トレーニングプロセスの各ラウンドは、前記ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび前記擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを含むことと、
順方向翻訳類似度および逆方向翻訳類似度を取得することであって、前記順方向翻訳類似度は、前記ターゲットコーパスと前記擬似ターゲットコーパスの類似度であり、前記逆方向翻訳類似度は、前記ソースコーパスと前記擬似ソースコーパスの類似度であることと、
前記順方向翻訳類似度と前記逆方向翻訳類似度の和が収束すると、前記双方向翻訳モデルのトレーニングが完了したと決定することとを含む。

本開示は、マイナー言語に対する機械翻訳モデルのトレーニング方法を提案する。ここで、双方向翻訳モデルを本開示の機械翻訳モデルとして使用する。トレーニングプロセスの各ラウンドでは、ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを実行し、順方向翻訳プロセスにおける順方向翻訳類似度と逆方向翻訳プロセスにおける逆方向翻訳類似度の和が収束するかどうかを判断することによって、機械翻訳モデルのトレーニングが完了したかどうかを決定する。ここで、再構成器を介して前記逆方向翻訳プロセスを実現する。

前記方法を使用して、トレーニングに逆方向翻訳コーパスを導入すると、コーパスの豊富さが増し、それにより、リソースが少ない場合にモデルのトレーニング効果を改善する。さらに、双方向翻訳の方法を導入して、逆方向翻訳モデルを同時にトレーニングするため、従来の逆方向翻訳方法では高品質な逆方向翻訳モデルを取得し難いという問題を解決する。

上記した一般的な説明及び後述する詳細な説明は、単なる例示及び説明であり、本開示を限定するものではないことを理解されたい。

ここでの図面は、本明細書に組み込まれてその一部を構成し、本発明と一致する実施例を示し、明細書とともに本発明の原理を説明するために使用される。
一例示的な実施例によって示された機械翻訳モデルのトレーニング方法のフローチャートである。 一例示的な実施例によって示された機械翻訳モデルのトレーニング方法のフローチャートである。 一例示的な実施例によって示された機械翻訳モデルのトレーニング装置のブロック図である。 一例示的な実施例によって示された装置のブロック図である。 一例示的な実施例によって示された装置のブロック図である。

ここで、例示的な実施例を詳細に説明し、その例は添付の図面に示す。別の指示がない限り、以下の説明が図面に関する場合、異なる図面の同じ数字は同じまたは類似な要素を表す。以下の例示的な実施例で説明される実施形態は、本発明と一致するすべての実施形態を表すものではない。むしろ、それらは、添付された特許請求の範囲に詳述されるように、本発明の特定の態様と一致する装置および方法の例である。

マイナー言語の機械翻訳シナリオでは、機械翻訳モデルをトレーニングする時に、マイナー言語のバイリンガル対訳コーパスを取得する難易度が高く、コストが高いため、多くのマイナー言語は、数十万または数万の対訳コーパスしかない。

現在では、逆方向翻訳に基づいて大量の単言語コーパスで擬似対訳コーパスを構築する方法がある。即ち、単言語コーパスを取得する難易度がバイリンガル対訳コーパスよりはるかに低いため、大量のターゲット側の単一コーパスを取得することによって、さらに、１つの逆方向翻訳のモデルを介して単一なコーパスを対応するソース側訳文に翻訳し、最終的に、構築された擬似コーパスを使用してモデルをトレーニングすることができる。しかし、この方法では、逆方向翻訳の方法は、追加で導入された逆方向翻訳モデルに依存し、逆方向翻訳モデルに対する品質要件が高い。さらに、リソースが少ない場合、逆方向翻訳モデルの品質が高いという前提を満たすことは難しい。

本開示は、マイナー言語に対する機械翻訳モデルのトレーニング方法を提案する。ここで、双方向翻訳モデルを本開示の機械翻訳モデルとして使用する。トレーニングプロセスの各ラウンドでは、ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを実行し、順方向翻訳プロセスにおける順方向翻訳類似度と逆方向翻訳プロセスにおける逆方向翻訳類似度の和が収束するかどうかを判断することによって、機械翻訳モデルのトレーニングが完了したかどうかを決定する。ここで、再構成器を介して前記逆方向翻訳プロセスを実現する。

前記方法を使用すると、トレーニングに逆方向翻訳コーパスが導入され、コーパスの豊富さが増し、それにより、リソースが少ない場合でモデルのトレーニング効果を改善する。さらに、双方向翻訳的方法が導入されたため、同時に、逆方向翻訳モデルをトレーニングし、従来の逆方向翻訳方法では高品質な逆方向翻訳モデルを取得することが難しいという問題が解決される。

以下、本開示に係る機械翻訳モデルのトレーニング方法を詳細に説明する。

図１は、一例示的な実施例によって示された機械翻訳モデルのトレーニング方法のフローチャートであり、図１に示されたように、次のステップを含む。

ステップ１０１において、トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得し、ここで、トレーニングデータは、ソースコーパスおよび対応するターゲットコーパスを含む。

ステップ１０２において、双方向翻訳モデルに対してＮ（Ｎは１より大きい正の整数）ラウンドのトレーニングプロセスを実行し、トレーニングプロセスの各ラウンドは、ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを含む。

ステップ１０３において、順方向翻訳類似度および逆方向翻訳類似度を取得し、ここで、順方向翻訳類似度は、ターゲットコーパスと擬似ターゲットコーパスの類似度であり、逆方向翻訳類似度は、ソースコーパスと擬似ソースコーパスの類似度である。

ステップ１０４において、順方向翻訳類似度と逆方向翻訳類似度の和が収束すると、双方向翻訳モデルのトレーニングが完了したと決定する。

ステップ１０１において、トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得する。本方法では、順方向翻訳プロセスおよび逆方向翻訳プロセスを実行する必要があるため、トレーニングされる機械翻訳モデルは双方向翻訳モデルを使用する。即ち、前記翻訳モデルは、順方向翻訳モデルとして使用されてもよく、逆方向翻訳モデルとして使用されてもよい。ここで、双方向翻訳モデルは、現在本技術分野で一般的に使用される双方向翻訳モデルを使用することができる。

ステップ１０２において、双方向翻訳モデルに対するトレーニングプロセスの各ラウンドはすべて順方向翻訳プロセスおよび逆方向翻訳プロセスを含む。順方向翻訳プロセスは、ソースコーパスを入力として使用し、取得された出力は擬似ターゲットコーパスである。逆方向翻訳プロセスは、順方向翻訳プロセスによって出力された擬似ターゲットコーパスを入力として取得された出力は擬似ソースコーパスである。

ステップ１０３において、順方向翻訳類似度および逆方向翻訳類似度を取得する。ここで、順方向翻訳類似度および逆方向翻訳類似度を取得する目的を説明するために、まず、従来のトレーニング方法における類似度の適用を説明する。

一方向の翻訳モデルを使用する従来のトレーニング方法において、入力端はソースコーパスであり、出力端はモデル翻訳の訳文である。この場合、両方の類似度を計算するなど、モデル翻訳の訳文を前記ソースコーパスに対応するターゲットコーパスと比較する。その類似度がとても大きい（収束など）場合、一方向の翻訳モデルのトレーニングが完了したと決定し、一方向の翻訳モデルの最適化を実現する。

本開示の方法では、逆方向翻訳プロセスのコーパスを使用してトレーニングコーパスの数を増やすため、トレーニングする時、逆方向翻訳モデルを同時にトレーニングし、即ち、順方向翻訳モデルおよび逆方向翻訳モデルを同時に最適化する必要がある。したがって、順方向翻訳類似度および逆方向翻訳類似度、即ち、ターゲットコーパスと擬似ターゲットコーパスの類似度、ソースコーパスと擬似ソースコーパスの類似度を取得する必要がある。

ステップ１０４において、順方向翻訳類似度と逆方向翻訳類似度の和が収束したと決定した時に、双方向翻訳モデルのトレーニングが完了したと決定する。ここで、収束は、複数ラウンドのトレーニング後、２つの類似度の和が１つの値に近づくことを示し、即ち、２つの類似度の和が基本的に最大値に達することを示す。

前記方法において、双方向翻訳モデルを使用してトレーニングして、逆方向翻訳プロセスのコーパスを介してトレーニングコーパスの数を増やす目的を実現する。さらに、トレーニングプロセスは、順方向翻訳プロセスのトレーニングも含み、逆方向翻訳プロセスのトレーニングも含むため、モデルを最適化する時、順方向翻訳能力と逆方向翻訳能力の両方も最適化される。

代替実施形態において、前記双方向翻訳モデルに対してＮラウンドのトレーニングプロセスを実行することは、
前記双方向翻訳モデルに再構成器を設置し、前記再構成器を介して前記逆方向翻訳プロセスを実現することを含む。

ここで、再構成器は、当業者に知られている再構成器を使用することができるため、再構成器の具体的な構造に関して再び説明しない。

本方法では、再構成器を使用するため、同じ機械翻訳モデルを使用して順方向翻訳プロセスおよび逆方向翻訳プロセスを同時に実現する。即ち、再構成器の作用で、まず、ソースコーパスを擬似ターゲットコーパスに翻訳し、次に、擬似ターゲットコーパスを擬似ソースコーパスに翻訳する。したがって、順方向翻訳プロセスのトレーニングであろうと逆方向翻訳プロセスのトレーニングであろうと、前記機械翻訳モデルのトレーニング、即ち最適化を実現する。

代替実施形態において、前記双方向翻訳モデルに対してＮラウンドのトレーニングプロセスを実行することは、
前記順方向翻訳プロセスでは、微分可能なサンプリング関数を介して前記擬似ターゲットコーパスを取得するように構成される。

従来の機械翻訳モデルのトレーニング方法において、ソースコーパスの翻訳結果を出力する時、即ち、デコードする時に、通常、ａｒｇｍａｘ関数を使用して、出力結果の確率が最も高い単語（翻訳プロセスでは、ソースコーパスが翻訳される可能性のある各単語の確率を生成する）を選択して、擬似ターゲットコーパスを取得する。しかし、この従来の方法では、デコードプロセスにおけるａｒｇｍａｘ関数を導出することができないため、逆方向翻訳をする時、ソースコーパスを擬似ターゲットコーパスに翻訳する誤差を、擬似ターゲットコーパスを擬似ソースコーパスに翻訳するプロセスに伝達することができない。しかし、本方法では、翻訳モデルに対して順方向翻訳トレーニングおよび逆方向翻訳トレーニングを同時に実行する必要があり、それにより、逆方向翻訳プロセスで順方向翻訳の誤差を考慮する必要がある。

したがって、本方法では、微分可能なサンプリング関数をａｒｇｍａｘ関数の代わりに使用する。前記サンプリング関数は、１つの微分可能な公式をａｒｇｍａｘ関数の代わりに使用して、確率が最も高い方法を直接に選択し、最終の出力結果はａｒｇｍａｘ関数を使用する場合と類似するが、順方向翻訳の誤差の逆方向翻訳プロセスへの伝達が実現される。

代替実施形態において、前記双方向翻訳モデルに対してＮラウンドのトレーニングプロセスを実行することは、
ｉ（ｉは１より大きいか等しいかつＮより小さい正の整数）ラウンド目のトレーニングプロセスでは、前記微分可能なサンプリング関数を介して前記ターゲットコーパスと前記擬似ターゲットコーパスの間の誤差を取得することと、
ｉ＋１ラウンド目のトレーニングプロセスでは、前記ｉラウンド目のトレーニングプロセスで取得された前記誤差に基づいて、前記双方向翻訳モデルのトレーニングパラメータを調整することとをさらに含む。

モデルをトレーニングするプロセスでは、モデルのトレーニングパラメータを調整して、モデルを継続的に最適化する必要がある。本方法では、ターゲットコーパスと擬似ターゲットコーパスの間の誤差に基づいて、モデルのトレーニングパラメータを調整することができる。

代替実施形態において、前記微分可能なサンプリング関数はＧｕｍｂｅｌ−Ｓｏｆｔｍａｘ関数を含む。

本方法では、Ｇｕｍｂｅｌ−Ｓｏｆｔｍａｘ関数をａｒｇｍａｘ関数の代わりに使用する。Ｇｕｍｂｅｌ−ｓｏｆｔｍａｘは、離散変数の分布をシミュレートして、１つの微分可能な公式をａｒｇｍａｘ関数の代わりに使用して確率が最も高い方法を直接に選択することにより、微分可能な方法を使用して、ａｒｇｍａｘ方法とほぼ一致するデコード結果を取得することを保証する。

代替実施形態において、前記順方向翻訳類似度および逆方向翻訳類似度を取得することは、
前記ターゲットコーパスと前記擬似ターゲットコーパスの対数尤度関数値、および前記ソースコーパスと前記擬似ソースコーパスの対数尤度関数値を取得することを含む。

順方向翻訳類似度は、ターゲットコーパスと擬似ターゲットコーパスの対数尤度関数値であってもよく、逆方向翻訳類似度は、ソースコーパスと擬似ソースコーパスの対数尤度関数値であってもよい。したがって、双方向翻訳モデルをトレーニングする目的は、２つの対数尤度関数値の和を基本的に最大化し、即ち、収束を達成するようにすることである。

対数尤度関数は、^{ｌｏｇ−ｌｉｋｅｌｉｈｏｏｄ}で示すことができる。^ｓでソースコーパスを示し、^ｔでターゲットコーパスを示し、^ｓ′で擬似ターゲットコーパスを示し、^ｔ′で擬似ターゲットコーパスを示すと、ターゲットコーパスと擬似ターゲットコーパスの対数尤度関数値は、^{ｌｏｇ−ｌｉｋｅｌｉｈｏｏｄ（ｔ，ｔ′）}として示され、ソースコーパスと擬似ソースコーパスの対数尤度関数値は、^{ｌｏｇ−ｌｉｋｅｌｉｈｏｏｄ（ｓ，ｓ′）}として示される。

双方向翻訳を書き取るトレーニングプロセスは、複数のトレーニングデータを採用して実行する場合を含み、上記では、例として１つのトレーニングデータのみを使用して説明したことを留意されたい。これらのトレーニングデータを使用するトレーニング原理はすべて同じである。

代替実施形態において、前記トレーニングデータには、第１の言語タグまたは第２の言語タグが設定され、ここで、前記第１の言語タグが設定されたトレーニングデータはソースコーパスであり、前記第２の言語タグが設定されたトレーニングデータはターゲットコーパスであり、または前記第２の言語タグが設定されたトレーニングデータはソースコーパスであり、前記第１の言語タグが設定されたトレーニングデータはターゲットコーパスである。

双方向翻訳モデル自体がソースコーパスおよびターゲットコーパスの言語を定義するため、トレーニングデータに言語タグを設定した後、即ち、前記言語タグに基づいて、前記トレーニングデータを双方向翻訳モデルのどの入力端に入力するかを決定することができる。

例を挙げると、中国語と英語の間の翻訳など、双方向翻訳モデルが中国語から英語に、また、英語から中国語に翻訳することができる。そのため、トレーニングデータにソースコーパスおよびターゲットコーパスを設定する場合、一方向の翻訳モデルほど制限されない。ここで、双方向翻訳モデルをトレーニングする場合、中国語データをソースコーパスとして使用し、英語データをターゲットコーパスとして使用してもよく、英語データをソースコーパスとして使用し、中国語データをターゲットコーパスとして使用してもよい。

データに言語タグを付ける方式を介して、同じデータは順方向および逆方向の２つのデータになり、この２つのデータを、同時に、トレーニングセットに入れてトレーニングすることができ、コーパスの豊富さを高める効果もある。トレーニング時に言語タグを追加する作用と同様に、双方向翻訳モデルがデコードする時にも、言語タグを付ける方式を介して翻訳モデルが翻訳する必要がある言語を指示しなければならないことを理解することができる。

図２に示されたように、本開示に係る一具体的な実施例を示す。前記実施例における双方向翻訳モデルはニューラル機械翻訳モデルである。前記実施例の方法は、次のステップを含む。

ステップ２０１において、トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得し、ここで、トレーニングデータは、ソースコーパスおよび対応するターゲットコーパスを含む。

ステップ２０２において、双方向翻訳モデルに再構成器を設置する。

ステップ２０３において、双方向翻訳モデルに対して順方向翻訳トレーニングプロセスを実行し、ここで、順方向翻訳プロセスでは、Ｇｕｍｂｅｌ−Ｓｏｆｔｍａｘ関数を介して擬似ターゲットコーパスを取得する。

ステップ２０４において、双方向翻訳モデルに対して逆方向翻訳トレーニングプロセスを実行し、前記プロセスは再構成器を介して実現される。

ステップ２０５において、順方向翻訳類似度および逆方向翻訳類似度を取得し、順方向翻訳類似度と逆方向翻訳類似度の和が収束するかどうかを判断する。

ステップ２０６において、順方向翻訳類似度と逆方向翻訳類似度の和が収束しない場合、Ｇｕｍｂｅｌ−Ｓｏｆｔｍａｘ関数を介してターゲットコーパスと擬似ターゲットコーパスの間の誤差を取得し、前記誤差を介して次のラウンドのトレーニングのパラメータを調整し、ステップ２０３に進んで次のラウンドのトレーニングを続行する。

ステップ２０７において、順方向翻訳類似度と逆方向翻訳類似度の和が収束すると、双方向翻訳モデルのトレーニングが完了したと決定する。

図３は、一例示的な実施例によって示された機械翻訳モデルのトレーニング装置のブロック図である。図３に示されたように、前記装置は、
トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得するように構成されるモデルおよびデータ取得モジュール３０１であって、前記トレーニングデータは、ソースコーパスおよび対応するターゲットコーパスを含むモデルおよびデータ取得モジュール３０１と、
前記双方向翻訳モデルに対してＮ（Ｎは１より大きい正の整数）ラウンドのトレーニングプロセスを実行するように構成されるトレーニングモジュール３０２であって、トレーニングプロセスの各ラウンドは、前記ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび前記擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを含むトレーニングモジュール３０２と、
順方向翻訳類似度および逆方向翻訳類似度を取得するように構成される類似度取得モジュール３０３であって、前記順方向翻訳類似度は、前記ターゲットコーパスと前記擬似ターゲットコーパスの類似度であり、前記逆方向翻訳類似度は、前記ソースコーパスと前記擬似ソースコーパスの類似度である類似度取得モジュール３０３と、
前記順方向翻訳類似度と前記逆方向翻訳類似度の和が収束すると、前記双方向翻訳モデルのトレーニングが完了したと決定するように構成される決定モジュール３０４とを含む。

代替実施形態において、前記トレーニングモジュール３０２は再構成器をさらに含み、前記再構成器を介して前記逆方向翻訳プロセスを実現する。

代替実施形態において、前記トレーニングモジュール３０２は、さらに、
前記順方向翻訳プロセスでは、微分可能なサンプリング関数を介して前記擬似ターゲットコーパスを取得するように構成される。

代替実施形態において、前記トレーニングモジュール３０２は、さらに、
ｉ（ｉは１より大きいか等しいかつＮより小さい正の整数）ラウンド目のトレーニングプロセスでは、前記微分可能なサンプリング関数を介して前記ターゲットコーパスと前記擬似ターゲットコーパスの間の誤差を取得し、
ｉ＋１ラウンド目のトレーニングプロセスでは、前記ｉラウンド目のトレーニングプロセスで取得された前記誤差に基づいて、前記双方向翻訳モデルのトレーニングパラメータを調整するように構成される。

代替実施形態において、前記微分可能なサンプリング関数はＧｕｍｂｅｌ−Ｓｏｆｔｍａｘ関数を含む。

代替実施形態において、前記類似度取得モジュール３０３は、さらに、
前記ターゲットコーパスと前記擬似ターゲットコーパスの対数尤度関数値、および前記ソースコーパスと前記擬似ソースコーパスの対数尤度関数値を取得するように構成される。

代替実施形態において、前記モデルおよびデータ取得モジュールは、さらに、
前記トレーニングデータに第１の言語タグまたは第２の言語タグを設定するように構成され、前記第１の言語タグが設定されたトレーニングデータをソースコーパスとして使用し、前記第２の言語タグが設定されたトレーニングデータをターゲットコーパスとして使用し、または、前記第２の言語タグが設定されたトレーニングデータをソースコーパスとして使用し、前記第１の言語タグが設定されたトレーニングデータをターゲットコーパスとして使用する。

上記の実施形態の装置に関して、ここで、各モジュールが動作を実行する具体的な方法は、既に、前記方法に関する実施例で詳細に説明されており、ここでは詳細に説明しない。

本開示は、双方向翻訳モデルを本開示の機械翻訳モデルとして使用する。トレーニングプロセスの各ラウンドでは、ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを実行し、順方向翻訳プロセスにおける順方向翻訳類似度と逆方向翻訳プロセスにおける逆方向翻訳類似度の和が収束するかどうかを判断することによって、機械翻訳モデルのトレーニングが完了したかどうかを決定する。ここで、再構成器を介して前記逆方向翻訳プロセスを実現する。

前記方法を使用して、トレーニングに逆方向翻訳コーパスを導入することにより、コーパスの豊富さが増し、それにより、リソースが少ない場合にモデルのトレーニング効果を改善する。さらに、双方向翻訳の方法を導入して、逆方向翻訳モデルを同時にトレーニングするため、従来の逆方向翻訳方法では高品質な逆方向翻訳モデルを取得し難いという問題を解決する。

図４は、一例示的な実施例によって示された機械翻訳モデルのトレーニング装置４００のブロック図である。例えば、装置４００は携帯電話、コンピュータ、デジタル放送端末、メッセージングデバイス、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、携帯情報端末等であってもよい。

図４を参照すれば、装置４００は、処理コンポーネント４０２、メモリ４０４、電力コンポーネント４０６、マルチメディアコンポーネント４０８、オーディオコンポーネント４１０、入力／出力（Ｉ／Ｏ）インターフェース４１２、センサコンポーネント４１４、及び通信コンポーネント４１６のうちの１つまたは複数のコンポーネットを含むことができる。

処理コンポーネント４０２は、一般的に、ディスプレイ、電話の呼び出し、データ通信、カメラ操作及び記録操作に関する操作のような装置４００の全般的な操作を制御する。処理コンポーネント４０２は、前記方法のステップの全てまたは一部を完了するために、１つまたは複数のプロセッサ４２０を含んで命令を実行することができる。加えて、処理コンポーネント４０２は、処理コンポーネント４０２と他のコンポーネントの間の相互作用を容易にするために、１つまたは複数のモジュールを含むことができる。例えば、処理コンポーネント４０２は、マルチメディアコンポーネント４０８と処理コンポーネント４０２の間の相互作用を容易にするために、マルチメディアモジュールを含むことができる。

メモリ４０４は、機器４００での操作をサポートするために、様々なタイプのデータを格納するように構成される。これらのデータの例には、装置４００で動作する任意のアプリケーションまたは方法の命令、連絡先データ、電話帳データ、メッセージ、写真、ビデオ等が含まれる。メモリ４０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的に消去可能なプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ）、プログラム可能な読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなど、あらゆるタイプの揮発性または不揮発性ストレージデバイスまたはそれらの組み合わせで実装することができる。

電力コンポーネント４０６は、装置４００の様々なコンポーネントに電力を提供する。電力コンポーネント４０６は、電力管理システム、１つまたは複数の電源、及び装置４００の電力の生成、管理および分配に関する他のコンポーネントを含むことができる。

マルチメディアコンポーネント４０８は、前記装置４００とユーザとの間の、出力インターフェースを提供するスクリーンを含む。いくつかの実施例において、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含み得る。スクリーンがタッチパネルを含む時、スクリーンは、ユーザからの入力信号を受信するためのタッチスクリーンとして具現されることができる。タッチパネルは、タッチ、スワイプ及びタッチパネルでのジェスチャーを検知するための１つまたは複数のタッチセンサが含まれる。前記タッチセンサは、タッチまたはスワイプの操作の境界を感知するだけでなく、前記タッチまたはスワイプ動作に関連する持続時間及び圧力も検出する。いくつかの実施例において、マルチメディアコンポーネント４０８は、一つのフロントカメラ及び／またはリアカメラを含む。機器４００が、撮影モードまたはビデオモードなどの動作モードにあるとき、フロントカメラ及び／またはリアカメラは、外部のマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは、固定光学レンズシステムであり、または焦点距離と光学ズーム機能を持つことができる。

オーディオコンポーネント４１０は、オーディオ信号を出力及び／または入力するように構成される。例えば、オーディオコンポーネント４１０は、１つのマイクロフォン（ＭＩＣ）を含み、装置４００が通話モード、録音モード及び音声認識モードなどの動作モードにあるとき、マイクロフォンは、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、メモリ４０４にさらに格納されてもよく、または通信コンポーネント４１６を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント４１０は、オーディオ信号を出力するためのスピーカをさらに含む。

Ｉ／Ｏインターフェース４１２は、処理コンポーネント４０２と周辺インターフェースモジュールとの間にインターフェースを提供し、前記周辺インターフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン、ロックボタンを含むが、これらに限定されない。

センサコンポーネント４１４は、装置４００に各態様の状態の評価を提供するための１つまたは複数のセンサを含む。例えば、センサコンポーネント４１４は、機器４００のオン／オフ状態と、装置４００のディスプレイやキーパッドなどのコンポーネントの相対的な位置づけを検出することができ、センサコンポーネント４１４は、装置４００または装置４００のコンポーネントの位置の変化、ユーザとの装置４００の接触の有無、装置４００の向きまたは加速／減速、及び装置４００の温度の変化も検出することができる。センサコンポーネント４１４は、物理的接触なしに近くの物体の存在を検出するように構成された近接センサを含むことができる。センサコンポーネント４１４は、撮像用途で使用するためのＣＭＯＳまたはＣＣＤ画像センサなどの光センサも含むことができる。いくつかの実施例において、前記センサコンポーネント４１４は、加速度センサ、ジャイロスコープセンサ、磁気センサ、圧力センサまたは温度センサをさらに含むことができる。

通信コンポーネント４１６は、装置４００と他の装置の間の有線または無線通信を容易にするように構成される。装置４００は、ＷｉＦｉ、２Ｇまたは３Ｇ、またはそれらの組み合わせなどの通信規格に基づく無線ネットワークにアクセスすることができる。一例示的な実施例において、通信コンポーネント４１６は、放送チャンネルを介して外部放送管理システムからの放送信号または放送関連情報を受信する。一例示的な実施例において、前記通信コンポーネント４１６は、短距離通信を促進するために、近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（登録商標）（ＢＴ）技術及び他の技術に基づいて実現することができる。

例示的な実施例において、装置４００は、前記方法を実行するために、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理装置（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子素子によって実現することができる。

例示的な実施例において、命令を含むメモリ４０４などの、命令を含む非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記命令は、装置４００のプロセッサ４２０によって実行されて前記方法を完了することができる。例えば、前記非一時的なコンピュータ読み取り可能な記憶媒体は、ＲＯＭ、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピディスクおよび光学データ記憶装置などであり得る。

非一時的なコンピュータ読み取り可能な記憶媒体は、前記記憶媒体の命令が端末のプロセッサによって実行される時に、端末が機械翻訳モデルのトレーニング方法を実行することができるようにし、前記方法は、トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得することであって、前記トレーニングデータは、ソースコーパスおよび対応するターゲットコーパスを含むことと、前記双方向翻訳モデルに対してＮ（Ｎは１より大きい正の整数）ラウンドのトレーニングプロセスを実行することであって、トレーニングプロセスの各ラウンドは、前記ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび前記擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを含むことと、順方向翻訳類似度および逆方向翻訳類似度を取得することであって、前記順方向翻訳類似度は、前記ターゲットコーパスと前記擬似ターゲットコーパスの類似度であり、前記逆方向翻訳類似度は、前記ソースコーパスと前記擬似ソースコーパスの類似度であることと、前記順方向翻訳類似度と前記逆方向翻訳類似度の和が収束すると、前記双方向翻訳モデルのトレーニングが完了したと決定することとを含む。

図５は、一例示的な実施例によって示された機械翻訳モデルのトレーニング装置５００のブロック図である。例えば、装置５００は、サーバとして提供されることができる。図５を参照すると、装置５００は、１つまたは複数のプロセッサを含む処理コンポーネント５２２、およびアプリケーションプログラムなど、処理コンポーネント５２２によって実行可能な命令を記憶するように構成される、メモリ５３２によって表されるメモリリソースを含む。メモリ５３２に記憶されたアプリケーションプログラムは、それぞれが１セットの命令に対応する１つまたは１つ以上のモジュールを含み得る。なお、処理コンポーネント５２２は、命令を実行して、トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得し、ここで、前記トレーニングデータは、ソースコーパスおよび対応するターゲットコーパスを含み、前記双方向翻訳モデルに対してＮ（Ｎは１より大きい正の整数）ラウンドのトレーニングプロセスを実行し、トレーニングプロセスの各ラウンドは、前記ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび前記擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを含み、順方向翻訳類似度および逆方向翻訳類似度を取得し、ここで、前記順方向翻訳類似度は、前記ターゲットコーパスと前記擬似ターゲットコーパスの類似度であり、前記逆方向翻訳類似度は、前記ソースコーパスと前記擬似ソースコーパスの類似度であり、前記順方向翻訳類似度と前記逆方向翻訳類似度の和が収束すると、前記双方向翻訳モデルのトレーニングが完了したと決定する方法を実行するように構成される。

装置５００は、装置５００の電源管理を実行するように構成される１つの電力コンポーネント５２６、装置５００をネットワークに接続させるように構成される１つの有線または無線ネットワークインターフェース５５０、および１つの入力／出力（Ｉ／Ｏ）インターフェース５５８をさらに含み得る。装置５００は、メモリ５３２に記憶されたＷｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ、Ｍａｃ ＯＳ ＸＴＭ、ＵｎｉｘＴＭ、Ｌｉｎｕｘ（登録商標）ＴＭ、ＦｒｅｅＢＳＤＴＭまたは類似なものなどの操作システムに基づいて操作されることができる。

当業者は、明細書を考慮して、本明細書に開示された発明を実施した後に、本発明の他の実施形態を容易に想到し得るであろう。本出願は、本発明のあらゆる変形、応用または適応性変化を網羅することを意図し、これらの変形、応用または適応性変化は、本発明の普通の原理に準拠し、本開示によって開示されない本技術分野における公知知識または従来の技術的手段を含む。明細書と実施例は、例示としてのみ考慮され、本発明の真の範囲および思想は添付の特許請求の範囲によって示される。

本発明は、前述に既に説明し且つ図面に示した正確な構造に限定されるものではなく、その範囲から逸脱することなく様々な修正および変更を行うことができることを理解されたい。本発明の範囲は、添付の特許請求の範囲によってのみ制限される。

Claims (16)

1. 機械翻訳モデルのトレーニング方法であって、
   トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得することであって、前記トレーニングデータは、ソースコーパスおよび対応するターゲットコーパスを含むことと、
   前記双方向翻訳モデルに対してＮ（Ｎは１より大きい正の整数）ラウンドのトレーニングプロセスを実行することであって、トレーニングプロセスの各ラウンドは、前記ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび前記擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを含むことと、
   順方向翻訳類似度および逆方向翻訳類似度を取得することであって、前記順方向翻訳類似度は、前記ターゲットコーパスと前記擬似ターゲットコーパスの類似度であり、前記逆方向翻訳類似度は、前記ソースコーパスと前記擬似ソースコーパスの類似度であることと、
   前記順方向翻訳類似度と前記逆方向翻訳類似度の和が収束すると、前記双方向翻訳モデルのトレーニングが完了したと決定することとを含むことを特徴とする、前記機械翻訳モデルのトレーニング方法。
2. 前記双方向翻訳モデルに対してＮラウンドのトレーニングプロセスを実行することは、
   前記双方向翻訳モデルに再構成器を設置し、前記再構成器を介して前記逆方向翻訳プロセスを実現することを含むことを特徴とする、
   請求項１に記載の機械翻訳モデルのトレーニング方法。
3. 前記双方向翻訳モデルに対してＮラウンドのトレーニングプロセスを実行することは、
   前記順方向翻訳プロセスでは、微分可能なサンプリング関数を介して前記擬似ターゲットコーパスを取得することを含むことを特徴とする、
   請求項２に記載の機械翻訳モデルのトレーニング方法。
4. 前記双方向翻訳モデルに対してＮラウンドのトレーニングプロセスを実行することは、
   ｉ（ｉは１より大きいか等しいかつＮより小さい正の整数）ラウンド目のトレーニングプロセスでは、前記微分可能なサンプリング関数を介して前記ターゲットコーパスと前記擬似ターゲットコーパスの間の誤差を取得することと、
   ｉ＋１ラウンド目のトレーニングプロセスでは、前記ｉラウンド目のトレーニングプロセスで取得された前記誤差に基づいて、前記双方向翻訳モデルのトレーニングパラメータを調整することとをさらに含むことを特徴とする、
   請求項３に記載の機械翻訳モデルのトレーニング方法。
5. 前記微分可能なサンプリング関数はＧｕｍｂｅｌ−Ｓｏｆｔｍａｘ関数を含むことを特徴とする、
   請求項３または４に記載の機械翻訳モデルのトレーニング方法。
6. 前記順方向翻訳類似度および逆方向翻訳類似度を取得することは、
   前記ターゲットコーパスと前記擬似ターゲットコーパスの対数尤度関数値、および前記ソースコーパスと前記擬似ソースコーパスの対数尤度関数値を取得することを含むことを特徴とする、
   請求項１に記載の機械翻訳モデルのトレーニング方法。
7. 前記トレーニングデータには、第１の言語タグまたは第２の言語タグが設定され、前記第１の言語タグが設定されたトレーニングデータはソースコーパスであり、前記第２の言語タグが設定されたトレーニングデータはターゲットコーパスであり、または、前記第２の言語タグが設定されたトレーニングデータはソースコーパスであり、前記第１の言語タグが設定されたトレーニングデータはターゲットコーパスであることを特徴とする、
   請求項１に記載の機械翻訳モデルのトレーニング方法。
8. 機械翻訳モデルのトレーニング装置であって、
   トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得するように構成されるモデルおよびデータ取得モジュールであって、前記トレーニングデータは、ソースコーパスおよび対応するターゲットコーパスを含むモデルおよびデータ取得モジュールと、
   前記双方向翻訳モデルに対してＮ（Ｎは１より大きい正の整数）ラウンドのトレーニングプロセスを実行するように構成されるトレーニングモジュールであって、トレーニングプロセスの各ラウンドは、前記ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび前記擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを含むトレーニングモジュールと、
   順方向翻訳類似度および逆方向翻訳類似度を取得するように構成される類似度取得モジュールであって、前記順方向翻訳類似度は、前記ターゲットコーパスと前記擬似ターゲットコーパスの類似度であり、前記逆方向翻訳類似度は、前記ソースコーパスと前記擬似ソースコーパスの類似度である類似度取得モジュールと、
   前記順方向翻訳類似度と前記逆方向翻訳類似度の和が収束すると、前記双方向翻訳モデルのトレーニングが完了したと決定するように構成される決定モジュールとを含むことを特徴とする、前記機械翻訳モデルのトレーニング装置。
9. 前記トレーニングモジュールは再構成器をさらに含み、前記再構成器を介して前記逆方向翻訳プロセスを実現することを特徴とする、
   請求項８に記載の機械翻訳モデルのトレーニング装置。
10. 前記トレーニングモジュールは、さらに、
    前記順方向翻訳プロセスでは、微分可能なサンプリング関数を介して前記擬似ターゲットコーパスを取得するように構成されることを特徴とする、
    請求項９に記載の機械翻訳モデルのトレーニング装置。
11. 前記トレーニングモジュールは、さらに、
    ｉ（ｉは１より大きいか等しいかつＮより小さい正の整数）ラウンド目のトレーニングプロセスでは、前記微分可能なサンプリング関数を介して前記ターゲットコーパスと前記擬似ターゲットコーパスの間の誤差を取得し、
    ｉ＋１ラウンド目のトレーニングプロセスでは、前記ｉラウンド目のトレーニングプロセスで取得された前記誤差に基づいて、前記双方向翻訳モデルのトレーニングパラメータを調整するように構成されることを特徴とする、
    請求項１０に記載の機械翻訳モデルのトレーニング装置。
12. 前記微分可能なサンプリング関数はＧｕｍｂｅｌ−Ｓｏｆｔｍａｘ関数を含むことを特徴とする、
    請求項１０または１１に記載の機械翻訳モデルのトレーニング装置。
13. 前記類似度取得モジュールは、さらに、
    前記ターゲットコーパスと前記擬似ターゲットコーパスの対数尤度関数値、および前記ソースコーパスと前記擬似ソースコーパスの対数尤度関数値を取得するように構成されることを特徴とする、
    請求項８に記載の機械翻訳モデルのトレーニング装置。
14. 前記モデルおよびデータ取得モジュールは、さらに、
    前記トレーニングデータに第１の言語タグまたは第２の言語タグを設定するように構成され、前記第１の言語タグが設定されたトレーニングデータをソースコーパスとして使用し、前記第２の言語タグが設定されたトレーニングデータをターゲットコーパスとして使用し、または、前記第２の言語タグが設定されたトレーニングデータをソースコーパスとして使用し、前記第１の言語タグが設定されたトレーニングデータをターゲットコーパスとして使用することを特徴とする、
    請求項８に記載の機械翻訳モデルのトレーニング装置。
15. 機械翻訳モデルのトレーニング装置であって、
    プロセッサと、
    プロセッサによって実行可能な命令を記憶するように構成されるメモリを含み、
    前記プロセッサは、
    トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得し、前記トレーニングデータは、ソースコーパスおよび対応するターゲットコーパスを含み、
    前記双方向翻訳モデルに対してＮ（Ｎは１より大きい正の整数）ラウンドのトレーニングプロセスを実行し、トレーニングプロセスの各ラウンドは、前記ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび前記擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを含み、
    順方向翻訳類似度および逆方向翻訳類似度を取得し、前記順方向翻訳類似度は、前記ターゲットコーパスと前記擬似ターゲットコーパスの類似度であり、前記逆方向翻訳類似度は、前記ソースコーパスと前記擬似ソースコーパスの類似度であり、
    前記順方向翻訳類似度と前記逆方向翻訳類似度の和が収束すると、前記双方向翻訳モデルのトレーニングが完了したと決定するように構成されることを特徴とする、前記機械翻訳モデルのトレーニング装置。
16. 非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記記憶媒体の命令が端末のプロセッサによって実行される時に、端末が機械翻訳モデルのトレーニング方法を実行することができるようにし、前記方法は、
    トレーニングされる双方向翻訳モデルおよびトレーニングデータを取得することであって、前記トレーニングデータは、ソースコーパスおよび対応するターゲットコーパスを含むことと、
    前記双方向翻訳モデルに対してＮ（Ｎは１より大きい正の整数）ラウンドのトレーニングプロセスを実行することであって、トレーニングプロセスの各ラウンドは、前記ソースコーパスを擬似ターゲットコーパスに翻訳する順方向翻訳プロセスおよび前記擬似ターゲットコーパスを擬似ソースコーパスに翻訳する逆方向翻訳プロセスを含むことと、
    順方向翻訳類似度および逆方向翻訳類似度を取得することであって、前記順方向翻訳類似度は、前記ターゲットコーパスと前記擬似ターゲットコーパスの類似度であり、前記逆方向翻訳類似度は、前記ソースコーパスと前記擬似ソースコーパスの類似度であることと、
    前記順方向翻訳類似度と前記逆方向翻訳類似度の和が収束すると、前記双方向翻訳モデルのトレーニングが完了したと決定することとを含むことを特徴とする、前記非一時的なコンピュータ読み取り可能な記憶媒体。

Images