JP2020528625A - 翻訳方法、ターゲット情報決定方法および関連装置、記憶媒体 - Google Patents

翻訳方法、ターゲット情報決定方法および関連装置、記憶媒体 Download PDF

Info

Publication number
JP2020528625A
JP2020528625A JP2020503957A JP2020503957A JP2020528625A JP 2020528625 A JP2020528625 A JP 2020528625A JP 2020503957 A JP2020503957 A JP 2020503957A JP 2020503957 A JP2020503957 A JP 2020503957A JP 2020528625 A JP2020528625 A JP 2020528625A
Authority
JP
Japan
Prior art keywords
vector
source
time
translation
translation vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020503957A
Other languages
English (en)
Other versions
JP7025090B2 (ja
Inventor
兆▲鵬▼ ▲塗▼
兆▲鵬▼ ▲塗▼
浩 周
浩 周
▲樹▼明 史
▲樹▼明 史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2020528625A publication Critical patent/JP2020528625A/ja
Application granted granted Critical
Publication of JP7025090B2 publication Critical patent/JP7025090B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本発明は、翻訳方法、ターゲット情報決定方法および関連装置、記憶媒体を開示し、該翻訳方法は、エンコーダを用いて第１の言語に属する処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと（２０１）、前記ソースベクトル表示シーケンスに基づいて、第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するための前記第１の時刻に対応するソースコンテキストベクトルを取得することと（２０２）、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することと（２０３）、デコーダを用いて前記翻訳ベクトルおよび前記ソース端コンテキストベクトルを復号化処理して、第１の時刻の前記第１の言語とは異なる第２の言語に属するターゲット情報を得ることと（２０４）を含む。

Description

本願は、２０１７年０７月２５日に中国特許局に出願された、出願番号が２０１７１０６１２８３３．７であり、出願名称が「翻訳方法、ターゲット情報決定方法および関連装置」である中国特許出願の優先権を主張し、その全ての内容が参照することにより本願に組み込まれる。
［技術分野］
本発明の実施例は、コンピュータ技術の分野に関し、特に、翻訳方法、ターゲット情報決定方法および関連装置、記憶媒体に関する。
機械翻訳（ＭＴ：ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ）とは、機械を利用してテキストや言葉を１つの言語から同じ意味の内容を有する別の言語に変換するプロセスを指す。深層学習の台頭につれ、最近二年間、ディープニューラルネットワーク技術はＭＴにも応用され、ニューラル機械翻訳（ＮＭＴ：ｎｅｕｒａｌ ｍａｃｈｉｎｅ ｔｒａｎｓｌａｔｉｏｎ）は、次世代の翻訳技術になる。
本発明の実施例は、翻訳方法、ターゲット情報決定方法および関連装置、記憶媒体を提供する。
本発明の一態様は、ニューラルネットワーク機械翻訳システムに適用される翻訳方法を提供し、前記方法は、エンコーダを用いて処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることであって、前記処理対象となるテキスト情報は、第１の言語に属することと、前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、デコーダを用いて前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることであって、前記ターゲット情報は、前記第１の言語とは異なる第２の言語に属するものであることとを含む。
また、本発明の別の一態様は、ターゲット情報決定方法を提供し、該方法は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと、前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを含む。
また、本発明のさらに別の一態様は、少なくとも１つのメモリと、少なくとも１つのプロセッサとを備えるターゲット情報決定装置を提供し、前記少なくとも１つのメモリに少なくとも１つの命令モジュールが記憶され、前記少なくとも１つのプロセッサによって実行されるように配置され、前記少なくとも１つの命令モジュールは、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得る符号化モジュールと、前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得する第１の取得モジュールであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものである第１の取得モジュールと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定する第１の決定モジュールであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻である第１の決定モジュールと、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る復号化モジュールとを備える。
また、本発明のさらなる別の一態様は、メモリと、プロセッサと、バスシステムとを備えるターゲット情報決定装置を提供し、前記メモリは、プログラムを記憶するためのものであり、前記プロセッサは、前記メモリにおけるプログラムを実行するためのものであり、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得るステップと、前記ソースベクトル表示シーケンスに基づいて第１の時刻に対応するソースコンテキストベクトルを取得するステップであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであるステップと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定するステップであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であるステップと、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得るステップとを含み、前記バスシステムは、前記メモリと前記プロセッサを接続して、前記メモリと前記プロセッサを通信させるためのものである。
また、本発明の別の一態様は、コンピュータで実行される場合、コンピュータに上記の各態様に記載された方法を実行させる命令が記憶されているコンピュータ読み取り可能な記憶媒体である。
また、本発明のさらに別の一態様は、電子デバイスによって実行されるターゲット情報決定方法を提供し、該方法は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと、前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを含む。
本発明の実施例は、翻訳方法、ターゲット情報決定方法および関連装置を提供し、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツおよび／または翻訳されたソースコンテンツをモデル化することにより、即ち、この部分のコンテンツをオリジナルの言語モデルから分離してトレーニングすることにより、デコーダのモデルトレーニングの難しさを低減し、翻訳システムの翻訳効果を向上させることができる。
本発明の実施例におけるターゲット情報決定装置のアーキテクチャ図である。 本発明の実施例におけるターゲット情報決定方法のフローチャート概略図である。 本発明の実施例におけるターゲット情報決定方法の一実施例の概略図である。 本発明の実施例におけるゲート付き回帰型ユニットの構成概略図である。 本発明の実施例におけるゲート付き回帰型ユニットの別の構成概略図である。 本発明の実施例におけるゲート付き回帰型ユニットの別の構成概略図である。 本発明の実施例における注目度モジュールの一実施例の概略図である。 本発明の実施例におけるデコーダの状態の一実施例の概略図である。 本発明のアプリケーションシナリオにおいてソースベクトル表示シーケンスにおける第１のソースコンテンツを翻訳する実施例の概略図である。 本発明のアプリケーションシナリオにおいてソースベクトル表示シーケンスにおける第２のソースコンテンツを翻訳する実施例の概略図である。 本発明の実施例におけるターゲット情報決定装置の一実施例の概略図である。 本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。 本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。 本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。 本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。 本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。 本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。 本発明の実施例におけるターゲット情報決定装置の別の実施例の概略図である。 本発明の実施例におけるターゲット情報決定装置の別の実施例を示す図である。 本発明の実施例におけるターゲット情報決定装置の構成概略図である。
本発明の明細書や特許請求の範囲および上記図面における用語「第１」、「第２」、「第３」、「第４」など（ある場合）は、特定の順序や前後の順序を説明するために使用される必要がなく、類似の対象を区別するために使用される。ここで説明する本発明の実施例が、例えばここで図示または説明するもの以外の順序で実施されることができるように、このように使用されるデータは適切な状況で交換可能であるということが理解されるべきである。さらに、用語「含む」や「有する」およびそれらの任意の変形は、非排他的な包含をカバーすることを意図し、例えば、一連のステップやユニットを含むプロセス、方法、システム、製品またはデバイスは、明確に記載されているステップやユニットに限定される必要がなく、明確に記載されていないものやこれらのプロセス、方法、製品またはデバイスに固有のその他のステップやユニットを含むことができる。
本発明の実施例は、主に符号化−復号化モデル（ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒ）に適用され、符号化とは、入力シーケンスを長さがあるベクトルに変換することであり、復号化とは、エンコーダによって生成されたベクトルシーケンスから出力シーケンスに再変換することである、ということが理解されたい。ｅｎｃｏｄｅｒ−ｄｅｃｏｄｅｒモデルは、例えば翻訳、ドキュメント摘出および質問回答システムなど、多くの応用がある。翻訳では、入力シーケンスは翻訳されるテキストであり、出力シーケンスは翻訳されたテキストである。質問回答システムでは、入力シーケンスは提出された質問であり、出力シーケンスは回答である。
具体的に実現される場合、エンコーダとデコーダは、いずれも、固定されたものではなく、オプションとして、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ）、回帰型ニューラルネットワーク（ＲＮＮ：ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ）、ゲート付き回帰型ユニット（ＧＲＵ：ｇａｔｅｄ ｒｅｃｕｒｒｅｎｔ ｕｎｉｔ）、長・短期記憶（ＬＳＴＭ：ｌｏｎｇ ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ）、双方向回帰型ニューラルネットワーク（ＢｉＲＮＮ：ｂｉｄｉｒｅｃｔｉｏｎａｌ ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ）などがあり、符号化と復号化をする際に、異なるニューラルネットワークを採用してもよく、例えば、符号化をする際にＢｉＲＮＮを使用する一方、復号化をする際にＲＮＮを使用してもよく、あるいは、符号化をする際にＲＮＮを使用する一方、復号化をする際にＬＳＴＭを使用してもよいし、これはここでは限定されない。
図１を参照して、図１は、本発明の実施例におけるターゲット情報決定装置のアーキテクチャ図であり、図１に示すように、デコーダに２つの隠れ層が追加的に導入され、この２つの隠れ層は、ベクトルシーケンスで表すことができる。図１の
Figure 2020528625
は、（ｔ−１）番目の時刻に対応する第２の翻訳ベクトルを表し、第２の翻訳ベクトルとは、すでに翻訳されたソースコンテンツを意味し、すなわち過去翻訳ベクトルである。図１の
Figure 2020528625
は、ｔ番目の時刻に対応する第１の翻訳ベクトルを表し、第１の翻訳ベクトルとは、まだ翻訳されていないソースコンテンツを意味し、すなわち未来翻訳ベクトルである。図１のｃｔは、ｔ番目の時刻に対応するソースコンテキストベクトルを表す。図１のｓｔは、ｔ番目の時刻のデコーダの状態を表す。
本発明は、追加の隠れ層を導入することにより、意味レベルで過去翻訳（翻訳されたコンテンツ）と未来翻訳（翻訳されていないコンテンツ）を直接モデル化し、関連コンテンツをデコーダの状態から分離し、ニューラルネットワーク翻訳システムによる関連コンテンツへの記憶および利用を向上させ、これによって、翻訳システムの効果を向上させる。本発明で提供される方法は、主流のニューラルネットワーク機械翻訳システムに適用することができる。
理解を容易にするために、図２を参照して、図２は、本発明の実施例におけるターゲット情報決定方法のフローチャート概略図であり、図２に示すように、具体的には、
まず、エンコーダモジュールＳ１は、ステップ１０１で、処理する必要があるセンテンスを入力し、その後、該エンコーダモジュールＳ１によってソースベクトル表示シーケンスを出力する。次に、全ての訳文が生成されるまで、注目度モジュールＳ２、過去未来モジュールＳ３、およびデコーダモジュールＳ４によって、次のステップを繰り返す。
注目度モジュールＳ２は、（ｔ−１）番目の時刻の過去翻訳ベクトルと未来翻訳ベクトルを読み込み、ここで、過去翻訳ベクトルの初期は全ゼロベクトルであり、ソースコンテンツが翻訳されていないことを表し、未来翻訳ベクトルの初期はソースベクトル表示シーケンスの最後のベクトルであり、ソースセンテンスのまとめを表す。注目度モジュールＳ２は、ステップ１０３で、現在時刻であるｔ番目の時刻のソースコンテキストベクトルを出力する。過去未来モジュールＳ３は、現在時刻のソースコンテキストベクトルを読み取り、ステップ１０４で、ｔ番目の時刻の過去翻訳ベクトルと未来翻訳ベクトルを更新する。デコーダモジュールＳ４は、ｔ番目の時刻の未来翻訳ベクトル、（ｔ−１）番目の時刻の過去翻訳ベクトル、ｔ番目の時刻のソースコンテキストベクトル、および他の標準入力を読み取って、ステップ１０５で、ｔ番目の時刻のターゲットワードを生成する。
本発明は、ＮＭＴシステムに適用することができ、以下、本発明で提供される翻訳方法を説明し、本発明の実施例における翻訳方法の実施例は以下を含む。
ＮＭＴシステムでは、まず、エンコーダを用いて、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得、ここで、処理対象となるテキスト情報は第一言語、例えば中国語に属し、実際の応用では他の種類の言語であってもよいということが理解される。
符号化処理のフローは、具体的には、処理対象となるテキスト情報をＮＭＴシステムにおけるエンコーダに入力し、それから、このエンコーダを用いて、処理対象となるテキスト情報を符号化処理して、最後に、符号化処理の結果に基づいて、ソースベクトル表示シーケンスを取得することであり、ソースベクトル表示シーケンスにおける各ソースベクトルは第１の言語に属する。
第１の言語が中国語であると仮定すると、処理対象となるテキスト情報は中国語のセンテンスであってもよいし、このセンテンスには、いくつかのフレーズが含まれている。この中国語のセンテンスが符号化処理された後、ソースベクトル表示シーケンスが得られ、さらに、現在の時刻である第１の時刻に対応するソースコンテキストベクトルが取得され、ここで、ソースコンテキストベクトルは、処理対象となるソースコンテンツを表し、ソースコンテンツは、具体的にはこの中国語のセンテンスのうちのある単語であると考えられる。
第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであるということが理解される。
次に、ＮＭＴシステムは、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを決定し、ここで、第１の翻訳ベクトルは、第１の時刻における、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示し、第２の翻訳ベクトルは、第２の時刻における、ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示し、第２の時刻は、第１の時刻に隣接する一つ前の時刻である。第１の時刻がｔ時刻であれば、第２の時刻がｔ−１時刻となる。
説明を容易にするために、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを翻訳ベクトルと呼ぶことができ、翻訳ベクトルは、第１の翻訳ベクトルであってもよく、第２の翻訳ベクトルであってもよいし、第１の翻訳ベクトルおよび第２の翻訳ベクトルであってもよい。
つまり、第１の翻訳ベクトルは、第１の時刻における、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルであり、第２の翻訳ベクトルは、第２の時刻における、ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである。
例えば、ソースベクトル表示シーケンスに対応するソースコンテンツは、
Figure 2020528625
であると仮定する。したがって、ソースベクトルに対応する単語は
Figure 2020528625
である。現在時刻で「世界各地」という単語までに翻訳すれば、未来翻訳ベクトルは、翻訳されていない
Figure 2020528625
のそれぞれに対応するベクトルとして理解され、過去翻訳ベクトルは、翻訳された「毎月」および「到」に対応するベクトルとして理解される。
最後に、ＮＭＴシステムでは、デコーダを用いて、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得、ここで、ターゲット情報は、第２の言語に属する。第２の言語は第１の言語とは異なる言語であることが理解され、英語、フランス語または日本語等であってもよいし、ここでは限定されていない。
第１の時刻で「世界各地」という単語まで翻訳すれば、出力されたターゲット情報は「ａｌｌ ｐａｒｔｓ ｏｆ ｔｈｅ ｗｏｒｌｄ」であってよいし、つまり、第１の言語は中国語であり、第２の言語は英語であり、ここまで機械翻訳のプロセスが終了する。
本発明の実施例は、翻訳方法を提供し、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツおよび／または翻訳されたソースコンテンツをモデル化することにより、即ち、この部分のコンテンツをオリジナルの言語モデルから分離してトレーニングすることにより、デコーダのモデルトレーニングの難しさを低減し、翻訳システムの翻訳効果を向上させることができる。
以下、本発明におけるターゲット情報決定方法を説明し、該方法は電子デバイスによって実行されるようにしてよい。図３を参照して、図３は、本発明の実施例におけるターゲット情報決定方法の一実施例であり、以下のステップを含む。
２０１で、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得る。
本実施例では、ターゲット情報決定装置におけるエンコーダは、処理対象となるテキスト情報に対して符号化処理を行い、ここで、処理対象となるテキスト情報は、例えば
Figure 2020528625
という翻訳対象のセンテンスであってもよいし、センテンスを符号化処理した後、ソースベクトル表示シーケンスを得ることができる。
ソースベクトル表示シーケンスにおける各ベクトルは、１つのソースコンテンツ（ソースワード）に対応する。例えば、
Figure 2020528625
というセンテンスにおけるソースコンテンツは、それぞれ
Figure 2020528625
である。このシーケンスに従って、ターゲット情報決定装置におけるデコーダは、ワードごとに訳文を生成する。
２０２で、ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得し、ここで、ソースコンテキストベクトルは、処理対象となるソースコンテンツを表すためのものである。
前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであるということが理解される。
本実施例では、ターゲット情報決定装置は、ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することができ、第１の時刻は、本発明の実施例におけるｔ番目の時刻であり、ソースコンテキストベクトルは、処理対象となるソースコンテンツを表すためのものである。
具体的には、ターゲット情報決定装置は、各ソースコンテンツ毎に例えば０．０または０．２などのアライメント確率を出力し、ソースベクトル表示シーケンスにおける各アライメント確率の和が１であり、かつ、アライメント確率が大きいほど、このソースコンテンツと生成対象のターゲット情報との関連性が高くなる。アライメント確率と意味ベクトルとを重み付けることにより、ｔ番目の時刻のソースコンテキストベクトルを生成することができる。
２０３で、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを決定し、ここで、第１の翻訳ベクトルは、第１の時刻における、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示し、第２の翻訳ベクトルは、第２の時刻における、ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示し、第２の時刻は、第１の時刻に隣接する一つ前の時刻である。
第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを翻訳ベクトルと呼ぶことができるということが理解される。
本実施例では、ターゲット情報決定装置は、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルを決定したり、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第２の翻訳ベクトルを決定したり、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルおよび第２の翻訳ベクトルを決定したりすることができる。ここで、第１の翻訳ベクトルは、第１の時刻における、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示し、第２の翻訳ベクトルは、第２の時刻における、ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示し、第２の時刻は、第１の時刻に隣接する一つ前の時刻である。
具体的には、第１の翻訳ベクトルは、ｔ番目の時刻の未来翻訳ベクトルを表し、第２の翻訳ベクトルは、（ｔ−１）番目の時刻の過去翻訳ベクトルを表す。１つのターゲット情報を生成したら、対応するソースコンテキストベクトルｃｔを、前の時刻の過去翻訳ベクトルに加えて新しい過去翻訳ベクトルを得て、前の時刻の未来翻訳ベクトルからｃｔを引いて新しい未来翻訳ベクトルを得る。
２０４で、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る。
本実施例では、ターゲット情報決定装置におけるデコーダは、１つのニューラルネットワーク出力層を使用して、第１の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることができ、または、第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることができ、あるいは、第１の翻訳ベクトル、第２の翻訳ベクトル、およびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることができる。
ターゲット情報を生成するプロセスで、複数の選択対象の情報を生成し、最後に類似度が最も高い単語をターゲット情報として出力することができる。例えば、
Figure 2020528625
というセンテンスにおいて、
Figure 2020528625
は「ｍａｎｙ」または「ｍｕｃｈ」に翻訳されてもよいが、デコーダの状態ベクトルに記憶されている意味知識によれば、可算名詞の前に「ｍａｎｙ」が使用されていることが分かる。そのため、ここでの
Figure 2020528625
は最後に「ｍａｎｙ」に翻訳されている。
本発明の実施例では、ターゲット情報決定方法が提供されており、まず、ターゲット情報決定装置は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得、その後、ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得し、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定し、最後に、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る。上記のように、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツおよび／または翻訳されたソースコンテンツをモデル化することにより、即ち、この部分のコンテンツをオリジナルの言語モデルから分離してトレーニングすることにより、デコーダのモデルトレーニングの難しさを低減し、翻訳システムの翻訳効果を向上させることができる。
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例で提供されるターゲット情報決定方法の１つの選択可能な実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルを決定することは、
ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得することと、
予め設定されたニューラルネットモデルを用いて、第３の翻訳ベクトルおよびソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることとを含むようにしてよい。
前記第３の翻訳ベクトルは、前記第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルであるということが理解される。
本実施例では、ターゲット情報決定装置が、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の翻訳ベクトルを決定するプロセスは、まず、ソースベクトル表示シーケンスに基づいて第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットモデルを用いて第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることを含むようにしてよい。
具体的には、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ−１）番目の時刻であると仮定すると、ターゲット情報決定装置は、第１の時刻のソースコンテキストベクトル（第１の時刻で翻訳されたソースコンテンツを表す）を読み込み、さらに、記憶されている未来翻訳ベクトルを更新する必要がある。未来翻訳ベクトルの初期化は、ソースセンテンスのまとめ（通常、ソースベクトル表示シーケンスの最後のベクトル）であり、はじめの全てのソースコンテンツがいずれも翻訳されていないことを表す。そして、各時刻に、次のように更新される。
Figure 2020528625
ここで、
Figure 2020528625
は、ｔ番目の時刻の未来翻訳ベクトルを表し、すなわち第１の翻訳ベクトルであり、
Figure 2020528625
は、（ｔ−１）番目の時刻の未来翻訳ベクトルを表し、すなわち第３の翻訳ベクトルであり、ｃｔは、ｔ番目の時刻のソースコンテキストベクトルを表し、ＲＮＮ（）は、ＲＮＮモデルを用いて計算することを表す。
説明すべきものとして、ここでＲＮＮを予め設定されたニューラルネットワークモデルとすることは単なる例示であり、実際の応用では、予め設定されたニューラルネットワークモデルはＬＳＴＭ、遅延ネットワークモデルまたはゲート付き畳み込みニューラルネットワークであってもよく、他のタイプのニューラルネットワーク構造であってもよいし、ここでは限定されない。
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルを如何に決定することが説明され、すなわち、ソースベクトル表示シーケンスに基づいて第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットワークモデルを用いて第３の翻訳ベクトルおよびソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得る。上記のように、予め設定されたニューラルネットワークモデルを利用して第１の翻訳ベクトルを出力することで、未来翻訳ベクトルの精度を向上させることができる。
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルおとび第２の翻訳ベクトルを決定することは、
ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得することと、
予め設定されたニューラルネットワークモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることと、
ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、ここで、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。
前記第４の翻訳ベクトルは、前記第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルであるということが理解される。
本実施例では、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ−１）番目の時刻であると仮定すると、第１の時刻のソースコンテキストベクトル（すなわち、翻訳されているソース意味コンテンツ）はｃｔと表され、注目度モジュールによって得られたものであり、ｃｔは、過去翻訳ベクトルおよび未来翻訳ベクトルを更新するためにも用いられ、次のように更新される。
Figure 2020528625
ここで、
Figure 2020528625
は、ｔ番目の時刻の未来翻訳ベクトルを表し、すなわち第１の翻訳ベクトルであり、
Figure 2020528625
は、（ｔ−１）番目の時刻の未来翻訳ベクトルを表し、すなわち第３の翻訳ベクトルであり、ｃｔは、ｔ番目の時刻のソースコンテキストベクトルを表し、ＲＮＮ（）は、ＲＮＮモデルを用いて計算することを表す。
Figure 2020528625
ここで、
Figure 2020528625
は、ｔ番目の時刻の過去翻訳ベクトルを表し、すなわち第４の翻訳ベクトルであり、
Figure 2020528625
は、（ｔ−１）番目の時刻の過去翻訳ベクトルを表し、すなわち第２の翻訳ベクトルであり、ｃｔは、ｔ番目の時刻のソースコンテキストベクトルを表し、ＲＮＮ（）は、ＲＮＮモデルを用いて計算することを表す。
説明すべきものとして、ここでＲＮＮを予め設定されたニューラルネットワークモデルとすることは単なる例示であり、実際の応用では、予め設定されたニューラルネットワークモデルはＬＳＴＭ、遅延ネットワークモデルまたはゲート付き畳み込みニューラルネットワークであってもよく、他のタイプのニューラルネットワーク構造であってもよいし、ここでは限定されない。
モデル化によって、「累積」というルール、即ち、ｔ番目の時刻のソースコンテキストベクトルｃｔ（ｔ番目の時刻で翻訳されているソースコンテンツ）と、（ｔ−１）番目の時刻の過去翻訳ベクトル（（ｔ−１）番目の時刻まで翻訳されたソースコンテンツ）とが累積されることを達成する、ということが期待されている。そのため、ＲＮＮ構造が選択され、その理由として、ＲＮＮがｔ番目の時刻までの履歴情報をよくまとめることができ、かつ期待に沿ったからである。例えば、
Figure 2020528625
である。
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルおよび第２の翻訳ベクトルを如何に決定することが説明され、即ち、ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得、また、ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、ここで、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。上記のように、過去翻訳ベクトルと未来翻訳ベクトルの精度を向上させることができる。
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第２の翻訳ベクトルを決定することは、
ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、ここで、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものであることを含むようにしてよい。
本実施例では、ターゲット情報決定装置は、第１の時刻のソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の時刻の第２の翻訳ベクトルを取得するようにしてよい。
具体的には、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ−１）番目の時刻であると仮定すると、ターゲット情報決定装置は、（ｔ−２）番目の時刻のソースコンテキストベクトルおよび（ｔ−２）番目の時刻の過去翻訳ベクトルを読み込み、その後、予め設定されたニューラルネットワークモデルを用いて、（ｔ−２）番目の時刻のソースコンテキストベクトルおよび（ｔ−２）番目の時刻の過去翻訳ベクトルを処理して、（ｔ−１）番目の時刻の過去翻訳ベクトルを得る。過去翻訳ベクトルを全ゼロベクトルに初期化し、即ち、
Figure 2020528625
になり、いかなるソースコンテンツが最初に翻訳されていないことを表す。そして、各時刻に、次のように更新される。
Figure 2020528625
ここで、
Figure 2020528625
は、ｔ番目の時刻の過去翻訳ベクトルを表し、すなわち第４の翻訳ベクトルであり、
Figure 2020528625
は、（ｔ−１）番目の時刻の過去翻訳ベクトルを表し、すなわち第２の翻訳ベクトルであり、ｃｔは、ｔ番目の時刻のソースコンテキストベクトルを表し、ＲＮＮ（）は、ＲＮＮモデルを用いて計算することを表す。
説明すべきものとして、ここでＲＮＮを予め設定されたニューラルネットワークモデルとすることは単なる例示であり、実際の応用では、予め設定されたニューラルネットワークモデルはＬＳＴＭ、遅延ネットワークモデルまたはゲート付き畳み込みニューラルネットワークであってもよく、他のタイプのニューラルネットワーク構造であってもよいし、ここでは限定されない。
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第２の翻訳ベクトルを如何に決定することが説明され、即ち、ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。上記のように、予め設定されたニューラルネットワークモデルを利用して第２の翻訳ベクトルを出力することで、過去翻訳ベクトルの精度を向上させることができる。
オプションとして、上記の図３に対応する前の２つの実施例のいずれかを基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、予め設定されたニューラルネットワークモデルを用いて第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることは、
ゲート付き回帰型ユニットＧＲＵを用いて、第３の翻訳ベクトルからソースコンテキストベクトルを減算して、第１の翻訳ベクトルを得ることを含むようにしてよい。
ＧＲＵはＧａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔの略記であるということが理解される。
本実施例では、未来翻訳ベクトルを得るプロセスでは、モデル化によって、「累減」というルールを達成する必要がある。第１の時刻がｔ番目の時刻であり、第２の時刻は（ｔ−１）番目の時刻であると仮定すると、即ち、第１の時刻のソースコンテキストベクトルｃｔ（第１の時刻で翻訳されているソースコンテンツ）を第３の翻訳ベクトル（すなわち、第２の時刻までまだ翻訳されていないソースコンテンツに対応するベクトル）から減算する。ここでは、「累減」というルールをモデル化するために、いくつかの構造を設計した。本発明は、様々なＲＮＮ構造に適用できるが、ここでは主流のＧＲＵを例にして説明する。
図４を参照して、図４は、本発明の実施例におけるゲート付き回帰型ユニットの構成概略図であり、図４に対応する標準ＧＲＵ構造により、「逓減」モデルが構築され、かつ、ＧＲＵのパラメータが自動的に以下のルールを学習できるように期待されている。
Figure 2020528625
ここで、
Figure 2020528625
は、ｔ番目の時刻の未来翻訳ベクトルを表し、すなわち第１の翻訳ベクトルであり、
Figure 2020528625
は、（ｔ−１）番目の時刻の未来翻訳ベクトルを表し、すなわち第３の翻訳ベクトルであり、ｃｔは、第１の時刻のソースコンテキストベクトルを表し、ｕｔは、第１の時刻の更新ゲートを表し、
Figure 2020528625
は、ＧＲＵによって生成された更新状態候補を表し、すなわち、中間ベクトルであり、ｒｔは、出力された重みベクトルを表し、ｔａｎｈ（）は、双曲線正接関数を表し、σ（）は、ｓｉｇｍｏｉｄ関数を表す。Ｕ、Ｗ、Ｕｒ、Ｗｒ、ＵｕおよびＷｕは、関数に関するパラメータを表し、これらのパラメータは、ニューラルネットワーク翻訳システムの他のパラメータと一緒にトレーニングされる。
しかしながら、図４に対応するＧＲＵ構造は、「逓減」を必要とする信号を与えず、こうすれば、ＧＲＵがルールを学習することの難しさが増加してしまう。そのため、このＧＲＵ構造を改善することにより、図５に対応するＧＲＵ−ｏ構造を得ることができる。図５を参照して、図５は、本発明の実施例におけるゲート付き回帰型ユニットの別の構成図であり、この構成では、まず第１の時刻（すなわちｔ番目の時刻）のソースコンテキストベクトルｃｔを、第２の時刻（すなわち（ｔ−１）番目の時刻）の未来翻訳ベクトルから減算し、ここで、第２の時刻の未来翻訳ベクトルは第３の翻訳ベクトルである。必要な第１の翻訳ベクトルを得て、ＧＲＵ構造に伝送し、具体的には、以下の式を参照する。
Figure 2020528625
ここで、
Figure 2020528625
は、ｃｔを
Figure 2020528625
から減算することを表し、ＵｍおよびＷｍは、関数に関するパラメータを表し、これらのパラメータは、ニューラルネットワーク翻訳システムの他のパラメータと一緒にトレーニングされる。
更に、本発明の実施例では、ＧＲＵを用いて第３の翻訳ベクトルからソースコンテキストベクトルを減算して、第１の翻訳ベクトルを得て、得られた第１の翻訳ベクトルをＧＲＵ構造に伝送するようにしてよい。上記のように、ＧＲＵにおいて逓減の信号を与えることができ、こうすれば、ルールを学習することに寄与し、モデルトレーニングの精度を向上させる。
オプションとして、上記の図３に対応する前の２つの実施例のいずれかを基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、予め設定されたニューラルネットワークモデルを用いて第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることは、
ＧＲＵを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、中間ベクトルを得ることと、
中間ベクトルを第３の翻訳ベクトルと補間結合して、第１の翻訳ベクトルを得ることとを含むようにしてよい。
本実施例では、ＧＲＵ内部で「累減」という操作を行うようにしてもよいし、図６を参照して、図６は、本発明の実施例におけるゲート付き回帰型ユニットの別の構成概略図であり、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ−１）番目の時刻であると仮定すると、ＧＲＵのパラメータは以下のルールを自動的に学習することができる。
Figure 2020528625
ここで、
Figure 2020528625
は、ＧＲＵによって生成された更新状態候補を表し、即ち中間ベクトルであり、ｒｔは、出力された重みベクトルを表し、ｔａｎｈ（）は、双曲線正接関数を表し、
Figure 2020528625
は、（ｔ−１）番目の時刻の未来翻訳ベクトルを表し、即ち第３の翻訳ベクトルであり、ｃｔは、第１の時刻のソースコンテキストベクトルを表す。
Figure 2020528625
を得た後、（ｔ−１）番目の時刻の第３の翻訳ベクトルと補間結合し、最終的な第１の翻訳ベクトル
Figure 2020528625
を得ることができる。
上記の操作を採用すれば、各時刻に過去翻訳ベクトルと未来翻訳ベクトルを得ることができ、
Figure 2020528625
は、ｔ番目の時刻まで翻訳されたソースコンテンツを表し、
Figure 2020528625
は、ｔ番目の時刻まで翻訳されていないソースコンテンツを表す。
また、本発明の実施例では、ターゲット情報決定装置は、予め設定されたニューラルネットワークモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得るプロセスは、まず、ＧＲＵを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、中間ベクトルを得て、また、中間ベクトルを第３の翻訳ベクトルと補間結合して、第１の翻訳ベクトルを得るようにしてよい。上記のように、ＧＲＵ内部で逓減という操作を行うことは、操作の精度を向上させて、操作の効率を向上させるのに役立つ。
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、ソースベクトル表示シーケンスに基づいて第１の時刻に対応するソースコンテキストベクトルを得ることは、
第２の時刻のデコーダの状態、第２の翻訳ベクトル、第３の翻訳ベクトル、およびソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアライメント確率を決定することと、
ソースコンテンツのアライメント確率およびソースコンテンツの意味ベクトルに基づいて、第１の時刻に対応するソースコンテキストベクトルを決定することとを含むようにしてよい。
本実施例では、ターゲット情報決定装置はソースベクトル表示シーケンスに基づいて第１の時刻に対応するソースコンテキストベクトルを如何に得ることが説明され、理解を容易にするために、図７を参照して、図７は、本発明の実施例における注目度モジュールの一実施例の概略図であり、具体的には、第１の時刻がｔ番目の時刻であり、第２の時刻が（ｔ−１）番目の時刻であると仮定すると、ターゲット情報決定装置は、エンコーダとデコーダとを含み、デコーダは、第２の時刻のデコーダの状態ｓｔ−１、
Figure 2020528625
およびソースベクトル表示シーケンスにおけるソースコンテンツのベクトルｈｉに基づいて、ソースコンテンツのアライメント確率αｔ，ｉを決定する。
つまり、次の式を用いて、アライメント確率αｔ，ｉを計算する。
Figure 2020528625
ここで、αｔ，ｉは、注目度メカニズムによって出力された、各ソースコンテンツに対するアライメント確率の分布を指し、アライメント確率の分布の総和は１であり、ｈｉは、エンコーダによる入力センテンスのうちのｉ番目のソースコンテンツに対するベクトル表現であり、ｓｏｆｔ ｍａｘ（）は、正規化操作を表し、ニューラルネットワークにより入力された値は、通常正または負の値であるため、通常は先にその指数値を使用してそれを正の値に変換し、次にすべての指数値を正規化して、確率の分布を得る。ａ（）は、注目度モジュールの操作である。
ソースコンテンツのアラインメント確率αｔ，ｉを得た後、対応するソースコンテンの意味ベクトルｘｉと重み付き加算を行って、第１の時刻に対応するソースコンテキストベクトルを得る。例えば、第１の時刻のαｔ，１は０．５であり、αｔ，２は０．３であり、αｔ，３は０．２であり、ｘ１は２であり、ｘ２は４であり、ｘ３は６であり、そうすると、第１の時刻に対応するソースコンテキストベクトルｃｔの計算方式は、以下の通りである。
ｃｔ＝０．５×２＋０．３×４＋０．２×６＝３．４
実際の応用では、アラインメント確率αｔ，ｉの計算方法は、さらに、
Figure 2020528625
であってもよいということが理解される。
次に、本発明の実施例では、まず、第２の時刻のデコーダの状態、第２の翻訳ベクトル、第３の翻訳ベクトル、およびソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアラインメント確率を決定し、その後、ソースコンテンツのアラインメント確率およびソースコンテンツの意味ベクトルに基づいて、第１の時刻に対応するソースコンテキストベクトルを決定するようにしてよい。上記のように、ターゲット情報決定装置における注目度モジュールは、どのソースコンテンツが既に翻訳されたか、どのソースコンテンツがまだ翻訳されていないかを知ることができ、これにより、翻訳されていないコンテンツに注目度をもっと向け、翻訳されたコンテンツに対する関心を低減し、これによって、翻訳漏れや翻訳重複の問題を緩和することができる。
オプションとして、上記の図３に対応する実施例を基にして、本発明の実施例におけるターゲット情報決定方法の別の選択可能な実施例では、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る前に、第２の時刻のデコーダの状態、第２の時刻のターゲット情報、ソースコンテキストベクトル、第１の翻訳ベクトル及び第２の翻訳ベクトルに基づいて、第１の時刻のデコーダの状態を決定することをさらに含むようにしてよい。
これに対応して、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることは、第１の時刻のデコーダの状態、ソースコンテキストベクトル、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを復号化処理して、第１の時刻のターゲット情報を得ることを含むようにしてよい。
本実施例では、ターゲット情報決定装置は第１の時刻のターゲット情報を得る前に、まず、第２の時刻のデコーダの状態、第２の時刻のターゲット情報、ソースコンテキストベクトル、第１の翻訳ベクトルおよび第２の翻訳ベクトルに基づいて、第１の時刻のデコーダの状態を決定する必要があり、ここで、第１の時刻はｔ番目の時刻であり、現在の時刻でもあり、第２の時刻は（ｔ−１）番目の時刻であり、前の時刻でもある。
具体的には、図８を参照して、図８は、本発明の実施例におけるデコーダの状態の一実施例の概略図であり、第２の時刻のデコーダの状態はｓｔ−１であり、第２の時刻のターゲット情報はｙｔ−１であり、ソースコンテキストベクトルはｃｔであり、第１の翻訳ベクトルは
Figure 2020528625
であり、第２の翻訳ベクトルは
Figure 2020528625
であり、次の式を利用して第１の時刻のデコーダの状態ｓｔを計算することができる。
Figure 2020528625
ここで、ｆ（）は、デコーダの状態を更新するアクティブ関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）を表し、ニューラルネットワーク翻訳モデルの標準構成でもあり、その入力は、実際の要求に応じて柔軟に変化することができる。
次に、本発明の実施例では、まず第２の時刻のデコーダの状態、第２の時刻のターゲット情報、ソースコンテキストベクトル、第１の翻訳ベクトル、および第２の翻訳ベクトルに基づいて、第１の時刻のデコーダの状態を決定する必要があり、その後、第１の時刻のデコーダの状態、ソースコンテキストベクトル、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを復号化処理して、第１の時刻のターゲット情報を得る。上記のように、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルのモデル化を、デコーダの状態から独立させて、第１の時刻の、注目度モジュールによって出力されたソースコンテキストベクトルと完全なソース意味ベクトル表現を構成して、デコーダに伝送することで、より正確なターゲット情報を生成することができる。
オプションとして、上記の図３に対応する後の２つの実施例のいずれかを基にして、本発明の実施例で提供されるターゲット情報決定方法の別の選択可能な実施例では、
第１の翻訳ベクトルおよび第３の翻訳ベクトルに基づいて、未来翻訳ベクトルの変化と第１の時刻のターゲット情報との間の意味の一致性状況を表すための第１の指標の期待値を取得することと、
第２の翻訳ベクトルおよび第４の翻訳ベクトルに基づいて、過去翻訳ベクトルの変化と第１の時刻のターゲット情報との間の意味の一致性状況を表すための第２の指標の期待値を取得することと、
第１の指標の期待値および第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定することとをさらに含むようにしてよい。
本実施例では、トレーニングターゲットを増加させる方法も提供され、トレーニングターゲットを増加させることにより、予め設定されたニューラルネットワークモデルよりよくトレーニングして得ることができる。説明を簡単にするために、以下、未来翻訳ベクトルをトレーニングすることを例にして説明し、過去翻訳ベクトルをトレーニングする方法は似ているため、ここでは詳しく説明しない。未来翻訳ベクトルを例にして、できるだけ
Figure 2020528625
を達成する必要があり、即ち、隣接時刻の２つの翻訳ベクトルの情報差は、この時刻で翻訳されたソースコンテンツとほぼ同じである必要があり、これにより、未来翻訳ベクトルのモデル化が満たされる。翻訳において、ソースコンテンツとターゲット情報の意味コンテンツはほぼ同じであり、即ち、
Figure 2020528625
であるため、新しい指標の期待値を定義し、未来翻訳ベクトルの変化と、生成された対応するターゲット情報との意味レベルでの一致性を直接に評価する。
第１の指標の期待値は、以下のように計算することができる。
Figure 2020528625
ここで、Ｅ（ｙｔ）は、ターゲット情報を表し、ｙｔは、ターゲット情報のベクトル表現であり、
Figure 2020528625
は、未来翻訳ベクトルの更新が予想通りである（例えば、更新量と翻訳されたソースコンテンツがほぼ同じである）かどうかを判定する指標の期待値である。指標の期待値が高いほど、予想に合致になる。
Figure 2020528625
は、
Figure 2020528625
との差の絶対値である。
同様に，第２の指標の期待値は、
Figure 2020528625
に基づいて
Figure 2020528625
を計算し得て、さらに第２の指標の期待値
Figure 2020528625
を得ることもできる。
第１の指標の期待値および第２の指標の期待値に基づいて、トレーニングターゲットを次のように計算することができる。
Figure 2020528625
ここで、Ｊ（θ，γ）は、トレーニングによって得られたパラメータを表し、これはトレーニングターゲットの共通表現である。θは、ＮＭＴシステムのパラメータを表し、γは、新しく導入された過去未来モジュールのパラメータを表し、
Figure 2020528625
は、最大スコアを得るトレーニングターゲット（すなわち、式中のｌｉｋｅｌｉｈｏｏｄ、ｆｕｔｕｒｅ ｌｏｓｓおよびｐａｓｔ ｌｏｓｓ）に対応するパラメータを表す。
Figure 2020528625
は、標準ニューラルネットワーク翻訳モデルのトレーニングターゲットを表し、すなわち、各ターゲット情報の生成確率を最大化させること、または、ターゲットワードを最大化させることで生成された尤度（ｌｉｋｅｌｉｈｏｏｄ）分数として表現することができる。
Figure 2020528625
は、未来翻訳ベクトルの第１の指標の期待値を表し、
Figure 2020528625
は、過去翻訳ベクトルの第２の指標の期待値を表す。
また、本発明の実施例では、第１の翻訳ベクトルおよび第３の翻訳ベクトルに基づいて、第１の指標の期待値を取得して、第２の翻訳ベクトルおよび第４の翻訳ベクトルに基づいて、第２の指標の期待値を取得し、その後、第１の指標の期待値および第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定する。上記のように、トレーニングターゲットを増加させ、かつこの部分のトレーニングターゲットは、意味レベルでの一致性をよりよく満たすことができ、トレーニングの精度と実現可能性を向上させることができる。
理解を容易にするために、以下では、本発明におけるターゲット情報決定プロセスを具体的なアプリケーションシナリオで詳細に説明することができ、図９を参照して、図９は、本発明のアプリケーションシナリオにおいてソースベクトル表示シーケンスにおける第１のソースコンテンツを翻訳する実施例の概略図であり、具体的には、エンコーダは、入力センテンス
Figure 2020528625
を読み込み、＜ｅｏｓ＞は、センテンスの終了記号を表し、その後、ソースベクトル表示シーケンスを出力し、ここで、各ベクトル（すなわち図９における円点直条）が１つのソースコンテンツに対応する。このソースベクトル表示シーケンスに基づいて、デコーダは翻訳文を生成する。
まず、アラインメント確率と意味ベクトルを重み付けし、第１の時刻のソースコンテキストベクトルｃ１を生成し、アラインメント確率は図９における０．５、０．２、０．２、０．１、０．０および０．０となる。次に、ｃ１に基づいて過去翻訳ベクトルと未来翻訳ベクトルを更新し、すなわち、次の式を採用する。
Figure 2020528625
ここで、
Figure 2020528625
は、第１の時刻の過去翻訳ベクトルを表し、
Figure 2020528625
は、初期時刻の過去翻訳ベクトルを表し、
Figure 2020528625
は、第１の時刻の未来翻訳ベクトルを表し、
Figure 2020528625
は、初期時刻の未来翻訳ベクトルを表す。
デコーダは、
Figure 2020528625
および初期時刻のデコーダの状態ｓ０を復号化し、第１の時刻のデコーダの状態ｓ１を更新でき、ｓ０とｃ１に基づいて、１つのニューラルネットワーク出力層を使用して、すべてのターゲットワードと比較して、最も類似度の高い１つのワードをターゲット情報ｙ１として選択し、このｙ１は
Figure 2020528625
の翻訳文「ｍａｎｙ」である。
図１０を参照して、本発明のアプリケーションシナリオにおいてソースベクトル表示シーケンスにおける第２のソースコンテンツを翻訳する実施例の概略図であり、図１０に示すように、まず、アラインメント確率と意味ベクトルを重み付けし、第２の時刻のソースコンテキストベクトルｃ２を生成し、アラインメント確率は、図１０における０．３、０．６、０．１、０．０、０．０および０．０となる。次に、ｃ２に基づいて、過去翻訳ベクトルと未来翻訳ベクトルを更新し、すなわち、次の式を採用する。
Figure 2020528625
ここで、
Figure 2020528625
は、第２の時刻の過去翻訳ベクトルを表し、
Figure 2020528625
は、第１の時刻の過去翻訳ベクトルを表し、
Figure 2020528625
は、第２の時刻の未来翻訳ベクトルを表し、
Figure 2020528625
は、第１の時刻の未来翻訳ベクトルを表す。
デコーダは、
Figure 2020528625
および第１の時刻のデコーダの状態ｓ１を復号化し、第２の時刻のデコーダの状態を更新し、ｓ１、ｃ２および前の１つに生成されたターゲット情報ｙ１に基づいて、１つのニューラルネットワーク出力層を使用して、すべてのターゲットワードと比較して、最も類似度の高い１つのワードをターゲット情報ｙ２として選択し、このｙ２は、
Figure 2020528625
の翻訳文「ａｉｒｐｏｒｔｓ」である。
入力センテンスを完全に翻訳するまで、これを類推する。
以下、本発明におけるターゲット情報決定装置を詳細に説明し、図１１を参照して、本発明の実施例におけるターゲット情報決定装置３０は、少なくとも１つのメモリと、少なくとも１つのプロセッサとを備え、前記少なくとも１つのメモリに少なくとも１つの命令モジュールが記憶され、前記少なくとも１つのプロセッサによって実行されるように配置され、ここで、前記少なくとも１つの命令モジュールは、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得る符号化モジュール３０１と、前記符号化モジュール３０１が符号化処理して得られた前記ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得する第１の取得モジュール３０２と、前記符号化モジュール３０１が符号化処理して得られた前記ソースベクトル表示シーケンスおよび前記第１の取得モジュール３０２が取得した前記ソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定する第１の決定モジュール３０３と、前記第１の決定モジュール３０３が決定した前記第１の翻訳ベクトルおよび／または前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る復号化モジュール３０４とを備え、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻である。
本実施例では、符号化モジュール３０１は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得、第１の取得モジュール３０２は、前記符号化モジュール３０１が符号化処理して得られた前記ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得し、第１の決定モジュール３０３は、前記符号化モジュール３０１が符号化処理して得られた前記ソースベクトル表示シーケンスおよび前記第１の取得モジュール３０２が取得した前記ソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定し、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であり、復号化モジュール３０４は、前記第１の決定モジュール３０３が決定した前記第１の翻訳ベクトルおよび／または前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る。
本発明の実施例では、ターゲット情報決定装置が提供され、まず、ターゲット情報決定装置は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得、その後、ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得し、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定し、第２の時刻は、第１の時刻に隣接する一つ前の時刻であり、最後に、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよびソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る。上記のように、ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツおよび／または翻訳されたソースコンテンツをモデル化することにより、即ち、この部分のコンテンツをオリジナルの言語モデルから分離してトレーニングすることにより、デコーダのモデルトレーニングの難しさを低減し、翻訳システムの翻訳効果を向上させることができる。
オプションとして、上記の図１１に対応する実施例を基にして、図１２を参照して、本発明の実施例で提供されるターゲット情報決定装置の別の実施例では、
前記第１の決定モジュール３０３は、前記ソースベクトル表示シーケンスに基づいて、前記第２の時刻に対応する第３の翻訳ベクトルを取得する第１の取得ユニット３０３１と、予め設定されたニューラルネットモデルを用いて、前記第１の取得ユニット３０３１が取得した前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得る第１の処理ユニット３０３２とを備える。
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルを如何に決定することが説明され、すなわち、ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットワークモデルを用いて第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得る。上記のように、予め設定されたニューラルネットワークモデルを利用して第１の翻訳ベクトルを出力することで、未来翻訳ベクトルの精度を向上させることができる。
オプションとして、上記の図１１に対応する実施例を基にして、図１３を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、
前記第１の決定モジュール３０３は、前記ソースベクトル表示シーケンスに基づいて、前記第２の時刻に対応する第３の翻訳ベクトルを取得する第２の取得ユニット３０３３と、予め設定されたニューラルネットワークモデルを用いて、前記第２の取得ユニット３０３３が取得した前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得る第２の処理ユニット３０３４と、前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得する第３の取得ユニット３０３５とを備え、ここで、前記第２の翻訳ベクトルは、前記第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルを用いて、前記第２の翻訳ベクトルと前記ソースコンテキストベクトルを処理して得られたものである。
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第１の翻訳ベクトルおよび第２の翻訳ベクトルを如何に決定することが説明され、即ち、ソースベクトル表示シーケンスに基づいて、第２の時刻に対応する第３の翻訳ベクトルを取得し、その後、予め設定されたニューラルネットモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得ることができ、また、ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得することもでき、ここで、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。上記のように、過去翻訳ベクトルと未来翻訳ベクトルの精度を向上させることができる。
オプションとして、上記の図１１に対応する実施例を基にして、図１４を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記第１の決定モジュール３０３は、前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得する第４の取得ユニット３０３６を備え、ここで、第２の翻訳ベクトルは、前記第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルを用いて、前記第２の翻訳ベクトルと前記ソースコンテキストベクトルを処理して得られたものである。
次に、本発明の実施例では、ソースベクトル表示シーケンスおよびソースコンテキストベクトルに基づいて第２の翻訳ベクトルを如何に決定することが説明され、即ち、ソースコンテキストベクトルがソースベクトル表示シーケンスに現れる位置に基づいて、第２の翻訳ベクトルを取得し、第２の翻訳ベクトルは、第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、第４の翻訳ベクトルは、予め設定されたニューラルネットワークモデルを用いて、第２の翻訳ベクトルとソースコンテキストベクトルを処理して得られたものである。上記のように、予め設定されたニューラルネットワークモデルを利用して第２の翻訳ベクトルを出力することで、過去翻訳ベクトルの精度を向上させることができる。
オプションとして、上記の図１２または図１３に対応する実施例を基にして、図１５を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記第１の処理ユニット３０３２は、ゲート付き回帰型ユニットＧＲＵを用いて、前記第３の翻訳ベクトルから前記ソースコンテキストベクトルを減算して、前記第１の翻訳ベクトルを得る減算サブユニット３０３２１を備える。
更に、本発明の実施例では、ＧＲＵを用いて第３の翻訳ベクトルからソースコンテキストベクトルを減算して、第１の翻訳ベクトルを得て、得られた第１の翻訳ベクトルをＧＲＵ構造に伝送するようにしてよい。上記のように、ＧＲＵにおいて逓減の信号を与えることができ、こうすれば、ルールを学習することに寄与し、モデルトレーニングの精度を向上させる。
オプションとして、上記の図１２または図１３に対応する実施例を基にして、図１６を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記第１の処理ユニット３０３２は、ＧＲＵを用いて、前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、中間ベクトルを得る処理サブユニット３０３２２と、前記処理サブユニット３０３２２が処理して得られた前記中間ベクトルを前記第３の翻訳ベクトルと補間結合して、前記第１の翻訳ベクトルを得る結合サブユニット３０３２３とを備える。
また、本発明の実施例では、ターゲット情報決定装置が、予め設定されたニューラルネットワークモデルを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、第１の翻訳ベクトルを得るプロセスは、まず、ＧＲＵを用いて、第３の翻訳ベクトルとソースコンテキストベクトルを処理して、中間ベクトルを得て、また、中間ベクトルを第３の翻訳ベクトルと補間結合して、第１の翻訳ベクトルを得るようにしてよい。上記のように、ＧＲＵ内部で逓減という操作を行うことは、操作の精度を向上させて、操作の効率を向上させるのに役立つ。
オプションとして、上記の図１１に対応する実施例を基にして、図１７を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記第１の取得モジュール３０２は、前記第２の時刻のデコーダの状態、前記第２の翻訳ベクトル、第３の翻訳ベクトル、および前記ソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアライメント確率を決定する第１の決定ユニット３０２１と、前記第１の決定ユニット３０２１が決定した前記ソースコンテンツのアライメント確率および前記ソースコンテンツの意味ベクトルに基づいて、前記第１の時刻に対応する前記ソースコンテキストベクトルを決定する第２の決定ユニット３０２２とを備える。
次に、本発明の実施例では、まず、第２の時刻のデコーダの状態、第２の翻訳ベクトル、第３の翻訳ベクトル、およびソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアラインメント確率を決定し、その後、ソースコンテンツのアラインメント確率およびソースコンテンツの意味ベクトルに基づいて、第１の時刻に対応するソースコンテキストベクトルを決定することができる。上記のように、ターゲット情報決定装置における注目度モジュールは、どのソースコンテンツが既に翻訳されたか、どのソースコンテンツがまだ翻訳されていないかを知ることができ、これにより、翻訳されていないコンテンツに注目度をもっと向け、翻訳されたコンテンツに対する関心を低減し、これによって、翻訳漏れや翻訳重複の問題を緩和することができる。
オプションとして、上記の図１１に対応する実施例を基にして、図１８を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記ターゲット情報決定装置３０は、前記復号化モジュール３０４は前記第１の翻訳ベクトルおよび／または第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る前に、前記第２の時刻のデコーダの状態、前記第２の時刻のターゲット情報、前記ソースコンテキストベクトル、前記第１の翻訳ベクトルおよび前記第２の翻訳ベクトルに基づいて、前記第１の時刻のデコーダの状態を決定する第２の決定モジュール３０５をさらに備えるようにしてよく、前記復号化モジュール３０４は、前記第１の時刻のデコーダの状態、前記ソースコンテキストベクトル、前記第１の翻訳ベクトルおよび／または前記第２の翻訳ベクトルを復号化処理して、前記第１の時刻のターゲット情報を得る復号化ユニット３０４１を備える。
次に、本発明の実施例では、まず第２の時刻のデコーダの状態、第２の時刻のターゲット情報、ソースコンテキストベクトル、第１の翻訳ベクトルおよび第２の翻訳ベクトルに基づいて、第１の時刻のデコーダの状態を決定する必要があり、その後、第１の時刻のデコーダの状態、ソースコンテキストベクトル、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルを復号化処理して、第１の時刻のターゲット情報を得る。上記のように、第１の翻訳ベクトルおよび／または第２の翻訳ベクトルのモデル化を、デコーダの状態から独立させて、第１の時刻の、注目度モジュールによって出力されたソースコンテキストベクトルと完全なソース意味ベクトル表現を構成して、デコーダに伝送することで、より正確なターゲット情報を生成する。
オプションとして、上記の図１７または図１８に対応する実施例を基にして、図１９を参照して、本発明の実施例で提供されるターゲット情報決定装置３０の別の実施例では、前記ターゲット情報決定装置３０は、前記第１の翻訳ベクトルおよび前記第３の翻訳ベクトルに基づいて、未来翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すための第１の指標の期待値を取得する第２の取得モジュール３０６と、前記第２の翻訳ベクトルおよび前記第４の翻訳ベクトルに基づいて、過去翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すための第２の指標の期待値を取得する第３の取得モジュール３０７と、前記第２の取得モジュール３０６が取得した前記第１の指標の期待値および前記第３の取得モジュール３０７が取得した前記第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定する第２の決定モジュール３０８とを備えるようにしてよい。
また、本発明の実施例では、第１の翻訳ベクトルおよび第３の翻訳ベクトルに基づいて、第１の指標の期待値を取得して、第２の翻訳ベクトルおよび第４の翻訳ベクトルに基づいて、第２の指標の期待値を取得し、その後、第１の指標の期待値及び第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定する。上記のように、トレーニングターゲットを増加させ、かつこの部分のトレーニングターゲットは、意味レベルでの一致性をよりよく満たすことができ、これによって、トレーニングの精度と実現可能性を向上させることができる。
図２０は、本発明の実施例で提供されるターゲット情報決定装置の構成概略図であり、このターゲット情報決定装置３００は、構成または性能の違いのせいで、比較的大きな差異を生成し、１つまたは複数の中央プロセッサ（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ）３２２（例えば、１つまたは複数のプロセッサ）と、メモリ３３２と、アプリケーション３４２またはデータ３４４を記憶する１つまたは複数の記憶媒体３３０（例えば、１つまたは複数の大容量記憶装置）とを備えるようにしてよい。ここで、メモリ３３２および記憶媒体３３０は、一時的な記憶または永続的な記憶であってもよい。記憶媒体３３０に記憶されたプログラムは、１つまたは複数のモジュール（図示せず）を含むようにしてよく、各モジュールがターゲット情報決定装置に対する一連の命令操作を含むようにしてよい。さらに、中央プロセッサ３２２は、記憶媒体３３０と通信し、ターゲット情報決定装置３００で記憶媒体３３０における一連の命令操作を実行するように構成されてもよい。
ターゲット情報決定装置３００は、１つまたは複数の電源３２６、１つまたは複数の有線や無線ネットワークインターフェース３５０、１つまたは複数の入出力インターフェース３５８および／またはＷｉｎｄｏｗｓ Ｓｅｒｖｅｒ（登録商標）、Ｍａｃ ＯＳ Ｘ（登録商標）、ＵｎｉｘＴＭ、Ｌｉｎｕｘ（登録商標）、ＦｒｅｅＢＳＤ（登録商標）などの１つまたは複数のオペレーティングシステム３４１を備えるようにしてよい。
上記の実施例におけるターゲット情報決定装置によって実行されたステップは、図２０に示すターゲット情報決定装置の構成に基づくものである。
ＣＰＵ３２２は、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと、前記ソースベクトル表示シーケンスに基づいて、処理対象となるソースコンテンツを表すための第１の時刻に対応するソースコンテキストベクトルを取得することと、前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツを指示する第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツを指示する第２の翻訳ベクトルを決定することと、前記第１の翻訳ベクトルおよび／または前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを実行し、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻である。
オプションとして、ＣＰＵ３２２は、具体的に、前記ソースベクトル表示シーケンスに基づいて、前記第２の時刻に対応する第３の翻訳ベクトルを取得することと、予め設定されたニューラルネットモデルを用いて、前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることとを実行する。
オプションとして、ＣＰＵ３２２は、具体的に、前記ソースベクトル表示シーケンスに基づいて、前記第２の時刻に対応する第３の翻訳ベクトルを取得することと、予め設定されたニューラルネットワークモデルを用いて、前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることと、前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得することとを実行し、ここで、前記第２の翻訳ベクトルは、前記第１の時刻に対応する第４の翻訳ベクトルを更新するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルを用いて、前記第２の翻訳ベクトルと前記ソースコンテキストベクトルを処理して得られたものである。
オプションとして、ＣＰＵ３２２は、具体的に、前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得することを実行し、ここで、前記第２の翻訳ベクトルは、前記第１の時刻に対応する第４の翻訳ベクトルを生成するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルを用いて、前記第２の翻訳ベクトルと前記ソースコンテキストベクトルを処理して得られたものである。
オプションとして、ＣＰＵ３２２は、具体的に、ゲート付き回帰型ユニットＧＲＵを用いて、前記第３の翻訳ベクトルから前記ソースコンテキストベクトルを減算して、前記第１の翻訳ベクトルを得ることを実行する。
オプションとして、ＣＰＵ３２２は、具体的に、ＧＲＵを用いて、前記第３の翻訳ベクトルと前記ソースコンテキストベクトルを処理して、中間ベクトルを得ることと、前記中間ベクトルを前記第３の翻訳ベクトルと補間結合して、前記第１の翻訳ベクトルを得ることとを実行する。
オプションとして、ＣＰＵ３２２は、具体的に、前記第２の時刻のデコーダの状態、前記第２の翻訳ベクトル、前記第３の翻訳ベクトル、および前記ソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアライメント確率を決定することと、前記ソースコンテンツのアライメント確率および前記ソースコンテンツの意味ベクトルに基づいて、前記第１の時刻に対応する前記ソースコンテキストベクトルを決定することとを実行する。
オプションとして、ＣＰＵ３２２は、前記第２の時刻のデコーダの状態、前記第２の時刻のターゲット情報、前記ソースコンテキストベクトル、前記第１の翻訳ベクトルおよび前記第２の翻訳ベクトルに基づいて、前記第１の時刻のデコーダの状態を決定することを実行する。
ＣＰＵ３２２は、具体的に、前記第１の時刻のデコーダの状態、前記第１の翻訳ベクトル、前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、前記第１の時刻のターゲット情報を得ることを実行する。
オプションとして、ＣＰＵ３２２は、前記第１の翻訳ベクトルおよび前記第３の翻訳ベクトルに基づいて、未来翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すための第１の指標の期待値を取得することと、前記第２の翻訳ベクトルおよび前記第４の翻訳ベクトルに基づいて、過去翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すための第２の指標の期待値を取得することと、前記第１の指標の期待値および前記第２の指標の期待値に基づいて、予め設定されたニューラルネットワークモデルを構築するためのトレーニングターゲットを決定することとを実行する。
ここでは説明の便宜上かつ簡潔にするために、上記で説明したシステム、装置、およびユニットの具体的な動作手順は、前述の方法の実施例における対応するプロセスを参照してもよいため、ここで説明を省略することは、当業者によって明確に理解され得る。
本願で提供されるいくつかの実施例では、開示されたシステム、装置、および方法は、他の方法で実現され得るということが理解されるべきである。例えば、上記の装置の実施例は、単に概略的なものであり、例えば、前記ユニットの区分は、論理機能の区分のみであり、実際に実装される場合に、他の区分方式があってもよいし、例えば、複数のユニットまたはコンポーネントは、他のシステムに結合または統合されてもよく、あるいは、一部の特徴は無視されてもよく、または実行されなくてもよい。さらに、表示または検討された相互間の結合または直接結合または通信接続は、いくつかのインターフェース、装置またはユニットを介する間接結合または通信接続であってもよく、電気的、機械的または他の形態であってもよい。
前記分離手段として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された手段は、物理ユニットである場合とそうでない場合があり、即ち、一箇所に位置してもよく、あるいは、複数のネットワークユニットに分布されてもよい。実際の必要に応じて、その中の一部または全部のユニットを選択して、本実施例の目的を実現することができる。
また、本発明の各実施例における各機能ユニットは、１つの処理ユニットに統合されてもよく、各ユニットが個別に物理的に存在してもよく、２つ以上のユニットが１つのユニットに統合されてもよい。上記の統合されたユニットは、ハードウェアの形式で実現されてもよく、ソフトウェア機能ユニットの形式で実現されてもよい。
前記統合されたユニットは、ソフトウェア機能ユニットの形式で実現され、かつ独立した製品として販売または使用される場合、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解に基づいて、本発明の技術的解決策について、本質的なものまたは既存の技術に寄与する部分または該技術的解決策の全部または一部が、ソフトウェア製品として具現化されることができ、このコンピュータソフトウェア製品は、記憶媒体に記憶され、本発明の各実施例に係る方法の全部または一部のステップを１台のコンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスなど）に実行させるための若干の命令を含む。上記の記憶媒体は、Ｕディスク、モバイルハードディスク、リードオンリーメモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなど、プログラムコードを記憶できる様々な媒体を含む。したがって、本発明の一実施例は、コンピュータで実行される場合、上記のような方法をコンピュータに実行させる命令を含むコンピュータ読み取り可能な記憶媒体を提供する。
上記のように、上記の実施例は、本発明の技術的解決策を説明するためにのみ使用され、それを限定するためのものではない。上記の実施例を参照して本発明を詳細に説明したが、当業者は、依然として、上記の各実施例に記載された技術的解決策を修正したり、一部の技術的特徴を均等に置き換えたりすることができ、また、これらの修正または置き換えは、対応する技術的解決策の本質を、本発明の各実施例の技術的解決策の精神および範囲から逸脱させない。
３０ ターゲット情報決定装置
３００ ターゲット情報決定装置
３０１ 符号化モジュール
３０２ 第１の取得モジュール
３０３ 第１の決定モジュール
３０４ 復号化モジュール
３０５ 第２の決定モジュール
３０６ 第２の取得モジュール
３０７ 第３の取得モジュール
３０８ 第２の決定モジュール
３２２ 中央プロセッサ
３２６ 電源
３３０ 記憶媒体
３３２ メモリ
３４１ オペレーティングシステム
３４２ アプリケーション
３４４ データ
３５０ 有線または無線ネットワークインターフェース
３５８ 入出力インターフェース
３０２１ 第１の決定ユニット
３０２２ 第２の決定ユニット
３０３１ 第１の取得ユニット
３０３２ 第１の処理ユニット
３０３３ 第２の取得ユニット
３０３４ 第２の処理ユニット
３０３５ 第３の取得ユニット
３０３６ 第４の取得ユニット
３０４１ 復号化ユニット
３０３２１ 減算サブユニット
３０３２２ 処理サブユニット
３０３２３ 結合サブユニット

Claims (16)

  1. ニューラルネットワークマシン翻訳システムに適用される翻訳方法であって、
    エンコーダが、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることであって、前記処理対象となるテキスト情報は、第１の言語に属することと、
    前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、
    前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、
    デコーダが、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることであって、前記ターゲット情報は、前記第１の言語とは異なる第２の言語に属するものであることとを含むことを特徴とする翻訳方法。
  2. 前記エンコーダが、処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることは、
    前記処理対象となるテキスト情報を前記エンコーダに入力することと、
    前記エンコーダが前記処理対象となるテキスト情報を符号化処理することと、
    符号化処理の結果に基づいて、前記ソースベクトル表示シーケンスを取得することであって、前記ソースベクトル表示シーケンスにおける各ソースベクトルは、前記第１の言語に属することとを含むことを特徴とする請求項１に記載の方法。
  3. 前記デコーダが前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることは、
    前記翻訳ベクトルおよび前記ソースコンテキストベクトルを前記デコーダに入力することと、
    前記デコーダが前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理することと、
    復号化処理の結果に基づいて、前記処理対象となるソースコンテンツの翻訳コンテンツを取得することであって、前記翻訳コンテンツは、前記第１の時刻のターゲット情報であることとを含むことを特徴とする請求項１または２に記載の方法。
  4. ターゲット情報決定方法であって、
    処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと、
    前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、
    前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、
    前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを含むことを特徴とするターゲット情報決定方法。
  5. 前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて第１の翻訳ベクトルを決定することは、
    前記ソースベクトル表示シーケンスに基づいて、第３の翻訳ベクトルを取得することであって、前記第３の翻訳ベクトルは、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルであることと、
    予め設定されたニューラルネットワークモデルを用いて、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることとを含むことを特徴とする請求項４に記載の方法。
  6. 前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて第１の翻訳ベクトルおよび第２の翻訳ベクトルを決定することは、
    前記ソースベクトル表示シーケンスに基づいて、第３の翻訳ベクトルを取得するであって、前記第３の翻訳ベクトルは、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルであることと、
    予め設定されたニューラルネットワークモデルを用いて、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることと、
    前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得することであって、前記第２の翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである、第４の翻訳ベクトルを更新するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルが、前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して得られたものであることとを含むことを特徴とする請求項４に記載の方法。
  7. 前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて第２の翻訳ベクトルを決定することは、
    前記ソースコンテキストベクトルが前記ソースベクトル表示シーケンスに現れる位置に基づいて、前記第２の翻訳ベクトルを取得することを含み、前記第２の翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第４の翻訳ベクトルを生成するためのものであり、前記第４の翻訳ベクトルは、前記予め設定されたニューラルネットワークモデルが、前記第２の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して得られたものであることを特徴とする請求項４に記載の方法。
  8. 前記予め設定されたニューラルネットワークモデルが、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることは、
    ゲート付き回帰型ユニットが、前記第３の翻訳ベクトルから前記ソースコンテキストベクトルを減算して、前記第１の翻訳ベクトルを得ることを含むことを特徴とする請求項５または６に記載の方法。
  9. 前記予め設定されたニューラルネットワークモデルが、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、前記第１の翻訳ベクトルを得ることは、
    ゲート付き回帰型ユニットが、前記第３の翻訳ベクトルおよび前記ソースコンテキストベクトルを処理して、中間ベクトルを得ることと、
    前記中間ベクトルを前記第３の翻訳ベクトルと補間結合して、前記第１の翻訳ベクトルを得ることとを含むことを特徴とする請求項５または６に記載の方法。
  10. 前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することは、
    前記第２の時刻のデコーダの状態、前記第２の翻訳ベクトル、第３の翻訳ベクトル、および前記ソースベクトル表示シーケンスにおけるソースコンテンツのベクトルに基づいて、ソースコンテンツのアライメント確率を決定することであって、前記第３の翻訳ベクトルは、前記第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルであることと、
    前記ソースコンテンツのアライメント確率および前記ソースコンテンツの意味ベクトルに基づいて、前記第１の時刻に対応する前記ソースコンテキストベクトルを決定することとを含むことを特徴とする請求項４に記載の方法。
  11. 前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る前に、前記方法は、前記第２の時刻のデコーダの状態、前記第２の時刻のターゲット情報、前記ソースコンテキストベクトル、および前記翻訳ベクトルに基づいて、前記第１の時刻のデコーダの状態を決定することをさらに含み、
    これに対応して、前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることは、前記第１の時刻のデコーダの状態、前記ソースコンテキストベクトル、および前記翻訳ベクトルを復号化処理して、前記第１の時刻のターゲット情報を得ることを含むことを特徴とする請求項４に記載の方法。
  12. 前記方法は、
    前記第１の翻訳ベクトルおよび前記第３の翻訳ベクトルに基づいて、第１の指標の期待値を取得することであって、前記第１の指標の期待値は、未来翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すためのものであることと、
    前記第２の翻訳ベクトルおよび前記第４の翻訳ベクトルに基づいて、第２の指標の期待値を取得することであって、前記第２の指標の期待値は、過去翻訳ベクトルの変化と前記第１の時刻のターゲット情報との間の意味の一致性状況を表すためのものであることと、
    前記第１の指標の期待値および前記第２の指標の期待値に基づいて、トレーニングターゲットを決定することであって、前記トレーニングターゲットは、予め設定されたニューラルネットワークモデルを構築するためのものであることとをさらに含むことを特徴とする請求項１０または１１に記載の方法。
  13. 少なくとも１つのメモリと、少なくとも１つのプロセッサとを備えるターゲット情報決定装置であって、前記少なくとも１つのメモリに少なくとも１つの命令モジュールが記憶され、前記少なくとも１つのプロセッサによって実行されるように配置され、前記少なくとも１つの命令モジュールは、
    処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得る符号化モジュールと、
    前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得する第１の取得モジュールであって、前記第１の時刻に対応するソースコンテキストベクトルは、第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものである第１の取得モジュールと、
    前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定する第１の決定モジュールであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻である第１の決定モジュールと、
    前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得る復号化モジュールとを備えることを特徴とするターゲット情報決定装置。
  14. メモリと、プロセッサと、バスシステムとを備えるターゲット情報決定装置であって、前記メモリは、プログラムを記憶するためのものであり、前記プロセッサは、前記メモリにおけるプログラムを実行するためのものであり、
    処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得るステップと、
    前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得するステップであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであるステップと、
    前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定するステップであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であるステップと、
    前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得るステップとを含み、
    前記バスシステムは、前記メモリと前記プロセッサを接続して、前記メモリと前記プロセッサを通信させるためのものであることを特徴とするターゲット情報決定装置。
  15. コンピュータで実行される場合、請求項１〜１２に記載の方法を実行させる命令を含むコンピュータ読み取り可能な記憶媒体。
  16. 電子デバイスによって実行されるターゲット情報決定方法であって、
    処理対象となるテキスト情報を符号化処理して、ソースベクトル表示シーケンスを得ることと、
    前記ソースベクトル表示シーケンスに基づいて、第１の時刻に対応するソースコンテキストベクトルを取得することであって、前記第１の時刻に対応するソースコンテキストベクトルは、前記第１の時刻での前記処理対象となるテキスト情報における処理対象となるソースコンテンツを指示するためのものであることと、
    前記ソースベクトル表示シーケンスおよび前記ソースコンテキストベクトルに基づいて翻訳ベクトルを決定することであって、前記翻訳ベクトルは、第１の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されていないソースコンテンツに対応するベクトルである第１の翻訳ベクトル、および／または、第２の時刻における、前記ソースベクトル表示シーケンスにおける翻訳されたソースコンテンツに対応するベクトルである第２の翻訳ベクトルを含み、前記第２の時刻は、前記第１の時刻に隣接する一つ前の時刻であることと、
    前記翻訳ベクトルおよび前記ソースコンテキストベクトルを復号化処理して、第１の時刻のターゲット情報を得ることとを含む
    ことを特徴とするターゲット情報決定方法。
JP2020503957A 2017-07-25 2018-07-11 翻訳方法、ターゲット情報決定方法および関連装置、ならびにコンピュータプログラム Active JP7025090B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710612833.7 2017-07-25
CN201710612833.7A CN107368476B (zh) 2017-07-25 2017-07-25 一种翻译的方法、目标信息确定的方法及相关装置
PCT/CN2018/095231 WO2019019916A1 (zh) 2017-07-25 2018-07-11 翻译的方法、目标信息确定的方法及相关装置、存储介质

Publications (2)

Publication Number Publication Date
JP2020528625A true JP2020528625A (ja) 2020-09-24
JP7025090B2 JP7025090B2 (ja) 2022-02-24

Family

ID=60306920

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020503957A Active JP7025090B2 (ja) 2017-07-25 2018-07-11 翻訳方法、ターゲット情報決定方法および関連装置、ならびにコンピュータプログラム

Country Status (6)

Country Link
US (2) US11928439B2 (ja)
EP (1) EP3660707A4 (ja)
JP (1) JP7025090B2 (ja)
KR (1) KR102382499B1 (ja)
CN (1) CN107368476B (ja)
WO (1) WO2019019916A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022102364A1 (ja) * 2020-11-13 2022-05-19 株式会社Ｎｔｔドコモ 文生成モデル生成装置、文生成モデル及び文生成装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101328745B1 (ko) * 2011-06-13 2013-11-20 (주)우남케미칼 예비발포입자 제조 시스템
CN107368476B (zh) * 2017-07-25 2020-11-03 深圳市腾讯计算机系统有限公司 一种翻译的方法、目标信息确定的方法及相关装置
CN108363763B (zh) * 2018-02-05 2020-12-01 深圳市腾讯计算机系统有限公司 一种自动问答方法、装置和存储介质
CN108197123A (zh) * 2018-02-07 2018-06-22 云南衍那科技有限公司 一种基于智能手表的云翻译系统和方法
CN110134971B (zh) 2018-02-08 2022-12-16 腾讯科技（深圳）有限公司 一种机器翻译的方法、设备以及计算机可读存储介质
CN108388549B (zh) 2018-02-26 2021-02-19 腾讯科技（深圳）有限公司 信息转换方法、装置、存储介质和电子装置
CN110489761B (zh) * 2018-05-15 2021-02-02 科大讯飞股份有限公司 一种篇章级文本翻译方法及装置
CN108984539B (zh) * 2018-07-17 2022-05-17 苏州大学 基于模拟未来时刻的翻译信息的神经机器翻译方法
CN109062897A (zh) * 2018-07-26 2018-12-21 苏州大学 基于深度神经网络的句子对齐方法
CN109274814B (zh) * 2018-08-20 2020-10-23 维沃移动通信有限公司 一种消息提示方法、装置及终端设备
CN109271646B (zh) * 2018-09-04 2022-07-08 腾讯科技（深圳）有限公司 文本翻译方法、装置、可读存储介质和计算机设备
CN109146064B (zh) * 2018-09-05 2023-07-25 腾讯科技（深圳）有限公司 神经网络训练方法、装置、计算机设备和存储介质
CN109446534B (zh) * 2018-09-21 2020-07-31 清华大学 机器翻译方法及装置
CN111428516B (zh) * 2018-11-19 2022-08-19 腾讯科技（深圳）有限公司 一种信息处理的方法以及装置
CN109543199B (zh) * 2018-11-28 2022-06-10 腾讯科技（深圳）有限公司 一种文本翻译的方法以及相关装置
CN109858045B (zh) * 2019-02-01 2020-07-10 北京字节跳动网络技术有限公司 机器翻译方法和装置
CN109933809B (zh) * 2019-03-15 2023-09-15 北京金山数字娱乐科技有限公司 一种翻译方法及装置、翻译模型的训练方法及装置
CN111783435A (zh) * 2019-03-18 2020-10-16 株式会社理光 共享词汇的选择方法、装置及存储介质
CN110110337B (zh) * 2019-05-08 2023-04-18 网易有道信息技术（北京）有限公司 翻译模型训练方法、介质、装置和计算设备
CN110472255B (zh) * 2019-08-20 2021-03-02 腾讯科技（深圳）有限公司 神经网络机器翻译方法、模型、电子终端以及存储介质
CN111209395B (zh) * 2019-12-27 2022-11-11 铜陵中科汇联科技有限公司 一种短文本相似度计算系统及其训练方法
CN111597829B (zh) * 2020-05-19 2021-08-27 腾讯科技（深圳）有限公司 翻译方法和装置、存储介质和电子设备
US11741317B2 (en) * 2020-05-25 2023-08-29 Rajiv Trehan Method and system for processing multilingual user inputs using single natural language processing model
CN114254660A (zh) * 2020-09-22 2022-03-29 北京三星通信技术研究有限公司 多模态翻译方法、装置、电子设备及计算机可读存储介质
KR20220056004A (ko) * 2020-10-27 2022-05-04 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20230135990A (ko) * 2022-03-17 2023-09-26 주식회사 아론티어 트랜스포머와 원자 환경을 이용한 역합성 번역 방법 및 이를 수행하기 위한 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106126507A (zh) * 2016-06-22 2016-11-16 哈尔滨工业大学深圳研究生院 一种基于字符编码的深度神经翻译方法及系统
CN106372058A (zh) * 2016-08-29 2017-02-01 中译语通科技（北京）有限公司 一种基于深度学习的短文本情感要素抽取方法及装置
CN106672058A (zh) * 2015-11-08 2017-05-17 匡桃红 婴儿车无晃动收合关节

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2612404C (en) * 2005-06-17 2014-05-27 National Research Council Of Canada Means and method for adapted language translation
US9471565B2 (en) * 2011-07-29 2016-10-18 At&T Intellectual Property I, L.P. System and method for locating bilingual web sites
SG11201404225WA (en) * 2012-01-27 2014-08-28 Nec Corp Term translation acquisition method and term translation acquisition apparatus
JP6296592B2 (ja) * 2013-05-29 2018-03-20 国立研究開発法人情報通信研究機構 翻訳語順情報出力装置、機械翻訳装置、学習装置、翻訳語順情報出力方法、学習方法、およびプログラム
JP2014235599A (ja) * 2013-06-03 2014-12-15 独立行政法人情報通信研究機構 翻訳装置、学習装置、翻訳方法、およびプログラム
US9535960B2 (en) * 2014-04-14 2017-01-03 Microsoft Corporation Context-sensitive search using a deep learning model
US9846836B2 (en) * 2014-06-13 2017-12-19 Microsoft Technology Licensing, Llc Modeling interestingness with deep neural networks
WO2016065327A1 (en) * 2014-10-24 2016-04-28 Google Inc. Neural machine translation systems with rare word processing
US9778929B2 (en) * 2015-05-29 2017-10-03 Microsoft Technology Licensing, Llc Automated efficient translation context delivery
CN105068998B (zh) * 2015-07-29 2017-12-15 百度在线网络技术（北京）有限公司 基于神经网络模型的翻译方法及装置
CN106484682B (zh) * 2015-08-25 2019-06-25 阿里巴巴集团控股有限公司 基于统计的机器翻译方法、装置及电子设备
CN106484681B (zh) * 2015-08-25 2019-07-09 阿里巴巴集团控股有限公司 一种生成候选译文的方法、装置及电子设备
US9792534B2 (en) * 2016-01-13 2017-10-17 Adobe Systems Incorporated Semantic natural language vector space
US11449744B2 (en) * 2016-06-23 2022-09-20 Microsoft Technology Licensing, Llc End-to-end memory networks for contextual language understanding
US10706351B2 (en) * 2016-08-30 2020-07-07 American Software Safety Reliability Company Recurrent encoder and decoder
US20180197080A1 (en) * 2017-01-11 2018-07-12 International Business Machines Corporation Learning apparatus and method for bidirectional learning of predictive model based on data sequence
KR102637338B1 (ko) * 2017-01-26 2024-02-16 삼성전자주식회사 번역 보정 방법 및 장치와 번역 시스템
US10839790B2 (en) * 2017-02-06 2020-11-17 Facebook, Inc. Sequence-to-sequence convolutional architecture
CN107092664B (zh) * 2017-03-30 2020-04-28 华为技术有限公司 一种内容解释方法及装置
KR102329127B1 (ko) * 2017-04-11 2021-11-22 삼성전자주식회사 방언을 표준어로 변환하는 방법 및 장치
US10733380B2 (en) * 2017-05-15 2020-08-04 Thomson Reuters Enterprise Center Gmbh Neural paraphrase generator
CN108959312B (zh) * 2017-05-23 2021-01-29 华为技术有限公司 一种多文档摘要生成的方法、装置和终端
CN107368476B (zh) * 2017-07-25 2020-11-03 深圳市腾讯计算机系统有限公司 一种翻译的方法、目标信息确定的方法及相关装置
CN110309839B (zh) * 2019-08-27 2019-12-03 北京金山数字娱乐科技有限公司 一种图像描述的方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106672058A (zh) * 2015-11-08 2017-05-17 匡桃红 婴儿车无晃动收合关节
CN106126507A (zh) * 2016-06-22 2016-11-16 哈尔滨工业大学深圳研究生院 一种基于字符编码的深度神经翻译方法及系统
CN106372058A (zh) * 2016-08-29 2017-02-01 中译语通科技（北京）有限公司 一种基于深度学习的短文本情感要素抽取方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022102364A1 (ja) * 2020-11-13 2022-05-19 株式会社Ｎｔｔドコモ 文生成モデル生成装置、文生成モデル及び文生成装置

Also Published As

Publication number Publication date
US11928439B2 (en) 2024-03-12
EP3660707A1 (en) 2020-06-03
CN107368476A (zh) 2017-11-21
CN107368476B (zh) 2020-11-03
KR20200019740A (ko) 2020-02-24
JP7025090B2 (ja) 2022-02-24
KR102382499B1 (ko) 2022-04-01
EP3660707A4 (en) 2020-08-05
US20200226328A1 (en) 2020-07-16
US20240169166A1 (en) 2024-05-23
WO2019019916A1 (zh) 2019-01-31

Similar Documents

Publication Publication Date Title
JP7025090B2 (ja) 翻訳方法、ターゲット情報決定方法および関連装置、ならびにコンピュータプログラム
CN109117483B (zh) 神经网络机器翻译模型的训练方法及装置
CN112487182A (zh) 文本处理模型的训练方法、文本处理方法及装置
CN111401084B (zh) 一种机器翻译的方法、设备以及计算机可读存储介质
CN107967262A (zh) 一种神经网络蒙汉机器翻译方法
US20190147853A1 (en) Quantized dialog language model for dialog systems
CN111144140B (zh) 基于零次学习的中泰双语语料生成方法及装置
JP7395553B2 (ja) 文章翻訳方法、装置、電子機器及び記憶媒体
WO2023241410A1 (zh) 数据处理方法、装置、设备及计算机介质
CN111191468B (zh) 术语替换方法及装置
US10643028B1 (en) Transliteration of text entry across scripts
CN111626065A (zh) 神经机器翻译模型的训练方法、装置及存储介质
US20180173689A1 (en) Transliteration decoding using a tree structure
JP2023002690A (ja) セマンティックス認識方法、装置、電子機器及び記憶媒体
CN108388549B (zh) 信息转换方法、装置、存储介质和电子装置
CN114330372A (zh) 一种模型训练的方法、相关装置及设备
US10810380B2 (en) Transliteration using machine translation pipeline
CN111178097B (zh) 基于多级翻译模型生成中泰双语语料的方法及装置
CN115357710B (zh) 表格描述文本生成模型的训练方法、装置及电子设备
CN110852066B (zh) 一种基于对抗训练机制的多语言实体关系抽取方法及系统
WO2023061107A1 (zh) 基于层预测的语言翻译的方法、设备、装置和介质
CN113408303B (zh) 翻译模型的训练与翻译方法、装置
CN116306612A (zh) 一种词句生成方法及相关设备
CN114841175A (zh) 机器翻译方法、装置、设备及存储介质
CN110442706B (zh) 一种文本摘要生成的方法、系统、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220207

R150 Certificate of patent or registration of utility model

Ref document number: 7025090

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150