JP2020535564A - 機械翻訳方法、装置、コンピュータ機器及び記憶媒体 - Google Patents

機械翻訳方法、装置、コンピュータ機器及び記憶媒体 Download PDF

Info

Publication number
JP2020535564A
JP2020535564A JP2020535285A JP2020535285A JP2020535564A JP 2020535564 A JP2020535564 A JP 2020535564A JP 2020535285 A JP2020535285 A JP 2020535285A JP 2020535285 A JP2020535285 A JP 2020535285A JP 2020535564 A JP2020535564 A JP 2020535564A
Authority
JP
Japan
Prior art keywords
sentence fragment
vector
history
translation
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020535285A
Other languages
English (en)
Other versions
JP7026236B2 (ja
Inventor
ツー，ジャオペン
シー，シュミン
ジャン，トン
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2020535564A publication Critical patent/JP2020535564A/ja
Application granted granted Critical
Publication of JP7026236B2 publication Critical patent/JP7026236B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)

Abstract

本願は機械翻訳方法及び装置に関し、当該方法は文断片を第一言語から第二言語に翻訳する際、前記文断片のソース側リプレゼンテーションベクターを取得するステップであって、前記ソース側リプレゼンテーションベクターが前記第一言語で対応する文断片を示すベクターである、ステップと、前記文断片のソース側リプレゼンテーションベクターに基いて、履歴翻訳情報を検索することで、前記文断片の履歴翻訳ベクターを得るステップであって、前記履歴翻訳ベクターが対応する文断片の履歴翻訳状況を示す為のものである、ステップと、前記文断片の履歴翻訳ベクターに基いて、前記文断片について翻訳を行うステップと、を含む。一つの文断片について翻訳を行う際、履歴翻訳過程での当該文断片についての翻訳状況を総合的に考えて、履歴翻訳過程での当該文断片についての翻訳状況によって今回の翻訳結果に影響を与えることで、翻訳の結果が履歴翻訳過程での同じ文断片についての翻訳結果に更に接近することになり、翻訳の正確性を向上させる。【選択図】図２

Description

［関連出願への相互参照］
本願は、２０１７年０９月１２日に中国国家知識産権局に提出された、出願番号が２０１７１０８１９３４６.８で、発明の名称が「機械翻訳方法及び装置」である中国特許出願の優先権を主張し、その内容を全て参照により本願に組み込むものとする。
［技術分野］
本願は、機械学習の技術分野に関し、特に機械翻訳方法、装置、コンピュータ機器及び記憶媒体に関する。
ＮＭＴ(Ｎｅｕｒａｌ Ｍａｃｈｉｎｅ Ｔｒａｎｓｌａｔｉｏｎ、ニューラル機械翻訳)は機械翻訳技術として、エンコーダ―デコーダのフレームワークを使用して「語義を理解してから翻訳する」という過程を実現する。
一種の言語中の単語をその他の一種の言語に翻訳する際、普通は複数の異なる単語に対応される。同一の文章のうち、異なる位置の同じ語句の翻訳結果が一致しない問題を避けるために、関連技術では、伝統のＮＭＴシステムのもとで一つのＨＲＮＮ(Ｈｉｅｒａｒｃｈｉｃａｌ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、階層型リカレントニューラルネットワーク)モジュールを追加設置し、ある文断片に対して翻訳を行う際、ＨＲＮＮによって、前のいくつかの文（ｓｅｎｔａｎｃｅ）の翻訳結果をまとめ、前のいくつかの文の翻訳結果と組み合わせて現在の文断片に対して翻訳を行うことができる。
しかしながら、ＨＲＮＮネットワークが前のいくつかの文の翻訳結果をまとめる際、極めて大きい算出オーバーヘッドを占用する必要があり、翻訳効率を確保するために、実際の応用において、前の少量のいくつかの文(普通は前の三つの文)の翻訳結果しかまとめることができないので、翻訳効果の向上に限界がある。
関連技術のうち、ＨＲＮＮネットワークが前のいくつかの文の翻訳結果をまとめる際時、前の少量のいくつかの文の翻訳結果しかまとめることができないので、翻訳効果の向上に限界があるという問題を解決するために、本願の実施例は、機械翻訳方法、装置、コンピュータ機器及び記憶媒体を提供し、技術態様は以下のとおりである。
一態様では、コンピュータ機器によって実行される方法において、
文断片を第一言語から第二言語に翻訳する際、前記文断片のソース側リプレゼンテーションベクターを取得するステップであって、前記ソース側リプレゼンテーションベクターが前記第一言語で対応する文断片を示すベクターである、ステップと、
前記文断片のソース側リプレゼンテーションベクターに基いて、履歴翻訳情報を検索することで、前記文断片の履歴翻訳ベクターを得るステップであって、前記履歴翻訳ベクターが対応する文断片の履歴翻訳状況を示す為のものである、ステップと、
前記文断片の履歴翻訳ベクターに基いて、前記文断片について翻訳を行うステップとを含む、機械翻訳方法を提供する。
一態様では、装置において、
文断片を第一言語から第二言語に翻訳する際、前記文断片のソース側リプレゼンテーションベクターを取得するためのソース側ベクター取得モジュールであって、前記ソース側リプレゼンテーションベクターが前記第一言語で対応する文断片を示すベクターである、ソース側ベクター取得モジュールと、
前記文断片のソース側リプレゼンテーションベクターに基いて、履歴翻訳情報を検索することで、前記文断片の履歴翻訳ベクターを得るための履歴ベクター取得モジュールであって、前記履歴翻訳ベクターが対応する文断片の履歴翻訳状況を示す為のものである、履歴ベクター取得モジュールと、
前記文断片の履歴翻訳ベクターに基いて、前記文断片について翻訳を行うための翻訳モジュールとを含む、機械翻訳装置を提供する。
一態様では、プロセッサとメモリを含み、前記メモリには少なくとも一つの命令、少なくとも一つのプログラム、コードセットまたは命令セットが記憶されており、前記少なくとも一つの命令、前記少なくとも一つのプログラム、前記コードセットまたは命令セットは、前記プロセッサによってローディング及び実行され、上述のような機械翻訳方法を実現する、コンピュータ機器を提供する。
一態様では、記憶媒体には少なくとも一つの命令、少なくとも一つのプログラム、コードセットまたは命令セットが記憶されており、前記少なくとも一つの命令、前記少なくとも一つのプログラム、前記コードセットまたは命令セットは、プロセッサによってローディング及び実行され、上述のような機械翻訳方法を実現する、コンピュータ可読記憶媒体を提供する。
本願による技術態様は以下のような有益な効果を含むことができる。
一つの文断片について翻訳を行う時、履歴翻訳過程での当該文断片についての翻訳状況を総合的に考えて、履歴翻訳過程での当該文断片についての翻訳状況によって今回の翻訳結果に影響を与え、履歴翻訳過程での一つの文断片についての翻訳結果は、翻訳システムが現在のタイミング以前に、同じまたは類似の文断片に対する一部ひいては全部の翻訳状況であることができ、カバレッジが広いため、上述の方法による一つの文断片の翻訳結果は、履歴翻訳過程での同じ文断片についての翻訳結果に更に接近することになり、そのため、翻訳の正確性を向上させる。
理解すべきことは、以上の一般的な説明と以下の詳細な説明は単に例示的および解釈的なものであり、本願を限定するものではないことである。
ここでの図面は、明細書に組み込まれて本明細書の一部を構成し、本願に合致する実施例を示すと共に、明細書と併せて本願の原理を解釈するためのものである。
例示的な一実施例によって示された機械翻訳のフロー模式図である。 例示的な一実施例によって示された機械翻訳方法のフローチャートである。 図２に示された実施例に係る確率分布統合の模式図である。 図２に示された実施例に係る付加コンテスト処理の模式図である。 図２に示された実施例に係る隠れ層リプレゼンテーション統合処理の模式図である。 例示的な一実施例によって示された機械翻訳システムの構成模式図である。 例示的な一実施例によって示された機械翻訳装置の構造ブロック図である。 例示的な一実施例によって示されたサーバの構造模式図である。 例示的な一実施例によって示されたユーザー端末の構造模式図である。
ここで、図面に示された例示的な実施例を詳細に説明する。以下の説明において、図面を言及する場合、特に説明しない限り、異なる図面における同じ符号は、同じ又は類似する要素を示す。以下の例示的な実施例で説明された実施形態は、本願と一致するすべての実施形態を代表するものではなく、逆に、単に添付の特許請求の範囲に詳細に記載された本願の一部の局面に一致する装置及び方法の例である。
本願の各実施例に示された態様はコンピュータ機器に応用されることができる。例えば、コンピュータ機器はスマートフォン、タブレットコンピュータ、電子書籍リーダーまたはパーソナルコンピュータなどのユーザー端末であってもよく、または、コンピュータ機器はネットワーク側に設けられたサーバであってもよい。
本願の各実施例に係る機械翻訳方法はＮＭＴシステムによる翻訳方法である。ここで、伝統のＮＭＴシステムはエンコーダ、アテンション（ａｔｔｅｎｔｉｏｎ）モデル及びデコーダを含み、伝統のＮＭＴシステムの翻訳過程は以下のように簡単に説明することができる。
翻訳される文断片(本願の実施例において、文断片は一つの完全な文の一部または全部であってもよい)を第一言語から第二言語に翻訳する際、文断片の中の各単語に対して、エンコーダは当該単語の語義ベクター(各語義ベクターは次元の数がＮと一定であるベクターであってもよく、Ｎは正の整数である)を生成し、文断片の中の各単語の語義ベクターは当該文断片の語義ベクターシーケンスを構成する。
アテンションモデルは上述の語義ベクターシーケンスとデコーダの直前のタイミングの状態ｓｔ-１(デコーダの状態は同様にＮ次元のベクターである)を読み込み、デコーダの直前のタイミングの状態ｓｔ-１に基いて、文断片の各単語に一つのアライメント確率(当該アライメント確率の範囲は０~１にあり、確率値が高いほど、この単語と生成される目標単語との関連性が高いことを示す)を出力し、各単語のアライメント確率と語義ベクターに対して重み付けを行い、現在のタイミングの当該文断片のソース側リプレゼンテーションベクターｃｔを生成し、当該ソース側リプレゼンテーションベクターｃｔは現在の文断片のソース側コンテストリプレゼンテーションと称されてもよく、当該ソース側リプレゼンテーションベクターｃｔは第一言語で対応する文断片を示すベクターであり、現在のタイミングで翻訳されるソース内容を表す。
デコーダはソース側リプレゼンテーションベクターｃｔ、デコーダの直前のタイミングの状態ｓｔ-１及び一つ前の生成単語ｙｔ-１(即ち、一つ前の文断片の翻訳結果が対応されるＮ次元のリプレゼンテーションベクターである)を読み込み、デコーダの現在のタイミングの状態ｓｔを出力する。
デコーダは現在のタイミングの状態ｓｔ、ソース側リプレゼンテーションベクターｃｔ、及び一つ前の生成単語ｙｔ-１に基いて、ニューラルネットワークを通して一つの出力ベクターを生成し、出力ベクターとすべての目標側の文断片(即ち、目標言語の文断片)に対応する目標側リプレゼンテーションベクターとを比較して、類似度の一番高い一つの目標側の文断片を最終の出力結果として選択し、当該目標側リプレゼンテーションベクターは第二言語で対応する文断片を示すベクターである。
図１は本願の例示的な一実施例に示された機械翻訳のフロー模式図で、本願の実施例は上述の伝統のＮＭＴシステムのもとで、文断片を第一言語から第二言語に翻訳する際、エンコーダとアテンションモデルによって現在の翻訳する文断片のソース側リプレゼンテーションベクターｃｔを得た後、ＮＭＴシステムが当該文断片のソース側リプレゼンテーションベクターに基いて、履歴翻訳情報を検索することで、当該文断片の履歴翻訳状況を示すための履歴翻訳ベクターを得て、当該文断片の履歴翻訳ベクターに基いて、デコーダによって当該文断片について翻訳を行う。上述の態様において、一つの文断片について翻訳を行う際、履歴翻訳過程での当該文断片についての翻訳状況を総合的に考えて、履歴翻訳過程での当該文断片についての翻訳状況によって今回の翻訳結果に影響を与え、履歴翻訳過程での一つの文断片についての翻訳結果は、翻訳システムによる現在のタイミング以前の同じまたは類似の文断片に対する一部ひいては全部の翻訳状況であることができ、カバレッジが広いため、上述の方法による一つの文断片の翻訳結果は、履歴翻訳過程での同じ文断片についての翻訳結果に更に接近することになり、そのため、翻訳の正確性を大幅に向上させる。
上述の図１に示された態様において、検索された履歴翻訳情報は、各履歴文断片のソース側リプレゼンテーションベクターと各履歴文断片が翻訳過程で生成された中間ベクター又は結果ベクターとの間の対応関係を含むことができる。例えば、上述の中間ベクターは翻訳システムが履歴文断片を翻訳する際のデコーダ状態を含んでもよいし、または、上述の中間ベクターは翻訳システムのデコーダが履歴文断片を翻訳する際に生成された出力ベクターを含んでもよく、上述の結果ベクターは、翻訳システムが履歴文断片を翻訳する際に得られた最終の翻訳結果に対応する目標側リプレゼンテーションベクターであってもよい。ここで、目標側リプレゼンテーションベクターは第二言語での文断片を示すベクターである。例えば、第一言語を中国語とし、第二言語を英語とする場合、翻訳される中国語の文断片は「苹果」で、当該文断片を英語に翻訳して得た翻訳結果が「ａｐｐｌｅ」であれば、翻訳システムにおいて、文断片「苹果」を示すベクターがソース側リプレゼンテーションベクターとなり、文断片「ａｐｐｌｅ」を示すベクターが目標側リプレゼンテーションベクターである。
本願の後続の実施例は、履歴翻訳情報に各履歴文断片のソース側リプレゼンテーションベクターと各履歴文断片のデコーダ状態との間の対応関係が含まれることを例として、本願の実施例の態様について説明する。
図２は例示的な一実施例によって示された機械翻訳方法のフローチャートで、当該機械翻訳方法はＮＭＴシステムによって機械翻訳機能が提供されるコンピュータ機器(例えば、ユーザー端末又はサーバ)に適用されることができる。図２に示すように、当該機械翻訳方法は以下のようなステップを含むことができる。
ステップ２０１は、文断片を第一言語から第二言語に翻訳する際、当該文断片のソース側リプレゼンテーションベクターを取得する。当該ソース側リプレゼンテーションベクターは、前記第一言語で対応する文断片を示すベクターである。
ここで、翻訳される文断片の中の各単語に対して、コンピュータ機器は当該単語の語義ベクターを生成し、文断片の中の各単語の語義ベクターは当該文断片の語義ベクターシーケンスを構成し、デコーダの直前のタイミングの状態ｓｔ-１に基いて、文断片の各単語に対して一つのアライメント確率を出力し、また、各単語のアライメント確率に基いて、各単語の語義ベクターに対して重み付けを行い、現在のタイミングの当該文断片のソース側リプレゼンテーションベクターｃｔを生成する。
ここで、文断片のソース側リプレゼンテーションベクターを取得する当該ステップは、ＮＭＴシステムの中のエンコーダとアテンションモデルによって実現されることができる。
ステップ２０２は、当該文断片のソース側リプレゼンテーションベクターに基いて、履歴翻訳情報を検索することで、当該文断片の履歴翻訳ベクターを得る。当該履歴翻訳ベクターは、対応する文断片の履歴翻訳状況を示す為のものである。
本ステップにおいて、コンピュータ機器は履歴翻訳情報を検索することが可能で、当該履歴翻訳情報は、各履歴文断片のソース側リプレゼンテーションベクターと各履歴文断片のデコーダ状態との間の対応関係を含み、コンピュータ機器は当該文断片のソース側リプレゼンテーションベクターと当該各履歴文断片のソース側リプレゼンテーションベクターとの各々の類似度を算出し、当該文断片のソース側リプレゼンテーションベクターと当該各履歴文断片のソース側リプレゼンテーションベクターとの各々の類似度に基いて、各履歴文断片のデコーダ状態の重みを算出し、各履歴文断片のデコーダ状態の重みに基いて、各履歴文断片のデコーダ状態に対して重み付け和を求めることで、当該文断片の履歴翻訳ベクターを得る。
ここで、当該文断片のソース側リプレゼンテーションベクターと当該各履歴文断片のソース側リプレゼンテーションベクターとの各々の類似度に基いて、各履歴文断片のデコーダ状態の重みを算出する際、コンピュータ機器は直接当該文断片のソース側リプレゼンテーションベクターと当該各履歴文断片のソース側リプレゼンテーションベクターとの各々の類似度を各履歴文断片のデコーダ状態の重みとしてもよいし、または、コンピュータ機器は当該文断片ソース側リプレゼンテーションベクターと当該各履歴文断片のソース側リプレゼンテーションベクターとの各々の類似度に対して、均等な比率で拡大縮小を行い、拡大縮小後の各類似度数値の和は１となり、拡大縮小後の各類似度数値をその対応する履歴文断片のデコーダ状態の重みとしてもよい。
例えば、コンピュータ機器は文断片のソース側リプレゼンテーションベクターを取得した後、コンピュータ機器内部の記憶コンポーネント(その中には上述の履歴翻訳情報が記憶される)に対する捜索によって、関連する履歴翻訳ベクターを出力する。ここで、記憶コンポーネントは一つのＭｅｍＮＮ(Ｍｅｍｏｒｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、メモリネットワーク)、又はＮＴＭｓ(Ｎｅｕｒａｌ Ｔｕｒｉｎｇ Ｍａｃｈｉｎｅｓ、ニューラルチューリングマシン)などであることができる。
単一層のＫｅｙ-Ｖａｌｕｅ(キー―値)のＭｅｍＮＮを例に挙げ、当該記憶コンポーネントの構造は、Ｋｅｙ ＬａｙｅｒとＶａｌｕｅ Ｌａｙｅｒとの二つのニューラルネットワークを含む。ここで、Ｋｅｙ Ｌａｙｅｒの中の素子は、各素子と検索とのマッチング程度(即ち、上述の類似度)を特定するように、検索命令(ｑｕｅｒｙ)と比較するもので、Ｖａｌｕｅ Ｌａｙｅｒの中の素子は各素子のマッチング程度に基いて重み付けを行い、最終のベクターリプレゼンテーションを出力する。ここで、重み付け算出をする時の重みは各素子のマッチング程度(即ち、類似度)であってもよいし、類似度に基いて算出して得た数値(このとき、Ｖａｌｕｅ Ｌａｙｅｒの中の各素子の重みの和は１である)であってもよい。
例えば、文断片のソース側リプレゼンテーションベクターｃｔをｋｅｙとし、対応されるデコーダ状態ｓｔをｖａｌｕｅとする場合、Ｍｅｍｏｒｙの中の各素子は、キー値ペア(ｋｗ，ｖｗ)に当該キー値ペアによって生成された一つの目標側単語ｗを対応付ける。当該ステップにおいて、検索命令(即ち、文断片のソース側リプレゼンテーションベクターｃｔ)を読み込み、Ｍｅｍｏｒｙの中の各素子の確率分布を出力する。所定のｑｕｅｒｙは文断片のソース側リプレゼンテーションベクターｃｔであると仮定すれば、ｃｔと各キー値(ｋｅｙ)とのマッチング程度の比較によって、ｃｔと各ｋｅｙの対応する目標側単語との間のマッチング確率(ここでのマッチング確率とは、文断片の翻訳結果が目標側単語ｗであり、上述の重みでもある)を算出し、ｃｔと各ｋｅｙの対応する目標側単語とのマッチング確率の合計は１となり、当該マッチング確率は点乗積によって算出することができる。当該点乗積の算出の式は以下のとおりである。
ＰＣａｃｈｅ(ｗ/ｑ)=ｓｏｆｔｍａｘ(ｑＴ，ｋｗ)
ここで、ｑはソース側リプレゼンテーションベクターｃｔで、ｑＴはｑの転置行列で、ｋｗはＫｅｙ Ｌａｙｅｒにおいて目的端目標側単語ｗに対応する一つのｋｅｙで、ｓｏｆｔｍａｘ(ｑＴ，ｋｗ)とはｑに対して転置行列処理を行った後、ｋｗと点乗積算出を行うことで、ＰＣａｃｈｅ(ｗ/ｑ)はｑとｗとの間のマッチング確率を示す。
選択的に、本願の実施例において、記憶コンポーネントはパラメータの導入によって、更に適宜に対応するマッチング関数を学習することができる。
例えば、記憶コンポーネントは命令マッチング行列によって、上述のマッチング確率を算出することができ、その式は以下のとおりである。
ＰＣａｃｈｅ(ｗ/ｑ)=ｓｏｆｔｍａｘ(ｑＴ，Ｍ，ｋｗ)
ここで、パラメータＭは開発者によって予め設置されたパラメータであってもよいし、又は、パラメータＭは予め機械学習によって特定されたパラメータであってもよい。
又は、記憶コンポーネントは命令転置行列によって上述のマッチング確率を算出することができ、その算出式は以下のとおりである。
ＰＣａｃｈｅ(ｗ/ｑ)=ｓｏｆｔｍａｘ(ｑ０ Ｔ，ｋｗＺ)、ｑ０=ｑＺ
ここで、パラメータＺは開発者によって予め設置されたパラメータであってもよいし、又は、パラメータＺは予め機械学習によって特定されたパラメータであってもよい。
実際の応用において、点乗積算出方式以外にも、記憶コンポーネントは他の方式によってｃｔと各ｋｅｙの対応する目標側単語との間のマッチング確率を算出してもよいし、例えば、ユークリッド距離アルゴリズム(Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ ａｌｇｏｒｉｔｈｍ)などの方式によって、ｃｔと各ｋｅｙの対応する目標側単語との間のマッチング確率を算出してもよい。
ｃｔと各ｋｅｙの対応する目標側単語との間のマッチング確率を得た後、記憶コンポーネントは各キー値の対応するＶａｌｕｅに対して重み付け和を求めることによって、当該文断片の履歴翻訳ベクターを出力してもよい。
上述の態様において、Ｍｅｍｏｒｙ Ｎｅｔｗｏｒｋを記憶コンポーネントとする記憶構造を例に挙げて説明する。本願の実施例は記憶コンポーネントのモデル種類及びトポロジー構造を具体的に限定せず、様々な他のモデル構造に置き換えられてもよく、例えば、ニューラルチューリングマシン(Ｎｅｕｒａｌ Ｔｕｒｉｎｇ Ｍａｃｈｉｎｅｓ、ＮＴＭｓ)及びその変種などに置き換えられることができる。
なお、上述の態様は単一層のＭｅｍｏｒｙ Ｎｅｔｗｏｒｋを例に挙げて説明したが、本願の実施例はＭｅｍｏｒｙ Ｎｅｔｗｏｒｋの具体的な層数を限定せず、即ち、上述の記憶コンポーネントは多層のＭｅｍｏｒｙ Ｎｅｔｗｏｒｋ構造に置き換えられることができる。
上述の態様において、文断片のソース側リプレゼンテーションベクターをｋｅｙとし、デコーダモジュールの状態リプレゼンテ―ションをｖａｌｕｅとすることを例に挙げて説明した。しかしながら、本願の実施例はｋｅｙ-ｖａｌｕｅの具体的な形式を具体的に限定せず、他の好適なＮＭＴ内部ベクターリプレゼンテーションに置き換えられることができ、例えば、デコーダモジュールからのベクターリプレゼンテーション、即ち、上述の出力ベクター(ｏｕｔｐｕｔ ｓｔａｔｅ)、又は最終的に生成された目標単語の目標側リプレゼンテーションベクター(ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ)をｖａｌｕｅとすることができる。
ステップ２０３は、当該文断片の履歴翻訳ベクターに基いて当該文断片について翻訳を行う。
本願の実施例において、当該文断片の履歴翻訳ベクターに基いて当該文断片について翻訳を行う際、以下の三つの方法によって過去未来モジュールをＮＭＴシステムに統合させることができる。即ち、確率分布統合、付加コンテスト、及び隠れ層リプレゼンテーション統合である。
１、確率分布統合
図３を参照すると、図３は本願の実施例に係る確率分布統合の模式図を示している。この方法において、コンピュータ機器は当該文断片のソース側リプレゼンテーションベクターｃｔ、当該文断片のデコーダ状態ｓｔ及び直前の文断片の目標側リプレゼンテーションベクターｙｔ-１を第一ニューラルネットワークに入力することで、当該文断片の出力ベクターｘｔ０を得ることができる。当該直前の文断片は当該文断片の一つ前の文断片で、当該目標側リプレゼンテーションベクターは当該第二言語で対応する文断片を示すベクターである。当該文断片のソース側リプレゼンテーションベクターｃｔ、当該文断片のデコーダ状態ｓｔ及び当該文断片の履歴翻訳ベクターｃｃｔを第二ニューラルネットワークに入力することで、当該文断片の履歴翻訳ベクターの重みλ１を得て、当該文断片の履歴翻訳ベクターの重みλ１に基いて、当該文断片の出力ベクターの重みλ２を算出する。当該文断片の出力ベクターｘｔ０の重みλ２及び当該文断片の履歴翻訳ベクターｃｃｔの重みλ１に基いて、当該文断片の出力ベクターｘｔ０と当該文断片の履歴翻訳ベクターｃｃｔに対して重み付け和を求めることで、当該文断片の修正された出力ベクターｘｔを得て、当該文断片の修正された出力ベクターｘｔに基いて、当該文断片の翻訳結果を特定する。
ここで、当該文断片の履歴翻訳ベクターの重みに基いて、当該文断片の出力ベクターの重みを算出する際、当該文断片の出力ベクターの重みとして、１と当該文断片の履歴翻訳ベクターの重みとの差分を取得することができる。
本願の実施例において、上述の文断片の履歴翻訳結果を、修正された出力ベクターの一部として直接使用し、ＮＭＴシステムのデコーダからのベクターと線形補間(ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ)を行うことによって、ＮＭＴシステムの中のデコーダの出力した出力ベクターに対して修正を行うことができ、その式は以下のとおりである。
Ｐ(ｗ)=(１-λ)ＰＮＭＴ(ｗ)+λＰＣａｃｈｅ(ｗ)
ここで、Ｐ(ｗ)は第一言語での文断片と第二言語での目標文断片ｗとの間の修正されたマッチング確率で、ＰＮＭＴ(ｗ)は当該文断片のソース側リプレゼンテーションベクター、当該文断片のデコーダ状態、及び直前の文断片の目標側リプレゼンテーションベクターが第一ニューラルネットワークに入力されて得られた当該文断片と第二言語での目標文断片ｗとの間のマッチング確率で、ＰＣａｃｈｅ(ｗ)は記憶コンポーネントの出力した、当該文断片と目標文断片ｗとの間のマッチング確率で、λは、異なるタイミングの需要に応じて異なる重みを出力するように、一つのニューラルネットワーク(即ち、上述の第二ニューラルネットワーク)によって制御される。
λ=ｆ(ｃｔ、ｓｔ、ｃｃｔ)
ここで、ｃｃｔはステップ１０２で算出された文断片の履歴翻訳ベクターである。ｆは上述の第二ニューラルネットワークであり、一つの多層のニューラルネットワークであってもよいし、又は、簡単なｓｉｇｍｏｉｄ関数であってもよい。
選択的に、本願の実施例において、ｃｔ、ｓｔ、ｃｃｔのみが入力として使用され、補間値λを生成する。本願の実施例は当該関数の入力を具体的に限定せず、他の適切な入力を追加することができ、例えば、一つ前の生成単語のベクターリプレゼンテーション(即ち、直前の文断片の目標側リプレゼンテーションベクターｙｔ-１)である。
２、付加コンテスト
図４を参照すると、図４は本願の実施例に係る付加コンテスト処理の模式図を示している。当該態様において、コンピュータ機器は当該文断片のソース側リプレゼンテーションベクターｃｔ、当該文断片のデコーダ状態ｓｔ、当該文断片の一つ前の文断片である直前の文断片の目標側リプレゼンテーションベクターｙｔ-１及び当該文断片の履歴翻訳ベクターｃｃｔを第三ニューラルネットワークに入力することで、当該文断片の出力ベクターｘｔを得ることができ、当該文断片の出力ベクターに基いて、当該文断片の翻訳結果を特定することができる。
上述のステップ１０２で算出された文断片の履歴翻訳ベクターは、目標単語の確率分布を更によく算出するように、付加された情報原としてＮＭＴシステムに導入することができる。言い換えると、目標単語確率分布の算出式を
ＰＮＭＴ(ｙｔ)=ｓｏｆｔｍａｘ(ｇ(ｙｔ-１，ｃｔ，ｓｔ))
から
ＰＮＭＴ(ｙｔ)=ｓｏｆｔｍａｘ(ｇ(ｙｔ-１，ｃｔ，ｓｔ，ｃｃｔ))
と書き直すことができる。
ここで、ｓｏｆｔｍａｘは正規化関数で、ｇは一つの多層のニューラルネットワークである。
選択的に、当該付加入力ｃｃｔはパラメータＣによってその影響を制御し、当該パラメータＣは開発者によって予め設置されてもよいし、又は当該パラメータＣは機械学習によって得られてもよい。
選択的に、本願の実施例において、文断片の履歴翻訳ベクターを直接ＮＭＴシステムに導入する。本願の実施例は、当該文断片の履歴翻訳ベクターの導入方式を具体的に限定せず、文断片の履歴翻訳ベクターの異なる目標単語に対する影響を更によく制御するように、重み付け入力(λ*ｃｃｔ)に置き換えられることができる。ここで、λの算出方法は、上述の確率統合方法における算出方法に従って算出することで得られることができる。
３、隠れ層リプレゼンテーション統合
図５を参照すると、本願の実施例に係る隠れ層リプレゼンテーション統合処理の模式図を示している。当該態様において、コンピュータ機器は当該文断片のソース側リプレゼンテーションベクターｃｔ、当該文断片のデコーダ状態ｓｔ、及び当該文断片の履歴翻訳ベクターｃｃｔを第四ニューラルネットワークに入力することで、当該文断片の履歴翻訳ベクターｃｃｔの重みλ３を得ることができる。当該文断片の履歴翻訳ベクターｃｃｔの重みλ３に基いて、当該文断片のデコーダ状態ｓｔの重みλ４を算出する。当該文断片の履歴翻訳ベクターｃｃｔの重みλ３及び当該文断片のデコーダ状態ｓｔの重みλ４に基いて、当該文断片の履歴翻訳ベクターｃｃｔと当該文断片のデコーダ状態ｓｔに対して重み付け和を求めることで、当該文断片の修正されたデコーダ状態ｓ’ｔを得る。当該文断片のソース側リプレゼンテーションベクターｃｔ、当該文断片の修正されたデコーダ状態ｓ’ｔ、及び当該文断片の一つ前の文断片である直前の文断片の目標側リプレゼンテーションベクターｙｔ-１を第五ニューラルネットワークに入力することで、当該文断片の出力ベクターｘｔを得る。当該文断片の出力ベクターに基いて、当該文断片の翻訳結果を特定する。
ここで、文断片の履歴翻訳ベクターｃｃｔを、ｃｔの過去翻訳履歴において対応する目標側情報とみなしてもよい。本願の実施例において、デコーダ状態ｓｔをｖａｌｕｅとすることができるため、文断片の履歴翻訳ベクターが対応するのはデコーダ状態である。まず、デコーダ状態ｓｔを文断片の履歴翻訳ベクターに統合させ、それから、標準流れを経て、目標単語の確率分布を算出する。具体的に、以下のようにデコーダ状態を更新する。
ｓ’ｔ=(１-λ)ｓｔ+λｃｃｔ
ここで、λの算出方法は上述の第一の算出方式のλを参照することができる。
選択的に、本願の実施例において、線形補間の方法を使用してｓｔとｃｃｔを組合わせる。本願の実施例は、統合方式を具体的に限定しない。ニューラルネットワーク統合(二つのリプレゼンテーションをニューラルネットワークの入力として、新たなリプレゼンテーションに出力する)などの他の任意の統合方法を使用して置き換えられることができる。
また、本願の実施例において、デコーダ状態層面に隠れ層リプレゼンテーションを統合させる。ただし、本願の実施例は、隠れ層リプレゼンテーションを具体的に限定せず、他のデコーダ側の中間リプレゼンテーションに置き換えられることができ、例えば、デコーダモジュールの出力したベクターリプレゼンテーション(この際、ｖａｌｕｅは対応するベクターリプレゼンテーションに置き換えられるべきである)である。
なお、本願の実施例において、λは一つの浮動小数点数(ｓｃａｌａｒ)である。本願の実施例はλの具体的な形式を限定せず、隠れ層リプレゼンテーションベクターと同次元のベクターに置き換えられることができる。ここで、各次元は、対応するベクターの当該次元での統合を制御する。
ステップ２０４は、当該文断片のデコーダ状態を取得し、当該文断片のソース側リプレゼンテーションベクターと当該文断片のデコーダ状態との間の対応関係を当該履歴翻訳情報に記憶する。
選択的に、当該履歴翻訳情報に他の種類の情報も含まれていれば、例えば、履歴文断片のソース側リプレゼンテーションベクターと履歴文断片の出力ベクターとの対応関係、又は、履歴文断片のソース側リプレゼンテーションベクターと履歴文断片の目標側リプレゼンテーションベクターとの間の対応関係も含まれていれば、コンピュータ機器は現在の文断片のソース側リプレゼンテーションベクターと現在の文断片の出力ベクター又は目標側リプレゼンテーションベクターも当該履歴翻訳情報に記憶する。
以上をまとめると、本願の実施例に示された機械翻訳方法は、文断片を第一言語から第二言語に翻訳する際、現在の翻訳中の文断片のソース側リプレゼンテーションベクターｃｔ(ソース側リプレゼンテーションベクターは、当該第一言語で対応する文断片を示すベクターである)を得た後、当該文断片のソース側リプレゼンテーションベクターに基いて、履歴翻訳情報を検索することで、当該文断片の履歴翻訳ベクターを得て、また、当該文断片の履歴翻訳ベクターに基いて、当該文断片について翻訳を行う。上述の態様において、一つの文断片について翻訳を行う際、履歴翻訳過程での当該文断片についての翻訳状況を総合的に考えて、履歴翻訳過程での当該文断片についての翻訳状況によって今回の翻訳結果に影響を与え、履歴翻訳過程での一つの文断片についての翻訳状況は、翻訳システムによる現在のタイミング以前の同じまたは類似の文断片に対する一部ひいては全部の翻訳状況であることができ、カバレッジが広いため、上述の方法による一つの文断片の翻訳結果は、履歴翻訳過程での同じ文断片についての翻訳結果に更に接近することになり、そのため、翻訳の正確性を向上させる。
図６を参照すると、図６は本願の例示的な実施例に示された機械翻訳システムの構成模式図を示している。ここで、機械翻訳システム６０は、エンコーダ６１０、アテンションモデル６２０、デコーダ６３０、及び記憶コンポーネント６４０を含む。
ステップ１において、エンコーダ６１０は入力された文断片を読み込み、ソース側の語義ベクターシーケンスを出力し、すべての翻訳文が生成されるまでステップ２〜５を繰り返す。
ステップ２において、アテンションモデル６２０はデコーダ状態を読み込み、ｔタイミングのソース側リプレゼンテーションベクターｃｔを生成する。
ステップ３において、記憶コンポーネント６４０は翻訳履歴情報を検索し、ｃｔを読み込み、文断片の履歴翻訳ベクターを出力する。
ステップ４において、デコーダ６３０はステップ３による履歴翻訳ベクター及び他の標準入力(例えば、タイミングｔのソース側リプレゼンテーションベクターｃｔ)を読み込み、現在のタイミングの目標単語を生成する。
ステップ５において、記憶コンポーネント６４０は翻訳履歴を更新する。即ち、現在の目標単語を生成した後、ソース側及び目標側情報リプレゼンテーション(例えば、ソース側リプレゼンテーションベクターｃｔ、ｔタイミングのデコーダ状態ｓｔ、ｔタイミングのデコーダの出力ベクター及び最終翻訳結果の目標側リプレゼンテーションベクターなどである)を更新して翻訳履歴情報に入力する。
ここで、上述のステップ１からステップ５までの詳細な実行過程は、図２に示された方法実施例での説明を参照することができ、ここでは詳細な説明を省略する。
図７は例示的な一実施例によって示された機械翻訳装置の構造ブロック図である。当該機械翻訳装置はＮＭＴシステムによって機械翻訳機能が提供されるコンピュータ機器(例えば、ユーザー端末又はサーバ)に適用されることができ、図２に示された実施例の全部又は一部のステップを実行する。当該機械翻訳装置は、
文断片を第一言語から第二言語に翻訳する際、前記文断片のソース側リプレゼンテーションベクターを取得するためのソース側ベクター取得モジュール７０１であって、前記ソース側リプレゼンテーションベクターが前記第一言語で対応する文断片を示すベクターである、ソース側ベクター取得モジュール７０１、
前記文断片のソース側リプレゼンテーションベクターに基いて、履歴翻訳情報を検索することで、前記文断片の履歴翻訳ベクターを得るための履歴ベクター取得モジュール７０２であって、前記履歴翻訳ベクターが対応する文断片の履歴翻訳状況を示す為のものである、履歴ベクター取得モジュール７０２、及び、
前記文断片の履歴翻訳ベクターに基いて、前記文断片について翻訳を行うための翻訳モジュール７０３
を含むことができる。
選択的に、前記履歴ベクター取得モジュール７０２は、
前記文断片のソース側リプレゼンテーションベクターと各履歴文断片のソース側リプレゼンテーションベクターとの各々の類似度を算出するための類似度算出ユニット、
前記文断片のソース側リプレゼンテーションベクターと前記各履歴文断片のソース側リプレゼンテーションベクターとの各々の類似度に基いて、前記各履歴文断片のデコーダ状態の重みを算出するための第一重み算出ユニット、及び、
前記各履歴文断片のデコーダ状態の重みに基いて、前記各履歴文断片のデコーダ状態に対して重み付け和を求めることで、前記文断片の履歴翻訳ベクターを得るための第一重み付けユニット
を含む。
ここで、前記履歴翻訳情報は、前記各履歴文断片のソース側リプレゼンテーションベクターと前記各履歴文断片のデコーダ状態との間の対応関係を含む。
選択的に、前記装置は、
前記文断片のデコーダ状態を取得するためのデコーダ状態取得モジュール、及び、
前記文断片のソース側リプレゼンテーションベクターと前記文断片のデコーダ状態との間の対応関係を前記履歴翻訳情報に記憶するための記憶モジュール
をさらに含む。
選択的に、前記翻訳モジュール７０３は、
前記文断片のソース側リプレゼンテーションベクター、前記文断片のデコーダ状態、及び直前の文断片の目標側リプレゼンテーションベクターを、第一ニューラルネットワークに入力することで、前記文断片の出力ベクターを得るための第一出力ベクター獲得ユニットであって、前記直前の文断片は、前記文断片の一つ前の文断片であり、前記目標側リプレゼンテーションベクターは、前記第二言語で対応する文断片を示すベクターである、第一出力ベクター獲得ユニット、
前記文断片のソース側リプレゼンテーションベクター、前記文断片のデコーダ状態、及び前記文断片の履歴翻訳ベクターを第二ニューラルネットワークに入力することで、前記文断片の履歴翻訳ベクターの重みを得るための第一重み獲得ユニット、
前記文断片の履歴翻訳ベクターの重みに基いて、前記文断片の出力ベクターの重みを算出するための第二重み算出ユニット、
前記文断片の出力ベクターの重み及び前記文断片の履歴翻訳ベクターの重みに基いて、前記文断片の出力ベクターと前記文断片の履歴翻訳ベクターに対して重み付け和を求めることで、前記文断片の修正された出力ベクターを得るための第二重み付けユニット、及び、
前記文断片の修正された出力ベクターに基いて、前記文断片の翻訳結果を特定するための第一結果特定ユニット
をさらに含む。
選択的に、前記翻訳モジュール７０３は、
前記文断片のソース側リプレゼンテーションベクター、前記文断片のデコーダ状態、直前の文断片の目標側リプレゼンテーションベクター、及び前記文断片の履歴翻訳ベクターを第三ニューラルネットワークに入力することで、前記文断片の出力ベクターを得るための第二出力ベクター獲得ユニットであって、前記直前の文断片は、前記文断片の一つ前の文断片であり、前記目標側リプレゼンテーションベクターは、前記第二言語で対応する文断片を示すベクターである、第二出力ベクター獲得ユニット、及び
前記文断片の出力ベクターに基いて、前記文断片の翻訳結果を特定するための第二結果特定ユニット
を含む。
選択的に、前記翻訳モジュール７０３は、
前記文断片のソース側リプレゼンテーションベクター、前記文断片のデコーダ状態、及び前記文断片の履歴翻訳ベクターを第四ニューラルネットワークに入力することで、前記文断片の履歴翻訳ベクターの重みを得るための第二重み獲得ユニット、
前記文断片の履歴翻訳ベクターの重みに基いて、前記文断片のデコーダ状態の重みを算出するための第三重み算出ユニット、
前記文断片の履歴翻訳ベクターの重み及び前記文断片のデコーダ状態の重みに基いて、前記文断片の履歴翻訳ベクターと前記文断片のデコーダ状態に対して重み付け和を求めることで、前記文断片の修正されたデコーダ状態を得るための第三重み付けユニット、
前記文断片のソース側リプレゼンテーションベクター、前記文断片の修正されたデコーダ状態、及び直前の文断片の目標側リプレゼンテーションベクターを第五ニューラルネットワークに入力することで、前記文断片の出力ベクターを得るための第三出力ベクター獲得ユニットであって、前記直前の文断片は、前記文断片の一つ前の文断片であり、前記目標側リプレゼンテーションベクターは前記第二言語で対応する文断片を示すベクターである、第三出力ベクター獲得ユニット、及び
前記文断片の出力ベクターに基いて、前記文断片の翻訳結果を特定するための第三結果特定ユニット
を含む。
以上をまとめると、本願の実施例に示された機械翻訳装置は、文断片を第一言語から第二言語に翻訳する際、現在の翻訳中の文断片のソース側リプレゼンテーションベクターｃｔ(ソース側リプレゼンテーションベクターは、当該第一言語で対応する文断片を示すベクターである)を得た後、当該文断片のソース側リプレゼンテーションベクターに基いて、履歴翻訳情報を検索することで、当該文断片の履歴翻訳ベクターを得て、また、当該文断片の履歴翻訳ベクターに基いて、当該文断片について翻訳を行う。上述の態様において、一つの文断片について翻訳を行う際、履歴翻訳過程での当該文断片についての翻訳状況を総合的に考えて、履歴翻訳過程での当該文断片についての翻訳状況によって今回の翻訳結果に影響を与え、履歴翻訳過程での一つの文断片についての翻訳状況は、翻訳システムによる現在のタイミング以前の同じまたは類似の文断片に対する一部ひいては全部の翻訳状況であることができ、カバレッジが広いため、上述の方法による一つの文断片の翻訳結果は、履歴翻訳過程での同じ文断片についての翻訳結果に更に接近することになり、そのため、翻訳の正確性を向上させる。
なお、本願の上述の各実施例はすべて機械翻訳を例に挙げて本願の態様について説明したが、実際の応用において、本願の各実施例による方法は、例えば、音声認識、人工知能会話/問答などの、他のシーケンスツーシーケンス(ｓｅｑｕｅｎｃｅ-ｔｏ-ｓｅｑｕｅｎｃｅ)のタスクにも適用されることができる。
例えば、本願の例示的な一実施例において、音声認識分野の場合、コンピュータ機器は入力された音声を受信した後、エンコーダとアテンションモデルによって音声の断片をソース側リプレゼンテーションベクターに変換させ、ソース側リプレゼンテーションベクターに基いて音声の断片の履歴認識ベクター(機械翻訳における履歴翻訳ベクターに対応する)を検索し、履歴認識ベクターに基いてデコーダによる認識結果に影響を与えることができる。
さらに、例えば、本願の他の例示的な一実施例において、人工知能会話/問答分野の場合、コンピュータ機器は入力された会話/質問を受信した後、エンコーダとアテンションモデルによって会話/質問をソース側リプレゼンテーションベクターに変換させ、ソース側リプレゼンテーションベクターに基いて会話/質問の履歴回答ベクター(機械翻訳における履歴翻訳ベクターに対応する)を検索し、履歴回答ベクターに基いてデコーダによる回答結果に影響を与えることができる。
図８は例示的な一実施例によって示されたサーバの構造模式図である。前記サーバ８００は、中央処理装置(ＣＰＵ)８０１、ランダムアクセスメモリ(ＲＡＭ)８０２とリードオンリーメモリ(ＲＯＭ)８０３とを含むシステムメモリ８０４、及びシステムメモリ８０４と中央処理装置８０１とを接続するシステムバス８０５を含む。前記サーバ８００は、さらに、コンピュータ内の各デバイスの間での情報の伝送に寄与する基本的な入出力システム(Ｉ/Ｏシステム)８０６、及び操作システム８１３と、応用プログラム８１４と、他のプログラムモジュール８１５とを記憶するための大容量記憶機器８０７を含む。
前記基本的な入出力システム８０６は、情報を表示するための表示機器８０８、及びユーザーが情報を入力するための、例えば、マウス、キーボートのような入力機器８０９を含む。ここで、前記表示機器８０８と入力機器８０９は、いずれもシステムバス８０５に接続されている入出力コントローラ８１０によって中央処理装置８０１に接続されている。前記基本的な入出力システム８０６は、キーボート、マウス又は電子ペンなどの複数の他の機器からの入力を受信及び処理するように、さらに、入出力コントローラ８１０を含むことができる。類似的に、入出力コントローラ８１０は、ディスプレイスクリーン、プリンタ又は他の種類の機器に出力する出力機器も提供する。
前記大容量記憶機器８０７は、システムバス８０５に接続されている大容量記憶コントローラ(未図示)によって中央処理装置８０１に接続されている。前記大容量記憶機器８０７及び関連コンピュータ可読媒体は、サーバ８００のために不揮発性記憶を提供する。言い換えると、前記大容量記憶機器８０７は、例えば、ハードディスク又はＣＤ-ＲＯＭドライブのようなコンピュータ可読媒体(未図示)を含むことができる。
一般性を失うことなく、前記コンピュータ可読媒体は、コンピュータ記憶媒体と通信媒体とを含むことができる。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール又は他のデータなどのような情報を記憶するための任意の方法又は技術で実現される揮発性や不揮発性、可動や非可動媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のソリッドストレージ技術、ＣＤ-ＲＯＭ、ＤＶＤ又は他の光学記憶装置、カセット、磁気テープ、ディスクストレージ又は他の記憶機器を含む。もちろん、当業者は前記コンピュータ記憶媒体が上述のいくつかの種類に限定されないことが分かる。上述のシステムメモリ８０４と大容量記憶機器８０７を、メモリと総称することができる。
サーバ８００は、前記システムバス８０５に接続されているネットワークインタフェースユニット８１１によって、インタネット又は他のネットワーク機器に接続されることができる。
前記メモリは一つ又はそれ以上のプログラムを含み、前記一つ又はそれ以上のプログラムはメモリに記憶されており、中央処理装置８０１は当該一つ又はそれ以上のプログラムの実行によって、図２に示された機械翻訳方法を実現することができる。
図９は例示的な一実施例によって示されたユーザー端末９００の構造模式図である。本願の実施例におけるユーザー端末９００は一つ又は複数の以下のような構成部分を含むことができる。コンピュータプログラム命令を実行して、各流れと方法を完成するためのプロセッサ、情報とプログラム命令を記憶するためのランダムアクセスメモリ(ＲＡＭ)とリードオンリーメモリ(ＲＯＭ)、データと情報を記憶するためのメモリ、Ｉ/Ｏ機器、インタフェース、アンテナなどである。
具体的に説明すると、ユーザー端末９００は、ＲＦ(Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ、無線周波数)回路９１０、メモリ９２０、入力ユニット９３０、ディスプレイユニット９４０、センサー９５０、オーディオ回路９６０、ＷｉＦｉ(ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ、ワイファイ)モジュール９７０、プロセッサ９８０、電源９８２、カメラ９９０などの部品を含むことができる。当業者が理解できることは、図９に示されたユーザー端末構造は、ユーザー端末に対する限定を構成せず、図面に示された部品より多い又は少ない部品を含むことができ、または、いくつかの部品を組合わせたり、異なる部品配置にすることができる。
次に、ユーザー端末９００の各構成部品について、図９を組合せて具体的に説明する。
ＲＦ回路９１０は情報の送受信、または、通話の過程での信号の受信と送信に使われることができ、特に、基地局のダウンリンク情報を受信した後、プロセッサ９８０に処理させる。また、アップリンクに関するデータを基地局に送信する。一般的に、ＲＦ回路はアンテナ、少なくとも一つのアンプ、トランシーバー、カプラー、ＬＮＡ(Ｌｏｗ Ｎｏｉｓｅ Ａｍｐｌｉｆｉｅｒ、ローノイズアンプ)、デュプレクサなどを含むことできるが、これらに限定されない。なお、ＲＦ回路９１０は無線通信及びインタネットによって他の機器と通信することができる。前記無線通信はいずれか一つの通信規格またはプロトコルを使用することができ、ＧＳＭ(Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｏｆ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ、移動通信グローバルシステム)、ＧＰＲＳ(Ｇｅｎｅｒａｌ Ｐａｃｋｅｔ Ｒａｄｉｏ Ｓｅｒｖｉｃｅ、汎用パケット無線サービス)、ＣＤＭＡ(Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、符号分割多元接続)、ＷＣＤＭＡ(Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ、広帯域符号分割多元接続)、ＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ、ロングタームエヴォリューション)、電子メール、ＳＭＳ(Ｓｈｏｒｔ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ、ショートメッセージサービス)などを含むが、これらに限定されない。
メモリ９２０はソフトウェアプログラム及びモジュールを記憶するためのもので、プロセッサ９８０はメモリ９２０に記憶されているソフトウェアプログラム及びモジュールを運行することによって、ユーザー端末９００の各種機能応用及びデータ処理を実行する。メモリ９２０は、主に、操作システム、少なくとも一つの機能が必要とする応用プログラム(例えば、音声再生機能、イメージ再生機能など)などを記憶することができプログラム記憶領域と、ユーザー端末９００の使用によって生成されたデータ(例えば、オーディオデータ、電話帳など)などを記憶することができるデータ記憶領域とを含むことができる。なお、メモリ９２０は高速ランダムアクセスメモリを含んでもよいし、不揮発性メモリを含んでもよく、例えば、少なくとも一つのディスク記憶装置、フラッシュメモリ、又は他の揮発性ソリッドストレージ装置を含むことができる。
入力ユニット９３０は入力された数字又は文字情報を受信し、ユーザー端末９００のユーザー設置及び機能制御に関するキー信号の入力を生成するためのものであってもよい。具体的に、入力ユニット９３０はタッチパネル９３１及び他の入力機器９３２を含むことができる。タッチパネル９３１はタッチスクリーンとも称され、ユーザーによるその上又はその付近でのタッチ操作(例えば、ユーザーが指、タッチペンなどの任意の適合な物体又はアタッチメントによるタッチパネル９３１の上又はタッチパネル９３１の付近での操作)を収集することができ、予め設定されたプログラムによって、その対応する連結装置を駆動する。選択的に、タッチパネル９３１はタッチ検出装置とタッチコントローラの二つの部分を含むことができる。ここで、タッチ検出装置はユーザーによるタッチポジションを検出し、タッチ操作による信号を検出して、タッチコントローラに伝送する。タッチコントローラはタッチ検出装置からタッチ情報を受信し、タッチポイント座標に転換してから、プロセッサ９８０に伝送し、プロセッサ９８０から送信されてきたコマンドを受信し実行することができる。また、抵抗式、容量式、赤外線及び表面音波などの複数の種類を使用してタッチパネル９３１を実現することができる。タッチパネル９３１の他に、入力ユニット９３０は他の入力機器９３２を含むこともできる。具体的に、他の入力機器９３２は物理的キーボート、機能キー(例えば、音量コントロールキー、スイッチキーなど)、トラックボール、マウス、ジョイスティックなどの一つ又は多種を含むことができ、これらに限定されない。
ディスプレイユニット９４０はユーザーによる情報またはユーザーに提供する情報、ユーザー端末９００の各種メニューを表示するためのものである。ディスプレイユニット９４０はディスプレイパネル９４１を含むことができ、選択的に、ＬＣＤ(Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ)、ＯＬＥＤ(Ｏｒｇａｎｉｃ Ｌｉｇｈｔ-Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、有機レクトロルミネッセンス)などの方式を使用してディスプレイパネル９４１を配置することができる。さらに、タッチパネル９３１はディスプレイパネル９４１を覆って、タッチパネル９３１がその上又は付近のタッチ操作を検出した後、プロセッサ９８０に伝送して、タッチイベントの種類を特定してから、プロセッサ９８０がタッチイベントの種類によって、ディスプレイパネル９４１にその対応する視覚出力を提供する。図９において、タッチパネル９３１とディスプレイパネル９４１が二つの独立した部品としてユーザー端末９００の入力と入力機能を実現したが、ある実施例においては、タッチパネル９３１とディスプレイパネル９４１を統合させてユーザー端末９００の入力と出力機能を実現することもできる。
ユーザー端末９００は、例えば、ジャイロセンサー、電磁誘導センサー、光センサー、モーションセンサーや他のセンサーである、少なくとも一種のセンサー９５０を含むことができる。具体的に、周辺光線の明るさによってディスプレイパネル９４１の輝度を調節することができる周辺光センサーと、ユーザー端末９００が耳元に移動された時、ディスプレイパネル９４１及び/又はバックライトをオフすることができる近接センサーとを含むことができる。モーションセンサーの一種として、加速度センサーは各方向(普通は３軸)における加速度の大きさを検出することができ、静止する時、重力の大きさ及び方向を検出することができ、ユーザー端末の姿勢(例えば、横/縦画面表示の切り替え、関連ゲーム、磁力計姿勢の校正)を認識する応用、振動認識に関する機能(例えば、歩数計、ノック)などに適用されることができ、ユーザー端末９００にさらに配置可能な圧力計、湿度計、温度計、赤外線センサーなどの他のセンサーについてはここで詳細に説明しない。
オーディオ回路９６０、スピーカー９８１、マイクロフォン９６２は、ユーザーとユーザー端末９００との間のオーディオインタフェースを提供することができる。オーディオ回路９６０は受信されたオーディオデータから変換された電気信号をスピーカー９６１に伝送することができ、スピーカー９６１によって音声信号に転換し出力する。一方、マイクロフォン９６２は収集された音声信号を電気信号に転換し、オーディオ回路９６０によって受信された後、オーディオデータに転換し、オーディオデータをプロセッサ９８０に出力し処理した後、ＲＦ回路９１０を介して例えば別のユーザー端末に送信したり、さらなる処理のためにオーディオデータをメモリ９２０に出力する。
ＷｉＦｉは短距離無線通信技術として、ユーザー端末９００はＷｉＦｉモジュール９７０によってユーザーのために電子メールの送受信、ウェブページの閲覧、及びストリームメディアのアクセスなどを行うことができ、ユーザーのために無線のブロードバンドインタネットアクセスを提供する。図９にはＷｉＦｉモジュール９７０が示さているが、これはユーザー端末９００の必須の構成ではなく、必要によって本開示の本質を変更することなく完全に省略することもできると理解できる。
プロセッサ９８０はユーザー端末９００の制御中心で、各種インタフェースと線路を利用して全体のユーザー端末の各部分を接続させ、メモリ９２０内に記憶されているソフトウェアプログラム及び/又はモジュールの運行又は実行、及びメモリ９２０内に記憶されているデータの呼び出しによって、ユーザー端末９００の各種機能を実行し、データを処理して、ユーザー端末に対して全体的にモニタリングを行う。選択的に、プロセッサ９８０は一つ又は複数のプロセスユニットを含むことができ、好ましくは、プロセッサ９８０は応用プロセッサとモデムプロセッサを統合させることができる。ここで、プロセッサは主に操作システム、ユーザーインタフェース、及び応用プログラムなどを処理し、モデムプロセッサは主に無線通信を処理する。理解できることは、上述のモデムプロセッサはプロセッサ９８０に統合されなくてもよい。
ユーザー端末９００は各部品に電気を供給する電源９８２(例えば、電池)も含み、電源管理システムによってプロセッサ９８０と論理接続されることで、電源管理システムによって充電及び放電の管理、及び電力消費管理などの機能を実現することが好ましい。
一般的に、カメラ９９０はレンズ、イメージセンサー、インタフェース、デジタル信号プロセッサ、ＣＰＵ、ディスプレイスクリーンなどで構成される。ここで、レンズはイメージセンサーの上方に固定され、手動でレンズを調整することによって焦点を変えることができる。イメージセンサーは伝統のカメラの「フィルム」に相当し、カメラのイメージを採集する心臓である。インタフェースは、フラットケーブル、基板対基板(ｂｏａｒｄ-ｔｏ-ｂｏａｒｄ)コネクタ、スプリング接続方式を利用してカメラとユーザー端末のメインボートと接続するためのもので、採集されたイメージを前記メモリ９２０に送信する。デジタル信号プロセッサは、数学演算によって採集されたイメージに対して処理を行い、採集されたアナログイメージをデジタルイメージに変換し、インタフェースによってメモリ９２０に送信する。
示されていないが、ユーザー端末９００はブルートゥースモジュールなども含むことができる。ここでは、詳細に説明しない。
ユーザー端末９００は、一つ又は複数のプロセッサ９８０の他に、メモリ、及び一つ又は複数のモジュールも含む。ここで、一つ又は複数のモジュールはメモリに記憶されており、一つ又は複数のプロセッサによって実行されるように配置され、上述の図２に示された機械翻訳方法の全部又は一部のステップを実行する。
例示的な実施例において、命令を含む非一時的なコンピュータ可読記憶媒体、例えば、コンピュータプログラム(命令)を含むメモリも提供され、上述のプログラム(命令)はコンピュータ機器(例えば、上述のユーザー端末又はサーバ)のプロセッサによって実行され、本願の各実施例に示された機械翻訳方法を完成することができる。例えば、前記非一時的なコンピュータ可読記憶媒体はＲＯＭ、ランダムアクセスメモリ(ＲＡＭ)、ＣＤ-ＲＯＭ、磁気テープ、フレキシブルディスク及び光データ記憶機器などであってもよい。
当業者は明細書を考え、そしてここで開示された発明を実践した後で、本願の他の実施態様も容易に考えることができる。本願は本願のどんな変形、用途又は適応性変化も含むことを要旨とし、その変形、用途又は適応性変化は本願の一般的な原理に従い、本願で開示されていない技術分野の公知の常識又は慣用の技術手段も含まれている。明細書と実施例は例示的なものに過ぎず、本願の真正な範囲及び思想は添付の請求項によって示される。
理解すべきことは、本願は以上で説明され、且つ図面に示された精確な構造に限定されず、その範囲を脱逸しない限り、様々な修正又は変更をすることができる。本願の範囲は添付の請求項のみによって限定される。

Claims (14)

  1. コンピュータ機器によって実行される機械翻訳方法であって、
    文断片を第一言語から第二言語に翻訳する際、前記文断片のソース側リプレゼンテーションベクターを取得するステップであって、前記ソース側リプレゼンテーションベクターが前記第一言語で対応する文断片を示すベクターである、ステップと、
    前記文断片のソース側リプレゼンテーションベクターに基いて、履歴翻訳情報を検索することで、前記文断片の履歴翻訳ベクターを得るステップであって、前記履歴翻訳ベクターが対応する文断片の履歴翻訳状況を示す為のものである、ステップと、
    前記文断片の履歴翻訳ベクターに基いて、前記文断片について翻訳を行うステップと、を含むことを特徴とする機械翻訳方法。
  2. 前記履歴翻訳情報は、各履歴文断片のソース側リプレゼンテーションベクターと前記各履歴文断片のデコーダ状態との間の対応関係を含み、
    前記文断片のソース側リプレゼンテーションベクターに基いて、履歴翻訳情報を検索することで、前記文断片の履歴翻訳ベクターを得る前記ステップは、
    前記文断片のソース側リプレゼンテーションベクターと前記各履歴文断片のソース側リプレゼンテーションベクターとの各々の類似度を算出するステップと、
    前記文断片のソース側リプレゼンテーションベクターと前記各履歴文断片のソース側リプレゼンテーションベクターとの各々の類似度に基いて、前記各履歴文断片のデコーダ状態の重みを算出するステップと、
    前記各履歴文断片のデコーダ状態の重みに基いて、前記各履歴文断片のデコーダ状態に対して重み付け和を求めることで、前記文断片の履歴翻訳ベクターを得るステップと、を含むことを特徴とする請求項１に記載の方法。
  3. 前記文断片のデコーダ状態を取得するステップと、
    前記文断片のソース側リプレゼンテーションベクターと前記文断片のデコーダ状態との間の対応関係を前記履歴翻訳情報に記憶するステップと、をさらに含むことを特徴とする請求項２に記載の方法。
  4. 前記文断片の履歴翻訳ベクターに基いて、前記文断片について翻訳を行う前記ステップは、
    前記文断片のソース側リプレゼンテーションベクター、前記文断片のデコーダ状態、及び直前の文断片の目標側リプレゼンテーションベクターを第一ニューラルネットワークに入力することで、前記文断片の出力ベクターを得るステップであって、前記直前の文断片は、前記文断片の一つ前の文断片であり、前記目標側リプレゼンテーションベクターは、前記第二言語で対応する文断片を示すベクターである、ステップと、
    前記文断片のソース側リプレゼンテーションベクター、前記文断片のデコーダ状態、及び前記文断片の履歴翻訳ベクターを第二ニューラルネットワークに入力することで、前記文断片の履歴翻訳ベクターの重みを得るステップと、
    前記文断片の履歴翻訳ベクターの重みに基いて、前記文断片の出力ベクターの重みを算出するステップと、
    前記文断片の出力ベクターの重み及び前記文断片の履歴翻訳ベクターの重みに基いて、前記文断片の出力ベクターと前記文断片の履歴翻訳ベクターに対して重み付け和を求めることで、前記文断片の修正された出力ベクターを得るステップと、
    前記文断片の修正された出力ベクターに基いて、前記文断片の翻訳結果を特定するステップと、を含むことを特徴とする請求項１〜３のいずれか１項に記載の方法。
  5. 前記文断片の履歴翻訳ベクターに基いて、前記文断片について翻訳を行う前記ステップは、
    前記文断片のソース側リプレゼンテーションベクター、前記文断片のデコーダ状態、直前の文断片の目標側リプレゼンテーションベクター、及び前記文断片の履歴翻訳ベクターを、第三ニューラルネットワークに入力することで、前記文断片の出力ベクターを得るステップであって、前記直前の文断片は、前記文断片の一つ前の文断片であり、前記目標側リプレゼンテーションベクターは、前記第二言語で対応する文断片を示すベクターである、ステップと、
    前記文断片の出力ベクターに基いて、前記文断片の翻訳結果を特定するステップと、を含むことを特徴とする請求項１〜３のいずれか１項に記載の方法。
  6. 前記文断片の履歴翻訳ベクターに基いて、前記文断片について翻訳を行う前記ステップは、
    前記文断片のソース側リプレゼンテーションベクター、前記文断片のデコーダ状態、及び前記文断片の履歴翻訳ベクターを第四ニューラルネットワークに入力することで、前記文断片の履歴翻訳ベクターの重みを得るステップと、
    前記文断片の履歴翻訳ベクターの重みに基いて、前記文断片のデコーダ状態の重みを算出するステップと、
    前記文断片の履歴翻訳ベクターの重み及び前記文断片のデコーダ状態の重みに基いて、前記文断片の履歴翻訳ベクターと前記文断片のデコーダ状態に対して重み付け和を求めることで、前記文断片の修正されたデコーダ状態を得るステップと、
    前記文断片のソース側リプレゼンテーションベクター、前記文断片の修正されたデコーダ状態、及び直前の文断片の目標側リプレゼンテーションベクターを第五ニューラルネットワークに入力することで、前記文断片の出力ベクターを得るステップであって、前記直前の文断片は、前記文断片の一つ前の文断片であり、前記目標側リプレゼンテーションベクターは前記第二言語で対応する文断片を示すベクターである、ステップと、
    前記文断片の出力ベクターに基いて、前記文断片の翻訳結果を特定するステップと、を含むことを特徴とする請求項１〜３のいずれか１項に記載の方法。
  7. 機械翻訳装置であって、
    文断片を第一言語から第二言語に翻訳する際、前記文断片のソース側リプレゼンテーションベクターを取得するためのソース側ベクター取得モジュールであって、前記ソース側リプレゼンテーションベクターが前記第一言語で対応する文断片を示すベクターである、ソース側ベクター取得モジュールと、
    前記文断片のソース側リプレゼンテーションベクターに基いて履歴翻訳情報を検索することで、前記文断片の履歴翻訳ベクターを得るための履歴ベクター取得モジュールであって、前記履歴翻訳ベクターが対応する文断片の履歴翻訳状況を示す為のものである、履歴ベクター取得モジュールと、
    前記文断片の履歴翻訳ベクターに基いて、前記文断片について翻訳を行うための翻訳モジュールと、を含むことを特徴とする装置。
  8. 前記履歴ベクター取得モジュールは、
    前記文断片のソース側リプレゼンテーションベクターと各履歴文断片のソース側リプレゼンテーションベクターとの各々の類似度を算出するための類似度算出ユニットと、
    前記文断片のソース側リプレゼンテーションベクターと前記各履歴文断片のソース側リプレゼンテーションベクターとの各々の類似度に基いて、前記各履歴文断片のデコーダ状態の重みを算出するための第一重み算出ユニットと、
    前記各履歴文断片のデコーダ状態の重みに基いて、前記各履歴文断片のデコーダ状態に対して重み付け和を求めることで、前記文断片の履歴翻訳ベクターを得るための第一重み付けユニットと、
    を含み、
    前記履歴翻訳情報は、前記各履歴文断片のソース側リプレゼンテーションベクターと前記各履歴文断片のデコーダ状態との間の対応関係を含むことを特徴とする請求項７に記載の装置。
  9. 前記文断片のデコーダ状態を取得するためのデコーダ状態取得モジュールと、
    前記文断片のソース側リプレゼンテーションベクターと前記文断片のデコーダ状態との間の対応関係を前記履歴翻訳情報に記憶するための記憶モジュールと、をさらに含むことを特徴とする請求項８に記載の装置。
  10. 前記翻訳モジュールは、
    前記文断片のソース側リプレゼンテーションベクター、前記文断片のデコーダ状態、及び直前の文断片の目標側リプレゼンテーションベクターを第一ニューラルネットワークに入力することで、前記文断片の出力ベクターを得るための第一出力ベクター獲得ユニットであって、前記直前の文断片は、前記文断片の一つ前の文断片であり、前記目標側リプレゼンテーションベクターは、前記第二言語で対応する文断片を示すベクターである、第一出力ベクター獲得ユニットと、
    前記文断片のソース側リプレゼンテーションベクター、前記文断片のデコーダ状態、及び前記文断片の履歴翻訳ベクターを第二ニューラルネットワークに入力することで、前記文断片の履歴翻訳ベクターの重みを得るための第一重み獲得ユニットと、
    前記文断片の履歴翻訳ベクターの重みに基いて、前記文断片の出力ベクターの重みを算出するための第二重み算出ユニットと、
    前記文断片の出力ベクターの重み及び前記文断片の履歴翻訳ベクターの重みに基いて、前記文断片の出力ベクターと前記文断片の履歴翻訳ベクターに対して重み付け和を求めることで、前記文断片の修正された出力ベクターを得るための第二重み付けユニットと、
    前記文断片の修正された出力ベクターに基いて、前記文断片の翻訳結果を特定するための第一結果特定ユニットと、を含むことを特徴とする請求項７〜９のいずれか１項に記載の装置。
  11. 前記翻訳モジュールは、
    前記文断片のソース側リプレゼンテーションベクター、前記文断片のデコーダ状態、直前の文断片の目標側リプレゼンテーションベクター、及び前記文断片の履歴翻訳ベクターを第三ニューラルネットワークに入力することで、前記文断片の出力ベクターを得るための第二出力ベクター獲得ユニットであって、前記直前の文断片は、前記文断片の一つ前の文断片であり、前記目標側リプレゼンテーションベクターは、前記第二言語で対応する文断片を示すベクターである、第二出力ベクター獲得ユニットと、
    前記文断片の出力ベクターに基いて、前記文断片の翻訳結果を特定するための第二結果特定ユニットと、を含むことを特徴とする請求項７〜９のいずれか１項に記載の装置。
  12. 前記翻訳モジュールは、
    前記文断片のソース側リプレゼンテーションベクター、前記文断片のデコーダ状態、及び前記文断片の履歴翻訳ベクターを第四ニューラルネットワークに入力することで、前記文断片の履歴翻訳ベクターの重みを得るための第二重み獲得ユニットと、
    前記文断片の履歴翻訳ベクターの重みに基いて、前記文断片のデコーダ状態の重みを算出するための第三重み算出ユニットと、
    前記文断片の履歴翻訳ベクターの重み及び前記文断片のデコーダ状態の重みに基いて、前記文断片の履歴翻訳ベクターと前記文断片のデコーダ状態に対して重み付け和を求めることで、前記文断片の修正されたデコーダ状態を得るための第三重み付けユニットと、
    前記文断片のソース側リプレゼンテーションベクター、前記文断片の修正されたデコーダ状態、及び直前の文断片の目標側リプレゼンテーションベクターを第五ニューラルネットワークに入力することで、前記文断片の出力ベクターを得るための第三出力ベクター獲得ユニットであって、前記直前の文断片は、前記文断片の一つ前の文断片であり、前記目標側リプレゼンテーションベクターは前記第二言語で対応する文断片を示すベクターである、第三出力ベクター獲得ユニットと、
    前記文断片の出力ベクターに基いて、前記文断片の翻訳結果を特定するための第三結果特定ユニットと、を含むことを特徴とする請求項７〜９のいずれか１項に記載の装置。
  13. コンピュータ機器であって、
    プロセッサとメモリを含み、前記メモリには少なくとも一つの命令、少なくとも一つのプログラム、コードセットまたは命令セットが記憶されており、前記少なくとも一つの命令、前記少なくとも一つのプログラム、前記コードセットまたは命令セットは、前記プロセッサによってローディング及び実行され、請求項１〜６のいずれか１項に記載の機械翻訳方法を実現することを特徴とする機器。
  14. コンピュータ可読記憶媒体であって、
    前記記憶媒体には少なくとも一つの命令、少なくとも一つのプログラム、コードセットまたは命令セットが記憶されており、前記少なくとも一つの命令、前記少なくとも一つのプログラム、前記コードセットまたは命令セットはプロセッサによってローディング及び実行され、請求項１〜６のいずれか１項に記載の機械翻訳方法を実現することを特徴とする記憶媒体。
JP2020535285A 2017-09-12 2018-08-10 機械翻訳方法、装置、コンピュータ機器及びコンピュータプログラム Active JP7026236B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710819346.8 2017-09-12
CN201710819346.8A CN108304388B (zh) 2017-09-12 2017-09-12 机器翻译方法及装置
PCT/CN2018/099808 WO2019052293A1 (zh) 2017-09-12 2018-08-10 机器翻译方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
JP2020535564A true JP2020535564A (ja) 2020-12-03
JP7026236B2 JP7026236B2 (ja) 2022-02-25

Family

ID=62869682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020535285A Active JP7026236B2 (ja) 2017-09-12 2018-08-10 機械翻訳方法、装置、コンピュータ機器及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US11275907B2 (ja)
JP (1) JP7026236B2 (ja)
KR (1) KR102360659B1 (ja)
CN (1) CN108304388B (ja)
WO (1) WO2019052293A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304388B (zh) 2017-09-12 2020-07-07 腾讯科技（深圳）有限公司 机器翻译方法及装置
US11449533B2 (en) * 2018-02-22 2022-09-20 Entigenlogic Llc Curating knowledge for storage in a knowledge database
US11232260B2 (en) * 2018-04-19 2022-01-25 Entigenlogic Llc Updating a document utilizing trusted new information
CN109271646B (zh) * 2018-09-04 2022-07-08 腾讯科技（深圳）有限公司 文本翻译方法、装置、可读存储介质和计算机设备
CN111160036B (zh) * 2018-11-07 2023-07-21 中移(苏州)软件技术有限公司 一种对基于神经网络的机器翻译模型的更新方法及装置
CN109543199B (zh) * 2018-11-28 2022-06-10 腾讯科技（深圳）有限公司 一种文本翻译的方法以及相关装置
CN109858045B (zh) * 2019-02-01 2020-07-10 北京字节跳动网络技术有限公司 机器翻译方法和装置
CN111368564B (zh) * 2019-04-17 2022-04-08 腾讯科技（深圳）有限公司 文本处理方法、装置、计算机可读存储介质和计算机设备
CN110298045B (zh) * 2019-05-31 2023-03-24 北京百度网讯科技有限公司 机器翻译方法、装置、设备及存储介质
CN110188331B (zh) * 2019-06-03 2023-05-26 腾讯科技（深圳）有限公司 模型训练方法、对话系统评价方法、装置、设备及存储介质
CN110334360B (zh) * 2019-07-08 2021-07-06 腾讯科技（深圳）有限公司 机器翻译方法及装置、电子设备及存储介质
CN110598671B (zh) * 2019-09-23 2022-09-27 腾讯科技（深圳）有限公司 基于文本的虚拟形象行为控制方法、设备和介质
CN111079450B (zh) * 2019-12-20 2021-01-22 北京百度网讯科技有限公司 基于顺句驱动的语言转换方法和装置
CN111191015A (zh) * 2019-12-27 2020-05-22 上海大学 一种神经网络电影知识智能对话方法
CN111680519B (zh) * 2020-04-28 2023-04-07 平安科技（深圳）有限公司 基于降维桶模型的文本翻译方法及装置
CN113887194A (zh) * 2020-07-01 2022-01-04 中移(苏州)软件技术有限公司 一种翻译方法及装置、电子设备、计算机可读存储介质
CN112733556B (zh) * 2021-01-28 2024-04-05 何灏 同步交互式翻译方法及装置、存储介质、计算机设备
US11966711B2 (en) 2021-05-18 2024-04-23 International Business Machines Corporation Translation verification and correction
US12039285B2 (en) * 2021-07-19 2024-07-16 Servicenow, Inc. Multilingual natural language understanding (NLU) model platform for updating a software's understanding ability in one language based on NLU changes in another language
CN114239613B (zh) * 2022-02-23 2022-08-02 阿里巴巴达摩院(杭州)科技有限公司 实时语音翻译方法、装置、设备及存储介质
KR102683621B1 (ko) 2022-03-08 2024-07-11 주식회사 에이치아이컨설팅 인공지능 모델을 이용한 자기진단장치(obd) 문서 번역 시스템 및 그 구동방법
KR20240000721A (ko) 2022-06-24 2024-01-03 주식회사 오피니언라이브 다국어 워드 의미 관계 조회를 위한 워드넷 서비스 구축방법 및 이를 포함하는 저장매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023844A (ja) * 2004-07-06 2006-01-26 Toshiba Corp 翻訳支援プログラム、翻訳支援装置、翻訳支援方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103646019A (zh) * 2013-12-31 2014-03-19 哈尔滨理工大学 一种多个机器翻译系统融合的方法及装置
US9659009B2 (en) * 2014-09-24 2017-05-23 International Business Machines Corporation Selective machine translation with crowdsourcing
KR102305584B1 (ko) * 2015-01-19 2021-09-27 삼성전자주식회사 언어 모델 학습 방법 및 장치, 언어 인식 방법 및 장치
CN105183720B (zh) * 2015-08-05 2019-07-09 百度在线网络技术（北京）有限公司 基于rnn模型的机器翻译方法和装置
KR102565274B1 (ko) * 2016-07-07 2023-08-09 삼성전자주식회사 자동 통역 방법 및 장치, 및 기계 번역 방법 및 장치
CN108304388B (zh) * 2017-09-12 2020-07-07 腾讯科技（深圳）有限公司 机器翻译方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006023844A (ja) * 2004-07-06 2006-01-26 Toshiba Corp 翻訳支援プログラム、翻訳支援装置、翻訳支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAMER ALKHOULI 他２名: "Investigations on Phrase-based Decoding with Recurrent Neural Network Language and Translation Model", PROCEEDINGS OF THE TENTH WORKSHOP ON STATISTICAL MACHINE TRANSLATION, JPN6021022055, September 2015 (2015-09-01), pages 294 - 303, ISSN: 0004528725 *

Also Published As

Publication number Publication date
CN108304388A (zh) 2018-07-20
US20190384822A1 (en) 2019-12-19
WO2019052293A1 (zh) 2019-03-21
CN108304388B (zh) 2020-07-07
KR20190130636A (ko) 2019-11-22
JP7026236B2 (ja) 2022-02-25
US11275907B2 (en) 2022-03-15
KR102360659B1 (ko) 2022-02-08

Similar Documents

Publication Publication Date Title
JP7026236B2 (ja) 機械翻訳方法、装置、コンピュータ機器及びコンピュータプログラム
CN108305296B (zh) 图像描述生成方法、模型训练方法、设备和存储介质
JP7179273B2 (ja) 翻訳モデルのトレーニング方法、語句翻訳の方法、機器、記憶媒体及びコンピュータプログラム
KR102270394B1 (ko) 이미지를 인식하기 위한 방법, 단말, 및 저장 매체
CN111428516B (zh) 一种信息处理的方法以及装置
CN109918684B (zh) 模型训练方法、翻译方法、相关装置、设备及存储介质
CN109902296B (zh) 自然语言处理方法、训练方法及数据处理设备
CN110018970B (zh) 缓存预取方法、装置、设备及计算机可读存储介质
CN110827826B (zh) 语音转换文字方法、电子设备
JP2022517463A (ja) 符号化方法並びにその、装置、機器及びコンピュータプログラム
CN111324699A (zh) 语义匹配的方法、装置、电子设备及存储介质
CN113782012B (zh) 一种唤醒模型训练方法、唤醒方法及电子设备
CN113948060A (zh) 一种网络训练方法、数据处理方法及相关设备
CN110990549B (zh) 获取答案的方法、装置、电子设备及存储介质
CN112488157B (zh) 一种对话状态追踪方法、装置、电子设备及存储介质
CN111292727B (zh) 一种语音识别方法及电子设备
CN112579734B (zh) 一种发音预测方法及电子设备
CN113707132B (zh) 一种唤醒方法及电子设备
KR20230075956A (ko) 위치에 기반한 사용자 액션 추천 방법 및 전자 장치
CN117094307A (zh) 一种语句处理的方法和相关装置
CN116959407A (zh) 一种读音预测方法、装置及相关产品
CN114281929A (zh) 一种数据处理方法和相关装置
CN116028632A (zh) 一种领域语言模型的确定方法和相关装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220214

R150 Certificate of patent or registration of utility model

Ref document number: 7026236

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150