JP2022503812A - 文処理方法、文復号方法、装置、プログラム及び機器 - Google Patents

Abstract

文処理方法、文復号方法、装置、プログラム及び機器であって、文処理方法は、カスケードされたｎ個の処理ノードを含む符号化モデルに用いられ、符号化対象のソース文に対して単語分割演算を行い、ｍ個の単語を得るステップ（３０１）と、ｎ個の処理ノードのうちのｉ番目の処理ノードを利用してｍ個の単語のうちのｉ番目の単語を取得し、ｉ－１番目の処理ノードで得られたｉ－１番目の単語ベクトルを取得するステップ（３０２）であって、該ｉ－１番目の単語ベクトルがｍ個の単語のうちのｉ－１番目の単語の符号化ベクトルであるステップ（３０２）と、ｉ番目の処理ノードにおける第１のユニットを利用してｉ番目の単語及びｉ－１番目の単語ベクトルに対して線形演算及び非線形演算を行い、得られたｉ番目の演算結果を少なくとも１つの第２のユニットに出力して処理させ、ｉ番目の単語ベクトルを得るステップ（３０３）と、ｍ個の単語ベクトルが得られると、目標文または目標分類を決定するためための文ベクトルをｍ個の単語ベクトルに基づいて生成するステップ（３０４）と、を含む。
【選択図】 図３

Description

本願は、２０１８年１１月２９日に中国特許庁に提出された、出願番号が２０１８１１４４４７１０．８であり、出願名称が「文符号化方法、文復号方法、装置、記憶媒体及び機器」である中国特許出願について優先権を主張し、その内容の全てが本願の一部として援用される。

本願の実施例は、文処理分野に関し、特には、文処理方法、文復号方法、装置、プログラム、及び機器に関する。

コンピュータは、入力された文を処理して他の文を出力することができる。機械翻訳を例として、機械翻訳は、コンピュータにより自然言語の文を他の自然言語の文に翻訳する翻訳方式である。通常、機械翻訳とは、訓練された機械学習モデルにより文を翻訳することである。例えば、ユーザが中国語文の

を機械学習モデルに入力すると、該機械学習モデルは、英語文の「Ｔｈｅ ｈｏｕｓｉｎｇ ｐｒｉｃｅｓ ｃｏｎｔｉｎｕｅｄ ｔｏ ｒｉｓｅ」を出力する。

関連技術では、機械学習モデルは、符号化モデル及び復号モデルを含み、該符号化モデルは、入力された自然言語のソース文を文ベクトルに符号化し、該文ベクトルを復号モデルに出力し、該復号モデルは、該文ベクトルを他の自然言語の目標文に復号する。例示的には、符号化モデル及び復号モデルは、いずれもニューラルネットワークモデルで構成されたものである。現在、文処理モデルは、文処理を行う正確性が低い。

本願に係る各実施例によれば、文処理方法、文復号方法、装置、プログラム、及び機器が提供される。

１つの態様では、文処理機器により実行される文復号方法であって、カスケードされた１つの第１のユニット及び少なくとも１つの第２のユニットを含む処理ノードである、カスケードされたｎ（ｎ≧２）個の処理ノードを含む符号化モデルに用いられ、
符号化対象のソース文に対して単語分割演算を行い、ｍ（ｍ≦ｎ）個の単語を得るステップと、
前記ｎ個の処理ノードのうちのｉ（ｉ≦ｍ）番目の処理ノードを利用して前記ｍ個の単語のうちのｉ番目の単語を取得し、ｉ－１番目の処理ノードで得られたｉ－１番目の単語ベクトルを取得するステップであって、前記ｉ－１番目の単語ベクトルは前記ｍ個の単語のうちのｉ－１番目の単語の符号化ベクトルであるステップと、
前記ｉ番目の処理ノードにおける第１のユニットを利用して前記ｉ番目の単語及び前記ｉ－１番目の単語ベクトルに対して線形演算及び非線形演算を行い、得られたｉ番目の演算結果を前記少なくとも１つの第２のユニットに出力して処理させ、ｉ番目の単語ベクトルを得るステップと、
ｍ個の単語ベクトルが得られると、目標文または目標分類を決定するための文ベクトルを前記ｍ個の単語ベクトルに基づいて生成するステップと、を含む、文処理方法が提供される。

１つの態様では、文処理機器により実行される文復号方法であって、カスケードされた１つの第１のユニット及び少なくとも１つの第２のユニットを含む１つの処理ノードを含む復号モデルに用いられ、
符号化モデルが符号化対象のソース文を符号化して得られた文ベクトルと、ｊ番目の時点に前記ソース文のうちの符号化された部分をクエリするためのｊ番目のクエリ状態とをｊ番目の時点に取得するステップと、
ｊ番目の時点に前記ソース文のうちの符号化された部分であるｊ番目のソース言語注目コンテキストを、前記文ベクトル及び前記ｊ番目のクエリ状態に基づいて生成するステップと、
前記処理ノードにおける第１のユニットを利用して前記ｊ番目のクエリ状態及び前記ｊ番目のソース言語注目コンテキストに対して線形演算及び非線形演算を行い、得られたｊ番目の演算結果を前記処理ノードにおける少なくとも１つの第２のユニットに出力して処理させ、ｊ番目の単語を得るステップと、
ｋ（ｊ≦ｋ）個の単語が得られると、前記ｋ個の単語に基づいて目標文を生成するステップと、を含む、文復号方法が提供される。

１つの態様では、文処理装置であって、カスケードされた１つの第１のユニット及び少なくとも１つの第２のユニットを含む処理ノードである、カスケードされたｎ（ｎ≧２）個の処理ノードを含む符号化モデルに用いられ、
符号化対象のソース文に対して単語分割演算を行い、ｍ（ｍ≦ｎ）個の単語を得る単語分割モジュールと、
前記ｎ個の処理ノードのうちのｉ（ｉ≦ｍ）番目の処理ノードを利用して前記ｍ個の単語のうちのｉ番目の単語を取得し、ｉ－１番目の処理ノードで得られたｉ－１番目の単語ベクトルを取得する取得モジュールであって、前記ｉ－１番目の単語ベクトルは前記ｍ個の単語のうちのｉ－１番目の単語の符号化ベクトルである取得モジュールと、
前記ｉ番目の処理ノードにおける第１のユニットを利用して前記ｉ番目の単語及び前記ｉ－１番目の単語ベクトルに対して線形演算及び非線形演算を行い、得られたｉ番目の演算結果を前記少なくとも１つの第２のユニットに出力して処理させ、ｉ番目の単語ベクトルを得る演算モジュールと、
ｍ個の単語ベクトルが得られると、目標文または目標分類を決定するための文ベクトルを前記ｍ個の単語ベクトルに基づいて生成する生成モジュールと、を含む、文処理装置が提供される。

１つの態様では、文復号装置であって、カスケードされた１つの第１のユニット及び少なくとも１つの第２のユニットを含む１つの処理ノードを含む復号モデルに用いられ、
符号化モデルが符号化対象のソース文を符号化して得られた文ベクトルと、ｊ番目の時点に前記ソース文のうちの符号化された部分をクエリするためのｊ番目のクエリ状態とをｊ番目の時点に取得する取得モジュールと、
ｊ番目の時点に前記ソース文のうちの符号化された部分であるｊ番目のソース言語注目コンテキストを、前記文ベクトル及び前記ｊ番目のクエリ状態に基づいて生成するための生成モジュールと、
前記処理ノードにおける第１のユニットを利用して前記ｊ番目のクエリ状態及び前記ｊ番目のソース言語注目コンテキストに対して線形演算及び非線形演算を行い、得られたｊ番目の演算結果を前記処理ノードにおける少なくとも１つの第２のユニットに出力して処理させ、ｊ番目の単語を得る演算モジュールと、を含み、
前記生成モジュールは、さらに、ｋ（ｊ≦ｋ）個の単語が得られると、前記ｋ個の単語に基づいて目標文を生成する、
文復号装置が提供される。

１つの態様では、コンピュータ読み取り可能な命令が記憶されている１つまたは複数のプログラムであって、前記コンピュータ読み取り可能な命令が１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに上述の文処理方法を実行させるか、または、上述の文復号方法のうちの少なくとも１つの方法を実行させる、プログラムが提供される。

１つの態様では、メモリ及びプロセッサを含む文処理機器であって、前記メモリにはコンピュータ読み取り可能な命令が記憶されており、前記コンピュータ読み取り可能な命令が前記プロセッサによって実行されると、前記プロセッサに上述の文処理方法を実行させるか、または、上述の文復号方法のうちの少なくとも１つの方法を実行させる、
文処理機器が提供される。

本願の１つまたは複数の実施例の詳細は、以下の図面及び説明において提供される。明細書、図面、及び特許請求の範囲から本願の他の特徴、目的、及び利点が明らかになる。

以下、本願の実施例の技術案をより明瞭に説明するために、実施例の説明において必要な図面を用いて簡単に説明するが、当然ながら、以下に記載する図面は、単なる本願の一部の実施例であり、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面に想到し得る。
一部の例示的な実施例に基づいて示される文処理システムの構成模式図である。 本願の一部の実施例に係る符号化モデルの模式図である。 本願の一部の実施例に係る文処理方法のフローチャートである。 本願の一部の実施例に係る符号化モデルの模式図である。 本願の一部の実施例に係る符号化モデルの模式図である。 本願の一部の実施例に係る文処理方法のフローチャートである。 本願の一部の実施例に係る文復号方法のフローチャートである。 本願の一部の実施例に係る文復号方法のフローチャートである。 本願の一部の実施例に係る復号モデルの模式図である。 本願の一部の実施例に係る復号モデルの模式図である。 本願の一部の実施例に係る復号モデルの模式図である。 本願の一部の実施例に係る符号化モデル及び復号モデルの模式図である。 本願の一部の実施例に係る文処理装置の構成のブロック図である。 本願の一部の実施例に係る文復号装置の構成のブロック図である。 本願他の実施例に係るサーバの構成のブロック図である。

以下、本願の実施例の目的、技術案、及び利点をより明瞭にするために、図面を参照しながら本願の実施形態についてさらに詳細に説明する。

人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）は、デジタルコンピュータまたはデジタルコンピュータで制御されるマシンを利用して、人間の知能をシミュレート、延伸及び拡張し、環境を感知し、知識を取得し、知識で最適な結果を取得する理論、方法、技術、及び応用システムである。つまり、人工知能は、コンピュータ科学の統合技術であり、知能の実質を把握し、人間の知能に類似する方式で反応できる新たな知能マシンを生産することを目的としている。人工知能は、様々な知能マシンの設計原理及び実現方法を研究し、マシンの感知、推理、及び技術案に関わる機能を与える。

人工知能技術は、統合学科であり、関連する分野が幅広く、ハードウェアに関わる技術もあり、ソフトウェアに関わる技術もある。人工知能の基礎技術は、一般的に、センサ、専用人工知能チップ、クラウドコンピューティング、分散型記憶、ビッグデータ処理技術、オペレーティング／インタラクティブシステム、メカトロニクスなどの技術を含む。人工知能ソフトウェア技術は、主に、コンピュータビジョン技術、音声処理技術、自然言語処理技術及び機械学習／深層学習などの複数の主要方向を含む。

音声技術（Ｓｐｅｅｃｈ Ｔｅｃｈｎｏｌｏｇｙ）のキー技術は、自動音声認識技術（ＡＳＲ）、音声合成技術（ＴＴＳ）、及び声紋認識技術である。コンピュータが聞いたり、見たり、話したり、感じたりできるようにすることは、未来のヒューマンコンピュータインタラクションの発展方向であり、その中でも、音声が将来的に最も有望なヒューマンコンピュータインタラクション方式の１つとなっている。

自然言語処理（Ｎａｔｕｒｅ Ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ、ＮＬＰ）は、コンピュータ科学分野と人工知能分野での重要な方向である。自然言語処理は、ヒトとコンピュータとが自然言語で効果的に通信することを実現できる様々な理論及び方法を研究するものである。自然言語処理は、言語学と、コンピュータ科学と、数学とを一体に統合する科学である。従って、この分野での研究は、自然言語、すなわち、人々が日常的に使用する言語に関わるため、言語学の研究と密接に関連している。自然言語処理技術は、通常、テキスト処理、セマンティクス理解、機械翻訳、ロボットＱ＆Ａ、知識スペクトルなどの技術を含む。

機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ、ＭＬ）は、複数の分野の交差学科であり、確率論、統計学、近似論、凸解析、アルゴリズム複雑度理論などの複数の学科に関する。コンピュータがどのように人間の学習行為をシミュレートまたは実現し、新たな知識またはスキルを取得し、従来の知識構造を改めて組織して性能を改善させるかを専門に学習する。機械学習は、人工知能のコアであり、コンピュータに知能を与える基本的な方法であり、人工知能の各分野に応用されている。機械学習及び深層学習は、通常、人工ニューラルネットワーク、信念ネットワーク、強化学習、転移学習、帰納学習、教示学習などの技術を含む。

人工知能技術の研究及び進歩に伴って、人工知能技術は、通常のスマートホーム、スマートウェアラブルデバイス、仮想アシスタント、スマートスピーカー、スマートマーケティング、無人運転、自律運転、ドローン、ロボット、スマート医療、スマートカスタマーサービスなどの複数の分野において研究及び応用が展開されており、人工知能技術は、技術の発展に伴って、より多くの分野において応用され、ますます重要な価値を発揮する。

本願の実施例に係る技術案は、人工知能の自然言語処理などの技術に関し、具体的には、以下の実施例にて説明する。

以下、まず、本願に係る応用シーンについて説明する。

本願は、主に２種類の応用シーンに関するものとして、第１種類の応用シーンでは機械学習モデルが文に基づいて文を生成し、第２種類の応用シーンでは機械学習モデルが文を分類する。以下、この２種類の応用シーンの各々について説明する。

第１種類の応用シーンは、複数の応用シーンを含んでもよい。以下、機械翻訳、マンマシン対話、及びテキスト自動生成の３つの応用シーンを例として説明する。

１）機械翻訳
機械翻訳とは、コンピュータにより１種の自然言語の文を他種の自然言語の文に翻訳する翻訳方式である。通常、該機械翻訳は、訓練された機械学習モデルにより文を翻訳することである。例示的には、大量の翻訳言語材料サンプルで機械学習モデルを訓練し、該翻訳言語材料サンプルが中国語言語材料と英語言語材料との複数組の対応関係を含み、各中国語言語材料が翻訳結果とされる英語言語材料に対応し、訓練完了後、ユーザは、中国語文

を該機械学習モデルに入力した後、英語訳文「Ｔｈｅ ｈｏｕｓｉｎｇ ｐｒｉｃｅｓ ｃｏｎｔｉｎｕｅｄ ｔｏ ｒｉｓｅ」を出力する。

以下、機械学習モデルの呼び出し方式に基づいて、機械翻訳の応用シーンについて例を挙げて説明する。

第１種類は、機械学習モデルの入口がユーザから見えるものである。例えば、機械学習モデルの入口が入力ボックスである。

１つの選択的な応用シーンで、機械学習モデルは、入力ボックスが提供されるアプリケーションプログラムに設けられる。ユーザは、文Ａを翻訳すべき場合、該アプリケーションプログラムにおいて該入力ボックスを見つけ、該入力ボックスに機械学習モデルが翻訳対象のソース文とする文Ａを入力することができる。文Ａは、ユーザにより手動入力されるか、または、他のテキストからコピーされて得られたものであってよいが、本実施例では限定しない。

１つの選択的な応用シーンでは、機械学習モデルは、対応するウェブページにおいて入力ボックスが提供されるサーバに設けられる。ユーザは、文Ａを翻訳すべき場合、ブラウザを起動して該ウェブページを開き、該ウェブページにおいて該入力ボックスを見つけ、該入力ボックスに、サーバにおける機械学習モデルが翻訳対象のソース文とする文Ａを入力し、ブラウザは、該文Ａをサーバに送信することができる。文Ａは、ユーザにより手動入力されるか、または、他のテキストからコピーされて得られたものであってよいが、本実施例では限定しない。

第２種類は、機械学習モデルの入口は、ユーザから見えないものである。例えば、機械学習モデルは、あるアプリケーションプログラムに埋め込まれるか、または、あるアプリケーションプログラムにより呼び出し可能である。

１つの選択的な応用シーンでは、ユーザが該アプリケーションプログラムを用いてテキストを閲覧する場合、該テキストにおける文Ａを選択し、このとき、該アプリケーションプログラムは、該文Ａに対する操作オプションを表示し、該操作オプションが翻訳オプションを含む場合、ユーザが該操作オプションをトリガーすると、該アプリケーションプログラムは、機械学習モデルを呼び出し、該文Ａを該機械学習モデルに送信して翻訳させる。

２）マンマシン対話
マンマシン対話とは、ユーザから入力される文にコンピュータにより応答する対話方式である。通常、該マンマシン対話は、訓練された機械学習モデルにより文に応答する。例示的には、同じ種類の自然言語または複数種類の自然文の複数組の対話を含む大量の対話サンプルで、機械学習モデルを訓練する。訓練完了後、ユーザは、文の「春節まであと何日あるか」を該機械学習モデルに入力すると、応答文の「春節まであと６０日ある」が出力される。

３）テキスト自動生成
テキスト自動生成とは、コンピュータにより１つの文に基づいて１つの文または１段落の文を編集するテキスト生成方式である。入力された文の文字数が出力された文の文字数より多ければ、入力された文に対してコンテンツ抽出を行ったものとして理解でき、要約抽出などの応用シーンに適用できる一方、入力された文の文字数が出力された文の文字数より少なければ、入力された文に対してコンテンツ拡張を行ったものとして理解でき、文の複写、文章生成などの応用シーンに適用できる。

通常、該テキスト自動生成は、訓練された機械学習モデルによりテキストを生成することである。例示的には、ユーザが文の「今週末の花は送料無料」を該機械学習モデルに入力すると、花の販促に関わるテキストが出力される。

第２種類の応用シーンは、複数の応用シーンを含むことができる。以下、感情分析、品詞分析及びエンティティ分析という３つの応用シーンを例として説明する。

１）感情分析
感情分析とは、コンピュータにより文に基づいてユーザの感情を分析する分類方式であり、ここでいう感情は、悲しみ、喜びなどの意気、憂鬱、倦怠などの気持ち、無関心、疎外などの対人姿勢、好き、嫌いなどの態度などを含むことができるが、本実施例では限定しない。

通常、該感情分析は、訓練された機械学習モデルにより文を分析する。例示的には、大量の感情分析サンプルで機械学習モデルを訓練し、感情分析サンプルは、文と感情との複数組の対応関係を含み、各文が１種の感情に対応する。訓練完了後、ユーザが文の「私はとても楽しい」を該機械学習モデルに入力すると、「楽しい」の分類結果を出力する。

２）品詞分析
品詞分析とは、コンピュータにより文中の単語の品詞を分析する分類方式であり、ここでいう品詞は、動詞、名詞、形容詞、前置詞、副詞などを含むことができるが、本実施例では限定しない。

通常、該品詞分析は、訓練された機械学習モデルにより文を分析することである。例示的には、大量の品詞分析サンプルで機械学習モデルを訓練し、該品詞分析サンプルは、文と品詞との複数組の対応関係を含み、各文中の１つの単語が１つの品詞に対応する。訓練完了後、ユーザが文の「私はとても楽しい」を該機械学習モデルに入力すると、「私」の属する名詞分類、「とても」の属する副詞分類、「楽しい」の属する形容詞分類の分類結果が出力される。

３）命名エンティティ分析
エンティティ分析とは、コンピュータにより文中の命名エンティティを抽出する分類方式であり、ここでいう命名エンティティは、人名、地名、組織などを含むことができる。

通常、該命名エンティティ分析は、訓練された機械学習モデルにより文を分析することである。例示的には、大量の命名エンティティ分析サンプルで機械学習モデルを訓練し、該命名エンティティ分析サンプルは、文と命名エンティティとの複数組の対応関係を含み、各文中の１つの命名エンティティが１つの命名エンティティに対応する。訓練完了後、ユーザが文の「私は会社にいる」を該機械学習モデルに入力すると、「会社」の分類結果が出力される。

なお、上記応用シーンは、例示的なものに過ぎず、実際の操作では、機械学習モデルにより文の符号化及び復号を実現する応用シーンは、いずれも、本願の実施例に係る方法を使用することができ、本願の実施例は、これについて限定しない。

次に、本願に係る名詞について簡単に説明する
一部の実施例では、上記機械学習モデルは、ニューラルネットワークモデル、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭ）、決定木（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ、ＤＴ）などのモデルとして実現され得るが、、本願の実施例では、これについて限定しない。本願の実施例では、該機械学習モデルがＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、再帰型ニューラルネットワーク）モデルであることを例として説明する。

符号化モデルとは、自然言語の文を文ベクトルに符号化するモデルである。文ベクトルは、文中の各単語に対応する１つの単語ベクトルで構成され、該単語ベクトルが１つの単語のその文でのベクトルを表す。後で単語ベクトルの生成方式について説明し、ここでは説明を省略する。

例示的には、中国語文の

は

、

及び

の３つの単語を含み、

が単語ベクトル１に対応し、

が単語ベクトル２に対応し、

が単語ベクトル３に対応し、得られた文ベクトルは、［単語ベクトル１，単語ベクトル２，単語ベクトル３］となる。

なお、文を文ベクトルに符号化する前、該文に対して単語分割演算を行うことで、少なくとも２つの単語を得る必要があり、本実施例は、単語分割演算について限定しない。ここでいう単語は、文に対して単語分割を行うことで得られるものとして、文字、ワード、サブワードなどであってよいが、本実施例では限定しない。サブワードは、ワードを基に単語分割を行って得られるものである。例えば、ワードの「北京大学」を「北京」及び「大学」の２つのサブワードに分割する。

復号モデルとは、１つの文ベクトルを１種の自然言語の文に復号するモデルである。復号モデルが文ベクトルを１回復号するたびに１つの単語を得るとともに、得られたすべての単語を１つの文として構成する。

例示的には、文ベクトルが［単語ベクトル１，単語ベクトル２，単語ベクトル３］である場合、復号モデルは、該文ベクトルに対して１回目の復号を行い、単語の「Ｔｈｅ」を得てから、該文ベクトルに対して２回目の復号を行い、単語「ｈｏｕｓｉｎｇ」を得ることになり、このように、該文ベクトルに対して６回目の復号を行い、単語「ｒｉｓｅ」を得るまで繰り返し、得られた６個の単語を文の「Ｔｈｅ ｈｏｕｓｉｎｇ ｐｒｉｃｅｓ ｃｏｎｔｉｎｕｅｄ ｔｏ ｒｉｓｅ」として構成する。

なお、本願の実施例は、端末で実現されてもよく、サーバで実現されてもよく、さらに、端末及びサーバの両方で実現されてもよい。図１に示すように、端末１１は、ソース文を生成してサーバ１２に送信し、サーバ１２は、該ソース文を処理した後、処理結果を端末１１に送信して表示させる。好ましくは、端末１１とサーバ１２とは、通信ネットワークを介して接続され、該通信ネットワークは、有線ネットワークであってもよく、無線ネットワークであってよいが、本願の実施例では、これについて限定しない。

例示的には、サーバ１２には、機械翻訳用の機械学習モデルが記憶され、ユーザが翻訳すべきソース文の

を端末１１に入力すると、端末１１は、該ソース文をサーバ１２に送信し、サーバ１２は、該ソース文を機械学習モデルにより翻訳して目標文を得るとともに、該目標文を端末１１に送信して表示させる。

本願での機械学習モデルは、符号化モデル及び復号モデルを含む。以下、まず符号化モデルの構造について説明する。図２を参照すると、該符号化モデルは、カスケードされたｎ個の処理ノード２０１を含み、処理ノード２０１は、カスケードされた１つの第１のユニット及び少なくとも１つの第２のユニットを含み、第１のユニットは１番目の第２のユニットにカスケードされてよく、処理ノード２０１は、複数の第１のユニットを含んでもよく、最後の１つの第１のユニットが１番目の第２のユニットにカスケードされてもよい。図２において、影付きブロックで第１のユニットを表し、空白ブロックで第２のユニットを表し、各処理ノード２０１は、順に、第１のユニット、第２のユニット、…、第２のユニットを含む。ただし、ｎ≧２である。

１つの選択的な実施形態では、第１のユニットは、非線形演算能力及び線形演算能力を有するＧＲＵであり、例えばＬ－ＧＲＵであるか、または、ＧＲＵに対して他の線形変換改良を行って得られたＧＲＵであり、第２のユニットは、Ｔ－ＧＲＵである。以下、ＧＲＵ、Ｌ－ＧＲＵ、及びＴ－ＧＲＵの各々について説明する。

１）ＧＲＵ（Ｇａｔｅ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ、ゲート付き回帰型ユニット）：
ｉ番目の時点でのＧＲＵの出力の演算式は、以下の通りである。

ただし、ｚ_ｉはＧＲＵの更新ゲートであり、演算式はＺ_ｉ＝σ（Ｗ_ｘｚｘ_ｉ＋Ｗ_ｈｚｈ_ｉ－１）であり、ｘ_ｉはｉ番目の時点でのＧＲＵの入力であり、ｈ_ｉ－１はｉ－１番目の時点でのＧＲＵの出力であり、σは活性化関数であり、「（・）」は要素積演算の記号であり、ｈ^～ _ｉは候補活性化関数であり、演算式は

であり、ｔａｎｈは双曲線正接関数であり、ｒ_ｉはＧＲＵのリセットゲートであり、演算式はｒ_ｉ＝σ（Ｗ_ｘｒｘ_ｉ＋Ｗ_ｈｒｈ_ｉ－１）であり、Ｗ_ｘｚ、Ｗ_ｈｚ、Ｗ_ｘｈ、Ｗ_ｈｈ、Ｗ_ｘｒ、及びＷ_ｈｒは、訓練して得られるＧＲＵの重みである。

更新ゲートｚ_ｉは、ｘ_ｉからのｈ_ｉとｈ_ｉ－１からのｈ_ｉとの割合を判断するためのものである。更新ゲートｚ_ｉの数値が大きいほど、ｈ_ｉ－１からの割合が大きくなることを表し、更新ゲートｚ_ｉの数値が小さいほど、ｈ_ｉ－１からの割合が小さくなることを表す。

リセットゲートｒ_ｉは、ｘ_ｉからのｈ^～ _ｉとｈ_ｉ－１からのｈ^～ _ｉとの割合を判断するためのものである。リセットゲートｒ_ｉの数値が大きいほど、ｈ_ｉ－１からの割合が小さくなることを表し、更新ゲートｚ_ｉの数値が小さいほど、ｈ_ｉ－１からの割合が大きくなることを表す。

２）Ｔ－ＧＲＵ（Ｔｒａｎｓｉｔｉｏｎ ＧＲＵ、変換ゲート付き回帰型ユニット）：
Ｔ－ＧＲＵは、機械学習モデルにおける第１層に出現することがないため、Ｔ－ＧＲＵには入力されるｘ_ｉが存在しない。

ｉ番目の時点でのＴ－ＧＲＵの出力の演算式は、以下の通りである。

ただし、ｚ_ｉはＴ－ＧＲＵの更新ゲートであり、演算式はＺ_ｉ＝σ（Ｗ_ｈｚｈ_ｉ－１）であり、ｈ_ｉ－１はｉ－１番目の時点でのＴ－ＧＲＵの出力であり、σは活性化関数であり、「（・）」は要素積演算の記号であり、ｈ^～ _ｉは候補活性化関数であり、演算式は

であり、ｔａｎｈは双曲線正接関数であり、ｒ_ｉはＴ－ＧＲＵのリセットゲートであり、演算式はｒ_ｉ＝σ（Ｗ_ｈｚｈ_ｉ－１）であり、Ｗ_ｈｚ、Ｗ_ｈｈ、及びＷ_ｈｒは、訓練して得られるＴ－ＧＲＵの重みである。

更新ゲートｚ_ｉは、ｈ_ｉ－１からのｈ_ｉの割合を判断するためのものである。更新ゲートｚ_ｉの数値が大きいほど、ｈ_ｉ－１からの割合が大きくなることを表し、更新ゲートｚ_ｉの数値が小さいほど、ｈ_ｉ－１からの割合が小さくなることを表す。

リセットゲートｒ_ｉは、ｈ_ｉ－１からのｈ^～ _ｉの割合を判断するためのものである。リセットゲートｒ_ｉの数値が大きいほど、ｈ_ｉ－１からの割合が小さくなることを表し、更新ゲートｚ_ｉの数値が小さいほど、ｈ_ｉ－１からの割合が大きくなることを表す。

３）Ｌ－ＧＲＵ（Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｅｎｈａｎｃｅｄ ＧＲＵ、線型変換強化型ゲート付き回帰型ユニット）：
ｉ番目の時点でのＬ－ＧＲＵの出力の演算式は、以下の通りである。

ただし、ｚ_ｉはＬ－ＧＲＵの更新ゲートであり、演算式はＺ_ｉ＝σ（Ｗ_ｘｚｘ_ｉ＋Ｗ_ｈｚｈ_ｉ－１）であり、ｘ_ｉはｉ番目の時点でのＬ－ＧＲＵの入力であり、ｈ_ｉ－１はｉ－１番目の時点でのＬ－ＧＲＵの出力であり、σは活性化関数であり、「（・）」は要素積演算の記号であり、ｈ^～ _ｉは候補活性化関数であり、演算式は

であり、ｔａｎｈは双曲線正接関数であり、ｒ_ｉはＬ－ＧＲＵのリセットゲートであり、演算式はｒ_ｉ＝σ（Ｗ_ｘｒｘ_ｉ＋Ｗ_ｈｒｈ_ｉ－１）であり、Ｈは線形変換関数であり、演算式はＨ（ｘ_ｉ）＝Ｗ_ｘｘ_ｉであり、ｌ_ｉはＬ－ＧＲＵの線形変換ゲートであり、演算式はＩ_ｉ＝σ（Ｗ_ｘｌｘ_ｉ＋Ｗ_ｈｌｈ_ｉ－１）であり、Ｗ_ｘｚ、Ｗ_ｈｚ、Ｗ_ｘｈ、Ｗ_ｈｈ、Ｗ_ｘｒ、Ｗ_ｈｒ、Ｗ_ｘ、Ｗ_ｘｉ及びＷ_ｈ１は、訓練して得られるＬ－ＧＲＵの重みである。

更新ゲートｚ_ｉは、ｘ_ｉからのｈ_ｉとｈ_ｉ－１からのｈ_ｉとの割合を判断するためのものである。更新ゲートｚ_ｉの数値が大きいほど、ｈ_ｉ－１からの割合が大きくなることを表し、更新ゲートｚ_ｉの数値が小さいほど、ｈ_ｉ－１からの割合が小さくなることを表す。

リセットゲートｒ_ｉは、ｘ_ｉからのｈ^～ _ｉとｈ_ｉ－１からのｈ^～ _ｉとの割合を判断するためのものである。リセットゲートｒ_ｉの数値が大きいほど、ｈ_ｉ－１からの割合が小さくなることを表し、更新ゲートｚ_ｉの数値が小さいほど、ｈ_ｉ－１からの割合が大きくなることを表す。

線形変換ゲートｌ_ｉは、候補活性化関数値が線形変換関数値を含むように制御するためのものである。つまり、線形変換ゲートｌ_ｉは、候補活性化関数値を強化し、候補活性化関数値がある程度でｘ_ｉに対する線形変換結果を含むようにするためのものである。

以下、符号化モデルの構造を理解したうえで、符号化モデルを利用して文を符号化する方法について説明する。

図３を参照すると、本願の一部の実施例に係る文処理方法のフローチャートが示され、該文処理方法は、以下のステップ３０１～３０４を含む。

ステップ３０１において、符号化対象のソース文に対して単語分割演算を行い、ｍ個の単語を得る。

ソース文とは、１種の自然言語に対応する文である。ソース文は、ユーザから入力されるものであってもよく、ユーザがテキストから選択するものであってもよい。

本実施例の方法が機械翻訳の応用シーンに適用されることを例にすると、好ましくは、ソース文は、ユーザから入力される翻訳対象の文であり、好ましくは、該ソース文は、ユーザがテキストを閲覧するときに選択して生成されるものであってもよく、例えば、ユーザが文章を閲覧するときに、

の文字コンテンツを選択し、翻訳オプションを選択すると、該選択された文字コンテンツがソース文となる。

符号化モデルは、ソース文を得ると、該ソース文に対して単語分割演算を行うことができ、本実施例は、単語分割演算の演算方式について限定しない。

本実施例では、ソース文中の各単語が１つの処理ノードに対応するため、単語分割して得られた単語の数ｍを機械学習モデルにおける処理ノードの数ｎ以下、すなわち、ｍ≦ｎにする必要がある。

符号化モデルは、ｍ個の単語が得られると、ステップ３０２及び３０３を実行することができ、１つの単語ベクトルを得ると、ｉをｉ＋１に更新し、続いてステップ３０２及び３０３を実行して次の単語ベクトルを得る。このように、ｉをｍに更新してｍ番目の単語ベクトルを得るまで繰り返してから、ステップ３０４を実行する。

ステップ３０２において、ｎ個の処理ノードのうちのｉ番目の処理ノードを利用してｍ個の単語のうちのｉ番目の単語を取得し、ｉ－１番目の処理ノードで得られたｉ－１番目の単語ベクトルを取得する。該ｉ－１番目の単語ベクトルは、ｍ個の単語のうちのｉ－１番目の単語の符号化ベクトルである。

符号化モデルは、ｍ個の単語が得られると、各単語のソース文での位置に基づいて、該ｍ個の単語をソートする。例えば、ソース文が

であれば、ソートされた３つの単語は

、

及び

となる。

ｉ－１番目の単語ベクトルは、ｍ個の単語のうちの最初のｉ－２個の単語に基づいて生成されるが、ｉ－１番目の単語の符号化ベクトルを表す。例えば、図２におけるｈ_１は、１番目の単語に基づいて生成され、１番目の単語ベクトルを表し、ｈ_２は、第１及び２個の単語に基づいて生成され、２番目の単語ベクトルを表す。

ステップ３０３において、ｉ番目の処理ノードにおける第１のユニットを利用して、ｉ番目の単語及びｉ－１番目の単語ベクトルに対して線形演算及び非線形演算を行い、得られたｉ番目の演算結果を少なくとも１つの第２のユニットに出力して処理させ、ｉ番目の単語ベクトルを得る。

第１のユニットがＬ－ＧＲＵであり、第２のユニットがＴ－ＧＲＵであることを例として、符号化モデルが各時点に１つの単語ベクトルを得るプロセスについて説明する。本実施例では、処理ノードがデータを受信してからデータを出力するまでの時間は、１つの時点と呼ばれ、１つの時間ステップとも呼ばれる。

１番目の時点において、１番目の処理ノードにおけるＬ－ＧＲＵは、ソース文中の１番目の単語ｘ_１を受信し、演算式に基づいてｘ_１に対して線形演算及び非線形演算を行ってから、該１番目の処理ノードにおける１番目のＴ－ＧＲＵに出力して、該１番目のＴ－ＧＲＵは、受信したデータを演算式に基づいて処理してから、該１番目の処理ノードにおける２番目のＴ－ＧＲＵに出力する。このように、該１番目の処理ノードにおける最後の１つのＴ－ＧＲＵが受信したデータを演算式に基づいて処理して、ｈ_１を得るまで繰り返す。ここで、ｈ_１は、ｘ_１に対応する単語ベクトルである。

２番目の時点において、２番目の処理ノードにおけるＬ－ＧＲＵは、ソース文中の２番目の単語ｘ_２及び１番目の処理ノードで得られたｈ_１を受信し、演算式に基づいてｘ_１及びｈ_１に対して線形演算及び非線形演算を行ってから、該２番目の処理ノードにおける１番目のＴ－ＧＲＵに出力し、該１番目のＴ－ＧＲＵは、受信したデータを演算式に基づいて処理してから、該２番目の処理ノードにおける２番目のＴ－ＧＲＵに出力する。このように、該２番目の処理ノードにおける最後の１つのＴ－ＧＲＵが受信したデータを演算式に基づいて処理して、ｈ_２を得るまで繰り返す。ここで、ｈ_２は、ｘ_２に対応する単語ベクトルである。

このようにして、ｎ番目の処理ノードは、ｈ_ｍを得ることができる。

なお、処理ノードにおけるＴ－ＧＲＵの数は、予め設定されてもよい。通常、Ｔ－ＧＲＵの数と文処理精度とは、正の相関関係であり、すなわち、Ｔ－ＧＲＵの数が大きいほど、文処理精度が高くなる。しかし、Ｔ－ＧＲＵの数の増加とともに、精度の増加幅が徐々に減少するが、機械学習モデルの複雑性が徐々に増大するため、文の処理効率が低下してしまう。従って、文処理精度及び効率に対するユーザのニーズに応じて、Ｔ－ＧＲＵの数を設定することができる。

ステップ３０４において、ｍ個の単語ベクトルが得られると、目標文または目標分類を決定するための文ベクトルをｍ個の単語ベクトルに基づいて生成する。

符号化モデルがｍ個の単語ベクトルを得ると、各単語ベクトルに対応する単語のソース文での位置に基づいて、該ｍ個の単語ベクトルをソートする。例えば、

が単語ベクトル１に対応し、

が単語ベクトル２に対応し、

が単語ベクトル３に対応すれば、得られた文ベクトルが［単語ベクトル１，単語ベクトル２，単語ベクトル３］となる。文ベクトルを得ると、復号モデルを利用して文ベクトルを復号し、目標文または目標分類を得ることができる。

本実施例の方法が第１種類の応用シーンに適用される場合、文ベクトルは、復号モデルが１種の自然言語の文に対応する目標文を生成するためのものである。ここで、本実施例の方法が機械翻訳の応用シーンに適用される場合、ソース文に対応する自然言語と目標文に対応する自然言語とは異なるものである。例えば、ソース文に対応する自然言語が中国語で、目標文に対応する自然言語が英語であり、あるいは、ソース文に対応する自然言語がフランス語で、目標文に対応する自然言語が英語であり、あるいは、ソース文に対応する自然言語が英語で、目標文に対応する自然言語が中国語である。本実施例の方法がマンマシン対話またはテキスト自動生成の応用シーンに適用される場合、ソース文に対応する自然言語と目標文に対応する自然言語とは、同じであってもよく、または、異なってもよい。

本実施例の方法が第２種類の応用シーンに適用される場合、文ベクトルは、目標分類を決定するためのものである。ここで、本実施例の方法が感情分析の応用シーンに適用される場合、目標分類は感情分類である。本実施例の方法が品詞分析の応用シーンに適用される場合、目標分類は品詞分類である。本実施例の方法が命名エンティティ分析の応用シーンに適用される場合、目標分類は命名エンティティ分類である。

本願の実施例に係る文処理方法を用いると、処理ノードにおける第１のユニットがｉ番目の単語及びｉ－１番目の単語ベクトルに対して線形演算及び非線形演算を行うことができ、すなわち、コンテキストに基づいて現在の単語の単語ベクトルを決定することができるため、より正確な単語ベクトルを抽出することができる。さらに、機械学習モデルが文を処理する際、訓練して得られた重みに依存する必要があるが、訓練するにはバックプロパゲーションアルゴリズムに関わる必要があり、すなわち、訓練データの出力ルートの逆方向に沿って出力と参照結果との誤差を伝送することで、該誤差に基づいて重みを補正する。しかし、逆伝播の場合、機械学習モデルにおける誤差の勾配が消えるまで指数関数的に低下し、機械学習モデルにおける前の方の重み更新が遅くなり、後の方の重みの更新が速くなるため、訓練して得られた重みが不正確になり、文処理精度が低くなってしまう。そこで、符号化モデルを訓練して該符号化モデルの重みを得る際、該第１のユニットは訓練データに対しても線形演算及び非線形演算を行って出力する。このようにして、出力と参照結果との誤差を逆伝播する際、該誤差は線形演算部分及び非線形演算部分の誤差を含んでおり、また、線形演算部分の誤差の勾配が定数であるため、誤差全体の勾配の低下速度を減速することができ、誤差全体の勾配が消えるまで指数関数的に減少することで、符号化モデルの重みが不正確になってしまう問題を改善し、文処理精度を向上させる。

一部の実施例では、さらに符号化モデルの符号化方向に基づいて符号化モデルの種類を設定することができる。以下、そのうちの３種類の符号化モデルについて説明する。

１．符号化方向が前から後ろへの単方向符号化モデルである場合
図２を参照すると、図２において左から右への方向で前から後ろへの符号化方向を表し、影付きブロックはＬ－ＧＲＵを表し、空白ブロックはＴ－ＧＲＵを表す。このとき、ｉ番目の処理ノードは、ｎ個の処理ノードのうち、前から後ろへの順でｉ番目の位置に配列された処理ノード２０１であり、ｉ番目の単語は、ｍ個の単語のうち、前から後ろへの順でｉ番目の位置に配列された単語である。

例えば、符号化モデルで得られたｍ個の単語が

、

及び

であれば、左から右への方向での１番目の処理ノード２０１で処理される１番目の単語は

であり、２番目の処理ノード２０１で処理される２番目の単語は

であり、３番目の処理ノード２０１で処理される３番目の単語が

である。

２．符号化方向が後ろから前への単方向符号化モデルである場合
図４を参照すると、図４において右から左への方向で後ろから前への符号化方向を表し、影付きブロックはＬ－ＧＲＵを表し、空白ブロックはＴ－ＧＲＵを表す。このとき、ｉ番目の処理ノードは、ｎ個の処理ノードのうち、後ろから前への順でｉ番目の位置に配列された処理ノード４０１であり、ｉ番目の単語は、ｍ個の単語のうち、後ろから前への順でｉ番目の位置に配列された単語である。

例えば、符号化モデルで得られたｍ個の単語が

、

、及び

であれば、右から左への方向での１番目の処理ノード４０１で処理される１番目の単語は

であり、２番目の処理ノード４０１で処理される２番目の単語は

であり、３番目の処理ノード４０１で処理される３番目の単語は

である。

３．符号化方向が前から後ろへの方向及び後ろから前への方向を含む双方向符号化モデルである場合
図５を参照すると、図５において左から右への方向で前から後ろへの符号化方向を表し、右から左への方向で後ろから前への符号化方向を表し、影付きブロックはＬ－ＧＲＵを表し、空白ブロックはＴ－ＧＲＵを表す。このとき、ｉ番目の処理ノードは、ｎ個の処理ノードのうち、前から後ろへの順でｉ番目の位置に配列された処理ノード５０１と、後ろから前への順でｉ番目の位置に配列された処理ノード５０２とを含み、ｉ番目の単語は、ｍ個の単語のうち、前から後ろへの順でｉ番目の位置に配列された単語と、後ろから前への順でｉ番目の位置に配列された単語とを含む。

例えば、符号化モデルで得られたｍ個の単語が

、

、及び

であれば、左から右への方向での１番目の処理ノード５０１で処理される１番目の単語は

であり、２番目の処理ノード５０１で処理される２番目の単語は

であり、３番目の処理ノード５０１で処理される３番目の単語は

である一方、右から左への方向での１番目の処理ノード５０２で処理される１番目の単語は

であり、２番目の処理ノード５０２で処理される２番目の単語は

であり、３番目の処理ノード５０２で処理される３番目の単語は

である。

図６を参照すると、本願の他の実施例に係る文処理方法のフローチャートが示される。該文処理方法は、以下のステップ６０１～６０８を含む。

ステップ６０１において、符号化対象のソース文に対して単語分割演算を行い、ｍ個の単語を得る。

ｍ個の単語が得られると、符号化モデルは、ステップ６０２～６０７を実行し、１つの単語ベクトルが得られると、ｉをｉ＋１に更新し、続いてステップ６０２～６０７を実行して次の単語ベクトルを得る。このように、ｉをｍに更新してｍ番目の単語ベクトルが得られるまで、ステップ６０８を実行する。

ステップ６０２において、ｎ個の処理ノードのうちのｉ番目の処理ノードを利用してｍ個の単語のうちのｉ番目の単語を取得し、ｉ－１番目の処理ノードで得られたｉ－１番目の単語ベクトルを取得する。ｉ－１番目の単語ベクトルは、ｍ個の単語のうちのｉ－１番目の単語の符号化ベクトルである。

ステップ６０３において、第１のユニットを利用してｉ－１番目の単語ベクトルと第１の差分に対して要素積演算を行い、第１の積を得る。

第１の差分は、所定の数値から第１のユニットの更新ゲートを引いた値に等しいものであり、所定の数値は１であってもよく、他の数値であってもよいが、本実施例では限定しない。

更新ゲートは、ｉ番目の単語からのｉ番目の単語ベクトルとｉ－１番目の単語ベクトルからのｉ番目の単語ベクトルとの割合を判断するためのものである。更新ゲートの演算式については、詳しくは、Ｌ－ＧＲＵに関する説明を参照し、ここでは説明を省略する。

ステップ６０４において、第１のユニットを利用して線形変換関数によりｉ番目の単語に対して線形変換を行い、得られた線形変換関数値と線形変換ゲートに対して要素積演算を行い、第２の積を得るとともに、双曲線正接関数によりｉ番目の単語及びｉ－１番目の単語ベクトルに対して非線形変換を行い、得られた双曲線正接関数値と第２の積とを加算し、候補活性化関数値を得る。

線形変換ゲートは、候補活性化関数値が線形変換関数値を含むように制御するためのものである。線形変換ゲートの演算式については、詳しくは、Ｌ－ＧＲＵに関する説明を参照し、ここでは説明を省略する。

ステップ６０５において、第１のユニットを利用して更新ゲートと候補活性化関数値に対して要素積演算を行い、第３の積を得る。

ステップ６０６において、第１のユニットを利用して第１の積と第３の積とを加算し、ｉ番目の演算結果を得る。

なお、ステップ６０３～６０６でのデータ処理過程は、１つの処理ノードでのＬ－ＧＲＵが演算式に基づいてデータを処理する過程であり、詳しくは、上記のＬ－ＧＲＵの演算式を参照し、ここでは説明を省略する。

処理ノードの深さをｌ_ｓ、すなわち、処理ノードにおけるＬ－ＧＲＵとＴ－ＧＲＵとの数の和をｌ_ｓとすると、ｉ番目の演算結果は、以下の通りである。

ｈ^→ _ｉ,0＝Ｌ－ＧＲＵ（ｘ_ｉ，ｈ^→ _ｉ-1,ｌｓ）
ステップ６０７において、得られたｉ番目の演算結果を、ｉ番目の処理ノードにおける第１のユニットを利用して少なくとも１つの第２のユニットに出力して処理させ、ｉ番目の単語ベクトルを得る。

ｉ番目の処理ノードにおけるＬ－ＧＲＵは、得られたｉ番目の演算結果を該ｉ番目の処理ノードにおける１番目のＴ－ＧＲＵに出力し、該ｉ番目の処理ノードにおける１番目のＴ－ＧＲＵは、受信したデータを処理してから、該ｉ番目の処理ノードにおける２番目のＴ－ＧＲＵに出力する。このように、該ｉ番目の処理ノードにおける最後の１つのＴ－ＧＲＵが受信したデータを演算式に基づいて処理して、ｉ番目の単語ベクトルを得るまで繰り返す。ここで、ｉ番目の単語ベクトルは、ｉ番目の単語に対応する単語ベクトルである。

処理ノードの深さをｌ_ｓとすると、ｋ番目のＴ－ＧＲＵの出力は、以下の通りである。

ｈ^→ _ｉ,ｋ＝Ｔ－ＧＲＵ_ｋ（ｈ^→ _ｉ,ｋ-1）
ここで、１≦ｋ≦ｌ_ｓである。

符号化モデルが単方向符号化モデルであり、符号化方向が前から後ろへの方向である場合、ｉ番目の単語ベクトルはｈ^→ _ｉ,ｌｓであり、符号化モデルが単方向符号化モデルであり、符号化方向が後ろから前への方向である場合、ｉ番目の単語ベクトルはｈ^← _ｉ,ｌｓであり、符号化モデルが双方向符号化モデルであり、符号化方向が前から後ろへの方向及び後ろから前への方向を含む場合、ｉ番目の単語ベクトルは［ｈ^→ _ｉ,ｌｓ，ｈ^← _ｉ,ｌｓ］である。ただし、ｈ^→ _ｉ≡ｈ^→ _ｉ,１ｓである。

ステップ６０８において、ｍ個の単語ベクトルが得られると、ｍ個の単語ベクトルに基づいて、目標文を生成するための文ベクトルを生成し、該目標文と該ソース文とは異なる自然言語に対応する。

以上のように、本願の実施例に係る文処理方法は、処理ノードにおける第１のユニットがｉ番目の単語及びｉ－１番目の単語ベクトルに対して線形演算及び非線形演算を行うことができるため、符号化モデルを訓練して該符号化モデルの重みを得る際、該第１のユニットは訓練データに対しても線形演算及び非線形演算を行って出力する。このようにして、出力と参照結果との誤差を逆伝播する際、該誤差は線形演算部分及び非線形演算部分の誤差を含んでおり、また、線形演算部分の誤差の勾配が定数であるため、誤差全体の勾配の低下速度を減速することができ、誤差全体の勾配が消えるまで指数関数的に減少することで、符号化モデルの重みが不正確になってしまう問題を改善し、文処理精度を向上させる。

図７を参照すると、本願の一部の実施例に係る文復号方法のフローチャートが示されており、該復号モデルは、カスケードされた１つの第１のユニット及び少なくとも１つの第２のユニットを含む１つの処理ノードを含む。第１のユニットは、非線形演算能力及び線形演算能力を有するＧＲＵであり、例えば、上述のＬ－ＧＲＵであるか、または、ＧＲＵに対して他の線形変換改良を行って得られたＧＲＵであり、第２のユニットはＴ－ＧＲＵである。該文復号方法は、以下のステップ７０１～７０４を含む。

ステップ７０１において、符号化モデルが符号化対象のソース文を符号化して得られた文ベクトルと、ｊ番目の時点にソース文のうちの符号化された部分をクエリするためのｊ番目のクエリ状態とを、ｊ番目の時点に取得する。

文ベクトルは、図２～６に示す符号化モデルによりソース文に基づいて生成されたものであってよく、または、他の符号化モデルがソース文に基づいて生成されたものであってもよいが、本実施例では限定しない。ソース文とは、１種の自然言語に対応する文である。

クエリ状態は、現在の時点に符号化された履歴状態であり、ソース文をクエリして、次の時点のソース文のうち、符号化される可能性が最も高い部分を取得するためのものである。該部分は、文字、単語、フレーズ、不連続的な断片などであってもよいが、本実施例では限定しない。

ステップ７０２において、ｊ番目の時点にソース文のうちの符号化された部分であるｊ番目のソース言語注目コンテキストを、文ベクトル及びｊ番目のクエリ状態に基づいて生成する。

復号モデルは、アテンション演算を利用して、文ベクトル及びｊ番目のクエリ状態に対してｊ番目のソース言語注目コンテキストを生成することができる。該ソース言語注目コンテキストは、現在の時点にソース文のうち、符号化される可能性が最も高い部分であり、詳しくは後述する。

ステップ７０３において、処理ノードにおける第１のユニットを利用してｊ番目のクエリ状態及びｊ番目のソース言語注目コンテキストに対して線形演算及び非線形演算を行い、得られたｊ番目の演算結果を処理ノードにおける少なくとも１つの第２のユニットに出力して処理させ、ｊ番目の単語を得る。

第１のユニットがＬ－ＧＲＵであり、第２のユニットがＴ－ＧＲＵである場合、処理ノードにおけるＬ－ＧＲＵは、上述した演算式に基づいてｊ番目のクエリ状態及びｊ番目のソース言語注目コンテキストに対して線形演算及び非線形演算を行い、得られたｊ番目の演算結果を該処理ノードにおける１番目のＴ－ＧＲＵに出力し、該処理ノードにおける１番目のＴ－ＧＲＵは、受信したデータを処理してから、該処理ノードにおける２番目のＴ－ＧＲＵに出力する。このように、該処理ノードにおける最後の１つのＴ－ＧＲＵが受信したデータを演算式に基づいて処理して、ｊ番目の単語を得るまで繰り返す。ここで、ｊ番目の単語は、目標文において前から後ろへの順でｊ番目の位置に配列された単語である。

なお、ｊ≦ｋとすると、復号モデルは、ステップ７０１～７０３を実行することができ、１つの単語が得られると、ｊをｊ＋１に更新し、続いてステップ７０１～７０３を実行して次の単語を得る。このように、ｊをｋに更新してｋ番目の単語を得るまで繰り返してから、ステップ７０４を実行する。

ステップ７０４において、ｋ個の単語が得られると、ｋ個の単語に基づいて目標文を生成する。該目標文とソース文とは異なる自然言語に対応する。

復号モデルは、ｋ個の単語が得られると、各単語の生成順に従って、該ｋ個の単語をソートし、目標文を得る。例えば、復号モデルで得られた１番目の単語が「Ｔｈｅ」であり、２番目の単語が「ｈｏｕｓｉｎｇ」であり、３番目の単語が「ｐｒｉｃｅｓ」であり、４番目の単語が「ｃｏｎｔｉｎｕｅｄ」であり、５番目の単語が「ｔｏ」であり、６番目の単語が「ｒｉｓｅ」である場合、目標文は「Ｔｈｅ ｈｏｕｓｉｎｇ ｐｒｉｃｅｓ ｃｏｎｔｉｎｕｅｄ ｔｏ ｒｉｓｅ」である。

本実施例の方法が機械翻訳の応用シーンに適用されるとき、ソース文に対応する自然言語と目標文に対応する自然言語とは、異なるものである。例えば、ソース文に対応する自然言語が中国語であり、目標文に対応する自然言語が英語であるか、または、ソース文に対応する自然言語がフランス語であり、目標文に対応する自然言語が英語であるか、または、ソース文に対応する自然言語が英語であり、目標文に対応する自然言語が中国語である。

本実施例の方法がマンマシン対話またはテキスト自動生成の応用シーンに適用されるとき、ソース文に対応する自然言語と目標文に対応する自然言語とは、同じであってもよく、異なってもよいが、本実施例では限定しない。

上記のように、本願の実施例に係る文復号方法は、処理ノードにおける第１のユニットがｊ番目のクエリ状態及びｊ番目のソース言語注目コンテキストに対して線形演算及び非線形演算を行うことができるため、復号モデルを訓練して該復号モデルの重みを得る際、該第１のユニットは訓練データに対しても線形演算及び非線形演算を行って出力する。このようにして、出力と参照結果との誤差を逆伝播する際、該誤差は線形演算部分及び非線形演算部分の誤差を含んでおり、また、線形演算部分の誤差の勾配が定数であるため、誤差全体の勾配の低下速度を減速することができ、誤差全体の勾配が消えるまで指数関数的に減少することで、復号モデルの重みが不正確になってしまう問題を改善し、文処理精度を向上させる。

図８を参照すると、本願の一部の実施例に係る文復号方法のフローチャートが示され、該復号モデルは、１つの処理ノードを含み、当然ながら、複数の処理ノードを含んでもよく、各処理ノードは、カスケードされた１つの第１のユニット及び少なくとも１つの第２のユニットを含んでもよい。第１のユニットは、非線形演算能力及び線形演算能力を有するＧＲＵであり、例えば、上述のＬ－ＧＲＵであるか、または、ＧＲＵに対して他の線形変換改良を行って得られたＧＲＵであり、第２のユニットはＴ－ＧＲＵである。該文復号方法は、以下のステップ８０１～８０８を含む。

ステップ８０１において、符号化モデルが符号化対象のソース文を符号化して得られた文ベクトルと、ｊ番目の時点にソース文のうちの符号化された部分をクエリするためのｊ番目のクエリ状態とを、ｊ番目の時点に取得する。

一部の実施例では、復号モデルは、処理ノードに接続されたクエリノードを介してｊ番目のクエリ状態を取得することができる。以下、クエリノードの３つの実施形態について説明する。

第１の実施形態において、クエリノードは、１つの第１のユニット及び少なくとも１つの第２のユニットを含み、ｊ番目のクエリ状態を取得するステップは、処理ノードがｊ－１番目の演算結果に基づいて得られたｊ－１番目の復号状態であって、ｊ－１番目の単語を決定するためのｊ－１番目の復号状態と、ｊ－１番目の単語とを、クエリノードにおける第１のユニットを利用して取得するステップと、クエリノードにおける第１のユニットを利用してｊ－１番目の復号状態及びｊ－１番目の単語に対して線形演算及び非線形演算を行い、得られた中間演算結果をクエリノードにおける少なくとも１つの第２のユニットに出力して処理させ、ｊ番目のクエリ状態を得るステップと、を含む。

第１のユニットがＬ－ＧＲＵであり、第２のユニットがＴ－ＧＲＵである場合、図９を参照すると、図９において影付きブロックでＬ－ＧＲＵを表し、空白ブロックでＴ－ＧＲＵを表し、破線ブロック９０１で処理ノードを表し、破線ブロック９０２でクエリノードを表している。

処理ノードにおけるＬ－ＧＲＵは、上述した演算式に基づいてｊ－１番目の復号状態及びｊ－１番目の単語に対して線形演算及び非線形演算を行い、得られた中間演算結果を該処理ノードにおける１番目のＴ－ＧＲＵに出力し、該処理ノードにおける１番目のＴ－ＧＲＵは、受信したデータを処理してから、該処理ノードにおける２番目のＴ－ＧＲＵに出力する。このように、該処理ノードにおける最後のＴ－ＧＲＵが受信したデータを演算式に基づいて処理して、ｊ番目のクエリ状態を得るまで繰り返す。

クエリノードの深さをｌ_ｑ、処理ノードの深さをｌ_ｄ、すなわち、クエリノードにおけるＬ－ＧＲＵとＴ－ＧＲＵとの数の和をｌ_ｑ、処理ノードにおけるＬ－ＧＲＵとＴ－ＧＲＵとの数の和をｌ_ｄとすると、中間演算結果は、Ｓ_ｊ,０＝Ｌ－ＧＲＵ（ｙ_ｊ-1，ｓ_{ｊ-1,lq+ld+1}）であり、ｋ番目のＴ－ＧＲＵの演算結果は、Ｓ_ｊ,ｋ＝Ｔ－ＧＲＵ_ｋ（ｓ_ｊ,ｋ-1）であり、１≦ｋ≦ｌ_ｑである。ただし、Ｓは復号状態を表し、ｙは目標構造における単語を表す。

クエリノードが１つのＧＲＵを含む場合に比べると、本願では、クエリノードの深さを増加させ、すなわち、クエリノードにおいてＴ－ＧＲＵを増加させることにより、復号モデルの学習能力を向上させるだけではなく、ＧＲＵをＬ－ＧＲＵに改定することにより、復号モデルの重みの精度を向上させ、文処理精度を向上させる。

第２の実施形態において、クエリノードは、１つの第１のユニットを含み、ｊ番目のクエリ状態を取得するステップは、処理ノードがｊ－１番目の演算結果に基づいて得られたｊ－１番目の復号状態であって、ｊ－１番目の単語を決定するためのｊ－１番目の復号状態と、ｊ－１番目の単語とを、クエリノードにおける第１のユニットを利用して取得するステップと、クエリノードにおける第１のユニットを利用してｊ－１番目の復号状態及びｊ－１番目の単語に対して線形演算及び非線形演算を行い、ｊ番目のクエリ状態を得るステップと、を含む。

第１のユニットがＬ－ＧＲＵである場合、図１０を参照すると、図１０において影付きブロックでＬ－ＧＲＵを表し、空白ブロックでＴ－ＧＲＵを表し、破線ブロック９０１で処理ノードを表し、破線ブロック９０２でクエリノードを表している。

処理ノードにおけるＬ－ＧＲＵは、上述した演算式に基づいてｊ－１番目の復号状態及びｊ－１番目の単語に対して線形演算及び非線形演算を行い、直接ｊ番目のクエリ状態を得ることができる。

クエリノードが１つのＧＲＵを含む場合に比べると、本願では、ＧＲＵをＬ－ＧＲＵに改定することにより、復号モデルの重みの精度を向上させ、文処理精度を向上させる。

第３の実施形態において、クエリノードは、１つの第３のユニット及び少なくとも１つの第２のユニットを含み、ｊ番目のクエリ状態を取得するステップは、処理ノードがｊ－１番目の演算結果に基づいて得られたｊ－１番目の復号状態であって、ｊ－１番目の単語を決定するためのｊ－１番目の復号状態と、ｊ－１番目の単語とを、クエリノードにおける第３のユニットを利用して取得するステップと、クエリノードにおける第３のユニットを利用してｊ－１番目の復号状態及びｊ－１番目の単語に対して非線形演算を行い、得られた中間演算結果をクエリノードにおける少なくとも１つの第２のユニットに出力して処理させ、ｊ番目のクエリ状態を得るステップと、を含む。

第３のユニットがＧＲＵであり、第２のユニットがＴ－ＧＲＵである場合、図１１を参照すると、図１１において黒いブロックでＧＲＵを表し、空白ブロックでＴ－ＧＲＵを表し、破線ブロック９０１で処理ノードを表し、破線ブロック９０２でクエリノードを表す。

処理ノードにおけるＧＲＵは、上述した演算式に基づいてｊ－１番目の復号状態及びｊ－１番目の単語に対して非線形演算を行い、得られた中間演算結果を該処理ノードにおける１番目のＴ－ＧＲＵに出力し、該処理ノードにおける１番目のＴ－ＧＲＵは、受信したデータを処理してから、該処理ノードにおける２番目のＴ－ＧＲＵに出力する。このように、該処理ノードにおける最後の１つのＴ－ＧＲＵが受信したデータを演算式に基づいて処理して、ｊ番目のクエリ状態を得るまで繰り返す。

クエリノードが１つのＧＲＵを含む場合に比べると、本願ではクエリノードの深さを増加させ、すなわち、クエリノードにおいてＴ－ＧＲＵを追加することにより、復号モデルの学習能力を向上させる。

ステップ８０２において、復号モデルがアテンション演算ノードをさらに含む場合、アテンション演算ノードを利用して文ベクトル及びｊ番目のクエリ状態に対してアテンション演算を行い、ｊ番目の時点にソース文のうちの符号化された部分であるｊ番目のソース言語注目コンテキストを得る。

アテンション演算ノードは、符号化モデル、クエリノード及び処理ノードの各々に接続され、詳しくは図９～１１を参照すると、図９～１１において破線ブロック９０３でアテンション演算ノードを表している。

一部の実施例では、本願でのアテンション演算ノードは、マルチヘッドアテンション演算モデルであってもよく、従来のアテンション演算モデル、ローカル及びグローバルアテンションモデルなどの他のアテンションモデルであってもよいが、本実施例では限定しない。

マルチヘッドアテンション演算モデルを例にすると、ｊ番目のソース言語注目コンテキストは、以下の通りである。

ｃ_ｊ＝Ｍｕｌｔｉｈｅａｄ－Ａｔｔｅｎｔｉｏｎ（Ｃ，ｖ_ｊ,lq）
ただし、Ｃは文ベクトルであり、ｖはクエリ状態である。

ステップ８０３において、第１のユニットを利用してｊ番目のクエリ状態と第１の差分に対して要素積演算を行い、第１の積を得る。第１の差分は、所定の数値から第１のユニットの更新ゲートを引いた値に等しい。

第１の差分は、所定の数値から第１のユニットの更新ゲートを引いた値に等しいものであり、所定の数値は、１であってもよく、他の数値であってもよいが、本実施例では限定しない。

更新ゲートは、ｊ番目のソース言語注目コンテキストからのｊ番目のソース言語注目コンテキストベクトルと、ｊ番目のクエリ状態からのｊ番目のソース言語注目コンテキストベクトルとの割合を判断するためのものである。更新ゲートの演算式については、詳しくは、Ｌ－ＧＲＵでの説明を参照し、ここでは説明を省略する。

ステップ８０４において、第１のユニットを利用して線形変換関数によりｊ番目のソース言語注目コンテキストに対して線形変換を行い、得られた線形変換関数値と線形変換ゲートに対して要素積演算を行い、第２の積を得るとともに、双曲線正接関数によりｊ番目のソース言語注目コンテキスト及びｊ番目のクエリ状態に対して非線形変換を行い、得られた双曲線正接関数値と第２の積とを加算し、候補活性化関数値を得る。

線形変換ゲートは、候補活性化関数値が線形変換関数値を含むように制御するためのものである。線形変換ゲートの演算式については、詳しくは、Ｌ－ＧＲＵでの説明を参照し、ここでは説明を省略する。

ステップ８０５において、第１のユニットを利用して更新ゲートと候補活性化関数値に対して要素積演算を行い、第３の積を得る。

ステップ８０６において、第１のユニットを利用して第１の積と第３の積とを加算し、ｊ番目の演算結果を得る。

なお、ステップ８０３～８０７でのデータ処理過程は、処理ノードにおけるＬ－ＧＲＵが演算式に基づいてデータを処理する過程であり、単に以下の式として示され得るが、その説明は省略する。

Ｓ_{ｊ,ｌｑ＋１}＝Ｌ－ＧＲＵ（ｃ_ｊ，ｖ_ｊ,ld）
ただし、ｃはソース言語注目コンテキストであり、ｖはクエリ状態である。

ステップ８０７において、得られたｊ番目の演算結果を処理ノードにおける少なくとも１つの第２のユニットに出力して処理させ、ｊ番目の単語を得る。

処理ノードにおけるＬ－ＧＲＵは、得られたｊ番目の演算結果を該処理ノードにおける１番目のＴ－ＧＲＵに出力し、該処理ノードにおける１番目のＴ－ＧＲＵは、受信したデータを処理してから、該処理ノードにおける２番目のＴ－ＧＲＵに出力する。このように、該処理ノードにおける最後の１つのＴ－ＧＲＵが受信したデータを演算式に基づいて処理して、ｊ番目の単語を得るまで繰り返す。ここで、ｊ番目の単語は、目標文において前から後ろへの順でｊ番目の位置に配列された単語である。

式で示すと、Ｔ－ＧＲＵの出力は、Ｓ_{ｊ,ｌｑ＋ｐ}＝Ｔ－ＧＲＵ（ｖ_ｊ，_lq+P-1）であり、２≦Ｐ≦ｌ_ｄ＋１である。

なお、第１には、復号モデルは、ｊ番目の復号状態を生成した後、さらにｊ－１番目の単語、ｊ番目の復号状態、ｊ番目のソース言語注目コンテキストを取得し、上記３つのデータに基づいて出力ベクトルｏ_ｊを演算し、演算式は、ｏ_ｊ＝ｔａｎｈ（Ｗ_ｙ ^°ｙ_ｊ－１＋Ｗ_ｓ ^°ｓ_ｊ＋Ｗ_ｃ ^°ｃ_ｊ）であり、Ｗ_ｙ°、Ｗ_ｓ°、及びＷ_ｃ°は、訓練して得られる復号モデルの重みとして、ｓ_ｊ≡ｓ_ｊ,lq+ld+1である。復号モデルは、ｓｏｆｔｍａｘにより該出力ベクトルｏ_ｊを取得し、演算式ｙ_ｊ＝ｓｏｆｔｍａｘ（Ｗ_ｏj＋ｂ）に基づいて、ｊ番目の単語が単語テーブルにおける各単語である確率を演算し、最大確率に対応する単語をｊ番目の単語とする。単語表は、復号モデルにおいて予め設定されたものである。

なお、第２には、ｊ≦ｋとすると、復号モデルは、ステップ８０１～８０７を実行することができ、１つの単語が得られると、ｊをｊ＋１に更新し、続いてステップ８０１～８０７を実行して次の単語を得る。このように、ｊをｋに更新してｋ番目の単語を得るまで繰り返してから、ステップ８０８を実行する。以下、復号モデルが各時点に１つの単語を得るプロセスについて説明する。本実施例では、クエリノードがデータを受信してからｓｏｆｔｍａｘ（正規化関数）がデータを出力するまでの時間は、１つの時点と呼ばれ、１つの時間ステップとも呼ばれる。

１番目の時点において、クエリノードは、初期のクエリ状態及び単語を取得し、演算式に基づいて初期のクエリ状態及び単語を処理して１番目のクエリ状態ｖ_１を取得し、アテンション演算ノードは、文ベクトル及びｖ_１を取得し、演算式に基づいて該文ベクトル及びｖ_１を処理して１番目のソース言語注目コンテキストｃ_１を取得し、処理ノードにおけるＬ－ＧＲＵは、ｖ_１及びｃ_１を取得し、演算式に基づいて該ｖ_１及びｃ_１に対して線形演算及び非線形演算を行ってから、該処理ノードにおける１番目のＴ－ＧＲＵに出力し、該処理ノードにおける１番目のＴ－ＧＲＵは、受信したデータを演算式に基づいて処理してから該処理ノードにおける２番目のＴ－ＧＲＵに出力する。このように、該処理ノードにおける最後の１つのＴ－ＧＲＵが受信したデータを演算式に基づいて処理して、１番目の復号状態ｓ_１を得るまで繰り返し、ｓｏｆｒｍａｘは、ｃ_１及びｓ_１を取得し、演算式に基づいてｃ_１及びｓ_１を処理して１番目の単語ｙ_１を得る。

２番目の時点において、クエリノードは、ｖ_１及びｙ_１を取得し、演算式に基づいて該ｖ_１及びｙ_１を処理して２番目のクエリ状態ｖ_２を得る。後続の処理プロセスは、１番目の時点の処理プロセスと同様であり、最終的に２番目の単語ｙ_２を得る。

このように繰り返して、復号モデルは、ｋ番目の単語ｙ_ｋを得ることができ、最終的に得られる文は、ｙ_１ｙ_２．．．ｙ_ｉ．．．ｙ_ｋである。

ステップ８０８において、ｋ個の単語が得られると、ｋ個の単語に基づいて目標文を生成する。

復号モデルは、ｋ個の単語が得られると、各単語の生成順に従って該ｋ個の単語をソートし、目標文を得る。例えば、復号モデルで得られた第Ｉ個の単語が「Ｔｈｅ」であり、２番目の単語が「ｈｏｕｓｉｎｇ」であり、３番目の単語が「ｐｒｉｃｅｓ」であり、４番目の単語が「ｃｏｎｔｉｎｕｅｄ」であり、５番目の単語が「ｔｏ」であり、６番目の単語が「ｒｉｓｅ」である場合、目標文は「Ｔｈｅ ｈｏｕｓｉｎｇ ｐｒｉｃｅｓ ｃｏｎｔｉｎｕｅｄ ｔｏ ｒｉｓｅである。

本実施例の方法が機械翻訳の応用シーンに適用されると、ソース文に対応する自然言語と目標文に対応する自然言語とは、異なるものである。例えば、ソース文に対応する自然言語が中国語であり、目標文に対応する自然言語が英語であるか、または、ソース文に対応する自然言語がフランス語であり、目標文に対応する自然言語が英語であるか、もしくは、ソース文に対応する自然言語が英語であり、目標文に対応する自然言語が中国語である。本実施例の方法がマンマシン対話またはテキスト自動生成の応用シーンに適用されると、ソース文に対応する自然言語と目標文に対応する自然言語とは、同じであってもよく、異なってもよいが、本実施例では限定しない。

上記のように、本願の実施例に係る文復号方法は、処理ノードにおける第１のユニットがｊ番目のクエリ状態及びｊ番目のソース言語注目コンテキストに対して線形演算及び非線形演算を行うことができるため、復号モデルを訓練して該復号モデルの重みを得る際に、該第１のユニットは訓練データに対しても線形演算及び非線形演算を行って出力する。このようにして、出力と参照結果との誤差を逆伝播する際、該誤差は線形演算部分及び非線形演算部分の誤差を含んでおり、また、線形演算部分の誤差の勾配が定数であるため、誤差全体の勾配の低下速度を減速することができ、誤差全体の勾配が消えるまで指数関数的に減少することで、復号モデルの重みが不正確になってしまう問題を改善し、文処理精度を向上させる。

クエリノードが１つのＧＲＵを含む場合に比べると、本願では、クエリノードの深さを増加させている。クエリノードの深さを増加させることは、クエリノードにおいてＴ－ＧＲＵを追加することにより、復号モデルの学習能力を向上させること、及び、ＧＲＵをＬ－ＧＲＵに改定することにより、復号モデルの重みの精度を向上させ、文処理精度を向上させることのうちの少なくとも１つで実現することができる。

なお、本願では、双曲線正接関数により、データに対して非線形演算を行って、機械学習モデルの学習能力を確保するとともに、さらに線形変換関数により、データに対して線形演算を行う。このようにして、バックプロパゲーションの誤差は線形演算部分及び非線形演算部分の誤差を含んでおり、また、線形演算部分の誤差の勾配が定数であるため、誤差全体の勾配の低下速度を減速することができ、誤差全体の勾配が消えるまで指数関数的に減少することで、符号化モデルの重みが不正確になってしまう問題を改善し、文処理精度を向上させる。

一部の実施例において、本願は、さらに、上記符号化モデルと復号モデルとを組合せて、符号化及び復号能力を有する機械学習モデルを取得し、すなわち、図２、４及び５におけるいずれかの符号化モデルを図９～１１におけるいずれかの復号モデルと組合せることができる。図１２を参照すると、図１２において符号化モデルが双方向符号化モデルであり、かつ復号モデルにおけるクエリ装置が１つの第１のユニット及び少なくとも１つの第２のユニットを含むことを例として説明する。

依然として、ソース文が

であり、かつ該機械学習モデルが機械翻訳の応用シーンに適用されることを例にすると、図１２に示す機械学習モデルにおける符号化モデルは、まず、ソース文に対して単語分割を行い、

、

、及び

の３つの単語を得るとともに、前から後ろへの符号化方向に従って、それぞれ前の方の３つの処理ノードを利用してこれらの３つの単語を処理し、

に対応する単語ベクトル１、

に対応する単語ベクトル２、

に対応する単語ベクトル３を順に得るとともに、後ろから前への符号化方向に従って、それぞれ後の方の３つの処理ノードを利用してこれらの３つの単語を処理し、

に対応する単語ベクトル４、

に対応する単語ベクトル５、

に対応する単語ベクトル６を順に得ることになり、得られた文ベクトルは［単語ベクトル１単語ベクトル６、単語ベクトル２単語ベクトル５、単語ベクトル３単語ベクトル４］であり、該文ベクトルを復号モデルに出力する。

復号モデルは、上記復号方法を利用して該文ベクトルを復号し、１回目の復号のときに単語「Ｔｈｅ」を、２回目の復号のときに単語「ｈｏｕｓｉｎｇ」を、３回目の復号のときに単語「ｐｒｉｃｅｓ」を、４回目の復号のときに単語「ｃｏｎｔｉｎｕｅｄ」を、５回目の復号のときに単語「ｔｏ」を、６回目の復号のときに単語「ｒｉｓｅ」を得ると、目標文は「Ｔｈｅ ｈｏｕｓｉｎｇ ｐｒｉｃｅｓ ｃｏｎｔｉｎｕｅｄ ｔｏ ｒｉｓｅ」である。

機械学習モデルが上記符号化モデル及び復号モデルを含む場合には、符号化モデルの処理ノードにおけるＴ－ＧＲＵの数と、復号モデルの処理ノードにおけるＴ－ＧＲＵの数と、復号モデルのクエリノードにおけるＴ－ＧＲＵの数とは、同じであってよく、または、異なってもよい。

以下、上記３種のノードにおけるＴ－ＧＲＵの数が同じであり、そのＴ－ＧＲＵの数がそれぞれ１及び４であることを例として、機械翻訳のＢＬＥＵ指標を評価し、関連する評価データを、以下の表１に示す。ＢＬＥＵ指標は、機械翻訳効果を評価するためのものとして、ＢＬＥＵ指標が高いほど、機械翻訳の効果が良好である。

表１において、ＢＬＥＵ指標の括弧内には、基準とされる機械学習モデルに対する本願の機械学習モデルの増加値が記載され、通常、増加値が１を超えると、機械翻訳の効果が顕著に向上すると考えられる。よって、本願は、機械翻訳の効果を顕著に向上させることができる。

以下、上記３種のノードがいずれもＧＲＵ＋１Ｔ－ＧＲＵ、またはＬ－ＧＲＵ＋１Ｔ－ＧＲＵ、もしくは、ＧＲＵ＋４Ｔ－ＧＲＵまたはＬ－ＧＲＵ＋４Ｔ－ＧＲＵであることを例として、機械翻訳のＢＬＥＵ指標を評価し、関連する評価データは、以下の表２に示す。

表２におけるＢＬＥＵ指標を分析してわかるように、
１）３つのノードがいずれもＬ－ＧＲＵ＋１Ｔ－ＧＲＵである場合は、３つのノードがいずれもＧＲＵ＋１Ｔ－ＧＲＵである場合に比べると、ＢＬＥＵ指標が４４．４１－４３．６３＝０．７８増加し、３つのノードがいずれもＬ－ＧＲＵ＋４Ｔ－ＧＲＵである場合は３つのノードがいずれもＧＲＵ＋４Ｔ－ＧＲＵである場合に比べると、ＢＬＥＵ指標が４５．０４－４４．１６＝０．８８増加する。従って、ノードにおけるＧＲＵをＬ－ＧＲＵに改定することで、機械翻訳の精度を向上させることができる。

２）３つのノードがいずれもＧＲＵ＋１Ｔ－ＧＲＵである場合は、３つのノードがいずれもＧＲＵ＋４Ｔ－ＧＲＵである場合に比べて、ＢＬＥＵ指標が４４．１６－４３．６３＝０．５３増加し、３つのノードがいずれもＬ－ＧＲＵ＋１Ｔ－ＧＲＵである場合は、３つのノードがいずれもＬ－ＧＲＵ＋４Ｔ－ＧＲＵである場合に比べると、ＢＬＥＵ指標が４５．０４－４４．４１＝０．６３増加する。従って、ノードにおけるＴ－ＧＲＵの数を増加することで、機械翻訳の精度を向上させることができる。

以下、上記３種のノードをＬ－ＧＲＵ＋４Ｔ－ＧＲＵ及びＧＲＵのうちの１つとし、機械翻訳のＢＬＥＵ指標を評価し、関連する評価データを、以下の表３に示す。

は対応するノードがＬ－ＧＲＵ＋４Ｔ－ＧＲＵであることを表し、×は対応するノードがＧＲＵであることを表す。

表３におけるＢＬＥＵ指標から分かるように、機械学習モデルにおける３つのノードがいずれもＬ－ＧＲＵ＋４Ｔ－ＧＲＵである場合、ＢＬＥＵ指標が最も高い。従って、３つのノードがいずれもＬ－ＧＲＵ＋４Ｔ－ＧＲＵである場合、機械学習モデルの機械翻訳効果が最も良好である。

なお、本願の各実施例での各ステップは、必ずステップ番号によって指示される順番で順に実行されるとは限らない。本明細書で特に明記されていない限り、これらのステップの実行順は、厳密に制限されておらず、他の順番で実行されてもよい。さらに、各実施例の少なくとも一部のステップは、複数のサブステップまたは複数の段階を含んでもよく、これらのサブステップまたは段階は、必ずしも同じ時点に実行されるとは限らず、異なる時点で実行されてもよく、これらのサブステップまたは段階の実行順は、必ずしも順に実行されるとは限らず、他のステップまたは他のステップのサブステップまたは段階の少なくとも一部と、順に、または、交互に実行されてもよい。

図１３を参照すると、符号化モデルに用いられる本願の一部の実施例に係る文処理装置の構成ブロック図が示され、該符号化モデルは、カスケードされた１つの第１のユニット及び少なくとも１つの第２のユニットを含む処理ノードであって、カスケードされたｎ個（ｎ≧２）の処理ノードを含む。該文処理装置は、
符号化対象のソース文に対して単語分割演算を行い、ｍ個（ｍ≦ｎ）の単語を得る、単語分割モジュール１３１０と、
ｎ個の処理ノードのうちのｉ番目（ｉ≦ｍ）の処理ノードを利用してｍ個の単語のうちのｉ番目の単語を取得し、ｉ－１番目の処理ノードで得られたｉ－１番目の単語ベクトルを取得する取得モジュールであって、ｉ－１番目の単語ベクトルはｍ個の単語のうちのｉ－１番目の単語の符号化ベクトルである、取得モジュール１３２０と、
ｉ番目の処理ノードにおける第１のユニットを利用してｉ番目の単語及びｉ－１番目の単語ベクトルに対して線形演算及び非線形演算を行い、得られたｉ番目の演算結果を少なくとも１つの第２のユニットに出力して処理させ、ｉ番目の単語ベクトルを得る演算モジュール１３３０と、
ｍ個の単語ベクトルが得られると、目標文または目標分類を決定するための文ベクトルを、ｍ個の単語ベクトルに基づいて生成する生成モジュール１３４０と、を含む。

１つの選択的な実施形態では、符号化モデルが単方向符号化モデルであり、かつ符号化方向が前から後ろへの方向である場合、
ｉ番目の処理ノードは、ｎ個の処理ノードのうち、前から後ろへの順でｉ番目の位置に配列された処理ノードであり、
ｉ番目の単語は、ｍ個の単語のうち、前から後ろへの順でｉ番目の位置に配列された単語である。

１つの選択的な実施形態では、符号化モデルが単方向符号化モデルであり、かつ、符号化方向が後ろから前への方向である場合、
ｉ番目の処理ノードは、ｎ個の処理ノードのうち、後ろから前への順でｉ番目の位置に配列された処理ノードであり、
ｉ番目の単語は、ｍ個の単語のうち、後ろから前への順でｉ番目の位置に配列された単語である。

１つの選択的な実施形態では、符号化モデルが双方向符号化モデルであり、かつ符号化方向が前から後ろへの方向及び後ろから前への方向である場合、ｍ≦ｎ／２であり、
ｉ番目の処理ノードは、ｎ個の処理ノードのうち、前から後ろへの順でｉ番目の位置に配列された処理ノードと、ｎ個の処理ノードのうち、後ろから前への順でｉ番目の位置に配列された処理ノードとを含み、
ｉ番目の単語は、ｍ個の単語のうち、前から後ろへの順でｉ番目の位置に配列された単語と、ｍ個の単語のうち、後ろから前への順でｉ番目の位置に配列された単語とを含む。

１つの選択的な実施形態では、演算モジュール１３３０は、さらに、
第１のユニットを利用してｉ－１番目の単語ベクトルと第１の差分に対して要素積演算を行い、第１の積を得る（第１の差分は、所定の数値から第１のユニットの更新ゲートを引いた値に等しいものであり、更新ゲートは、ｉ番目の単語からのｉ番目の単語ベクトルと、ｉ－１番目の単語ベクトルからのｉ番目の単語ベクトルとの割合を判断するためのものである）。
第１のユニットを利用して線形変換関数によりｉ番目の単語に対して線形変換を行い、得られた線形変換関数値と線形変換ゲートに対して要素積演算を行い、第２の積を得るとともに、双曲線正接関数によりｉ番目の単語及びｉ－１番目の単語ベクトルに対して非線形変換を行い、得られた双曲線正接関数値と第２の積とを加算し、候補活性化関数値を得る（線形変換ゲートは、候補活性化関数値が線形変換関数値を含むように制御するためのものである）。
第１のユニットを利用して更新ゲートと候補活性化関数値に対して要素積演算を行い、第３の積を得る。
第１のユニットを利用して第１の積と第３の積とを加算し、ｉ番目の演算結果を得る。

以上のように、本願の実施例に係る文処理装置は、処理ノードにおける第１のユニットがｉ番目の単語及びｉ－１番目の単語ベクトルに対して線形演算及び非線形演算を行うことができるため、符号化モデルを訓練して該符号化モデルの重みを得る際、該第１のユニットは訓練データに対しても線形演算及び非線形演算を行って出力する。このようにして、出力と参照結果との誤差を逆伝播する際、該誤差は線形演算部分及び非線形演算部分の誤差を含んでおり、また、線形演算部分の誤差の勾配が定数であるため、誤差全体の勾配の低下速度を減速することができ、誤差全体の勾配が消えるまで指数関数的に減少することで、符号化モデルの重みが不正確になってしまう問題を改善し、文処理精度を向上させる。

図１４を参照すると、本願の他の実施例に係る文復号装置の構成ブロック図が示されており、カスケードされた１つの第１のユニット及び少なくとも１つの第２のユニットを含む、１つの処理ノードを含む復号モデルに用いられる。該文復号装置は、
符号化モデルが符号化対象のソース文を符号化して得られた文ベクトルと、ｊ番目の時点でソース文のうちの符号化された部分をクエリするためのｊ番目のクエリ状態とを、ｊ番目の時点で取得する取得モジュール１４１０と、
ｊ番目の時点でソース文のうちの符号化された部分を指示するためのｊ番目のソース言語注目コンテキストを、文ベクトル及びｊ番目のクエリ状態に基づいて生成する生成モジュール１４２０と、
処理ノードにおける第１のユニットを利用してｊ番目のクエリ状態及びｊ番目のソース言語注目コンテキストに対して線形演算及び非線形演算を行い、得られたｊ番目の演算結果を処理ノードにおける少なくとも１つの第２のユニットに出力して処理させ、ｊ番目の単語を得る演算モジュール１４３０と、を含み、
生成モジュール１４２０は、さらに、ｋ個の単語が得られると、ｋ個の単語に基づいて目標文を生成する。

１つの選択的な実施形態において、復号モデルは、１つの第１のユニットを含むクエリノードであって、処理ノードに接続されたクエリノードをさらに含み、
取得モジュール１４１０は、さらに、
処理ノードがｊ－１番目の演算結果に基づいて得られたｊ－１番目の復号状態であって、ｊ－１番目の単語を決定するためのｊ－１番目の復号状態と、ｊ－１番目の単語とを、クエリノードにおける第１のユニットを利用して取得し、
クエリノードにおける第１のユニットを利用してｊ－１番目の復号状態及びｊ－１番目の単語に対して線形演算及び非線形演算を行い、ｊ番目のクエリ状態を得る。

１つの選択的な実施形態において、復号モデルは、１つの第１のユニット及び少なくとも１つの第２のユニットを含むクエリノードであって、処理ノードに接続されたクエリノードをさらに含み、
取得モジュール１４１０は、さらに、
処理ノードがｊ－１番目の演算結果に基づいて得られたｊ－１番目の復号状態であって、ｊ－１番目の単語を決定するためのｊ－１番目の復号状態と、ｊ－１番目の単語とを、クエリノードにおける第１のユニットを利用して取得し、
クエリノードにおける第１のユニットを利用してｊ－１番目の復号状態及びｊ－１番目の単語に対して線形演算及び非線形演算を行い、得られた中間演算結果をクエリノードにおける少なくとも１つの第２のユニットに出力して処理させ、ｊ番目のクエリ状態を得る。

１つの選択的な実施形態において、復号モデルは、１つの第３のユニット及び少なくとも１つの第２のユニットを含むクエリノードであって、処理ノードに接続されたクエリノードをさらに含み、
取得モジュール１４１０は、さらに、
ｊ－１番目の演算結果に基づいて得られたｊ－１番目の復号状態であって、ｊ－１番目の単語を決定するためのｊ－１番目の復号状態と、ｊ－１番目の単語とを、クエリノードにおける第３のユニットを利用して取得し、
クエリノードにおける第３のユニットを利用してｊ－１番目の復号状態及びｊ－１番目の単語に対して非線形演算を行い、得られた中間演算結果をクエリノードにおける少なくとも１つの第２のユニットに出力して処理させ、ｊ番目のクエリ状態を得る。

１つの選択的な実施形態において、復号モデルは、符号化モデル、クエリノード及び処理ノードの各々に接続されたアテンション演算ノードをさらに含み、
生成モジュール１４２０は、さらに、
アテンション演算ノードを利用して文ベクトル及びｊ番目のクエリ状態に対してアテンション演算を行い、ｊ番目のソース言語注目コンテキストを得る。

１つの選択的な実施形態において、演算モジュール１４３０は、さらに、
第１のユニットを利用してｊ番目のクエリ状態と第１の差分に対して要素積演算を行い、第１の積を得る（第１の差分は、所定の数値から第１のユニットの更新ゲートを引いた値に等しいものであり、更新ゲートは、ｊ番目のソース言語注目コンテキストからのｊ番目のソース言語注目コンテキストベクトルと、ｊ番目のクエリ状態からのｊ番目のソース言語注目コンテキストベクトルとの割合を判断するためのものである）。
第１のユニットを利用して線形変換関数によりｊ番目のソース言語注目コンテキストに対して線形変換を行い、得られた線形変換関数値と線形変換ゲートに対して要素積演算を行い、第２の積を得るとともに、双曲線正接関数によりｊ番目のソース言語注目コンテキスト及びｊ番目のクエリ状態に対して非線形変換を行い、得られた双曲線正接関数値と第２の積とを加算し、候補活性化関数値を得る（線形変換ゲートは、候補活性化関数値が線形変換関数値を含むように制御するためのものである）。
第１のユニットを利用して更新ゲートと候補活性化関数値に対して要素積演算を行い、第３の積を得る。
第１のユニットを利用して第１の積と第３の積とを加算し、ｊ番目の演算結果を得る。

以上のように、本願の実施例に係る文復号装置は、処理ノードにおける第１のユニットがｊ番目のクエリ状態及びｊ番目のソース言語注目コンテキストに対して線形演算及び非線形演算を行うことができるため、復号モデルを訓練して該復号モデルの重みを得る際、該第１のユニットは訓練データに対しても線形演算及び非線形演算を行って出力する。このようにして、出力と参照結果との誤差を逆伝播する際、該誤差は線形演算部分及び非線形演算部分の誤差を含んでおり、また、線形演算部分の誤差の勾配が定数であるため、誤差全体の勾配の低下速度を減速することができ、誤差全体の勾配が消えるまで指数関数的に減少することで、復号モデルの重みが不正確になってしまう問題を改善し、文処理精度を向上させる。

本願は、プロセッサ及びメモリを含むサーバを提供し、メモリには少なくとも１つの命令が記憶されており、少なくとも１つの命令は、プロセッサによってロード及び実行されて上記各方法実施例に係る文処理方法または文復号方法を実現する。なお、該サーバは、以下の図１５に係るサーバであってよい。

図１５を参照すると、本願の１つの例示的な実施例に係るサーバの構成模式図が示されている。具体的には、前記サーバ１５００は、中央処理ユニット（ＣＰＵ）１５０１と、ランダムアクセスメモリ（ＲＡＭ）１５０２及び読み出し専用メモリ（ＲＯＭ）１５０３を含むシステムメモリ１５０４と、システムメモリ１５０４と中央処理ユニット１５０１とを接続するシステムバス１５０５と、を含む。前記サーバ１５００は、コンピュータ内の各機器同士で情報を伝送することに寄与する基本入出力システム（Ｉ／Ｏシステム）１５０６と、オペレーティングシステム１５１３、アプリケーションプログラム１５１４及び他のプログラムモジュール１５１５を記憶するマスストレージデバイス１５０７と、をさらに含む。

前記基本入出力システム１５０６は、情報を表示するディスプレイ１５０８と、マウス、キーボードなど、ユーザが情報を入力する入力機器１５０９と、を含む。前記ディスプレイ１５０８及び入力機器１５０９は、いずれもシステムバス１５０５に接続された入出力コントローラ１５１０を介して、中央処理ユニット１５０１に接続されている。前記基本入出力システム１５０６は、キーボード、マウス、または電子タッチペンなどの複数の他の機器からの入力を受信及び処理する入出力コントローラ１５１０をさらに含むことができる。同様に、入出力コントローラ１５１０は、ディスプレイスクリーン、印刷機または他の種類の機器に出力する出力機器をさらに提供する。

前記マスストレージデバイス１５０７は、システムバス１５０５に接続されたマスストレージコントローラー（図示せず）を介して中央処理ユニット１５０１に接続されている。前記マスストレージデバイス１５０７及びそれに関連するコンピュータ読み取り可能な記憶媒体は、サーバ１５００に不揮発性記憶機能を提供する。つまり、前記マスストレージデバイス１５０７は、ハードディスクまたはＣＤ－ＲＯＭドライバなどのコンピュータ読み取り可能な記憶媒体（図示せず）を含むことができる。

一般性を失うことなく、前記コンピュータ読み取り可能な記憶媒体は、コンピュータ記憶媒体及び通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法や技術で実現される揮発性及び不揮発性、移動可能な媒体及び移動不可能な媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のソリッドステートストレージ技術、ＣＤ－ＲＯＭ、ＤＶＤまたは他の光学ストレージ、カートリッジ、テープ、磁気ディスクストレージまたは他の磁気ストレージデバイスを含む。ただし、当業者であれば、前記コンピュータ記憶媒体が上記の数種に限られないことが分かる。上記システムメモリ１５０４及びマスストレージデバイス１５０７は、まとめてメモリと称することができる。

メモリには１つまたは複数のプログラムが記憶されており、１つまたは複数のプログラムは、１つまたは複数の中央処理ユニット１５０１によって実行されるように構成され、１つまたは複数のプログラムは、上記文符号化または文復号方法を実施するための命令を含み、中央処理ユニット１５０１は、該１つまたは複数のプログラムを実行して上記各方法実施例に係る文処理方法または文復号方法を実施する。

本発明の各実施例によれば、前記サーバ１５００は、さらに、インターネットなどのネットワークを介してネットワークにおけるリモートコンピュータに接続されて運用され得る。すなわち、サーバ１５００は、前記システムバス１５０５に接続されたネットワークインタフェースユニット１５１１を介してネットワーク１５１２に接続されてもよく、または、ネットワークインタフェースユニット１５１１で他の種類のネットワークまたはリモートコンピュータシステム（図示せず）に接続されてもよい。

前記メモリは、１つまたはそれ以上のプログラムをさらに含み、前記１つまたはそれ以上のプログラムは、メモリに記憶され、本発明の実施例に係る文処理方法または文復号方法でサーバによって実行されるステップを含む。

本願の実施例は、コンピュータ読み取り可能な記憶媒体をさらに提供し、該記憶媒体には少なくとも１つの命令、少なくとも一部のプログラム、コードセットまたは命令セットが記憶されており、前記少なくとも１つの命令、前記少なくとも一部のプログラム、前記コードセットまたは命令セットは、前記入出力コントローラ１５１０によってロード及び実行され、上述の文処理方法または文復号方法を実現する。

本願は、コンピュータによって実行されると、コンピュータに上記各方法の実施例に係る文処理方法または文復号方法を実行させる、コンピュータプログラム製品をさらに提供する。

本願の一部の実施例は、少なくとも１つの命令、少なくとも一部のプログラム、コードセットまたは命令セットが記憶されており、前記少なくとも１つの命令、前記少なくとも一部のプログラム、前記コードセットまたは命令セットがプロセッサによってロード及び実行され、上述の文処理方法または文復号方法を実現する、コンピュータ読み取り可能な記憶媒体を提供する。

なお、上記実施例に係る文符号化/復号装置は、文符号化または文復号を行う際、上記各機能モジュールの分割を例として説明するものに過ぎず、実際の適用では、必要に応じて、上記機能を異なる機能モジュールに分割して完了させることができ、すなわち、文符号化/復号装置の内部構造を異なる機能モジュールに分割し、以上に説明された全部または一部の機能を完了させる。なお、上記実施例に係る文符号化/復号装置と文符号化/復号方法の実施例とは、同じ思想に属し、具体的な実現過程については、詳しくは方法実施例を参照し、ここでは説明を省略する。

当業者であれば、上記実施例の方法の全部または一部のプロセスが、ハードウェアによって完了されてもよく、コンピュータプログラムによって関連するハードウェアに命令して完了させてもよく、コンピュータプログラムが不揮発性コンピュータ読み取り可能な記憶媒体に記憶されてもよく、該コンピュータプログラムが実行されると、上記各方法の実施例のプロセスを含んでもよいことを理解できる。本願に係る各実施例で使用されるメモリ、ストレージ、データベースまたは他の媒体の任意の参照は、いずれも不揮発性及び／又は揮発性メモリを含むことができる。不揮発性メモリは、読み出し専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的なプログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）またはフラッシュメモリを含むことができる。揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）または外部高速キャッシュを含むことができる。例として、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張ＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）、及びメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などの複数の種類で実現されることが可能であり、これらに限定されない。

以上は、本願の実施例を限定するためのものではなく、本願の実施例の趣旨及び原則内で行われる任意の補正、均等置換や改良などは、いずれも本願の実施例の保護範囲に含まれるべきである。

Claims (17)

1. 文処理機器により実行される文処理方法であって、
   カスケードされた第１のユニット及び少なくとも１つの第２のユニットを含む処理ノードである、カスケードされたｎ個（ｎ≧２）の処理ノードを含む符号化モデルに用いられ、
   符号化対象のソース文に対して単語分割演算を行い、ｍ個（ｍ≦ｎ）の単語を得るステップと、
   前記ｎ個の処理ノードのうちのｉ番目（ｉ≦ｍ）の処理ノードを利用して前記ｍ個の単語のうちのｉ番目の単語を取得し、ｉ－１番目の処理ノードで得られたｉ－１番目の単語ベクトルを取得するステップであり、前記ｉ－１番目の単語ベクトルは、前記ｍ個の単語のうちのｉ－１番目の単語の符号化ベクトルである、ステップと、
   前記ｉ番目の処理ノードにおける第１のユニットを利用して前記ｉ番目の単語及び前記ｉ－１番目の単語ベクトルに対して線形演算及び非線形演算を行い、得られたｉ番目の演算結果を前記少なくとも１つの第２のユニットに出力して処理させ、ｉ番目の単語ベクトルを得るステップと、
   ｍ個の単語ベクトルが得られると、目標文または目標分類を決定するための文ベクトルを前記ｍ個の単語ベクトルに基づいて生成するステップと、を含む、
   文処理方法。
2. 前記符号化モデルが単方向符号化モデルであり、かつ符号化方向が前から後ろへの方向である場合、
   前記ｉ番目の処理ノードは、前記ｎ個の処理ノードのうち、前から後ろへの順でｉ番目の位置に配列された処理ノードであり、
   前記ｉ番目の単語は、前記ｍ個の単語のうち、前から後ろへの順でｉ番目の位置に配列された単語である、
   ことを特徴とする、請求項１に記載の方法。
3. 前記符号化モデルが単方向符号化モデルであり、かつ、符号化方向が後ろから前への方向である場合、
   前記ｉ番目の処理ノードは、前記ｎ個の処理ノードのうち、後ろから前への順でｉ番目の位置に配列された処理ノードであり、
   前記ｉ番目の単語は、前記ｍ個の単語のうち、後ろから前への順でｉ番目の位置に配列された単語である、
   ことを特徴とする、請求項１に記載の方法。
4. 前記符号化モデルが双方向符号化モデルであり、かつ、符号化方向が前から後ろへの方向及び後ろから前への方向を含む場合、ｍ≦ｎ／２であり、
   前記ｉ番目の処理ノードは、前記ｎ個の処理ノードのうち、前から後ろへの順でｉ番目の位置に配列された処理ノードと、前記ｎ個の処理ノードのうち、後ろから前への順でｉ番目の位置に配列された処理ノードとを含み、
   前記ｉ番目の単語は、前記ｍ個の単語のうち、前から後ろへの順でｉ番目の位置に配列された単語と、前記ｍ個の単語のうち、後ろから前への順でｉ番目の位置に配列された単語とを含む、
   ことを特徴とする、請求項１に記載の方法。
5. 前記ｉ番目の処理ノードにおける第１のユニットを利用して前記ｉ番目の単語及び前記ｉ－１番目の単語ベクトルに対して線形演算及び非線形演算を行うことは、
   前記第１のユニットを利用して前記ｉ－１番目の単語ベクトルと第１の差分に対して要素積演算を行い、第１の積を得るステップであり、
   前記第１の差分は、所定の数値から前記第１のユニットの更新ゲートを引いた値に等しいものであり、
   前記更新ゲートは、前記ｉ番目の単語からの前記ｉ番目の単語ベクトルと前記ｉ－１番目の単語ベクトルからの前記ｉ番目の単語ベクトルとの割合を判断するためのものである、ステップと、
   前記第１のユニットを利用して前記ｉ番目の単語に対して線形変換関数により線形変換を行い、得られた線形変換関数値と線形変換ゲートに対して要素積演算を行い、第２の積を得るとともに、双曲線正接関数により前記ｉ番目の単語及び前記ｉ－１番目の単語ベクトルに対して非線形変換を行い、得られた双曲線正接関数値と第２の積とを加算し、候補活性化関数値を得るステップであり、
   前記線形変換ゲートは、前記候補活性化関数値が前記線形変換関数値を含むように制御するためのものである、ステップと、
   前記第１のユニットを利用して前記更新ゲートと前記候補活性化関数値に対して要素積演算を行い、第３の積を得るステップと、
   前記第１のユニットを利用して前記第１の積と前記第３の積とを加算し、前記ｉ番目の演算結果を得るステップと、を含む、
   ことを特徴とする、請求項１乃至４いずれか一項に記載の方法。
6. カスケードされた第１のユニット及び少なくとも１つの第２のユニットを含む処理ノードを含む復号モデルを利用して復号するステップ、をさらに含み、
   復号ステップは、
   前記文ベクトルと、ｊ番目の時点で前記ソース文のうちの符号化された部分をクエリするためのｊ番目のクエリ状態とを、ｊ番目の時点で取得するステップと、
   ｊ番目の時点で前記ソース文のうちの符号化された部分であるｊ番目のソース言語注目コンテキストを、前記文ベクトル及び前記ｊ番目のクエリ状態に基づいて生成するステップと、
   前記処理ノードにおける第１のユニットを利用して前記ｊ番目のクエリ状態及び前記ｊ番目のソース言語注目コンテキストに対して線形演算及び非線形演算を行い、得られたｊ番目の演算結果を前記処理ノードにおける少なくとも１つの第２のユニットに出力して処理させ、ｊ番目の単語を得るステップと、
   ｋ個（ｊ≦ｋ）の単語が得られると、前記ｋ個の単語に基づいて目標文を生成するステップと、を含む、
   ことを特徴とする、請求項１乃至４いずれか一項に記載の方法。
7. 文処理機器により実行される文復号方法であって、
   カスケードされた第１のユニット及び少なくとも１つの第２のユニットを含む処理ノードを含む復号モデルに用いられ、
   符号化モデルが符号化対象のソース文を符号化して得られた文ベクトルと、ｊ番目の時点で前記ソース文のうちの符号化された部分をクエリするためのｊ番目のクエリ状態とを、ｊ番目の時点で取得するステップと、
   ｊ番目の時点で前記ソース文のうちの符号化された部分であるｊ番目のソース言語注目コンテキストを、前記文ベクトル及び前記ｊ番目のクエリ状態に基づいて生成するステップと、
   前記処理ノードにおける第１のユニットを利用して前記ｊ番目のクエリ状態及び前記ｊ番目のソース言語注目コンテキストに対して線形演算及び非線形演算を行い、得られたｊ番目の演算結果を前記処理ノードにおける少なくとも１つの第２のユニットに出力して処理させ、ｊ番目の単語を得るステップと、
   ｋ個（ｊ≦ｋ）の単語が得られると、前記ｋ個の単語に基づいて目標文を生成するステップと、を含む、
   文復号方法。
8. 前記復号モデルは、第１のユニットを含むクエリノードであり、前記処理ノードに接続されたクエリノードをさらに含み、
   前記ｊ番目のクエリ状態を取得することは、
   前記処理ノードがｊ－１番目の演算結果に基づいて得られたｊ－１番目の復号状態であり、前記ｊ－１番目の単語を決定するためのｊ－１番目の復号状態と、ｊ－１番目の単語とを、前記クエリノードにおける第１のユニットを利用して取得するステップと、
   前記クエリノードにおける第１のユニットを利用して、前記ｊ－１番目の復号状態及び前記ｊ－１番目の単語に対して線形演算及び非線形演算を行い、前記ｊ番目のクエリ状態を得るステップと、を含む、
   ことを特徴とする、請求項７に記載の方法。
9. 前記復号モデルは、第１のユニット及び少なくとも１つの第２のユニットを含むクエリノードであり、前記処理ノードに接続されたクエリノードをさらに含み、
   前記ｊ番目のクエリ状態を取得することは、
   前記処理ノードがｊ－１番目の演算結果に基づいて得られたｊ－１番目の復号状態であり、前記ｊ－１番目の単語を決定するためのｊ－１番目の復号状態と、ｊ－１番目の単語とを、前記クエリノードにおける第１のユニットを利用して取得するステップと、
   前記クエリノードにおける第１のユニットを利用して、前記ｊ－１番目の復号状態及び前記ｊ－１番目の単語に対して線形演算及び非線形演算を行い、得られた中間演算結果を前記クエリノードにおける少なくとも１つの第２のユニットに出力して処理させ、前記ｊ番目のクエリ状態を得るステップと、を含む、
   ことを特徴とする、請求項７に記載の方法。
10. 前記復号モデルは、第３のユニット及び少なくとも１つの第２のユニットを含むクエリノードであって、前記処理ノードに接続されたクエリノードをさらに含み、
    前記ｊ番目のクエリ状態を取得することは、
    前記処理ノードがｊ－１番目の演算結果に基づいて得られたｊ－１番目の復号状態であって、前記ｊ－１番目の単語を決定するためのｊ－１番目の復号状態と、ｊ－１番目の単語とを、前記クエリノードにおける第３のユニットを利用して取得するステップと、
    前記クエリノードにおける第３のユニットを利用して、前記ｊ－１番目の復号状態及び前記ｊ－１番目の単語に対して非線形演算を行い、得られた中間演算結果を前記クエリノードにおける少なくとも１つの第２のユニットに出力して処理させ、前記ｊ番目のクエリ状態を得るステップと、を含む、
    ことを特徴とする、請求項７に記載の方法。
11. 前記復号モデルは、前記符号化モデル、前記クエリノード及び前記処理ノードの各々に接続されたアテンション演算ノードをさらに含み、
    前記ｊ番目のソース言語注目コンテキストを、前記文ベクトル及び前記ｊ番目のクエリ状態に基づいて生成する前記ステップは、
    前記アテンション演算ノードを利用して、前記文ベクトル及び前記ｊ番目のクエリ状態に対してアテンション演算を行い、前記ｊ番目のソース言語注目コンテキストを得るステップ、を含む、
    ことを特徴とする、請求項８乃至１０いずれか一項に記載の方法。
12. 前記処理ノードにおける第１のユニットを利用して前記ｊ番目のクエリ状態及び前記ｊ番目のソース言語注目コンテキストに対して線形演算及び非線形演算を行うことは、
    前記第１のユニットを利用して前記ｊ番目のクエリ状態と第１の差分に対して要素積演算を行い、第１の積を得るステップであり、
    前記第１の差分は、所定の数値から前記第１のユニットの更新ゲートを引いた値に等しいものであり、
    前記更新ゲートは、前記ｊ番目のソース言語注目コンテキストからの前記ｊ番目のソース言語注目コンテキストベクトルと前記ｊ番目のクエリ状態からの前記ｊ番目のソース言語注目コンテキストベクトルとの割合を判断するためのものである、ステップと、
    前記第１のユニットを利用して前記ｊ番目のソース言語注目コンテキストに対して線形変換関数により線形変換を行い、得られた線形変換関数値と線形変換ゲートに対して要素積演算を行い、第２の積を得るとともに、前記ｊ番目のソース言語注目コンテキスト及び前記ｊ番目のクエリ状態に対して双曲線正接関数により非線形変換を行い、得られた双曲線正接関数値と第２の積とを加算し、候補活性化関数値を得るステップであり、
    前記線形変換ゲートは、前記候補活性化関数値が前記線形変換関数値を含むように制御するためのものである、ステップと、
    前記第１のユニットを利用して前記更新ゲートと前記候補活性化関数値に対して要素積演算を行い、第３の積を得るステップと、
    前記第１のユニットを利用して前記第１の積と前記第３の積とを加算し、前記ｊ番目の演算結果を得るステップと、を含む、
    ことを特徴とする、請求項７に記載の方法。
13. 文処理装置であって、
    カスケードされた第１のユニット及び少なくとも１つの第２のユニットを含む処理ノードである、カスケードされたｎ個（ｎ≧２）の処理ノードを含む符号化モデルに用いられ、
    符号化対象のソース文に対して単語分割演算を行い、ｍ個（ｍ≦ｎ）の単語を得る単語分割モジュールと、
    前記ｎ個の処理ノードのうちのｉ番目（ｉ≦ｍ）の処理ノードを利用して前記ｍ個の単語のうちのｉ番目の単語を取得し、ｉ－１番目の処理ノードで得られたｉ－１番目の単語ベクトルを取得する取得モジュールであり、前記ｉ－１番目の単語ベクトルは前記ｍ個の単語のうちのｉ－１番目の単語の符号化ベクトルである、取得モジュールと、
    前記ｉ番目の処理ノードにおける第１のユニットを利用して前記ｉ番目の単語及び前記ｉ－１番目の単語ベクトルに対して線形演算及び非線形演算を行い、得られたｉ番目の演算結果を前記少なくとも１つの第２のユニットに出力して処理させ、ｉ番目の単語ベクトルを得る演算モジュールと、
    ｍ個の単語ベクトルが得られると、目標文または目標分類を決定するための文ベクトルを前記ｍ個の単語ベクトルに基づいて生成する生成モジュールと、を含む、
    文処理装置。
14. 文復号装置であって、
    カスケードされた第１のユニット及び少なくとも１つの第２のユニットを含む１つの処理ノードを含む復号モデルに用いられ、
    符号化モデルが符号化対象のソース文を符号化して得られた文ベクトルと、ｊ番目の時点で前記ソース文のうちの符号化された部分をクエリするためのｊ番目のクエリ状態とを、ｊ番目の時点で取得する取得モジュールと、
    ｊ番目の時点で前記ソース文のうちの符号化された部分であるｊ番目のソース言語注目コンテキストを、前記文ベクトル及び前記ｊ番目のクエリ状態に基づいて生成する生成モジュールと、
    前記処理ノードにおける第１のユニットを利用して前記ｊ番目のクエリ状態及び前記ｊ番目のソース言語注目コンテキストに対して線形演算及び非線形演算を行い、得られたｊ番目の演算結果を前記処理ノードにおける少なくとも１つの第２のユニットに出力して処理させ、ｊ番目の単語を得る演算モジュールと、を含み、
    前記生成モジュールは、さらに、ｋ個（ｊ≦ｋ）の単語が得られると、前記ｋ個の単語に基づいて目標文を生成する、
    文復号装置。
15. メモリ及びプロセッサを含む文処理機器であって、
    前記メモリにはコンピュータ読み取り可能な命令及び符号化モデルが記憶されており、前記符号化モデルは、カスケードされた第１のユニット及び少なくとも１つの第２のユニットを含む処理ノードである、カスケードされたｎ個（ｎ≧２）の処理ノードを含み、
    前記コンピュータ読み取り可能な命令が前記プロセッサによって実行されると、
    符号化対象のソース文に対して単語分割演算を行い、ｍ個（ｍ≦ｎ）の単語を得るステップと、
    前記ｎ個の処理ノードのうちのｉ番目（ｉ≦ｍ）の処理ノードを利用して前記ｍ個の単語のうちのｉ番目の単語を取得し、ｉ－１番目の処理ノードで得られたｉ－１番目の単語ベクトルを取得するステップであり、前記ｉ－１番目の単語ベクトルは前記ｍ個の単語のうちのｉ－１番目の単語の符号化ベクトルである、ステップと、
    前記ｉ番目の処理ノードにおける第１のユニットを利用して前記ｉ番目の単語及び前記ｉ－１番目の単語ベクトルに対して線形演算及び非線形演算を行い、得られたｉ番目の演算結果を前記少なくとも１つの第２のユニットに出力して処理させて、ｉ番目の単語ベクトルを得るステップと、
    ｍ個の単語ベクトルが得られると、目標文または目標分類を決定するための文ベクトルを前記ｍ個の単語ベクトルに基づいて生成するステップと、
    を前記プロセッサに実行させる、
    文処理機器。
16. メモリ及びプロセッサを含む文処理機器であって、
    前記メモリにはコンピュータ読み取り可能な命令及び復号モデルが記憶されており、前記復号モデルは、カスケードされた第１のユニット及び少なくとも１つの第２のユニットを含む処理ノードを含み、
    前記コンピュータ読み取り可能な命令が前記プロセッサによって実行されると、
    符号化モデルが符号化対象のソース文を符号化して得られた文ベクトルと、ｊ番目の時点に前記ソース文のうちの符号化された部分をクエリするためのｊ番目のクエリ状態とをｊ番目の時点に取得するステップと、
    ｊ番目の時点に前記ソース文のうちの符号化された部分であるｊ番目のソース言語注目コンテキストを前記文ベクトル及び前記ｊ番目のクエリ状態に基づいて生成するステップと、
    前記処理ノードにおける第１のユニットを利用して、前記ｊ番目のクエリ状態及び前記ｊ番目のソース言語注目コンテキストに対して線形演算及び非線形演算を行い、得られたｊ番目の演算結果を前記処理ノードにおける少なくとも１つの第２のユニットに出力して処理させて、ｊ番目の単語を得るステップと、
    ｋ個（ｊ≦ｋ）の単語が得られると、前記ｋ個の単語に基づいて目標文を生成するステップと、
    を前記プロセッサに実行させる、
    文処理機器。
17. コンピュータ読み取り可能な命令を含むコンピュータプログラムであって、
    前記コンピュータ読み取り可能な命令が１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに請求項１乃至６、７、１２いずれか一項に記載の方法を実行させる、
    コンピュータプログラム。

Images