JP2021190101A - アテンション基盤シーケンスツーシーケンスモデルの性能向上方法及び装置 - Google Patents

Abstract

【課題】アテンション基盤シーケンスツーシーケンスモデルの性能向上方法及び装置を提供する。【解決手段】一実施形態に係るアテンション基盤シーケンスツーシーケンスモデルの性能向上方法は、アテンション基盤シーケンスツーシーケンスモデルに基づいて入力シーケンスに対応する出力シーケンスを決定するステップと、複数のアテンションヘッドのうち、１つ以上のターゲットアテンションヘッドを選択するステップと、前記出力シーケンスを構成する出力トークンのうち、前記ターゲットアテンションヘッドに基づいて１つ以上のエラー出力トークンを検出するステップと、前記エラー出力トークンに基づいて前記出力シーケンスを補正するステップを含む。【選択図】図５

Description

下記の実施形態は、アテンション基盤シーケンスツーシーケンスモデルの性能向上方法及び装置に関する。

人工神経網を用いて解決する問題のうち長さが決まっていないシーケンスを入力として受け、決まっていない長さの出力を生成しなければならない問題を解決するための方法として、シーケンスツーシーケンス（ｓｅｑｕｅｎｃｅ−ｔｏ−ｓｅｑｕｅｎｃｅ）モデルの１つであるエンコーダー−デコーダーの人工神経網モデルが導入された。

可変の長さを入力として可変の長さを生成するシーケンスツーシーケンスモデルは、翻訳、音声認識、カンバセーション、文書要約などの様々なタスクで使用される人工神経網モデルであって、可変入力を上位表現であるコンテキスト・ベクトルに作り出すエンコーダーと、そのコンテキスト・ベクトルに基づいて可変出力を生成するデコーダーからなる。しかし、シーケンスツーシーケンスモデルは、コンテキスト・ベクトルが長くなれば性能が低下するという短所がある。

本発明の目的は、アテンション基盤シーケンスツーシーケンスモデルの性能向上方法及び装置を提供する。

一実施形態に係るアテンション基盤シーケンスツーシーケンスモデルの性能向上方法は、アテンション基盤シーケンスツーシーケンスモデルに基づいて入力シーケンスに対応する出力シーケンスを決定するステップと、複数のアテンションヘッドのうち、１つ以上のターゲットアテンションヘッドを選択するステップと、前記出力シーケンスを構成する出力トークンのうち、前記ターゲットアテンションヘッドに基づいて、１つ以上のエラー出力トークンを検出するステップと、前記１つ以上のエラー出力トークンに基づいて前記出力シーケンスを補正するステップと、を含む。

前記選択するステップは、前記ターゲットアテンションヘッドに対応するターゲットアテンション重み行列になるように学習された特定のアテンション重み行列を作り出すアテンションヘッドを前記ターゲットアテンションヘッドとして選択するステップを含み得る。

前記特定のアテンション重み行列は、予め決定された形態を有するガイド重み行列に基づいて、学習され得る。

前記ガイド重み行列は、出力シーケンス長さ、入力フレーム長さ、開始シフト、終了シフト、及びディフュージョン比率のうち少なくとも１つに基づいて決定され得る。

前記特定のアテンション重み行列は、ステップごとにアテンション重みの分布が異なるように学習され得る。

前記特定のアテンション重み行列は、以前ステップのアテンション重み累積和に基づいて、現在ステップのアテンション重みが決定されるように学習され得る。

前記選択するステップは、予め決定された目的に最も適するアテンション重み行列を生成するアテンションヘッドを、前記ターゲットアテンションヘッドとして選択するステップを含み得る。

前記選択するステップは、予め決定された目的による予め決定された形態を有するガイド重み行列に基づいて、前記ターゲットアテンションヘッドを選択するステップを含み得る。

前記選択するステップは、前記アテンション基盤シーケンスツーシーケンスモデルが単調性質を有する場合、前記複数のアテンションヘッドが作り出すアテンション重み行列に対して単調回帰分析（ｍｏｎｏｔｏｎｉｃ ｒｅｇｒｅｓｓｉｏｎ ａｎａｌｙｓｉｓ）を行って前記ターゲットアテンションヘッドを選択するステップを含み得る。

前記選択するステップは、前記複数のアテンションヘッドが作り出すアテンション重み行列のエントロピーに基づいて前記ターゲットアテンションヘッドを選択するステップを含み得る。

前記エントロピーに基づいて前記ターゲットアテンションヘッドを選択するステップは、前記アテンション重み行列のうち、前記エントロピーが最大のアテンション重み行列を作り出すアテンションヘッドを前記ターゲットアテンションヘッドとして選択するステップを含み得る。

前記エントロピーに基づいて前記ターゲットアテンションヘッドを選択するステップは、カルバック・ライブラー情報量（Ｋｕｌｌｂａｃｋ Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）に基づいて前記ターゲットアテンションヘッドを選択するステップを含み得る。

前記選択するステップは、アテンション重み行列の各行の分布間の距離が最も遠いアテンション重み行列を作り出すアテンションヘッドを前記ターゲットアテンションヘッドとして選択するステップを含み得る。

前記検出するステップは、前記ターゲットアテンションヘッドの前記入力シーケンスと前記出力シーケンスとの間のアテンション重みのうち、前記ターゲットアテンションヘッドのアテンション重みとガイド重み行列との差が閾値以上の１つ以上のエラーアテンション重みを検出するステップと、前記１つ以上のエラーアテンション重みに対応する出力トークンを前記１つ以上のエラー出力トークンとして決定するステップとを含み得る。

前記検出するステップは、前記ターゲットアテンションヘッドの前記入力シーケンスと前記出力シーケンスとの間のアテンション重みのうち、以前ステップのアテンション重みと閾値以上の類似度を有する１つ以上のエラーアテンション重みを検出するステップと、前記１つ以上のエラーアテンション重みに対応する出力トークンを前記１つ以上のエラー出力トークンとして決定するステップとを含み得る。

前記補正するステップは、前記１つ以上のエラー出力トークンを前記出力シーケンスから取り除くステップを含み得る。

前記補正するステップは、前記１つ以上のエラー出力トークンを取り除いた他の出力トークン候補のうち、次の入力トークンを決定するステップを含み得る。

一実施形態に係るアテンション基盤シーケンスツーシーケンスモデルの性能向上方法は、前記１つ以上のエラー出力トークンが出力されたステップの入力トークンを前記次の入力トークンとして決定するステップをさらに含み得る。

前記複数のアテンションヘッドの数は、前記アテンション基盤シーケンスツーシーケンスモデルのアテンションレイヤー数とデコーダーレイヤー数の積に該当し得る。

一実施形態に係るアテンション基盤シーケンスツーシーケンスモデルの電子装置は、アテンション基盤シーケンスツーシーケンスモデルに基づいて、入力シーケンスに対応する出力シーケンスを決定し、複数のアテンションヘッドのうち１つ以上のターゲットアテンションヘッドを選択し、前記出力シーケンスを構成する出力トークンのうち、前記ターゲットアテンションヘッドに基づいて、１つ以上のエラー出力トークンを検出し、前記１つ以上のエラー出力トークンに基づいて、前記出力シーケンスを補正する、プロセッサを含む。

前記プロセッサは、前記ターゲットアテンションヘッドに対応するターゲットアテンション重み行列になるよう学習された特定のアテンション重み行列を作り出すアテンションヘッドを、前記ターゲットアテンションヘッドとして選択し得る。

前記特定のアテンション重み行列は、予め決定された形態を有するガイド重み行列に基づいて、学習され得る。

前記特定のアテンション重み行列は、ステップごとにアテンション重みの分布が異なるように学習され得る。

前記プロセッサは、予め決定された目的に最も適するアテンション重み行列を生成するアテンションヘッドを、前記ターゲットアテンションヘッドとして選択し得る。

前記プロセッサは、予め決定された目的による予め決定された形態を有するガイド重み行列に基づいて、前記ターゲットアテンションヘッドを選択し得る。

前記プロセッサは、前記アテンション基盤シーケンスツーシーケンスモデルが単調性質を有する場合に、前記複数のアテンションヘッドが作り出すアテンション重み行列に対して単調回帰分析を行って、前記ターゲットアテンションヘッドを選択し得る。

前記プロセッサは、前記複数のアテンションヘッドが作り出すアテンション重み行列のエントロピーに基づいて、前記ターゲットアテンションヘッドを選択し得る。

前記プロセッサは、前記アテンション重み行列のうち、前記エントロピーが最大のアテンション重み行列を作り出すアテンションヘッドを、前記ターゲットアテンションヘッドとして選択し得る。

前記プロセッサは、アテンション重み行列の各行の分布間の距離が最も遠いアテンション重み行列を作り出すアテンションヘッドを、前記ターゲットアテンションヘッドとして選択し得る。

前記プロセッサは、前記ターゲットアテンションヘッドの前記入力シーケンスと前記出力シーケンスとの間のアテンション重みのうち、前記ターゲットアテンションヘッドのアテンション重みとガイド重み行列との差が第１閾値以上である、１つ以上のエラーアテンション重みを検出し、前記エラー１つ以上のアテンション重みに対応する出力トークンを、前記１つ以上のエラー出力トークンとして決定し得る。

前記プロセッサは、前記ターゲットアテンションヘッドの前記入力シーケンスと前記出力シーケンスとの間のアテンション重みのうち、以前ステップのアテンション重みと第２閾値以上の類似度を有する、１つ以上のエラーアテンション重みを検出し、前記エラーアテンション重みに対応する出力トークンを、前記１つ以上のエラー出力トークンとして決定し得る。

前記プロセッサは、前記１つ以上のエラー出力トークンを前記出力シーケンスから取り除くことができる。

前記プロセッサは、前記１つ以上のエラー出力トークンを取り除いた他の出力トークン候補のうち次の入力トークンを決定し得る。

前記プロセッサは、前記１つ以上のエラー出力トークンを出力したステップの入力トークンを前記次の入力トークンとして決定し得る。

一実施形態に係る電子装置は、入力シーケンスを受信し、前記入力シーケンスに基づいて、出力シーケンスを出力するエンコーダー及びデコーダーと、少なくとも１つのプロセッサとを含み、前記少なくとも１つのプロセッサは、前記デコーダーのアテンション基盤シーケンスツーシーケンスモデルに含まれた複数のアテンションヘッドのうちターゲットアテンションヘッドを選択し、前記ターゲットアテンションヘッドに基づいて前記出力シーケンスに含まれているエラー出力トークンを検出し、前記エラー出力トークンに基づいて前記出力シーケンスを補正し、前記補正された出力シーケンスを出力する。

前記エンコーダー及び前記デコーダーは、人工神経網に含まれてもよい。

前記少なくとも１つのプロセッサは、前記アテンション基盤シーケンスツーシーケンスモデルに格納されている複数のアテンション重み行列のうち前記ターゲットアテンションヘッドを選択し得る。

前記アテンション基盤シーケンスツーシーケンスモデルは、正しい結果が出る例題入力を前記エンコーダー及び前記デコーダーに入力することで、複数のアテンションヘッドに対応する複数のアテンション重み行列を格納し、前記少なくとも１つのプロセッサは、前記シーケンスツーシーケンスモデルの予め決定された目的に最も適するアテンション重み行列を生成するアテンションヘッドを、前記ターゲットアテンションヘッドとして選択し得る。

前記少なくとも１つのプロセッサは、前記複数のアテンションヘッドのうち特定アテンションヘッドを希望する形態のアテンション重み行列を生成するよう学習し、前記特定アテンションヘッドを前記特定アテンションヘッドとして決定し得る。

本発明によると、アテンション基盤シーケンスツーシーケンスモデルの性能向上方法及び装置を提供することができる。

一実施形態に係るシーケンスツーシーケンスモデルが使用されるシステムの構成図である。 一実施形態に係るエンコーダー−デコーダー構造のエンドツーエンド人工神経網を有する電子装置の動作を説明するための図である。 一実施形態に係るアテンション重みを決定する方法を説明するための図である。 一実施形態に係るアテンション重みを決定する方法を説明するための図である。 一実施形態に係るアテンション重み行列を説明するための図である。 一実施形態に係るアテンション重み行列を説明するための図である。 一実施形態に係る電子装置のブロック図である。 他の実施形態に係る電子装置のブロック図である。 一実施形態に係るアテンション基盤シーケンスツーシーケンスモデルの性能向上方法を説明するためのフローチャートである。 一実施形態に係る予め決定された形態を有するガイド重み行列を説明するための図である。 一実施形態に係る毎出力トークンを生成するとき以前とは異なるアテンション重みを有するように構成されたガイド重み行列を説明するための図である。

実施形態に対する特定な構造的又は機能的な説明は単なる例示を目的として開示されたものとして、様々な形態に変更される。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素としても命名することができる。

また、実施形態の構成要素を説明することにおいて、第１、第２、Ａ、Ｂ、（ａ）、（ｂ）などの用語を使用することができる。これらの用語は、その構成要素を他の構成要素と区別するためのものに過ぎず、その用語によって当該構成要素の本質や順序などが限定されることはない。いずれかの構成要素が他の構成要素に「連結」、「結合」、又は「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、各構成要素との間にさらなる構成要素が「連結」、「結合」、又は「接続」され得るものと理解されなければならない。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在、又は、付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義さがれない限り、技術的であるか又は科学的な用語を含む、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる、予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

以下、実施形態を添付の図面を参照しながら詳説する。各図面に提示された同じ参照符号は同じ部材を示す。

図１は、一実施形態に係るシーケンスツーシーケンスモデルが使用されるシステムの構成図である。

図１を参照すると、シーケンスツーシーケンス（Ｓｅｑｕｅｎｃｅ−ｔｏ−ｓｅｑｕｅｎｃｅ）モデルが使用されるシステムは、ユーザ端末１１０及び電子装置１２０を含む。図１に示すシーケンスツーシーケンスモデルが使用されるシステムの各構成要素は、機能的に区分される機能要素を示すものであって、少なくとも１つの構成要素が実際の物理的環境では互いに統合される形態において実現されてもよい。例えば、図１には、電子装置１２０が一種のサーバー装置として示されているが、実施形態によって電子装置１２０の各機能は、ユーザ端末１１０に内蔵されている形態に実現されてもよい。

シーケンスツーシーケンスモデルは、入力シーケンスから他のドメインの出力シーケンスを出力する様々な分野で使用され得る。例えば、シーケンスツーシーケンスモデルは、音声認識システム、機械翻訳システム、チャットボットシステムなどで使用され得る。音声認識システムは、音声を受信して音声認識文章を出力することができ、機械翻訳システムは、第１言語文章を受信し、これに対応する第２言語文章を出力することができ、チャットボットシステムは、質問を受信して、質問に対応する返答を出力することができる。以下では、説明の便宜のために音声認識システムにおけるシーケンスツーシーケンスモデルを基準にして説明するが、実施形態は、シーケンスツーシーケンスモデルが使用され得る様々な分野に適用されてもよい。

音声認識システムにおいて、ユーザ端末１１０は、入力シーケンス１３０を受信して電子装置１２０に伝達し、電子装置１２０から受信した出力シーケンス１４０をユーザに提供する端末である。図１において、ユーザ端末１１０は、スマートフォンとして示されているが、ユーザ端末１１０は、コンピュータ、ＵＭＰＣ（Ｕｌｔｒａ Ｍｏｂｉｌｅ ＰＣ）、ワークステーション、ネッブック（ｎｅｔ−ｂｏｏｋ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ポータブル（ｐｏｒｔａｂｌｅ）コンピュータ、ウェブタブレット（ｗｅｂ ｔａｂｌｅｔ）、無線電話機（ｗｉｒｅｌｅｓｓ ｐｈｏｎｅ）、モバイルフォン（ｍｏｂｉｌｅ ｐｈｏｎｅ）、ｅ−ブック（ｅ−ｂｏｏｋ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、ポータブルゲーム機、ナビゲーション（ｎａｖｉｇａｔｉｏｎ）装置、ブラックボックス（ｂｌａｃｋ ｂｏｘ）又はデジタルカメラ（ｄｉｇｉｔａｌ ｃａｍｅｒａ）のような電子装置の１つであり得る。

電子装置１２０は、話者の入力シーケンス１３０の入力を受けて認識結果である出力シーケンス１４０を提供するコンピュータ装置であって、シーケンスツーシーケンスモデル基盤の電子装置である。入力シーケンス１３０は、入力データと入力データから抽出された入力特徴ベクトルを含む。例えば、音声認識システムにおいて、入力シーケンス１３０は、入力音声と入力音声から抽出された入力音声特徴ベクトルを含む。また、コンピュータ装置は、ノート型パソコン、デスクトップ（ｄｅｓｋｔｏｐ）、ラップトップ（ｌａｐｔｏｐ）、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）などのモバイル装置であってもよいが、これに限定されることなく、演算装置が具備された全ての種類の装置を含んでもよい。

電子装置１２０は、人工神経網で構成されたシーケンスツーシーケンスモデルを構築し、構築されたシーケンスツーシーケンスモデルを用いて入力シーケンス１３０に対する認識結果である出力シーケンス１４０を提供する。人工神経網は、例えば、リカレントニューラルネットワーク（ＲＮＮ； Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、畳み込みニューラルネットワーク（ＣＮＮ； Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、セルフアテンション神経網（ＳＡＮＮ； Ｓｅｌｆ−Ａｔｔｅｎｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＢＲＮＮ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ ＲＮＮ）、ＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）、ＢＬＳＴＭ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ ＬＳＴＭ）、ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）、ＢＧＲＵ（Ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ ＧＲＵ）などであり得るが、これに限定されることはない。

また、電子装置１２０は、出力シーケンス１４０の正確度を向上するための補正装置を含む。補正装置は、電子装置１２０と機能的に区分される機能要素を示すものであり、実際の物理的環境では、補正装置の少なくとも１つの構成要素が電子装置１２０と統合される形態において実現されてもよい。電子装置１２０は、補正装置を用いて出力シーケンス１４０のエラーを検出し、補正された出力シーケンスを出力することができる。

以下では、図２Ａ〜図２Ｃを参照して、多重ヘッドアテンション基盤シーケンスツーシーケンスモデルの動作方法を説明し、図３Ａ〜図３Ｂを参照して、アテンション重み行列を説明し、図４Ａ〜図７を参照して、アテンション基盤シーケンスツーシーケンスモデルの性能向上方法を説明する。

図２Ａは、一実施形態に係るエンコーダー−デコーダー構造のエンドツーエンド人工神経網を有する電子装置の動作を説明するための図である。

図２Ａを参照すると、一実施形態に係る人工神経網は、エンコーダー２２０及びデコーダー２３０を含む。

人工神経網は、エンコーダー２２０−デコーダー２３０構造のエンドツーエンド人工神経網であり、モデルの全ての媒介変数が１つの損失関数に対して同時に訓練される経路が可能であるため、エンコーダー２２０とデコーダー２３０が同時に学習され得る。人工神経網は、一方のエンドから入力され、他方のエンドに出力を生成するが、入力及び出力を直接考慮してネットワーク重みを最適化することができる。人工神経網内のレイヤーのノードは非線型的で互いに影響を与える関係であり、各ノードから出力される値、ノード間の関係など、人工神経網のパラメータは学習によって最適化され得る。

エンコーダー２２０−デコーダー２３０構造のエンドツーエンド人工神経網は、エンコーダー２２０とデコーダー２３０が統合されたネットワーク構造であって、エンコーダー２２０とデコーダー２３０は、入力シーケンスから入力シーケンスに対応する出力シーケンスを直接生成する。

例えば、電子装置は、入力データ２１０から入力特徴ベクトル２１５を抽出し、エンコーダー２２０は、入力特徴ベクトル２１５を符号化し、符号化された特徴２２５を生成する。エンコーダー２２０は、入力特徴ベクトル２１５の次元を変換させ、符号化された特徴２２５を生成し得る。即ち、エンコーダー２２０は、入力シーケンスの意味を円滑に要約する役割を果たす。

符号化された特徴２２５は、人工神経網のデコーダー２３０に印加されてもよい。デコーダー２３０は、トークン単位で符号化された特徴２２５と以前に決定された認識結果に基づいて出力トークンを決定することができる。

具体的に、符号化された特徴２２５を受信したデコーダー２３０は、トークン単位で認識結果を出力し、トークンは、単語、部分語（ｓｕｂｗｏｒｄ）、単一字（ｃｈａｒａｃｔｅｒ）、あるいは単一字をなす単位（ハングルにおいては初声、中性、終声など）になる。以下では、デコーダー２３０が出力する全体認識結果を出力シーケンスと称する。出力シーケンスは、複数の出力トークンを含む。

デコーダー２３０は、決定されていない長さの出力を人工神経網で算出するために、終わりを意味する特殊トークンである＜ＥＯＳ＞が出力される以前まで、今まで推正したトークンを入力として次のトークンを１つずつ、次に、予測することができる。デコーダー２３０は、ステップごとにエンコーダー２２０から算出された情報に基づいて出力トークンを求めるが、ここでは、以前ステップの出力トークンに属して求めることができ、このような方法を自己回帰（ａｕｔｏ−ｒｅｇｒｅｓｓｉｖｅ）デコーディングと言う。

即ち、自己回帰デコーディングを行うエンドツーエンド人工神経網モデルから出力トークンに選択されたトークンが、次の入力トークンとして決定され得る。例えば、「ｔｅｌｌ ｍｅ ａ ｊｏｋｅ」という文章において「ｍｅ」を認識するとき、以前ステップの出力トークンである「ｔｅｌｌ」を考慮する。

但し、エンコーダー２２０−デコーダー２３０構造のエンドツーエンド人工神経網は、全体入力データを単一のベクトルに処理するため、入力データが長くなればデータの前の部分の情報が希薄にされ、出力シーケンスの品質が落ちる問題がある。これを解決するために、デコーダー２３０で出力トークンを推正するステップごとに、エンコーダー２２０における全体入力データを再度参考することができる。但し、全体入力データを全て同じ割合で参考にすることなく、該当ステップで予測しなければならない出力トークンと関連のある入力音声部分にもっと集中することができる。

より具体的に、入力シーケンスを構成している各入力フレームは、該当ステップで予測しなければならない出力トークンと関連する程度に応じて、アテンション重み（ａｔｔｅｎｔｉｏｎ ｗｅｉｇｈｔ）が設定され、デコーダー２３０は、設定されたアテンション重みに基づいて、ステップごとに出力トークンを推正することができる。

エンコーダー２２０とデコーダー２３０は、入力された入力特徴ベクトルから認識結果のシーケンスを生成するように予め学習されてもよい。例えば、エンコーダー２２０とデコーダー２３０のモデルパラメータ（例えば、シナプス接続の重みとニューロンの偏向）は、入力データに対応する正解データ対のシーケンスから認識結果のシーケンスを生成するように予め学習され得る。さらに、エンコーダー２２０とデコーダー２３０のアテンション重みについても、入力データに対応する正解テキスト対のシーケンスから認識結果のシーケンスを生成するように予め学習されてもよい。

図２Ｂ〜図２Ｃは、一実施形態に係るアテンション重みを決定する方法を説明するための図である。

図２Ｂを参照すると、エンコーダー２４０は、入力フレーム（例えば、ｉ_１〜ｉ_Ｎ、Ｎは入力フレームの数）を含む入力シーケンスを受信し、エンコーダーの隠れ状態ベクトル（例えば、ｈ_１〜ｈ_Ｎ）を生成することができる。

アテンションモジュール２５１は、デコーダー２５０がステップごとに出力トークンを推正するときに使用される、該当ステップで入力シーケンスを構成する各入力フレーム（例えば、ｉ_１〜ｉ_Ｎ）のアテンション重みを決定し、決定されたアテンション重みに基づいて、コンテキスト・ベクトル（ｃｏｎｔｅｘｔ ｖｅｃｔｏｒ）（例えば、ｃ_１〜ｃ_Ｍ、Ｍは出力トークンの数）を生成する。

多重ヘッドアテンション基盤シーケンスツーシーケンスモデルである場合、アテンションモジュール２５１は多重ヘッドアテンションモジュールであってもよく、アテンションレイヤーは複数のアテンションレイヤー（例えば、第１アテンションレイヤーないし第ｋアテンションレイヤー）を含み、各アテンションレイヤーは、並列的にアテンション重みを決定し、決定されたアテンション重みに基づいてコンテキスト・ベクトルを生成することができる。アテンションモジュール２５１は、暗黙的に様々な役割をするように学習された複数のアテンションレイヤーを用いてもよい。

デコーダー２５０は、以前ステップのデコーダーの隠れ状態ベクトルｓ_ｔ−１、以前ステップの出力トークンｙ_ｔ−１、及び現在ステップのコンテキスト・ベクトルｃ_ｔが入力され、現在ステップのデコーダーの隠れ状態ベクトルｓ_ｔ及び現在ステップの出力トークンｙ_ｔを抽出する。デコーダーが現在ステップで出力トークンを抽出するときに使用される現在ステップのコンテキスト・ベクトルｃ_ｔは次の数式（１）のように求めることができる。

数式（１）のα^ｔ _ｉは、ステップｔに対してｉ番目の入力フレームに対するアテンション重みを意味する。

図２Ｃを参照すると、α^ｔ _ｉは、ステップｔに対してｉ番目の入力フレームに対するアテンション重みで全ての入力フレーム（例えば、１番目からＮ番目のまで）に対するアテンション重みを和すると１である。もし、α^ｔ _１ないしα^ｔ _Ｎのうちα^ｔ _２の値が最大である場合、デコーダー２５０は、現在ステップｔで２番目の入力フレームに最も集中して出力トークンを抽出することができる。

多重ヘッドアテンションモデルは、既存の単一アテンションモデルよりも性能が改善されたが、可変の長さを出力するシーケンスツーシーケンスモデルの慢性的な短所である一部の出力をジャンピング（ｊｕｍｐｉｎｇ）したり、以前出力の内容を繰り返す（ｒｅｐｅａｔｉｎｇ）という問題が依然として残っている。

例えば、多重ヘッド基盤シーケンスツーシーケンスモデルは「ｔｅｌｌ ｍｅ ａ ｊｏｋｅ」という文章に対応する音声が入力される場合、場合に応じて、「ｔｅｌｌ」の後に「ｍｅ ａ」をジャンピングして「ｊｏｋｅ」を出力する現象が発生し得る。

また、多重ヘッド基盤シーケンスツーシーケンスモデルは、下記のように珍しい音声あるいは前に見られなかった単語（ｅｓｓｅｎｄｉ ｒｅｒｕｍ）に対応する音声が入力されると、下表１のように節、あるいは一つの単語を繰り返す現象が発生し得る。

これに、一実施形態に係る補正装置は、複数のアテンションヘッドのうちターゲットアテンションヘッドを選択し、ターゲットアテンションヘッドに基づいて１つ以上のエラー出力トークンを検出し、エラー出力トークンに基づいて出力シーケンスを補正して電子装置の最終出力シーケンスの正確度を向上することができる。

図３Ａ〜図３Ｂは、一実施形態に係るアテンション重み行列を説明するための図である。

一実施形態に係るアテンション重み行列は、出力シーケンスを構成するそれぞれの出力トークンに対して、入力シーケンスを構成するそれぞれの入力フレームのアテンション重みをエレメントとして有してもよい。例えば、電子装置が「ｔｅｌｌ ｍｅ ａ ｊｏｋｅ」のような出力シーケンスを出力するケースであり、アテンション重み行列は下記の表２の通りである。

表２の例示において、出力トークンは単語単位であり、各入力フレームは、１０ｍｓの時間単位を有してもよい。表２を参照すると、出力トークン「ｔｅｌｌ」の場合、入力フレームｉ_１のアテンション重みが０．９として最も大きく、ｉ_２のアテンション重みは０．０７として２番目に大きく、ｉ_３のアテンション重みは０．０２として３番目に大きく、ｉ_１〜ｉ_３のアテンション重みを全て和すると、０．９９であり、出力トークン「ｔｅｌｌ」は入力フレームｉ_１〜ｉ_３に集中して抽出されることが分かる。

多重ヘッド基盤シーケンスツーシーケンスモデルでは、アテンションヘッド当たり１つのアテンション重み行列が作られ、各アテンション重み行列は暗黙的に各自の役割を果たすように学習され得る。例えば、ｎ個のアテンションヘッドを有する多重ヘッド基盤シーケンスツーシーケンスモデルでは、ｎ個のアテンション重み行列が作られてもよい。

図３Ａを参照すると、アテンション重み行列のアテンション重みは色を用いて表現されてもよい。例えば、２つのアテンション重み行列３１０、３２０において、アテンション重みが大きいほど白色に近く表現され、反対に、アテンション重みが小さいほど黒色に近づいて表現される。２つのアテンション重み行列３１０、３２０の横軸は、左側から右側に時間の流れによる入力フレームの順であり、縦軸は、上側から下側に時間の流れによる出力トークン（例えば、単語）の順である。

複数のアテンション重み行列を用いて出力シーケンスを推正する場合、それぞれのアテンション重み行列の役割が異なってもよい。暗黙的に学習されたが、２つのアテンション重み行列３１０、３２０は互いに異なる役割を行っているものと解釈できる。例えば、アテンション重み行列３１０は、音声のうち、実際発話のない黙音区間でアテンション重みが大きく示され、これは出力を構成するとき背景騒音を無視できるように助け、アテンション重み行列３２０は、各単語が実際発話された音声の位置でアテンション重みが高いことから、実際に認識する単語の音声部分に集中可能にする。

前述したように、多重ヘッドアテンションモデルは、既存の単一アテンションモデルより性能が改善しているものの、可変の長さを出力するシーケンスツーシーケンスモデルの慢性的な短所である一部の出力をジャンピングしたり、以前の出力内容を繰り返すという問題がある。

例えば、図３Ｂに示すアテンション重み行列３３０は、認識を正常にできず、繰り返されるエラーを出力する場合のアテンション重み行列である。アテンション重み行列３３０は、アテンション重み行列３２０のようなアテンションヘッドで作られたアテンション重み行列であってもよいが、アテンション重み行列３２０は、正常に出力トークンを生成するときのアテンション重み行列であってもよく、アテンション重み行列３３０は、以前の出力内容を繰り返すエラーを出力する場合のアテンション重み行列であってもよい。アテンション重み行列３３０を参照すると、出力トークン軸であるｘ軸を基準にして、約１／３地点までは結果が正常に出力されたが、その後の数個の出力トークン（例えば、単語）が繰り返されて出力されていることが分かる。

一実施形態に係る補正装置は、上記のようなエラーを補正するために、特定のアテンションヘッドを選択し、このアテンションヘッド（以下、ターゲットアテンションヘッド）のアテンション重みを分析しエラー出力を抑制することで、多重ヘッドアテンションシーケンス−ツー−シーケンスモデルの性能を高めることができる。具体的なアテンション基盤シーケンスツーシーケンスモデルの性能向上方法については、次の図４Ａ〜図７を参照して説明される。

図４Ａは、一実施形態に係る電子装置のブロック図である。
図４Ａを参照すると、一実施形態に係る電子装置４０１は、エンコーダー４２０、デコーダー４３０、ターゲットアテンションヘッド選択モジュール４６０、及びエラー出力トークン検出及び補正モジュール４７０を含む。但し、図４Ａには、実施形態に係る構成要素のみが示されており、他の汎用的な構成要素がさらに含まれてもよい。また、図４Ａに示す電子装置４０１の各構成要素は、機能的及び論理的に分離できることを示すために別途に示し、物理的に必ずしも別途の構成要素、又は別途のコードに実現されることを意味するものではなく、実際の物理的環境では互いに統合される形態において実現され得ることに留意しなければならない。以下、電子装置４０１の各構成要素について説明する。

電子装置４０１は、特徴ベクトル抽出モジュール（図示せず）をさらに含む。特徴ベクトル抽出モジュールは、入力信号（例えば、音声信号）から特徴ベクトルを抽出する。入力信号は、複数のフレームごとの情報を含む信号であり、特徴ベクトルは、少なくとも１つのフレーム単位に抽出された情報のシーケンスであり、多次元のベクトルに表現されてもよい。以下、入力シーケンスは、入力信号と入力信号から抽出された特徴ベクトルを含んでもよく、入力フレーム単位で情報を含んでもよい。

図４Ａに示すエンコーダー４２０及びデコーダー４３０は、図２Ａを参照して説明したエンコーダー２２０及びデコーダー２３０に対応する。したがって、図２Ａと重複される説明は省略することにする。デコーダー４３０は、ステップごとに出力トークンを推正するたびに、どのような入力フレームにもっと集中することがよいかを決定するアテンションモジュール４４０を含む。具体的に、アテンションモジュール４４０は、デコーダー４３０がステップごとに出力トークンを推正するとき使用され、該当ステップで入力シーケンスを構成している各入力フレームのアテンション重みを決定するデコーダー４３０は、設定されたアテンション重みに基づいてステップごとに出力トークンを推正することができる。アテンションモジュール４４０は、多重ヘッドアテンションモジュールであってもよい。多重ヘッドアテンションモジュールは、様々な役割を果たすように学習された複数のアテンションレイヤーを用いて、全体ディメンションに対して１回のみのアテンションを適用することなく、全体ディメンションを複数に分けてアテンションを複数回適用させることができる。また、アテンションモジュール４４０は、全てのアテンションヘッドのアテンション重み行列を格納することができる。

電子装置４０１は、エンコーダー４２０及びデコーダー４３０を用いて入力シーケンス４１０に対応する出力シーケンス４５０を出力する。但し、前述したように、予想とは異なる出力シーケンス４５０が出力されてもよい。

一実施形態に係る電子装置４０１は、ターゲットアテンションヘッド選択モジュール４６０を用いて複数のアテンションヘッドのうち、ターゲットアテンションヘッドを選択し、エラー出力トークン検出及び補正モジュール４７０を用いて選択されたターゲットアテンションヘッドに基づいて、出力シーケンスに含まれた出力トークンのうちエラー出力トークンを検出し、補正された出力シーケンス４８０を最終結果として出力することができる。

より具体的に、ターゲットアテンションヘッド選択モジュール４６０は、アテンションモジュール４４０に格納されている複数のアテンション重み行列のうち、ターゲットアテンションヘッドを選択してもよい。アテンションモジュール４４０は、エンコーダー４２０及びデコーダー４３０に正しい結果が出る例題を入力し、全てのアテンションヘッドに対するアテンション重み行列を格納することができ、ターゲットアテンションヘッド選択モジュール４６０は、格納されている全てのアテンションヘッドのうちシーケンスツーシーケンスモデルが行う目的に応じて、最も適切なアテンション重み行列を作り出すアテンションヘッドをターゲットアテンションヘッドとして選定することができる。ここで、アテンション重み行列を格納してターゲットアテンションヘッドを選定する動作について、エラー可否の判断を受けようとする入力シーケンス４１０が入力される以前に予め行われ得る。

前述したように、電子装置４０１は、補正装置を含み、補正装置は、ターゲットアテンションヘッド選択モジュール４６０及びエラー出力トークン検出及び補正モジュール４７０を含む。

図４Ｂは、他の実施形態に係る電子装置のブロック図である。

図４Ｂに示す電子装置４０２は、図４Ａに示す電子装置４０１のターゲットアテンションヘッド選択モジュール４６０の代りにアテンションガイドモジュール４９０を含んでもよい。図１〜図４Ａに示す説明は図４Ｂにも適用可能であるため、重複される内容の説明は省略する。

図４Ａに示す電子装置４０１がアテンションモジュール４４０に格納されているアテンション重み行列のうち、ターゲットアテンションヘッドを選択することとは異なって、図４Ｂに示す電子装置４０２は、明示的に特定アテンションヘッドをターゲットアテンションヘッドとして活用するよう学習することができる。

より具体的に、アテンションガイドモジュール４９０は、任意に決定されたアテンションヘッドが希望する形態のアテンション重み行列を生成するように学習することができ、後で出力シーケンスのエラー可否を判断する時、エラー出力トークン検出及び補正モジュール４７０にターゲットアテンションレイヤーに学習したアテンションヘッドを知らせることができる。

前述したように、電子装置４０２は補正装置を含んでもよく、補正装置は、アテンションガイドモジュール４９０、及び、エラー出力トークン検出及び補正モジュール４７０を含んでもよい。

図５は、一実施形態に係るアテンション基盤シーケンスツーシーケンスモデルの性能向上方法を説明するためのフローチャートである。

図５を参照すると、ステップＳ５１０〜Ｓ５４０は図１ないし図４Ｂを参照して前述した電子装置によって行うことができる。電子装置は、１つ以上のハードウェアモジュール、１つ以上のソフトウェアモジュール、又はこれらの様々な組み合せによって実現され、前述したように、電子装置は、補正装置を含む。図１ないし図４Ｂの説明は図５にも適用され得るため、重複する内容の説明は省略する。

ステップＳ５１０において、電子装置は、アテンション基盤シーケンスツーシーケンスモデルに基づいて入力シーケンスに対応する出力シーケンスを決定する。例えば、電子装置は、入力音声又は入力音声に対応する入力音声特徴ベクトルを受信してもよい。

ステップＳ５２０において、電子装置は、複数のアテンションヘッドのうち、１つ以上のターゲットアテンションヘッドを選択する。多重ヘッドアテンション基盤シーケンスツーシーケンスモデルに基盤した電子装置は、アテンションレイヤー数とデコーダーレイヤー数の積分だけのアテンションヘッドを有してもよい。それぞれのアテンションヘッドが作り出すアテンション重み行列の役割が異なってもよい。電子装置は、互いに異なる役割を行うアテンション重み行列を作り出すアテンションヘッドのうち、該当する多重ヘッドアテンション基盤シーケンスツーシーケンスモデルが行う目的に最も適したアテンション重み行列を作り出す１つ以上のアテンションヘッドをターゲットアテンションヘッドとして選定してもよい。

ターゲットアテンションヘッドを選択する方法は、大きく２つに区分される。第１に、電子装置に正しい結果が出る例題入力を入れ、全てのアテンションヘッドに対するアテンション重み行列を予め格納し、格納された全てのアテンションヘッドのうち、シーケンスツーシーケンスモデルが行う目的に応じて最も適切なアテンション重み行列を作り出すアテンションヘッドを求める方法である。第２に、任意に決定されたアテンションヘッドが希望する形態のアテンション重み行列を生成するように学習し、そのように学習されたアテンション重み行列をターゲットアテンションレイヤーとして選択する方法である。

第１の方法によれば、電子装置は、複数のアテンションヘッドのうち、予め決定された目的に最も適するアテンション重み行列を生成するアテンションヘッドをターゲットアテンションヘッドとして選択する。

一実施形態によると、電子装置は、予め決定された目的による予め決定された形態を有するガイド重み行列に基づいて、ターゲットアテンションヘッドを選択してもよい。例えば、音声認識は、入力シーケンス（例えば、入力音声）と出力シーケンス（例えば、認識された単語）を時間に応じてマッピングすれば単調性質を有することになる。この場合、電子装置は、複数のアテンションヘッドが作り出すアテンション重み行列に対して単調回帰分析（ｍｏｎｏｔｏｎｉｃ ｒｅｇｒｅｓｓｉｏｎ ａｎａｌｙｓｉｓ）を行い、最も単調性質を満足するアテンションヘッドをターゲットアテンションヘッドとして選択する。この場合、ガイド重み行列は、単調行列であってもよい。

図６は、一実施形態に係る予め決定された形態を有するガイド重み行列を説明するための図である。

図６を参照すると、ガイド重み行列６００は、アテンション基盤シーケンスツーシーケンスモデルが単調性質を有するように誘導するアテンション重みを有し得る。ガイド重み行列６００のアテンション重みは、下記の数式（２）のように決定される。

数式（２）において、ｉは出力シーケンスの長さ、ｊは入力シーケンスの長さ、ｓ_ｂは開始シフト（ｓｔａｒｔ ｓｈｉｆｔ）、ｓ_ｅは終了シフト（ｅｎｄ ｓｈｉｆｔ）、ｇはディフュージョン比率（ｄｉｆｆｕｓｉｏｎ ｒａｔｉｏ）を意味する。図面６１０を参照すると、ガイド重み行列６００の色はアテンション重みを意味する。

また、図５を参照すると、第１方法の他の例として、翻訳、要約など入力を多様に見なければならないタスクの場合、ガイド重み行列のガイドアテンション重みは予め決定された形態を有するものではない、出力トークンを生成するたびに以前とは異なるアテンション重みを有するよう構成される。このような場合、電子装置は、複数のアテンションヘッドが作り出すアテンション重み行列のエントロピー（ｅｎｔｒｏｐｙ）に基づいてターゲットアテンションヘッドを選択することができる。電子装置は、アテンション重み行列のうち、エントロピーが最大のアテンション重み行列を作り出すアテンションヘッドを前記ターゲットアテンションヘッドとして選択してもよい。例えば、電子装置は、アテンション重み行列のうち、アテンション重み行列の各行の分布間の距離が最も遠いアテンション重み行列を作り出すアテンションヘッドをターゲットアテンションヘッドとして選択してもよい。具体的に、電子装置は、カルバック・ライブラー情報量（Ｋｕｌｌｂａｃｋ Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）を算出し、カルバック・ライブラー情報量が最大のアテンション重みを作り出すアテンションヘッドをターゲットアテンションヘッドとして選択してもよい。当該分野で通常の知識を有する者であれば、カルバック・ライブラー情報量を明確に理解できるため、より詳細な説明は省略する。

図７は、一実施形態に係る出力トークンを生成するたびに以前とは異なるアテンション重みを有するよう構成されたガイド重み行列を説明するための図である。

図７を参照すると、ガイド重み行列７００は、出力トークンを生成するたびに以前とは異なるアテンション重みを有するよう構成されてもよい。図７において、ｘ軸は出力シーケンス、ｙ軸は入力シーケンスに対応する。ｔ出力トークンを予測するとき、以前出力トークンを予測するとき、比重の低かった６番目の入力フレームにさらに大きいアテンション重みを有してもよい。

また、図５を参照すると、２番目の方法によれば、電子装置は、任意に決定されたアテンションヘッドが希望する形態のアテンション重み行列を生成するように学習し、そのように学習されたアテンション重み行列をターゲットアテンションレイヤーとして選択してもよい。電子装置は、ターゲットアテンションヘッドに対応するターゲットアテンション重み行列になるよう学習された特定のアテンション重み行列を作り出すアテンションヘッドをターゲットアテンションヘッドとして選択してもよい。

一例として、特定のアテンション重み行列は、予め決定された目的による予め決定された形態を有するガイド重み行列に基づいて学習されてもよい。予め決定された目的による予め決定された形態を有するガイド重み行列は、１番目の方法により前述したガイド行列である。例えば、電子装置は、図６に示すガイド行列６００に基づいて特定のアテンション重み行列が単調性質を有するように学習してもよい。

他の例として、翻訳、要約など入力を多様に見なければならないタスクの場合、特定のアテンション重み行列は、ステップごとにアテンション重みの分布が異なるように学習されてもよい。特定のアテンション重み行列は、以前ステップのアテンション重みの累積和に基づいて、現在ステップのアテンション重みが決定されるように学習されてもよい。例えば、図７を参照すると、出力トークンを予測するステップごとに以前ステップのアテンション重み累積和を算出し、以前ステップのアテンション重み累積和が小さい箇所に高いアテンション重みを有するよう特定のアテンション重み行列を学習することができる。

第２方法において、特定のアテンション重み行列を学習する方法として、ガイド重み行列をバイアスのように活用し、人工神経網学習過程で自然にガイド重み行列と類似形態のアテンション重みを生成するよう学習したり、明示的にカルバック・ライブラー情報量のような損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）を人工神経網学習損失として追加してもよい。

ステップＳ５３０において、電子装置は、出力シーケンスを構成する出力トークンのうち、ターゲットアテンションヘッドに基づいて、１つ以上のエラー出力トークンを検出する。電子装置は、出力シーケンスのエラー可否を判断する前に、予めターゲットアテンションヘッドを決定してもよい。電子装置は、決定されたターゲットアテンションヘッドに基づいて、１つ以上のエラー出力トークンを検出してもよい。

一例として、電子装置は、ターゲットアテンションヘッドのエラー可否の判断対象の入力シーケンスと出力シーケンスとの間のアテンション重み行列（以下では、対象アテンション重み行列と称する）を取得することができる。電子装置は、対象アテンション重み行列のアテンション重みとガイド重み行列のアテンション重みとの差が、第１閾値以上である、１つ以上のエラーアテンション重みを検出することができる。例えば、電子装置は、対象アテンション重み行列のアテンション重みとガイド重み行列のアテンション重みのカルバック・ライブラー情報量の差が、第１閾値以上である、１つ以上のエラーアテンション重みを検出してもよい。電子装置は、エラーアテンション重みに対応する出力トークンを前記エラー出力トークンとして決定してもよい。

他の例として、翻訳、要約などの入力を様々に見なければならないタスクの場合、電子装置は、対象アテンション重み行列のアテンション重みのうち、以前ステップのアテンション重みと第２閾値以上の類似度を有する１つ以上のエラーアテンション重みを検出してもよい。

ステップＳ５４０において、電子装置は、エラー出力トークンに基づいて、出力シーケンスを補正する。一実施形態に係る電子装置は、一旦、出力シーケンスの全体を決定した後で、エラー出力トークンを検出し、エラー出力トークンに基づいて、出力シーケンスを補正してもよい。この場合、電子装置は、エラー出力トークンを出力シーケンスから取り除くことで、出力シーケンスのエラーを補正することができる。

又は、他の実施形態に係る電子装置は、リアルタイムで出力トークンを予測するステップごとにエラー出力トークンを検出し、エラー出力トークンに基づいて、出力シーケンスを補正してもよい。エラー出力トークンを修正しない場合、電子装置は、エラー出力トークンに基づいて、次の出力トークンを決定するしかない。しかし、電子装置は、エラー出力トークンを出力シーケンスから取り除くだけでなく、エラー出力トークンを取り除いた他の出力トークン候補のうち、次の入力トークンを決定することができる。一実施形態によると、エラー出力トークンを出力したステップの入力トークンを、次の入力トークンとして決定してもよい。「ｔｅｌｌ ｍｅ ａ ｊｏｋｅ」という文章に対応する音声が入力される場合、場合に応じて、「ｔｅｌｌ」の後に「ｍｅ ａ」をジャンピングし「ｊｏｋｅ」を出力する現象が発生する場合、「ｊｏｋｅ」を次の入力トークンとして入力せず、「ｔｅｌｌ」をもう１回入力トークンとして入力する。又は、エラー出力トークンを除外し、最も高い確率を有する出力トークン候補を次の入力トークンとして決定することができる。

一実施形態に係る電子装置は、下記の表３のように、一単語を繰り返す現象を補正したことが分かる。

実施形態に係る方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの１つ以上の組合せを含み、希望通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり、処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、もしくは、送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり、実行され得る。ソフトウェア及びデータは、１つ以上のコンピュータで読出し可能な記録媒体に格納され得る。

上述したように、実施形態がたとえ限定された図面によって説明されても、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて、様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が、説明された方法と異なる順で実行され得るし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が、説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。

したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

１１０ ユーザ端末 １２０ 電子装置
２１０ 入力データ
２１５ 入力特徴ベクトル
２２０ エンコーダー
２２５ 符号化された特徴
２３０ デコーダー
２４０ エンコーダー
２５０ デコーダー
３１０、３２０、３３０ アテンション重み行列
４０１、４０２ 電子装置

Claims (40)

1. アテンション基盤シーケンスツーシーケンスモデルに基づいて、入力シーケンスに対応する出力シーケンスを決定するステップと、
   複数のアテンションヘッドのうち、１つ以上のターゲットアテンションヘッドを選択するステップと、
   前記出力シーケンスを構成する出力トークンのうち、前記ターゲットアテンションヘッドに基づいて、１つ以上のエラー出力トークンを検出するステップと、
   前記１つ以上のエラー出力トークンに基づいて、前記出力シーケンスを補正するステップと、
   を含む、アテンション基盤シーケンスツーシーケンスモデルの性能向上方法。
2. 前記選択するステップは、
   前記ターゲットアテンションヘッドに対応するターゲットアテンション重み行列になるように学習された特定のアテンション重み行列を作り出すアテンションヘッドを、前記ターゲットアテンションヘッドとして選択する、ステップを含む、
   請求項１に記載の性能向上方法。
3. 前記特定のアテンション重み行列は、予め決定された形態を有するガイド重み行列に基づいて学習される、
   請求項２に記載の性能向上方法。
4. 前記ガイド重み行列は、出力シーケンス長さ、入力フレーム長さ、開始シフト、終了シフト、及びディフュージョン比率のうち少なくとも１つに基づいて、決定される、
   請求項３に記載の性能向上方法。
5. 前記特定のアテンション重み行列は、ステップごとにアテンション重みの分布が異なるように学習される、
   請求項２に記載の性能向上方法。
6. 前記特定のアテンション重み行列は、以前ステップのアテンション重み累積和に基づいて、現在ステップのアテンション重みが決定されるように学習される、
   請求項２に記載の性能向上方法。
7. 前記選択するステップは、
   予め決定された目的に最も適するアテンション重み行列を生成するアテンションヘッドを、前記ターゲットアテンションヘッドとして選択する、ステップを含む、
   請求項１に記載の性能向上方法。
8. 前記選択するステップは、
   予め決定された目的による予め決定された形態を有するガイド重み行列に基づいて、前記ターゲットアテンションヘッドを選択する、ステップを含む、
   請求項１に記載の性能向上方法。
9. 前記選択するステップは、
   前記アテンション基盤シーケンスツーシーケンスモデルが単調性質を有する場合に、前記複数のアテンションヘッドが作り出すアテンション重み行列に対して単調回帰分析を行って、前記ターゲットアテンションヘッドを選択する、ステップを含む、
   請求項１に記載の性能向上方法。
10. 前記選択するステップは、
    前記複数のアテンションヘッドが作り出すアテンション重み行列のエントロピーに基づいて、前記ターゲットアテンションヘッドを選択する、ステップを含む、
    請求項１に記載の性能向上方法。
11. 前記エントロピーに基づいて、前記ターゲットアテンションヘッドを選択するステップは、
    前記アテンション重み行列のうち、前記エントロピーが最大のアテンション重み行列を作り出すアテンションヘッドを、前記ターゲットアテンションヘッドとして選択する、ステップを含む、
    請求項１０に記載の性能向上方法。
12. 前記エントロピーに基づいて、前記ターゲットアテンションヘッドを選択するステップは、
    カルバック・ライブラー情報量に基づいて、前記ターゲットアテンションヘッドを選択する、ステップを含む、
    請求項１０に記載の性能向上方法。
13. 前記選択するステップは、
    アテンション重み行列の各行の分布間の距離が最も遠いアテンション重み行列を作り出すアテンションヘッドを、前記ターゲットアテンションヘッドとして選択する、ステップを含む、
    請求項１に記載の性能向上方法。
14. 前記検出するステップは、
    前記ターゲットアテンションヘッドの前記入力シーケンスと前記出力シーケンスとの間のアテンション重みのうち、前記ターゲットアテンションヘッドのアテンション重みとガイド重み行列との差が閾値以上である、１つ以上のエラーアテンション重みを検出するステップと、
    前記１つ以上のエラーアテンション重みに対応する出力トークンを、前記１つ以上のエラー出力トークンとして決定するステップと、
    を含む、請求項１に記載の性能向上方法。
15. 前記検出するステップは、
    前記ターゲットアテンションヘッドの前記入力シーケンスと前記出力シーケンスとの間のアテンション重みのうち、以前ステップのアテンション重みと閾値以上の類似度を有する、１つ以上のエラーアテンション重みを検出するステップと、
    前記１つ以上のエラーアテンション重みに対応する出力トークンを、前記１つ以上のエラー出力トークンとして決定するステップと、
    を含む、請求項１に記載の性能向上方法。
16. 前記補正するステップは、
    前記１つ以上のエラー出力トークンを前記出力シーケンスから取り除くステップを含む、
    請求項１に記載の性能向上方法。
17. 前記補正するステップは、
    前記１つ以上のエラー出力トークンを取り除いた他の出力トークン候補のうち、次の入力トークンを決定する、ステップを含む、
    請求項１に記載の性能向上方法。
18. 前記性能向上方法は、さらに、
    前記１つ以上のエラー出力トークンが出力されたステップの入力トークンを、前記次の入力トークンとして決定する、ステップを含む、
    請求項１７に記載の性能向上方法。
19. 前記複数のアテンションヘッドの数は、前記アテンション基盤シーケンスツーシーケンスモデルのアテンションレイヤー数とデコーダーレイヤー数の積に該当する、
    請求項１に記載の性能向上方法。
20. コンピュータで読取り可能な記憶媒体に保管された、インストラクションを含むコンピュータプログラムであり、
    前記インストラクションが実行されると、前記コンピュータのハードウェアと協働して、請求項１乃至１９いずれか一項に記載の方法を実施する、
    コンピュータプログラム。
21. プロセッサを含む、アテンション基盤シーケンスツーシーケンスモデルの電子装置であって、前記プロセッサは、
    アテンション基盤シーケンスツーシーケンスモデルに基づいて、入力シーケンスに対応する出力シーケンスを決定し、
    複数のアテンションヘッドのうち１つ以上のターゲットアテンションヘッドを選択し、
    前記出力シーケンスを構成する出力トークンのうち、前記ターゲットアテンションヘッドに基づいて、１つ以上のエラー出力トークンを検出し、
    前記１つ以上のエラー出力トークンに基づいて、前記出力シーケンスを補正する、
    電子装置。
22. 前記プロセッサは、
    前記ターゲットアテンションヘッドに対応するターゲットアテンション重み行列になるよう学習された特定のアテンション重み行列を作り出すアテンションヘッドを、前記ターゲットアテンションヘッドとして選択する、
    請求項２１に記載の電子装置。
23. 前記特定のアテンション重み行列は、予め決定された形態を有するガイド重み行列に基づいて学習される、
    請求項２２に記載の電子装置。
24. 前記特定のアテンション重み行列は、ステップごとにアテンション重みの分布が異なるように学習される、
    請求項２２に記載の電子装置。
25. 前記プロセッサは、
    予め決定された目的に最も適するアテンション重み行列を生成するアテンションヘッドを、前記ターゲットアテンションヘッドとして選択する、
    請求項２１に記載の電子装置。
26. 前記プロセッサは、
    予め決定された目的による予め決定された形態を有するガイド重み行列に基づいて、前記ターゲットアテンションヘッドを選択する、
    請求項２１に記載の電子装置。
27. 前記プロセッサは、
    前記アテンション基盤シーケンスツーシーケンスモデルが単調性質を有する場合に、前記複数のアテンションヘッドが作り出すアテンション重み行列に対して単調回帰分析を行って、前記ターゲットアテンションヘッドを選択する、
    請求項２１に記載の電子装置。
28. 前記プロセッサは、
    前記複数のアテンションヘッドが作り出すアテンション重み行列のエントロピーに基づいて、前記ターゲットアテンションヘッドを選択する、
    請求項２１に記載の電子装置。
29. 前記プロセッサは、
    前記アテンション重み行列のうち、前記エントロピーが最大のアテンション重み行列を作り出すアテンションヘッドを、前記ターゲットアテンションヘッドとして選択する、
    請求項２８に記載の電子装置。
30. 前記プロセッサは、
    アテンション重み行列の各行の分布間の距離が最も遠いアテンション重み行列を作り出すアテンションヘッドを、前記ターゲットアテンションヘッドとして選択する、
    請求項２１に記載の電子装置。
31. 前記プロセッサは、
    前記ターゲットアテンションヘッドの前記入力シーケンスと前記出力シーケンスとの間のアテンション重みのうち、前記ターゲットアテンションヘッドのアテンション重みとガイド重み行列との差が第１閾値以上である、１つ以上のエラーアテンション重みを検出し、
    前記１つ以上のエラーアテンション重みに対応する出力トークンを、前記１つ以上のエラー出力トークンとして決定する、
    請求項２１に記載の電子装置。
32. 前記プロセッサは、
    前記ターゲットアテンションヘッドの前記入力シーケンスと前記出力シーケンスとの間のアテンション重みのうち、以前ステップのアテンション重みと第２閾値以上の類似度を有する、１つ以上のエラーアテンション重みを検出し、
    前記エラーアテンション重みに対応する出力トークンを、前記１つ以上のエラー出力トークンとして決定する、
    請求項２１に記載の電子装置。
33. 前記プロセッサは、
    前記１つ以上のエラー出力トークンを前記出力シーケンスから取り除く、
    請求項２１に記載の電子装置。
34. 前記プロセッサは、
    前記１つ以上のエラー出力トークンを取り除いた他の出力トークン候補のうち次の入力トークンを決定する、
    請求項２１に記載の電子装置。
35. 前記プロセッサは、
    前記１つ以上のエラー出力トークンを出力したステップの入力トークンを、前記次の入力トークンとして決定する、
    請求項３４に記載の電子装置。
36. 電子装置であって、
    入力シーケンスを受信し、前記入力シーケンスに基づいて、出力シーケンスを出力する、エンコーダー及びデコーダーと、
    少なくとも１つのプロセッサと、
    を含み、
    前記少なくとも１つのプロセッサは、
    前記デコーダーのアテンション基盤シーケンスツーシーケンスモデルに含まれた複数のアテンションヘッドのうちターゲットアテンションヘッドを選択し、
    前記ターゲットアテンションヘッドに基づいて、前記出力シーケンスに含まれているエラー出力トークンを検出し、
    前記エラー出力トークンに基づいて、前記出力シーケンスを補正し、
    前記補正された出力シーケンスを出力する、
    電子装置。
37. 前記エンコーダー及び前記デコーダーは、人工神経網に含まれている、
    請求項３６に記載の電子装置。
38. 前記少なくとも１つのプロセッサは、
    前記アテンション基盤シーケンスツーシーケンスモデルに格納されている複数のアテンション重み行列のうち、前記ターゲットアテンションヘッドを選択する、
    請求項３６に記載の電子装置。
39. 前記アテンション基盤シーケンスツーシーケンスモデルは、
    正しい結果が出る例題入力を前記エンコーダー及び前記デコーダーに入力することで、複数のアテンションヘッドに対応する複数のアテンション重み行列を格納し、
    前記少なくとも１つのプロセッサは、
    前記シーケンスツーシーケンスモデルの予め決定された目的に最も適するアテンション重み行列を生成するアテンションヘッドを、前記ターゲットアテンションヘッドとして選択する、
    請求項３８に記載の電子装置。
40. 前記少なくとも１つのプロセッサは、
    前記複数のアテンションヘッドのうち特定アテンションヘッドを希望する形態のアテンション重み行列を生成するよう学習し、
    前記特定アテンションヘッドを、前記特定アテンションヘッドとして決定する、
    請求項３６に記載の電子装置。

Images