JP2018073163A - 符号器学習装置、変換装置、方法、及びプログラム - Google Patents

Abstract

【課題】精度よく離散構造を変換することができる。
【解決手段】符号器構築部２３２が、入力された離散構造に基づいて、離散構造の各要素に対応する、要素を符号化する符号化ユニットを接続した符号器であって、主問題に対して予め定められた補助問題に対応する予測器を含む符号器を構築する。符号器計算部２３４が、構築された前記符号器に基づいて、入力された離散構造の各要素を、対応する符号化ユニットに入力して、順次計算して、入力された離散構造の符号を出力すると共に、予測器を計算して補助問題の解を予測する。復号器計算部２３６が、出力された符号及び前記補助問題の解を、復号器に入力して、順次計算して、離散構造を出力する。
【選択図】図１４

Description

本発明は、符号器学習装置、変換装置、方法、及びプログラムに係り、特に、離散構造を変換する問題を解くための符号器学習装置、変換装置、方法、及びプログラムに関する。

自然言語処理分野の問題を題材として背景技術を説明する。計算機により自然言語を処理する技術は、文章に現れる表層的な文字や単語といった離散シンボルの集合を処理する技術と言える。例えば、ある言語の文を入力し、別の言語の文を出力する自動翻訳システムを考える。このシステムでは、入力および出力の文を単語列（文字列）とみなして処理が行われる。よって、システム内の計算機により、離散構造（シンボル構造）から別の離散構造へ変換する処理を行っているとみなすことができる。また、文書要約システム、対話システム、文章構成システムなどの言語を入出力とするシステムは、前述の翻訳システム同様、離散構造から別の離散構造へ変換する処理によってシステムが構成されると言える。このように、前述の自然言語処理システム以外の自然言語処理システムでも、自然言語を扱うシステムでは、扱う対象が単語、文、文書といった離散構造であるため、入力から出力へどのような変換を行うかという定義の違いはあるにせよ、処理のフレームワークは同じであり、離散構造から離散構造の変換問題に帰着できる。図１に自然言語処理における変換問題の各種の例を示す。

近年、ニューラルネットに基づく文字列-文字列変換方法が注目を浴びている。例えば、非特許文献１や非特許文献２では、リカレントニューラルネットの枠組みを使い、離散構造を実数値ベクトルへ符号化し、その実数値ベクトルから離散構造を復号するという方法論で離散構造-離散構造変換問題を実現している。

例えば、非特許文献１では、図２に示すように符号器及び復号器を構成することが開示されている。

ここで、説明のための関数群及び演算子を図３に示す。関数群は、図２に示すように、シグモイド関数をσ_１、tanh関数をσ_２、softmax関数をσ_３、relu関数をσ_４とする。各関数は、ベクトルを入力とし、入力されたベクトルと同じ大きさ（次元数）のベクトルを返す関数である。また各関数は、入力されたベクトルの要素毎に所定の計算をし、入力されたベクトルと同じ要素番号（位置）に結果を格納する。これはベクトルを行列に置き換えた場合についても同様である。

非特許文献１記載の復号器では、復号化ユニットの出力から、以下の式に従って単語を順次予測することにより、系列の単語を予測する。

図２の例の場合には予測した単語は

として出力され、一つ目の単語は「It」となる。

ここで、符号器の構築の原理を説明する。符号器は、符号化ユニットを連結することで符号器全体を構成する。符号化ユニット内部は様々な構成が考えられるが、ここでは例として、リカレントニューラルネット（ＲＮＮ）により構成する場合と、長短期記憶メモリ（ＬＳＴＭ）により構築する場合の例をあげる。

以下に符号化ユニットをＲＮＮにより構築する場合と、ＬＳＴＭにより構築する場合の計算式を下記（１）式、（２）式に示す。

各符号化ユニットに入力される情報は、通常の入力ラベルのベクトルｘと、接続する符号化ユニットの中間（符号）状態ｚとなる。

また、非特許文献２では、図４に示すように符号器及び復号器を構成することが開示されている。図４では、一番目の単語を生成する際の処理として、符号器内の各符号化ユニットで得た隠れ層ベクトルから計算されるｃ_ｊと、復号化ユニットの１番目の隠れ層ベクトルｈ_ｊ ^ｔ（ただしｔ＝１）を復号器の単語生成ユニットの入力として用いている。

ここで、ｃ_ｊは、以下（３）式に従って計算される。

・・・（３）

符号器及び復号器の学習について説明する。符号器及び復号器の学習は、下記、損失関数Ψを最小にするパラメタ

を探索する最小化問題として定式化できる。

パラメタ

は、ニューラルネットワーク内の全てのパラメタの集合である。関数Ψは正解となる単語ｙ_ｎ,ｔと現在のシステムの予測結果ｏ_ｎ,ｔとの負のクロスエントロピーに相当する。ｎは、文番号を表すとし、学習用正解データの数が上限となる。ｔは、文中の単語番号を表すとする。

Sutskever, Ilya and Vinyals, Oriol and Le, Quoc V.Sequence to Sequence Learning with Neural Networks,Advances in Neural Information Processing Systems 27, pp. 3104-3112, 2014 Dzmitry Bahdanau and Kyunghyun Cho and Yoshua Bengio.Neural Machine Translation by Jointly Learning to Align and Translate ICLR-2015

上記のような従来技術（ニューラルネット等）による方法は、それ以前の方法と比較して一般的に性能が大幅に向上したと言えるが、人間が作成する文章には未だに遠く及ばないのが現状である。

通常、ニューラルネットに基づく系列符号器及び系列復号器による方法では入力文が与えられてから、出力文を生成するまでを一つのネットワークで表現する。

この場合、モデルが単一のネットワークで表現されるため、わかりやすい反面、文章から文章への変換という複雑な主問題を一つのネットワークモデルで表現する方法であるため、機械学習問題の側面では、精度よく変換するためのモデルを学習することが非常に難しい問題である、という側面がある。

本発明は、上記事情を鑑みて成されたものであり、精度よく離散構造を変換するためのパラメタを学習できる符号器学習装置、方法、及びプログラムを提供することを目的とする。

また、精度よく離散構造を変換する変換装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る符号器学習装置は、入力された離散構造を変換する主問題についての正解データに基づいて、前記主問題に対して予め定められた補助問題の正解データを生成する補助問題生成部と、前記入力された離散構造の各要素に対応する、前記要素を符号化する符号化ユニットを接続した符号器であって、前記補助問題の解を予測する予測器を含む符号器と、前記符号器によって出力される符号、及び前記補助問題の解を入力とする、前記離散構造の要素に復号する復号化ユニットを接続した復号器と、前記主問題についての正解データと、前記補助問題の正解データとに基づいて、前記符号化ユニット、前記復号化ユニット、及び前記予測器のパラメタを学習する学習部と、を含んで構成されている。

また、第１の発明に係る符号器学習装置において、前記学習部は、前記入力された離散構造に基づいて、前記符号器を構築する符号器構築部と、前記構築された前記符号器と、パラメタの初期値又は更新された前記パラメタとに基づいて、前記入力された離散構造の各要素を、対応する前記符号化ユニットに入力して、順次計算して、前記入力された離散構造の符号を出力すると共に、前記予測器を計算して前記補助問題の解を予測する符号器計算部と、前記出力された符号及び前記補助問題の解を、前記復号器に入力して、順次計算して、離散構造を出力する復号器計算部と、前記復号器計算部によって出力された離散構造と、前記主問題についての正解データとを用いて表される目的関数の値を計算する目的関数計算部と、記計算された目的関数の値に基づいて前記パラメタを更新するパラメタ更新部と、予め定められた反復終了条件を満たすまで、前記符号器計算部による計算、前記復号器計算部による計算、前記目的関数計算部による計算、及び前記パラメタ更新部による更新を繰り返す終了判定部と、を含むようにしてもよい。

第２の発明に係る変換装置は、入力された離散構造を変換する主問題を解く変換装置であって、前記入力された離散構造に基づいて、前記離散構造の各要素に対応する、前記要素を符号化する符号化ユニットを接続した符号器であって、前記主問題に対して予め定められた補助問題に対応する予測器を含む符号器を構築する符号器構築部と、前記構築された前記符号器に基づいて、前記入力された離散構造の各要素を、対応する前記符号化ユニットに入力して、順次計算して、前記入力された離散構造の符号を出力すると共に、前記予測器を計算して前記補助問題の解を予測する符号器計算部と、前記出力された符号及び前記補助問題の解を、前記離散構造の要素に復号する復号化ユニットを接続した復号器に入力して、順次計算して、離散構造を出力する復号器計算部と、を含んで構成されている。

また、第２の発明に係る変換装置において、前記補助問題を、変換後の離散構造に含まれる要素の集合を予測する問題、変換後の離散構造に含まれる要素の数を予測する問題、及び前記入力された離散構造と、変換後の離散構造とのいずれにも含まれる要素の集合を予測する問題の少なくとも一つであるようにしてもよい。

第３の発明に係る符号器学習方法は、補助問題生成部が、入力された離散構造を変換する主問題についての正解データに基づいて、前記主問題に対して予め定められた補助問題の正解データを生成するステップと、学習部が、前記入力された離散構造の各要素に対応する、前記要素を符号化する符号化ユニットを接続した符号器であって、前記補助問題の解を予測する予測器を含む符号器と、前記符号器によって出力される符号、及び前記補助問題の解を入力とする、前記離散構造の要素に復号する復号化ユニットを接続した復号器と、前記主問題についての正解データと、前記補助問題の正解データとに基づいて、前記符号化ユニット、前記復号化ユニット、及び前記予測器のパラメタを学習するステップと、を含んで実行することを特徴とする。

第４の発明に係る変換方法は、入力された離散構造を変換する主問題を解く変換装置における変換方法であって、符号器構築部が、前記入力された離散構造に基づいて、前記離散構造の各要素に対応する、前記要素を符号化する符号化ユニットを接続した符号器であって、前記主問題に対して予め定められた補助問題に対応する予測器を含む符号器を構築するステップと、符号器計算部が、前記構築された前記符号器に基づいて、前記入力された離散構造の各要素を、対応する前記符号化ユニットに入力して、順次計算して、前記入力された離散構造の符号を出力すると共に、前記予測器を計算して前記補助問題の解を予測するステップと、復号器計算部が、前記出力された符号及び前記補助問題の解を、前記離散構造の要素に復号する復号化ユニットを接続した復号器に入力して、順次計算して、離散構造を出力するステップと、を含んで実行することを特徴とする。

第５の発明に係るプログラムは、コンピュータを、第１の発明に係る符号器学習装置の各部として機能させるためのプログラムである。

第６の発明に係るプログラムは、コンピュータを、第２の発明に係る変換装置の各部として機能させるためのプログラムである。

本発明の符号器学習装置、方法、及びプログラムによれば、離散構造を変換する主問題についての正解データに基づいて、主問題に対して予め定められた補助問題の正解データを生成し、入力された離散構造の各要素に対応する、要素を符号化する符号化ユニットを接続した符号器であって、補助問題の解を予測する予測器を含む符号器と、符号器によって出力される符号、及び補助問題の解を入力とする、離散構造の要素に復号する復号化ユニットを接続した復号器と、主問題についての正解データと、補助問題の正解データとに基づいて、符号化ユニット、復号化ユニット、及び予測器のパラメタを学習することにより、精度よく離散構造を変換するためのパラメタを学習することができる、という効果が得られる。

また、本発明の変換装置、方法、及びプログラムによれば、入力された離散構造に基づいて、離散構造の各要素に対応する、要素を符号化する符号化ユニットを接続した符号器であって、主問題に対して予め定められた補助問題に対応する予測器を含む符号器を構築し、構築された前記符号器に基づいて、入力された離散構造の各要素を、対応する符号化ユニットに入力して、順次計算して、入力された離散構造の符号を出力すると共に、予測器を計算して補助問題の解を予測し、出力された符号及び前記補助問題の解を、復号器に入力して、順次計算して、離散構造を出力することにより、精度よく離散構造を変換することができる、という効果が得られる。

自然言語処理における変換問題の各種の例を示す図である。 非特許文献１に開示されている符号器及び復号器の構成を示す図である。 説明のための関数群及び演算子を表す図である。 非特許文献２に開示されている符号器及び復号器の構成を示す図である。 与えられた文章の要約文を自動で作成する技術を示す図である。 本発明の実施の形態に係る符号器学習装置の構成を示すブロック図である。 要約文に含まれる単語の集合を予測する問題の一例を示す図である。 要約文に含まれる単語の数を予測する問題の一例を示す図である。 入力された文章と、変換後の要約文とのいずれにも含まれる単語の集合を予測する問題の一例を示す図である。 補助問題１の予測器を含む符号器の構成の一例を示す図である。 補助問題２の予測器を含む符号器の構成の一例を示す図である。 補助問題２の予測結果の一例を示す図である。 補助問題３の予測器を含む符号器の構成の一例を示す図である。 本発明の実施の形態に係る変換装置の構成を示すブロック図である。 補助問題１〜３の符号器及び復号器による出力の一例を示す図である。 補助問題１の符号器及び復号器による出力の一例を示す図である。 補助問題１、３の符号器及び復号器による出力の一例を示す図である。 本発明の実施の形態に係る符号器学習装置における符号器学習処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る変換装置における変換処理ルーチンを示すフローチャートである。 離散構造の対象を翻訳とした場合の、補助問題１の符号器及び復号器の構成の一例を示す図である。 離散構造の対象を翻訳とした場合の、補助問題１、２の符号器及び復号器の構成の一例を示す図である。 離散構造の対象を翻訳とした場合の、補助問題１〜３の符号器及び復号器の構成の一例を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態における概要を説明する。

入力された文章を要約して変換する主問題を解くための符号器学習装置、及び変換装置として説明する。図５に示すように、与えられた文章の要約文を自動で作成する技術は、文章の概要を短時間で把握する目的に極めて有効な手段である。

＜本発明の実施の形態に係る符号器学習装置の構成＞

次に、本発明の実施の形態に係る符号器学習装置の構成について説明する。図６に示すように、本発明の実施の形態に係る符号器学習装置１００は、ＣＰＵと、ＲＡＭと、後述する符号器学習処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この符号器学習装置１００は、機能的には図６に示すように入力部１０と、演算部２０と、パラメタＤＢ４４とを備えている。

入力部１０は、入力された文章を要約文に変換する主問題についての正解データを受け付ける。

演算部２０は、補助問題生成部２２と、学習部２４とを含んで構成されている。

補助問題生成部２２は、入力部１０で受け付けた文章を要約文に変換する主問題についての正解データに基づいて、主問題に対して予め定められた補助問題の正解データを生成する。

ここで、本実施の形態で扱う補助問題について説明する。

補助問題は、主問題よりも計算コストが少なく簡単であり、かつ、主問題を解くことに関連する問題であることを条件とする。また、主問題に対する正解データから補助問題の学習用正解データを構築できることを条件とする。

補助問題生成部２２では、主問題についての正解データに基づいて、以下の補助問題１〜３の正解データを生成する。

補助問題１は、図７に示すような、要約文に含まれる単語の集合を予測する問題である。補助問題１は、主問題に比べて語順を考慮しなくてよいのでその分簡単な問題である。また、補助問題１の学習用正解データは主問題の学習用正解データから語順を取り除いた単語の集合である。

補助問題２は、図８に示すような、要約文に含まれる単語の数を予測する問題である。補助問題２は、１以上の整数を答える問題であり、単語そのものを正解しなくてもよい分簡単な問題である。また、補助問題２の学習用正解データは主問題の学習用正解データの出力単語数である。

補助問題３は、図９に示すような、入力された文章と、変換後の要約文とのいずれにも含まれる単語の集合を予測する問題である。補助問題３は、文章の各単語に正または負をつける問題であり、言い換えられた単語を正解しなくてもよい分簡単な問題である。また、補助問題３の学習用正解データは、主問題の学習用正解データである文章と要約文の単語の積集合で獲得可能な単語の集合である。

学習部２４は、以下に説明する各部の処理によって、入力された文章の各単語に対応する、単語を符号化する符号化ユニットを接続した符号器であって、補助問題の解を予測する予測器を含む符号器と、符号器によって出力される符号、及び補助問題の解を入力とする、要約文の単語に復号する復号化ユニットを接続した復号器と、主問題についての正解データと、補助問題１〜３の正解データとに基づいて、符号化ユニット、復号化ユニット、及び予測器のパラメタ

を学習する。

符号化ユニットは、上記（１）式又は（２）式に従って、ｚ_outを出力する。

符号器は、上記（３）式に従って、ベクトルｃ_jを出力する。

ここで、各補助問題の解を予測する予測器について説明する。

補助問題１の予測器を含む符号器は、図１０に示すように構成される。補助問題１の予測器は、以下（４）式に従って、補助問題１の解としてｓ^ｗｓを出力する。

・・・（４）

補助問題２の予測器を含む符号器は、図１１に示すように構成される。補助問題１の予測器は、以下（５）式に従って、補助問題１の解としてｓ^ｗｌを出力する。

・・・（５）

補助問題３の予測器を含む符号器は、図１２に示すように構成される。補助問題１の予測器は、以下（６）式に従って、補助問題１の解としてｓ^ｏｗを出力する。

・・・（６）

次に、復号器の復号化ユニットは、符号化ユニットと同様に、上記（１）式又は（２）式に従って、ｚ_outを出力し、復号器は、復号化ユニットの出力と、符号器の出力ｃ_ｊとに基づいて、下記（７）式に従って、単語を予測する。

・・・（７）

上記（７）式のように、補助問題の解を考慮して、単語が予測される。

例えば、復号器の単語生成ユニットの計算において、主問題の解ｏ_ｊに、補助問題の解ｓ^ｗｓと補助問題の解ｓ^ｏｗを用いて計算された~ｓをベクトルの要素毎に乗算した~ｏ_ｊが求められる。また、復号器の単語生成ユニットの計算において、補助問題の解~ｓ^ｗｌによって単語数を規定して計算を行う。

学習部２４は、符号器構築部３０と、符号器計算部３２と、復号器計算部３４と、予測取得部３６と、目的関数計算部３８と、パラメタ更新部４０と、終了判定部４２とを含んで構成されている。

符号器構築部３０は、入力された文章に基づいて、符号器を構築する。

符号器計算部３２は、符号器構築部３０で構築された符号器と、パラメタ

の初期値又は更新されたパラメタ

とに基づいて、入力された文章の各単語を、対応する符号化ユニットに入力して、順次計算して、入力された文章の符号を出力すると共に、予測器を計算して補助問題１〜３の解を予測する。

復号器計算部３４は、符号器計算部３２から出力された符号及び補助問題１〜３の解を、復号器に入力して、順次計算して、主問題及び補助問題１〜３により解かれた要約文を出力する。

予測取得部３６は、復号器計算部３４によって計算された主問題及び補助問題１〜３により解かれた要約文を予測結果として取得する。

目的関数計算部３８は、予測取得部３６で取得した要約文と、主問題についての正解データとを用いて表される目的関数の値を計算する。

ここで、補助問題１〜３の予測器を学習するための目的関数について説明する。

補助問題１についての目的関数は、以下（８）式の損失関数Ψを最小にするパラメタｓ^ｗｓを探索する最小化問題として定式化できる。

・・・（８）

関数Ψは正解ｃ^ｗｓと現在のシステムの予測結果ｓ^ｗｓとの負のクロスエントロピーに相当する。ｓ^ｗｓは、パラメタ

に依存して決定する値である。

補助問題２についての目的関数は、以下（９）式の損失関数Ψを最小にするパラメタｓ^ｗｓを探索する最小化問題として定式化できる。

・・・（９）

関数Ψは正解ｃ^ｗｌと現在のシステムの予測結果ｓ^ｗｌとの負のクロスエントロピーに相当する。ｓ^ｗｓは、パラメタ

に依存して決定する値である。図１３に示すように、[ｃ^ｗｌ−０．５,ｃ^ｗｌ＋０．５]の範囲に予測が入れば損失０で最小値となる。

補助問題３についての目的関数は、以下（１０）式の損失関数Ψを最小にするパラメタｓ^ｏｗを探索する最小化問題として定式化できる。

・・・（１０）

関数Ψは正解ｃ^ｏｗと現在のシステムの予測結果ｓ^ｏｗとの負のクロスエントロピーに相当する。ｓ^ｏｗは、パラメタ

に依存して決定する値である。

目的関数は、以下（１１）式に示すように、主問題と補助問題１〜３の全ての目的関数を統合して同時に学習を行う。

・・・（１１）

学習の手順としては、（１）現在のパラメタ

で入力された主問題及び補助問題１〜３の正解データに対する予測結果を取得する（符号器計算部３２〜予測取得部３６までの処理）。（２）予測結果（出力された要約文）と、主問題及び補助問題１〜３の正解データとを用いて、主問題及び各補助問題のそれぞれの損失関数を計算する。（３）損失関数の値にしたがって、勾配を計算する。（４）chain ruleにしたがって各パラメタ単位の勾配の値を取得する。

パラメタ更新部４０は、目的関数計算部３８で計算された目的関数の値に基づいてパラメタ

を更新する。ここでは、上記目的関数計算部３８の学習の手順（４）で得られた値に従ってパラメタ

を更新する。

終了判定部４２は、予め定められた反復終了条件を満たすまで、符号器計算部３２による計算、復号器計算部３４による計算、予測取得部３６による取得、目的関数計算部３８による計算、及びパラメタ更新部４０による更新を繰り返す。そして、最終的にパラメタ更新部４０で更新されたパラメタ

をパラメタＤＢ４４に格納する。

＜本発明の実施の形態に係る変換装置の構成＞

次に、本発明の実施の形態に係る変換装置の構成について説明する。図１４に示すように、本発明の実施の形態に係る変換装置２００は、ＣＰＵと、ＲＡＭと、後述する変換処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この変換装置２００は、機能的には図１４に示すように入力部２１０と、演算部２２０と、出力部２５０とを備えている。

入力部２１０は、要約の対象となる、離散構造を持つ文章を受け付ける。

演算部２０は、符号器構築部２３０と、符号器計算部２３２と、復号器計算部２３４と、パラメタＤＢ２４４とを含んで構成されている。

符号器構築部２３０は、入力部２１０で受け付けた文章に基づいて、文章の各単語に対応する、単語を符号化する符号化ユニットを接続した符号器であって、主問題に対して予め定められた補助問題１〜３に対応する予測器を含む符号器を構築する。ここでは、符号器学習装置１００の符号器構築部３０と同様に符号器を構築すればよい。

パラメタＤＢ２４４には、符号器学習装置１００で学習されたパラメタ

が格納されている。

符号器計算部２３２は、符号器構築部２３０で構築された符号器に基づいて、入力された文章の各単語を、対応する符号化ユニットに入力して、順次計算して、入力された文章の符号を出力すると共に、上記（３）〜（５）式に従って、パラメタＤＢ２４４に格納されているパラメタ

を用いて、予測器を計算して補助問題１〜３の解を予測する。

復号器計算部２３４は、符号器計算部２３２から出力された符号及び補助問題の解を、復号器に入力して、順次計算して、主問題及び補助問題１〜３が解かれた要約文を出力部２５０に出力する。単語を出力するまでの具体的な処理は、符号器学習装置１００の学習部２４において説明した処理と同様である。

予測器を用いた補助問題１〜３の計算と復号器から出力される要約文の例を図１５に示す。復号器の単語生成ユニットの計算において、補助問題２の解~ｓ^ｗｌによって単語数を規定して、主問題の解ｏ_ｊに~ｓをベクトルの要素毎に乗算した~ｏ_ｊが求められる。は、補助問題１の解ｓ^ｗｓ、及び補助問題３の解ｓ^ｏｗを乗算して得たものである。補助問題２の解~ｓ^ｗｌを用いて、単語数を規定して計算を行う場合には、例えば規定された単語数が１０語であれば１０語分の単語生成ユニットを計算して終了する。補助問題３の解ｓ^ｏｗを用いて計算を行う場合には、例えば、ある単語が出力側の単語リストに入っている場合には、その単語リストの単語に対する単語の集合の予測結果の確率を修正する。出力側の単語リストに入っていない（未知語）時には、未知語（UNK)と判定された際に、attentionの確率a_ｉ,ｊがもっとも高い入力単語が同一単語と予測されていれば、その単語で置き換える。

なお、補助問題１のみの解を考慮する場合を図１６に示す。また、補助問題１、３の解を考慮する場合を図１７に示す。

＜本発明の実施の形態に係る符号器学習装置の作用＞

次に、本発明の実施の形態に係る符号器学習装置１００の作用について説明する。入力部１０において、入力された文章を要約文に変換する主問題についての正解データを受け付けると符号器学習装置１００は、図１８に示す符号器学習処理ルーチンを実行する。

まず、ステップＳ１００では、入力部１０で受け付けた文章を要約文に変換する主問題についての正解データに基づいて、主問題に対して予め定められた補助問題１〜３の正解データを生成する。

次に、ステップＳ１０２では、入力された文章に基づいて、入力された文章の各単語に対応する、単語を符号化する符号化ユニットを接続した符号器を構築する。

ステップＳ１０４では、ステップＳ１０２で構築された符号器と、パラメタ

の初期値又は更新されたパラメタ

とに基づいて、入力された文章の各単語を、対応する符号化ユニットに入力して、順次計算して、入力された文章の符号を出力すると共に、予測器を計算して補助問題の解を予測する。

ステップＳ１０６では、ステップＳ１０４で出力された符号及び補助問題の解を、復号器に入力して、上記（７）式に従って、順次計算して、主問題及び補助問題により解かれた要約文を出力する。

ステップＳ１０８では、ステップＳ１０６で計算された主問題及び補助問題により解かれた要約文を予測結果として取得する。

ステップＳ１１０では、上記（１１）式に従って、ステップＳ１０８で取得した要約文と、主問題についての正解データとを用いて表される目的関数の値を計算する。

ステップＳ１１２では、ステップＳ１１０で計算された目的関数の値に基づいてパラメタ

を更新する。

ステップＳ１１４では、反復終了条件を満たすか否かを判定し、反復終了条件を満たしていればステップＳ１１２で更新されたパラメタ

をパラメタＤＢ４４に格納して処理を終了し、反復終了条件を満たしていなければステップＳ１０４に戻って処理を繰り返す。また、主問題についての正解データを複数受け付けた場合には、主問題についての正解データ毎に、上記ステップＳ１００〜Ｓ１１４の処理を繰り返せばよい。

以上説明したように、本発明の実施の形態に係る符号器学習装置によれば、入力された文章を要約する主問題についての正解データに基づいて、主問題に対して予め定められた補助問題の正解データを生成し、入力された文章の各単語に対応する、単語を符号化する符号化ユニットを接続した符号器であって、補助問題の解を予測する予測器を含む符号器と、符号器によって出力される符号、及び補助問題の解を入力とする、単語に復号する復号化ユニットを接続した復号器と、主問題についての正解データと、補助問題の正解データとに基づいて、符号化ユニット、復号化ユニット、及び予測器のパラメタを学習することにより、精度よく要約文に変換するためのパラメタを学習することができる。

＜本発明の実施の形態に係る変換装置の作用＞

次に、本発明の実施の形態に係る変換装置２００の作用について説明する。入力部２１０において、要約の対象となる、離散構造を持つ文章を受け付けると、変換装置２００は、図１９に示す変換処理ルーチンを実行する。

まず、ステップＳ２００では、入力部２１０において受け付けた文章に基づいて、文章の各単語に対応する、単語を符号化する符号化ユニットを接続した符号器であって、主問題に対して予め定められた補助問題に対応する予測器を含む符号器を構築する。

次に、ステップＳ２０２では、ステップＳ２０２で構築された符号器に基づいて、入力された文章の各単語を、対応する符号化ユニットに入力して、上記（７）式に従って、順次計算して、入力された文章の符号を出力すると共に、パラメタＤＢ２４４に格納されているパラメタ

を用いて、予測器を計算して補助問題１〜３の解を予測する。

ステップＳ２０４では、ステップＳ２０２で出力された符号及び補助問題の解を、復号器に入力して、順次計算して、主問題及び補助問題が解かれた要約文を出力部２５０に出力して処理を終了する。

以上説明したように、本発明の実施の形態に係る変換装置によれば、入力された文章に基づいて、入力された文章の各単語に対応する、単語を符号化する符号化ユニットを接続した符号器であって、主問題に対して予め定められた補助問題に対応する予測器を含む符号器を構築し、構築された符号器に基づいて、入力された文章の各単語を、対応する符号化ユニットに入力して、順次計算して、入力された文章の符号を出力すると共に、予測器を計算して補助問題の解を予測し、出力された符号及び補助問題の解を、復号器に入力して、順次計算して、要約文を出力することにより、精度よく要約文に変換することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した実施の形態の符号器学習装置１００では、補助問題１〜３についての正解データを生成して、符号器及び復号器で用いるパラメタ

を学習していたが、これに限定されるものではなく、補助問題１〜３をそれぞれ独立して正解データを生成し、符号器及び復号器で用いるパラメタ

を学習するようにしてもよい。また、補助問題１〜３以外の補助問題の正解データを生成して、パラメタ

を学習するようにしてもよい。

また、上述した実施の形態の変換装置２００では、補助問題１〜３の解を予測する場合を例に説明したが、これに限定されるものではなく、補助問題１〜３以外の解を予測するようにしてもよい。

また、上述した実施の形態では、文章を入力とし、要約文を出力する場合を例に説明したが、これに限定されるものではなく、本発明の実施の形態に係る手法は、離散構造を変換する問題であればどのような分野でも適用することができる。例えば文章を翻訳して他言語に変換する主問題にも適用することができ、この翻訳の主問題に適用する場合には、符号器及び復号器は例えば図２０〜２２のように構成することができる。図２０では、補助問題１の解を考慮する符号器及び復号器を示しており、図２１では、補助問題１、２の解を考慮する符号器及び復号器を示しており、図２２では、補助問題１〜３の解を考慮する符号器及び復号器を示している。

また、本発明は、上記のような言語処理以外にもグラフなどの離散構造を持つ対象の場合についても同様に適用することができる。

１０、２１０ 入力部
２０、２２０ 演算部
２２ 補助問題生成部
２４ 学習部
３０、２３０ 符号器構築部
３２、２３２ 符号器計算部
３４、２３４ 復号器計算部
３６ 予測取得部
３８ 目的関数計算部
４０ パラメタ更新部
４２ 終了判定部
１００ 符号器学習装置
２００ 変換装置
２５０ 出力部

Claims (8)

1. 入力された離散構造を変換する主問題についての正解データに基づいて、前記主問題に対して予め定められた補助問題の正解データを生成する補助問題生成部と、
   前記入力された離散構造の各要素に対応する、前記要素を符号化する符号化ユニットを接続した符号器であって、前記補助問題の解を予測する予測器を含む符号器と、前記符号器によって出力される符号、及び前記補助問題の解を入力とする、前記離散構造の要素に復号する復号化ユニットを接続した復号器と、前記主問題についての正解データと、前記補助問題の正解データとに基づいて、前記符号化ユニット、前記復号化ユニット、及び前記予測器のパラメタを学習する学習部と、
   を含む符号器学習装置。
2. 前記学習部は、
   前記入力された離散構造に基づいて、前記符号器を構築する符号器構築部と、
   前記構築された前記符号器と、パラメタの初期値又は更新された前記パラメタとに基づいて、前記入力された離散構造の各要素を、対応する前記符号化ユニットに入力して、順次計算して、前記入力された離散構造の符号を出力すると共に、前記予測器を計算して前記補助問題の解を予測する符号器計算部と、
   前記出力された符号及び前記補助問題の解を、前記復号器に入力して、順次計算して、離散構造を出力する復号器計算部と、
   前記復号器計算部によって出力された離散構造と、前記主問題についての正解データとを用いて表される目的関数の値を計算する目的関数計算部と、
   前記計算された目的関数の値に基づいて前記パラメタを更新するパラメタ更新部と、
   予め定められた反復終了条件を満たすまで、前記符号器計算部による計算、前記復号器計算部による計算、前記目的関数計算部による計算、及び前記パラメタ更新部による更新を繰り返す終了判定部と、を含む請求項１記載の符号器学習装置。
3. 入力された離散構造を変換する主問題を解く変換装置であって、
   前記入力された離散構造に基づいて、前記離散構造の各要素に対応する、前記要素を符号化する符号化ユニットを接続した符号器であって、前記主問題に対して予め定められた補助問題に対応する予測器を含む符号器を構築する符号器構築部と、
   前記構築された前記符号器に基づいて、前記入力された離散構造の各要素を、対応する前記符号化ユニットに入力して、順次計算して、前記入力された離散構造の符号を出力すると共に、前記予測器を計算して前記補助問題の解を予測する符号器計算部と、
   前記出力された符号及び前記補助問題の解を、前記離散構造の要素に復号する復号化ユニットを接続した復号器に入力して、順次計算して、離散構造を出力する復号器計算部と、
   を含む変換装置。
4. 前記補助問題を、変換後の離散構造に含まれる要素の集合を予測する問題、変換後の離散構造に含まれる要素の数を予測する問題、前記入力された離散構造と、変換後の離散構造とのいずれにも含まれる要素の集合を予測する問題、及びそれ以外の主問題の正解データから生成できる正解データを用いて学習可能な補助問題の少なくとも一つである請求項３に記載の変換装置。
5. 補助問題生成部が、入力された離散構造を変換する主問題についての正解データに基づいて、前記主問題に対して予め定められた補助問題の正解データを生成するステップと、
   学習部が、前記入力された離散構造の各要素に対応する、前記要素を符号化する符号化ユニットを接続した符号器であって、前記補助問題の解を予測する予測器を含む符号器と、前記符号器によって出力される符号、及び前記補助問題の解を入力とする、前記離散構造の要素に復号する復号化ユニットを接続した復号器と、前記主問題についての正解データと、前記補助問題の正解データとに基づいて、前記符号化ユニット及び前記予測器のパラメタを学習するステップと、
   を含む符号器学習方法。
6. 入力された離散構造を変換する主問題を解く変換装置における変換方法であって、
   符号器構築部が、前記入力された離散構造に基づいて、前記離散構造の各要素に対応する、前記要素を符号化する符号化ユニットを接続した符号器であって、前記主問題に対して予め定められた補助問題に対応する予測器を含む符号器を構築するステップと、
   符号器計算部が、前記構築された前記符号器に基づいて、前記入力された離散構造の各要素を、対応する前記符号化ユニットに入力して、順次計算して、前記入力された離散構造の符号を出力すると共に、前記予測器を計算して前記補助問題の解を予測するステップと、
   復号器計算部が、前記出力された符号及び前記補助問題の解を、前記離散構造の要素に復号する復号化ユニットを接続した復号器に入力して、順次計算して、離散構造を出力するステップと、
   を含む変換方法。
7. コンピュータを、請求項１又は２記載の符号器学習装置の各部として機能させるためのプログラム。
8. コンピュータを、請求項３記載の変換装置の各部として機能させるためのプログラム。