JP2020135289A - 質問応答装置、学習装置、質問応答方法及びプログラム - Google Patents

Abstract

【課題】回答スタイルに応じた回答文を生成すること。【解決手段】質問応答装置は、１つ以上の文書で構成される文書集合と、質問文と、該質問文に対する回答文のスタイルとを入力として、前記文書集合に基づいて前記質問文に対する回答文を生成する処理を学習済モデルにより実行する回答生成手段を有し、前記学習済モデルは、前記回答文を生成する際に、前記スタイルに応じて、前記回答文に含まれる単語の生成確率を決定する、ことを特徴とする。【選択図】図１

Description

本発明は、質問応答装置、学習装置、質問応答方法及びプログラムに関する。

与えられた文書の集合に基づいて、質問に対する回答文を生成する「読解」を人工知能により正確に行うことができれば、質問応答、知的エージェント対話等の幅広いサービスに応用することができる。このような文書の集合は、質問をクエリとした検索エンジンの結果等から得られる。

ここで、読解による回答文の生成は、質問及び文書集合の内容の要約であるということもできる。文書の要約を行うための従来技術としては、例えば非特許文献１等に開示された技術がある。

Abigail See, Peter J. Liu, Christopher D. Manning: Get To The Point: Summarization with Pointer-Generator Networks. ACL (1) 2017: 1073-1083

ところで、ユーザの要求として、回答のスタイルを指定したい場合がある。例えば、「２０２０年のオリンピックが開催される都市は？」という質問に対する回答文として、「東京」といったように単語で回答するスタイルが要求されたり、「２０２０年のオリンピックは東京で開催されます。」といったように自然文で回答するスタイルが要求されたりする場合がある。

しかしながら、従来技術では、回答のスタイルに応じた回答文を生成することができなかった。

本発明は、上記の点に鑑みてなされたもので、回答スタイルに応じた回答文を生成することを目的とする。

上記目的を達成するため、本発明の一実施形態は、１つ以上の文書で構成される文書集合と、質問文と、該質問文に対する回答文のスタイルとを入力として、前記文書集合に基づいて前記質問文に対する回答文を生成する処理を学習済モデルにより実行する回答生成手段を有し、前記学習済モデルは、前記回答文を生成する際に、前記スタイルに応じて、前記回答文に含まれる単語の生成確率を決定する、ことを特徴とする。

回答スタイルに応じた回答文を生成することができる。

本発明の第一の実施形態における質問応答装置の機能構成（学習時）の一例を示す図である。 本発明の第一の実施形態における質問応答装置の機能構成（質問応答時）の一例を示す図である。 単語ベクトル記憶部に格納されているデータの一例を示す図である。 本発明の第一の実施形態における質問応答装置のハードウェア構成の一例を示す図である。 本発明の第一の実施形態における学習処理の一例を示すフローチャートである。 本発明の第一の実施形態におけるパラメータ更新処理の一例を示すフローチャート（１／２）である。 本発明の第一の実施形態におけるパラメータ更新処理の一例を示すフローチャート（２／２）である。 本発明の第一の実施形態における質問応答処理の一例を示すフローチャート（１／２）である。 本発明の第一の実施形態における質問応答処理の一例を示すフローチャート（２／２）である。 本発明の第二の実施形態における質問応答装置の機能構成（学習時）の一例を示す図である。 本発明の第二の実施形態における質問応答装置の機能構成（質問応答時）の一例を示す図である。 本発明の第二の実施形態における学習処理の一例を示すフローチャートである。 本発明の第二の実施形態におけるパラメータ更新処理の一例を示すフローチャート（１／２）である。 本発明の第二の実施形態におけるパラメータ更新処理の一例を示すフローチャート（２／２）である。 本発明の第二の実施形態における質問応答処理の一例を示すフローチャート（１／２）である。 本発明の第二の実施形態における質問応答処理の一例を示すフローチャート（２／２）である。

以下、本発明の各実施形態について、図面を参照しながら詳細に説明する。なお、以下で説明する各実施形態は一例に過ぎず、本発明を適用可能な形態は、以下の各実施形態に限定されない。例えば、本発明の各実施形態に係る技術は、専門文書集合に関する質問応答等に利用可能であるが、利用対象はこれに限られず、様々な対象に利用可能である。

［第一の実施形態］
まず、本発明の第一の実施形態では、任意の文書集合と、この文書集合に対する任意の質問文（以降、単に「質問」とも表す。）と、例えばユーザ等によって指定された回答スタイルとが与えられた場合に、ニューラルネットワークによる文生成技術を用いて、当該回答スタイルに応じた回答文を生成する質問応答装置１０について説明する。ここで、回答スタイルとは、回答文の表現形式のことであり、例えば、単語のみで回答文を表現することを示す「単語」、フレーズ（句）で回答文を表現することを示す「フレーズ」、自然文で回答文を表現することを示す「自然文」が挙げられる。これら以外にも、回答スタイルとして、例えば、回答文に用いられる言語の種類（日本語、英語等）、回答文を表現する感情（ポジティブ、ネガティブ）や時制、口調、回答文の長さ（文字数）等も挙げられる。

ニューラルネットワークによる文生成技術では、ニューラルネットワークを学習する段階（学習時）と、学習済みのニューラルネットワークによって質問に対する回答文を生成する段階（質問応答時）とが存在する。以降では、このニューラルネットワークを「回答文生成モデル」とも表す。なお、回答文生成モデルは、１つ以上のニューラルネットワークを用いて実現される。ただし、回答文生成モデルには、ニューラルネットワークに加えて又はニューラルネットワークに代えて、任意の機械学習モデルが用いられてもよい。

＜質問応答装置１０の機能構成＞
≪学習時≫
本発明の第一の実施形態の学習時における質問応答装置１０の機能構成について、図１を参照しながら説明する。図１は、本発明の第一の実施形態における質問応答装置１０の機能構成（学習時）の一例を示す図である。

図１に示すように、学習時における質問応答装置１０は、記憶部として、単語ベクトル記憶部１０１を有する。また、学習時における質問応答装置１０は、機能部として、入力部１０２と、単語系列ベクトル化部１０３と、単語系列マッチング部１０４と、スタイル依存回答文生成部１０５と、パラメータ学習部１０６とを有する。

単語ベクトル記憶部１０１は、単語と、この単語をベクトルで表現した単語ベクトルとの組を示すデータを格納している。単語ベクトル記憶部１０１に格納されているデータの具体例については後述する。

入力部１０２は、複数の訓練データで構成される訓練データセットを入力する。訓練データとは、ニューラルネットワーク（回答文生成モデル）の学習時に用いられるデータであり、質問と、文書集合と、回答スタイルと、正解となる回答文（以降、「正解回答文」とも表す。）との組で表される。なお、訓練データは「学習データ」等と称されてもよい。

ここで、訓練データの一例としては、以下のようなものが挙げられる。

・（例１）質問：「２０２０年のオリンピックが開催される都市は？」、文書集合：ニュース記事の集合、回答スタイル：「単語」、正解回答文：「東京」
・（例２）質問：「２０２０年のオリンピックが開催される都市は？」、文書集合：ニュース記事の集合、回答スタイル：「自然文」、正解回答文：「２０２０年のオリンピックは東京で開催されます。」
このように、各訓練データには、質問と、文書集合と、回答スタイルと、この回答スタイルに応じた正解回答文とが含まれる。なお、文書集合には少なくとも１つ以上の文書が含まれていればよい。

単語系列ベクトル化部１０３は、訓練データ毎に、この訓練データに含まれる文書集合を構成する各文書の単語系列をベクトル系列（以降、「文書ベクトル系列」とも表す。）に変換する。また、単語系列ベクトル化部１０３は、当該訓練データに含まれる質問の単語系列をベクトル系列（以降、「質問ベクトル系列」とも表す。）に変換する。

単語系列マッチング部１０４は、文書ベクトル系列と質問ベクトル系列とのマッチング行列を計算した上で、このマッチング行列を用いて、マッチングベクトル系列を計算する。

スタイル依存回答文生成部１０５は、当該訓練データに含まれる回答スタイルと、マッチングベクトル系列とを用いて、当該回答スタイルに応じた回答文を生成する。

パラメータ学習部１０６は、当該訓練データに含まれる正解回答文と、生成された回答文との損失（誤差）を用いて、ニューラルネットワーク（回答文生成モデル）のパラメータを学習（更新）する。これにより、ニューラルネットワーク（回答文生成モデル）が学習される。なお、ハイパーパラメータと区別するため、学習対象のパラメータを「学習パラメータ」とも表す。

≪質問応答時≫
本発明の第一の実施形態の質問応答時における質問応答装置１０の機能構成について、図２を参照しながら説明する。図２は、本発明の第一の実施形態における質問応答装置１０の機能構成（質問応答時）の一例を示す図である。

図２に示すように、質問応答時における質問応答装置１０は、記憶部として、単語ベクトル記憶部１０１を有する。また、質問応答時における質問応答装置１０は、機能部として、入力部１０２と、単語系列ベクトル化部１０３と、単語系列マッチング部１０４と、スタイル依存回答文生成部１０５と、出力部１０７とを有する。

単語ベクトル記憶部１０１は、単語と、この単語をベクトルで表現した単語ベクトルとの組を示すデータを格納している。単語ベクトル記憶部１０１に格納されているデータの具体例については後述する。

入力部１０２は、テストデータを入力する。テストデータとは、質問応答時に用いられるデータあり、質問と、文書集合と、回答スタイルとの組で表される。なお、テストデータは、別の呼称、例えば、「質問データ」等と称されてもよい。

単語系列ベクトル化部１０３は、テストデータに含まれる文書集合を構成する各文書の単語系列を文書ベクトル系列に変換する。また、単語系列ベクトル化部１０３は、当該テストデータに含まれる質問の単語系列を質問ベクトル系列に変換する。

単語系列マッチング部１０４は、文書ベクトル系列と質問ベクトル系列とのマッチング行列を計算した上で、このマッチング行列を用いて、マッチングベクトル系列を計算する。

スタイル依存回答文生成部１０５は、当該テストデータに含まれる回答スタイルと、マッチングベクトル系列とを用いて、当該回答スタイルに応じた回答文を生成する。

出力部１０７は、生成された回答文を出力する。なお、回答文の出力先は限定されない。出力部１０７は、例えば、ディスプレイ等に回答文を出力（表示）してもよいし、記憶装置等に回答文を出力（保存）してもよいし、通信ネットワークを介して接続される他の装置に回答文を出力（送信）してもよい。また、出力部１０７は、例えば、回答文を音声に変換した上で、スピーカ等から出力してもよい。

≪単語ベクトル記憶部１０１に格納されているデータ≫
ここで、単語ベクトル記憶部１０１に格納されているデータの一例を図３に示す。図３は、単語ベクトル記憶部１０１に格納されているデータの一例を示す図である。

図３に示すように、単語ベクトル記憶部１０１では、例えば、「ｇｏ」や「ｗｒｉｔｅ」、「ｂａｓｅｂａｌｌ」等の単語に対して、当該単語をベクトルで表現した単語ベクトルが対応付けられている。

また、単語ベクトル記憶部１０１では、特殊文字に対して、当該特殊単語をベクトルで表現した単語ベクトルも対応付けられている。特殊文字とは、「＜ＰＡＤ＞」や「＜ＵＮＫ＞」、「＜Ｓ＞」、「＜／Ｓ＞」等が存在する。＜ＰＡＤ＞は、パディングに用いられる特殊文字である。＜ＵＮＫ＞は、単語ベクトル記憶部１０１に格納されていない単語を単語ベクトルに変換する際に用いられる特殊文字である。＜Ｓ＞及び＜／Ｓ＞は、単語系列の先頭及び末尾にそれぞれ挿入される特殊文字である。

ここで、単語ベクトル記憶部１０１に格納されているデータは、例えば、以下の参考文献１に記載されている方法により作成される。また、各単語の単語ベクトルはｖ次元であるものとする。なお、特殊文字の単語ベクトルもｖ次元であり、これら特殊文字の単語ベクトルは、ニューラルネットワーク（回答文生成モデル）の学習パラメータである。ｖとしては、例えば、ｖ＝３００等とすればよい。

［参考文献１］
Jeffrey Pennington, Richard Socher, Christopher D. Manning: Glove: Global Vectors for Word Representation. EMNLP 2014: 1532-1543

＜質問応答装置１０のハードウェア構成＞
次に、本発明の第一の実施形態における質問応答装置１０のハードウェア構成について、図４を参照しながら説明する。図４は、本発明の第一の実施形態における質問応答装置１０のハードウェア構成の一例を示す図である。

図４に示すように、本発明の第一の実施形態における質問応答装置１０は、ハードウェアとして、入力装置２０１と、表示装置２０２と、外部Ｉ／Ｆ２０３と、ＲＡＭ（Random Access Memory）２０４と、ＲＯＭ（Read Only Memory）２０５と、プロセッサ２０６と、通信Ｉ／Ｆ２０７と、補助記憶装置２０８とを有する。これら各ハードウェアは、それぞれがバス２０９を介して通信可能に接続されている。

入力装置２０１は、例えばキーボードやマウス、タッチパネル等であり、ユーザが各種操作を入力するのに用いられる。表示装置２０２は、例えばディスプレイ等であり、質問応答装置１０の処理結果（例えば、質問に対する回答等）を表示する。なお、質問応答装置１０は、入力装置２０１及び表示装置２０２の少なくとも一方を有していなくてもよい。

外部Ｉ／Ｆ２０３は、外部装置とのインタフェースである。外部装置には、記録媒体２０３ａ等がある。質問応答装置１０は、外部Ｉ／Ｆ２０３を介して、記録媒体２０３ａの読み取りや書き込み等を行うことができる。記録媒体２０３ａには、質問応答装置１０が有する各機能部を実現する１以上のプログラム等が記録されていてもよい。

記録媒体２０３ａには、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（Secure Digital memory card）、ＵＳＢ（Universal Serial Bus）メモリカード等がある。

ＲＡＭ２０４は、プログラムやデータを一時保持する揮発性の半導体メモリである。ＲＯＭ２０５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである、ＲＯＭ２０５には、例えば、ＯＳ（Operating System）に関する設定情報や通信ネットワークに関する設定情報等が格納されている。

プロセッサ２０６は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等であり、ＲＯＭ２０５や補助記憶装置２０８等からプログラムやデータをＲＡＭ２０４上に読み出して処理を実行する。質問応答装置１０が有する各機能部は、例えば、補助記憶装置２０８に格納されている１以上のプログラムがプロセッサ２０６に実行させる処理により実現される。なお、質問応答装置１０は、プロセッサ２０６として、ＣＰＵとＧＰＵとの両方を有していてもよいし、ＣＰＵ又はＧＰＵのいずれか一方のみを有していてもよい。

通信Ｉ／Ｆ２０７は、質問応答装置１０を通信ネットワークに接続するためのインタフェースである。質問応答装置１０が有する各機能部を実現する１以上のプログラムは、通信Ｉ／Ｆ２０７を介して、所定のサーバ装置等から取得（ダウンロード）されてもよい。

補助記憶装置２０８は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等であり、プログラムやデータを格納している不揮発性の記憶装置である。補助記憶装置２０８に格納されているプログラムやデータには、例えば、ＯＳ、各種アプリケーションプログラム、質問応答装置１０が有する各機能部を実現する１以上のプログラム等がある。また、質問応答装置１０が有する単語ベクトル記憶部１０１は、補助記憶装置２０８を用いて実現可能である。ただし、質問応答装置１０が有する単語ベクトル記憶部１０１は、例えば、質問応答装置１０と通信ネットワークを介して接続される記憶装置等を用いて実現されていてもよい。

本発明の第一の実施形態における質問応答装置１０は、図４に示すハードウェア構成を有することより、後述する各種処理を実現することができる。なお、図４に示す例では、本発明の第一の実施形態における質問応答装置１０が１台の装置（コンピュータ）で実現されている場合について説明したが、これに限られない。質問応答装置１０は、複数台の装置（コンピュータ）で実現されていてもよい。また、１台の装置（コンピュータ）には、複数のプロセッサ２０６と、複数のメモリ（ＲＡＭ２０４、ＲＯＭ２０６、補助記憶装置２０８等）とが含まれていてもよい。

＜学習処理＞
以降では、本発明の第一の実施形態における質問応答装置１０によって回答文生成モデルを学習する処理（学習処理）について、図５を参照しながら説明する。図５は、本発明の第一の実施形態における学習処理の一例を示すフローチャートである。なお、上述したように、学習時の質問応答装置１０は、図１に示す各機能部及び記憶部を有している。

ステップＳ１０１：入力部１０２は、訓練データセットを入力する。入力部１０２は、例えば、補助記憶装置２０８や記録媒体２０３ａ等に格納されている訓練データセットを入力してもよいし、通信Ｉ／Ｆ２０７を介して所定のサーバ装置等から取得（ダウンロード）した訓練データセットを入力してもよい。

ステップＳ１０２：入力部１０２は、訓練データセットの学習回数を示すエポック数ｎ_ｅを１に初期化する。なお、エポック数ｎ_ｅの最大値をＮ_ｅと表す。Ｎ_ｅはハイパーパラメータであり、例えば、Ｎ_ｅ＝１５等とすればよい。

ステップＳ１０３：入力部１０２は、訓練データセットをＮ_ｂ個のミニバッチに分割する。なお、ミニバッチへの分割数Ｎ_ｂはハイパーパラメータであり、例えば、Ｎ_ｂ＝６０等とすればよい。

ステップＳ１０４：質問応答装置１０は、Ｎ_ｂ個のミニバッチ毎に、パラメータ更新処理を繰り返し実行する。すなわち、質問応答装置１０は、ミニバッチを用いて損失を計算した上で、この損失を用いて任意の最適化方法によりパラメータを更新する。なお、パラメータ更新処理の詳細については後述する。

ステップＳ１０５：入力部１０２は、エポック数ｎ_ｅがＮ_ｅ−１より大きいか否かを判定する。エポック数ｎ_ｅがＮ_ｅ−１より大きいと判定されなかった場合、質問応答装置１０は、ステップＳ１０６の処理を実行する。一方で、エポック数ｎ_ｅがＮ_ｅ−１より大きいと判定された場合、質問応答装置１０は、学習処理を終了する。

ステップＳ１０６：入力部１０２は、エポック数ｎ_ｅに対して「１」を加算する。そして、質問応答装置１０は、ステップＳ１０３の処理を実行する。これにより、ステップＳ１０１で入力された訓練データセットを用いて、ステップＳ１０３〜ステップＳ１０４の処理がＮ_ｅ回繰り返し実行される。

＜パラメータ更新処理＞
ここで、上記のステップＳ１０４におけるパラメータ更新処理の詳細について、図６Ａ及び図６Ｂを参照しながら説明する。図６Ａ及び図６Ｂは、本発明の第一の実施形態におけるパラメータ更新処理の一例を示すフローチャートである。なお、以降では、Ｎ_ｂ個のミニバッチのうちの或る１つのミニバッチを用いたパラメータ更新処理について説明する。

ステップＳ２０１：入力部１０２は、ミニバッチの中から１つの訓練データを取得する。なお、以降では、訓練データに含まれる文書集合はＫ個の文書で構成されているものとする。

ステップＳ２０２：単語系列ベクトル化部１０３は、各ｋ（ｋ＝１，・・・，Ｋ）に対して、当該訓練データに含まれる文書集合のｋ番目の文書の単語系列

に含まれる各単語で単語ベクトル記憶部１０１を検索し、これら各単語を単語ベクトルに変換することで、ｋ番目の文書の単語系列を文書ベクトル系列

に変換する。Ｌは、文書の単語系列の長さであり、例えば、Ｌ＝４００等とすればよい。

このとき、単語系列ベクトル化部１０３は、ｋ番目の文書の単語系列を文書ベクトル系列Ｘ^ｋに変換する前に、当該単語系列の先頭に特殊文字＜Ｓ＞を挿入すると共に、末尾に特殊文字＜／Ｓ＞を挿入する。また、単語系列ベクトル化部１０３は、特殊文字＜Ｓ＞及び＜／Ｓ＞を挿入した後の単語系列の長さがＬ未満である場合は、当該単語系列の長さがＬとなるように、特殊文字＜ＰＡＤ＞でパディングする。更に、単語系列ベクトル化部１０３は、単語ベクトル記憶部１０１に格納されていない単語を単語ベクトルに変換する際には、当該単語を特殊文字＜ＵＮＫ＞として扱って単語ベクトルに変換する。

ステップＳ２０３：次に、単語系列ベクトル化部１０３は、以下の参考文献２に記載されている双方向のＧＲＵ（Gated Recurrent Unit）により、各ｋ（ｋ＝１，・・・，Ｋ）に対して、ｋ番目の文書ベクトル系列Ｘ^ｋを文書ベクトル系列

に変換する。ここで、ｄはＧＲＵの隠れ状態のサイズである。ｄとしては、例えば、ｄ＝１００等とすればよい。

［参考文献２］
Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio: Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP 2014: 1724-1734

ステップＳ２０４：単語系列ベクトル化部１０３は、当該訓練データに含まれる質問の単語系列

に含まれる各単語で単語ベクトル記憶部１０１を検索し、これら各単語を単語ベクトルに変換することで、質問の単語系列を質問ベクトル系列

に変換する。Ｊは、質問の単語系列の長さであり、例えば、Ｊ＝３０等とすればよい。なお、このとき、単語系列ベクトル化部１０３は、上記のステップＳ２０２と同様に、特殊文字＜Ｓ＞、＜／Ｓ＞、＜ＰＡＤ＞及び＜ＵＮＫ＞を用いる。

ステップＳ２０５：次に、単語系列ベクトル化部１０３は、上記のステップＳ２０３と同様に、参考文献２に記載されている双方向のＧＲＵにより、質問ベクトル系列Ｘ^ｑを質問ベクトル系列

に変換する。

ここで、以降では、Ｅ_１ ^ｑ∈Ｒ^２ｄの各要素のうち、逆方向のＧＲＵに対応するｄ次元分の要素で構成されるベクトルと、Ｅ_Ｊ ^ｑ∈Ｒ^２ｄの各要素のうち、順方向のＧＲＵに対応するｄ次元分の要素で構成されるベクトルとを連結したベクトルを

とする。

ステップＳ２０６：次に、単語系列マッチング部１０４は、各ｋ（ｋ＝１，・・・，Ｋ）に対して、文書ベクトル系列Ｅ^ｋと質問ベクトル系列Ｅ^ｑとのマッチング行列Ｓ^ｋの（ｌ，ｊ）成分の要素を以下の式（１）によりそれぞれ計算する。

ここで、

は各ベクトルの要素毎の積（アダマール積）、「；」はベクトルの連結、τは転置を表す。また、ｗ_ｓ∈Ｒ^６ｄは、回答文生成モデルの学習パラメータである。

ステップＳ２０７：次に、単語系列マッチング部１０４は、各ｋ（ｋ＝１，・・・，Ｋ）に対して、マッチング行列Ｓ^ｋを用いて、以下の式（２）及び（３）により行列Ａ^ｋ及びＢ^ｋを計算する。

ステップＳ２０８：次に、単語系列マッチング部１０４は、文書ベクトル系列Ｅ^ｋと、質問ベクトル系列Ｅ^ｑと、行列Ａ^ｋ及びＢ^ｋとを用いて、以下の式（４）及び（５）によりベクトル系列Ｇ^ｑ→ｋ及びＧ^ｋ→ｑを計算する。

ここで、

である。なお、Ｇ^ｋ→ｑは１度のみ計算され、Ｇ^ｑ→ｋは文書毎に計算される（つまり、Ｇ^ｑ→ｋは各ｋ（ｋ＝１，・・・，Ｋ）に対して計算される。）。

ステップＳ２０９：次に、単語系列マッチング部１０４は、１層の双方向ＧＲＵ（隠れ状態サイズｄ）により、ベクトル系列Ｇ^ｑ→ｋ及びＧ^ｋ→ｑをマッチングベクトル系列Ｍ^ｑ→ｋ∈Ｒ^２ｄ×Ｌ及びＭ^ｋ→ｑ∈Ｒ^２ｄ×Ｊにそれぞれ変換する。

ステップＳ２１０：次に、スタイル依存回答文生成部１０５は、以下の式（６）によりデコーダの初期状態ｈ_０∈Ｒ^２ｄを計算する。

ここで、Ｗ∈Ｒ^{２ｄ×２ｄ}及びｂ∈Ｒ^２ｄは、回答文生成モデルの学習パラメータである。

ステップＳ２１１：次に、スタイル依存回答文生成部１０５は、出力単語ｙ_０を特殊文字＜Ｓ＞とすると共に、出力単語ｙ_ｔのインデックスｔをｔ＝１に初期化する。また、スタイル依存回答文生成部１０５は、質問コンテキストベクトルｃ_０ ^ｑ及び文書集合コンテキストベクトルｃ_０ ^ｘを、それぞれ２ｄ次元の零ベクトルに初期化する。

ステップＳ２１２：次に、スタイル依存回答文生成部１０５は、単方向のＧＲＵによりデコーダの状態ｈ_ｔを更新する。すなわち、スタイル依存回答文生成部１０５は、以下の式（７）によりデコーダの状態ｈ_ｔを更新する。

ここで、Ｙ_ｔ−１は、単語ベクトル記憶部１０１に格納されているデータにより、１つ前のインデックスｔ−１での出力単語ｙ_ｔ−１を、ｖ次元の単語ベクトルに変換したものである。また、ｚは、回答スタイルの種類数次元のｏｎｅ―ｈｏｔベクトルであり、指定された回答スタイル（つまり、該当の訓練データに含まれる回答スタイル）に対応する要素のみ１、他の要素は０となるベクトルである。例えば、回答スタイルの種類として「単語」と「自然文」とを考える場合、ｚは２次元のベクトルとなる。

ステップＳ２１３：次に、スタイル依存回答文生成部１０５は、デコーダの状態ｈ_ｔを用いて、質問への注視分布α_ｔｊ ^ｑと質問コンテキストベクトルｃ_ｔ ^ｑとを以下の式（８）〜（１０）により計算する。

ここで、Ｍ_ｊ ^ｑはＭ^ｋ→ｑ∈Ｒ^２ｄ×Ｊのｊ番目の列ベクトルである。また、Ｓはスコア関数であり、例えば、内積を用いることができる。なお、スコア関数Ｓとしては、内積以外に、例えば、ｂｉｌｉｎｅａｒや多層パーセプトロン等が用いられてもよい。

ステップＳ２１４：次に、スタイル依存回答文生成部１０５は、デコーダの状態ｈ_ｔを用いて、文書集合への注視分布α_ｔｋｌ ^ｘと文書コンテキストベクトルｃ_ｔ ^ｋとを以下の式（１１）〜（１３）により計算する。

ここで、Ｍ_ｌ ^ｋはＭ^ｑ→ｋ∈Ｒ^２ｄ×Ｌのｌ番目の列ベクトルである。なお、スコア関数Ｓは、内積を用いることができるが、上述した通り、例えば、ｂｉｌｉｎｅａｒや多層パーセプトロン等が用いられてもよい。

ステップＳ２１５：次に、スタイル依存回答文生成部１０５は、確率合成比λを以下の式（１４）により計算する。

ここで、Ｗ^λ∈Ｒ^３×５ｄ及びｂ^λ∈Ｒ^３は、回答文生成モデルの学習パラメータである。

確率合成比λとは、質問と、文書集合と、予め設定された出力語彙とのいずれに含まれる単語を重視して出力単語ｙ_ｔを生成するかを調整するパラメータである。以降では、確率合成比λを、λ＝［λ_１，λ_２，λ_３］^τと表す。なお、出力語彙とは、回答文に用いることが可能な単語の集合のことである。出力語彙の語彙数（つまり、単語の種類数）をＶｏｕｔと表す。

ステップＳ２１６：次に、スタイル依存回答文生成部１０５は、確率混合比λを用いて、単語ｙ_ｔの生成確率ｐを以下の式（１５）により計算する。

ここで、

として、文書の注視分布と単語の注視分布とを利用する。また、設定された出力語彙における単語の確率Ｐ_Ｇは以下により計算される。

ここで、

は、回答文生成モデルの学習パラメータである。また、σは活性化関数であり、例えば、ＲｅＬＵが用いられる。

ステップＳ２１７：次に、スタイル依存回答文生成部１０５は、上記の式（１５）で計算された生成確率ｐに基づいて、ｔ番目の出力単語ｙ_ｔを生成する。ここで、スタイル依存回答文生成部１０５は、例えば、生成確率ｐが最大となる単語を出力単語ｙ_ｔとして生成してもよいし、生成確率ｐの分布（確率分布）に従ってサンプリングにより単語を出力単語ｙ_ｔとして生成してもよい。

ステップＳ２１８：次に、スタイル依存回答文生成部１０５は、該当の訓練データに含まれる正解回答文のｔ番目の単語が特殊単語＜／Ｓ＞（つまり、文末を表す特殊単語）であるか否かを判定する。正解回答文のｔ番目の単語が＜／Ｓ＞でないと判定された場合、質問応答装置１０は、ステップＳ２１９の処理を実行する。一方で、正解回答文のｔ番目の単語が＜／Ｓ＞であると判定された場合、質問応答装置１０は、ステップＳ２２０の処理を実行する。

ステップＳ２１９：スタイル依存回答文生成部１０５は、出力単語ｙ_ｔのインデックスｔに「１」を加算する。そして、スタイル依存回答文生成部１０５は、加算後のｔを用いて、ステップＳ２１２の処理を実行する。これにより、各ｔ（ｔ＝１，２，・・・）に対して、正解回答文のｔ番目の単語が＜／Ｓ＞となるまで、ステップＳ２１２〜ステップＳ１７の処理が繰り返し実行される。

ステップＳ２２０：パラメータ学習部１０６は、上記のステップＳ２１７で生成された出力単語ｙ_ｔと、正解回答文とを用いて、以下の式（１６）により損失Ｌ_Ｇを計算する。

ここで、ｙ_ｔ ^＊は、正解回答文のｔ番目の単語（つまり、ｔ番目の正解単語）である。また、Ｔは、正解回答文の長さである。これにより、１つの訓練データに関する損失Ｌ_Ｇが計算される。

ステップＳ２２１：次に、入力部１０２は、未取得の訓練データがミニバッチの中にあるか否かを判定する。未取得の訓練データがミニバッチの中にあると判定された場合、質問応答装置１０は、ステップＳ２０１の処理を実行する。これにより、ミニバッチに含まれる訓練データ毎に、ステップＳ２０２〜ステップＳ２２０の処理が実行される。一方で、未取得の訓練データがミニバッチの中にないと判定された場合（すなわち、ミニバッチに含まれる全ての訓練データに対してステップＳ２０２〜ステップＳ２２０の処理が実行された場合）、質問応答装置１０は、ステップＳ２２２の処理を実行する。

ステップＳ２２２：パラメータ学習部１０６は、ミニバッチに含まれる各訓練データに関してそれぞれ計算された損失Ｌ_Ｇの平均を計算した上で、計算した平均を用いて、例えば確率的勾配降下法により回答文生成モデル（ニューラルネットワーク）の学習パラメータを更新する。なお、確率的勾配降下法はパラメータ最適化方法の一例であって、任意の最適化方法により学習パラメータが更新されてもよい。これにより、１つのミニバッチを用いて、回答文生成モデルの学習パラメータが更新される。

なお、上記のステップＳ２１７では出力単語ｙ_ｔを生成しているが、必ずしも出力単語ｙ_ｔが生成される必要はない。出力単語ｙ_ｔを生成せずに、上記の式（１６）に示す損失Ｌ_Ｇが計算されてもよい。

＜質問応答処理＞
以降では、本発明の第一の実施形態における質問応答装置１０によって質問応答する処理（質問応答処理）について、図７を参照しながら説明する。図７は、本発明の第一の実施形態における質問応答処理の一例を示すフローチャートである。なお、上述したように、質問応答時の質問応答装置１０は、図２に示す各機能部及び記憶部を有している。

ステップＳ３０１：入力部１０２は、テストデータを取得する。なお、以降では、テストデータに含まれる文書集合はＫ個の文書で構成されているものとする。

以降のステップＳ３０２〜ステップＳ３１７及びステップＳ３１９の処理は、上記のステップＳ２０２〜ステップＳ２１７及びステップＳ２１９の処理とそれぞれ同様であるため、その説明を省略する。ただし、ステップＳ３０２〜ステップＳ３１７及びステップＳ３１９の処理では、上記のステップＳ３０１で入力されたテストデータに含まれる質問と文書集合と回答スタイルとを用いる。また、回答文生成モデル（ニューラルネットワーク）のパラメータは、学習処理で学習されたパラメータを用いる。

ステップＳ３１８：スタイル依存回答文生成部１０５は、ステップＳ３１７で生成された出力単語ｙ_ｔが特殊単語＜／Ｓ＞（つまり、文末を表す特殊単語）であるか否かを判定する。出力単語ｙ_ｔが特殊単語＜／Ｓ＞でないと判定された場合、質問応答装置１０は、ステップＳ３１９の処理を実行する。一方で、出力単語ｙ_ｔが特殊単語＜／Ｓ＞であると判定された場合、質問応答装置１０は、ステップＳ３２０の処理を実行する。

ステップＳ３２０：出力部１０７は、ステップＳ３１７で生成された各出力単語ｙ_ｔで構成される回答文を出力する。これにより、テストデータに含まれる質問に対する回答文として、当該テストデータに含まれる回答スタイルに応じた回答文が得られる。

＜本発明の第一の実施形態の実験結果＞
ここで、本発明の第一の実施形態における手法（以降、「本発明の手法」と表す。）の実験結果を以下の表１に示す。

ここで、実験データとしては、MS MARCO v.2.1のDev Setに含まれるデータのうち、回答可能な質問と自然文の回答文とが含まれるデータを用いた。また、評価指標としては、Rouge-LとBleu-1とを用いた。上記の表１中の「w/o multi-style learning」は、回答スタイルを考慮しないで回答文を生成する技術（従来技術）を表す。

上記の表１に示すように、本発明の手法では、Rouge-L及びBleu-1いずれでも従来技術より高い値が得られている。したがって、本発明の手法によれば、与えられた質問に対して、回答スタイルに応じた自然な回答文が得られていることがわかる。このため、本発明の手法によれば、或る回答スタイルに応じた回答文を出力する従来技術によりも、当該回答スタイルに応じた回答文をより高い精度で得ることが可能となる。

［第二の実施形態］
ここで、質問応答装置１０に与えられた文書集合の中には、一般に、回答文の生成に適合する文書と回答文の生成に適合しない文書とが混在している場合が多い。また、文書集合全体として回答文を生成するのに不十分な場合がある。各文書が回答文の生成に適合しているか否かや文書集合全体が回答文の生成に十分であるか否かは、生成された回答文の精度等に密接な関係がある。

そこで、第二の実施形態では、任意の文書集合と、この文書集合に対する任意の質問と、例えばユーザ等によって指定された回答スタイルとが与えられた場合に、ニューラルネットワークによる文生成技術を用いて、当該回答スタイルに応じた回答文の生成に加えて、回答文の生成に対する各文書の適合度を表す文書適合性と、回答文の生成に対する文書集合全体としての十分性を表す回答可能性とを出力する質問応答装置１０について説明する。

なお、本発明の第二の実施形態では、主に、第一の実施形態との相違点について説明し、第一の実施形態と同一の構成要素については、適宜、その説明を省略又は簡略化するものとする。

＜質問応答装置１０の機能構成＞
≪学習時≫
本発明の第二の実施形態の学習時における質問応答装置１０の機能構成について、図８を参照しながら説明する。図８は、本発明の第二の実施形態における質問応答装置１０の機能構成（学習時）の一例を示す図である。

図８に示すように、学習時における質問応答装置１０は、記憶部として、単語ベクトル記憶部１０１を有する。また、学習時における質問応答装置１０は、機能部として、入力部１０２と、単語系列ベクトル化部１０３と、単語系列マッチング部１０４と、スタイル依存回答文生成部１０５と、パラメータ学習部１０６と、文書適合度計算部１０８と、回答可能性計算部１０９とを有する。

第二の実施形態では、訓練データには、質問と、文書集合と、回答スタイルと、正解回答文と、当該文書集合に含まれる各文書の文書適合度と、当該文書集合全体の回答可能性との組で表されものとする。文書適合度とは、回答文の生成に対する文書の適合度を表す指標値であり、例えば０以上１以下の値を取り得る。また、回答可能性とは、回答文の生成に対する文書集合全体としての十分性を表す指標値であり、例えば０以上１以下の値を取り得る。なお、訓練データに含まれる文書適合度及び回答可能性を、それぞれ「正解文書適合度」及び「正解回答可能性」とも表す。

文書適合度計算部１０８は、文書集合に含まれる各文書の文書適合度を計算する。回答可能性計算部１０９は、文書集合全体の回答可能性を計算する。

また、パラメータ学習部１０６は、当該訓練データに含まれる正解回答文と、生成された回答文との損失（誤差）、当該訓練データに含まれる正解文書適合度と、計算された文書適合度との損失（誤差）、及び当該訓練データに含まれる正解回答可能性と、計算された回答可能性との損失（誤差）を用いて、ニューラルネットワーク（回答文生成モデル）のパラメータを学習（更新）する。これにより、ニューラルネットワーク（回答文生成モデル）が学習される。

ここで、第二の実施形態では、文書ベクトル系列Ｅ^ｋと質問ベクトル系列Ｅ^ｑとのマッチング行列Ｓ^ｋを計算するニューラルネットワークを、スタイル依存回答文生成部１０５と、文書適合度計算部１０８と、回答可能性計算部１０９とで共有している。これにより、学習後の回答文生成モデルでは、回答文と、文書適合度と、回答可能性とを高い精度で生成及び出力することが可能となる。

≪質問応答時≫
本発明の第二の実施形態の質問応答時における質問応答装置１０の機能構成について、図９を参照しながら説明する。図９は、本発明の第二の実施形態における質問応答装置１０の機能構成（質問応答時）の一例を示す図である。

図９に示すように、質問応答時における質問応答装置１０は、記憶部として、単語ベクトル記憶部１０１を有する。また、質問応答時における質問応答装置１０は、機能部として、入力部１０２と、単語系列ベクトル化部１０３と、単語系列マッチング部１０４と、スタイル依存回答文生成部１０５と、出力部１０７と、文書適合度計算部１０８と、回答可能性計算部１０９とを有する。なお、これらの記憶部及び各機能部は、上述した通りである。

＜学習処理＞
以降では、本発明の第二の実施形態における質問応答装置１０によって回答文生成モデルを学習する処理（学習処理）について、図１０を参照しながら説明する。図１０は、本発明の第二の実施形態における学習処理の一例を示すフローチャートである。なお、上述したように、学習時の質問応答装置１０は、図８に示す各機能部及び記憶部を有している。図１０のステップＳ４０１〜ステップＳ４０６は、図５のステップＳ１０１〜ステップＳ１０６とそれぞれ同様であるため、その説明を省略する。ただし、ステップＳ４０４におけるパラメータ更新処理の詳細は、ステップＳ１０４とは異なる。

＜パラメータ更新処理＞
そこで、上記のステップＳ４０４におけるパラメータ更新処理の詳細について、図１１Ａ及び図１１Ｂを参照しながら説明する。図１１Ａ及び図１１Ｂは、本発明の第二の実施形態におけるパラメータ更新処理の一例を示すフローチャートである。なお、以降では、Ｎ_ｂ個のミニバッチのうちの或る１つのミニバッチを用いたパラメータ更新処理について説明する。

ステップＳ５０１：入力部１０２は、ミニバッチの中から１つの訓練データを取得する。なお、以降では、訓練データに含まれる文書集合はＫ個の文書で構成されているものとする。

ステップＳ５０２：単語系列ベクトル化部１０３は、上記のステップＳ２０２と同様に、各ｋ（ｋ＝１，・・・，Ｋ）に対して、ｋ番目の文書の単語系列を文書ベクトル系列Ｘ^ｋに変換する。

ステップＳ５０３：次に、単語系列ベクトル化部１０３は、上記のステップＳ２０３と同様に、参考文献２に記載されている双方向のＧＲＵにより、各ｋ（ｋ＝１，・・・，Ｋ）に対して、ｋ番目の文書ベクトル系列Ｘ^ｋを文書ベクトル系列Ｅ^ｋに変換する。

なお、単語系列ベクトル化部１０３は、双方向のＧＲＵの代わりに、例えば、以下の参考文献３に記載されているＬＳＴＭ（Long short-term memory）や以下の参考文献４に記載されているTransformer等により、文書ベクトル系列Ｘ^ｋを文書ベクトル系列Ｅ^ｋに変換してもよい。

［参考文献３］
Sepp Hochreiter and Jurgen Schmidhuber. 1997. Long Short-Term Memory. Neural Computation 9, 8 (1997), 1735-1780
［参考文献４］
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin: Attention is All you Need. NIPS 2017: 6000-6010

ステップＳ５０４：単語系列ベクトル化部１０３は、上記のステップＳ２０４と同様に、質問の単語系列を質問ベクトル系列Ｘ^ｑに変換する。

ステップＳ５０５：次に、単語系列ベクトル化部１０３は、上記のステップＳ２０３と同様に、参考文献２に記載されている双方向のＧＲＵにより、質問ベクトル系列Ｘ^ｑを質問ベクトル系列Ｅ^ｑに変換する。

なお、単語系列ベクトル化部１０３は、上記のステップＳ５０３と同様に、双方向のＧＲＵの代わりに、例えば、参考文献３に記載されているＬＳＴＭや参考文献４に記載されているTransformer等により、質問ベクトル系列Ｘ^ｑを質問ベクトル系列Ｅ^ｑに変換してもよい。

以降のステップＳ５０６〜ステップＳ５０８の処理は、上記のステップＳ２０６〜ステップＳ２０８の処理とそれぞれ同様であるため、その説明を省略する。

ステップＳ５０９：単語系列マッチング部１０４は、上記のステップＳ２０９と同様に、１層の双方向ＧＲＵ（隠れ状態サイズｄ）により、ベクトル系列Ｇ^ｑ→ｋ及びＧ^ｋ→ｑをマッチングベクトル系列Ｍ^ｑ→ｋ∈Ｒ^２ｄ×Ｌ及びＭ^ｋ→ｑ∈Ｒ^２ｄ×Ｊにそれぞれ変換する。

なお、単語系列マッチング部１０４は、１層の双方向ＧＲＵの代わりに、例えば、参考文献３に記載されているＬＳＴＭや参考文献４に記載されているTransformer等により、ベクトル系列Ｇ^ｑ→ｋ及びＧ^ｋ→ｑをマッチングベクトル系列Ｍ^ｑ→ｋ∈Ｒ^２ｄ×Ｌ及びＭ^ｋ→ｑ∈Ｒ^２ｄ×Ｊにそれぞれ変換してもよい。

ステップＳ５１０：文書適合度計算部１０８は、以下の式（１７）により、各文書の文書適合度β^ｋ∈［０，１］を計算する。

ここで、Ｍ^{ｋ，ｐｏｏｌ}∈Ｒ^２ｄはｋ番目の文書のプーリング表現である。また、ｗ^ｒａｎｋ∈Ｒ^２ｄは、回答文生成モデルの学習パラメータである。プーリング表現Ｍ^{ｋ，ｐｏｏｌ}としては、例えば、Ｍ^ｋ→ｑの双方向ＧＲＵのそれぞれの末尾ベクトルを連結したベクトルやTransformerの先頭ベクトル等が利用可能である。

ステップＳ５１１：回答可能性計算部１０９は、以下の式（１８）により、質問に対する文書集合の回答可能性ａ∈［０，１］を計算する。

ここで、ｗ^ａｎｓ∈Ｒ^２Ｋｄは、回答文生成モデルの学習パラメータである。

ステップＳ５１２：スタイル依存回答文生成部１０５は、上記のステップＳ２１１と同様に、出力単語ｙ_０を特殊文字＜Ｓ＞とすると共に、出力単語ｙ_ｔのインデックスｔをｔ＝１に初期化する。また、スタイル依存回答文生成部１０５は、質問コンテキストベクトルｃ_０ ^ｑ及び文書集合コンテキストベクトルｃ_０ ^ｘを、それぞれ２ｄ次元の零ベクトルに初期化する。

ステップＳ５１３：次に、単語系列ベクトル化部１０３は、当該訓練データに含まれる正解質問の単語系列（ｙ_１，ｙ_２，・・・，ｙ_Ｔ）に含まれる各単語で単語ベクトル記憶部１０１を検索し、これら各単語を単語ベクトルに変換することで、当該単語系列をベクトル系列Ｙ＝［Ｙ_１，Ｙ_２，・・・，Ｙ_Ｔ］∈Ｒ^ｖ×Ｔに変換する。

このとき、単語系列ベクトル化部１０３は、単語系列（ｙ_１，ｙ_２，・・・，ｙ_Ｔ）をベクトル系列Ｙに変換する前に、指定された回答スタイル（つまり、該当の訓練データに含まれる回答スタイル）に応じた特殊文字を当該単語系列の先頭に挿入すると共に、末尾に特殊文字＜／Ｓ＞を挿入する。例えば、回答スタイルの種類として「単語」と「自然文」とがあり、「単語」の特殊文字が＜Ｅ＞、「自然文」の特殊文字が＜Ａ＞であるとする。この場合に、指定された回答スタイルが「自然文」である場合は、単語系列ベクトル化部１０３は、当該単語系列の先頭に特殊文字＜Ａ＞を挿入する。一方で、指定された回答スタイルが「単語」である場合は、単語系列ベクトル化部１０３は、当該単語系列の先頭に特殊文字＜Ｅ＞を挿入する。

また、単語系列ベクトル化部１０３は、単語ベクトル記憶部１０１に格納されていない単語を単語ベクトルに変換する際には、当該単語を特殊文字＜ＵＮＫ＞として扱って単語ベクトルに変換する。なお、第二の実施形態では、単語ベクトル記憶部１０１には、回答スタイルに応じた特殊文字と、この特殊文字の単語ベクトルとを対応付けたデータが格納されているものとする。

ステップＳ５１４：次に、スタイル依存回答文生成部１０５は、デコーダの状態ｈ＝［ｈ_１，ｈ_２，・・・，ｈ_Ｔ］∈Ｒ^２ｄ×Ｔを計算する。スタイル依存回答文生成部１０５は、Transformerブロック処理によりデコーダの状態ｈを計算する。Transformerブロック処理では、参考文献４に記載されているMaskedSelfAttention、MultiHeadAttention及びFeedForwardNetworkを利用する。すなわち、スタイル依存回答文生成部１０５は、Ｍ^ａ＝ｗ^ｄｅｃＹを計算した後、以下の式（１９）〜（２２）によりデコーダの状態ｈを計算する。

ここで、ｗ^ｄｅｃ∈Ｒ^２ｄ×ｖは、回答文生成モデルの学習パラメータである。これにより、デコーダの状態ｈ∈Ｒ^２ｄ×Ｔが得られる。なお、上記の式（１９）〜（２２）を１ブロックとして、スタイル依存回答文生成部１０５は、ブロック処理を繰り返し実行してもよい。

なお、パラメータ更新処理では、１つの訓練データに対して、上記のステップＳ５１４が１度実行されればよい（つまり、上記のステップＳ５１４をインデックスｔ毎に繰り返し実行しなくてもよい。）。

以降のステップＳ５１５〜ステップＳ５２１の処理は、上記のステップＳ２１３〜ステップＳ２１９の処理とそれぞれ同様であるため、その説明を省略する。

ステップＳ５２２：パラメータ学習部１０６は、出力単語ｙ_ｔと、正解回答文と、文書適合度β_ｋと、正解文書適合度と、回答可能性ａと、正解回答可能性とを用いて、以下の式（２３）により損失Ｌを計算する。

ここで、Ｌ_Ｇは以下の式（２４）により計算される。

また、Ｌ_ｒａｎｋは以下の式（２５）により計算される。

ここで、ｒ_ｋは、ｋ番目の文書の正解文書適合度である。

また、Ｌ_ｃｌｓは以下の式（２６）により計算される。

なお、上記の式（２３）のλ_ｒａｎｋ及びλ_ｃｌｓはユーザ等により設定されるパラメータであり、例えば、λ_ｒａｎｋ＝０．５、λ_ｃｌｓ＝０．１等とすればよい。

以降のステップＳ５２３〜ステップＳ５２４の処理は、上記のステップＳ２２１〜ステップＳ２２２の処理とそれぞれ同様であるため、その説明を省略する。これにより、１つのミニバッチを用いて、回答文生成モデルの学習パラメータが更新される。

なお、第一の実施形態と同様に上記のステップＳ５１９では、必ずしも出力単語ｙ_ｔが生成される必要はない。出力単語ｙ_ｔを生成せずに、上記の式（２３）に示す損失Ｌが計算されてもよい。

＜質問応答処理＞
以降では、本発明の第二の実施形態における質問応答装置１０によって質問応答する処理（質問応答処理）について、図１２Ａ及び図１２Ｂを参照しながら説明する。図１２Ａ及び図１２Ｂは、本発明の第二の実施形態における質問応答処理の一例を示すフローチャートである。なお、上述したように、質問応答時の質問応答装置１０は、図２に示す各機能部及び記憶部を有している。

ステップＳ６０１：入力部１０２は、テストデータを取得する。なお、以降では、テストデータに含まれる文書集合はＫ個の文書で構成されているものとする。

以降のステップＳ６０２〜ステップＳ６１２、ステップＳ６１４〜ステップＳ６１９及びステップＳ６２１の処理は、上記のステップＳ５０２〜ステップＳ５１２、ステップＳ５１４〜ステップＳ５１９及びステップＳ５２１の処理とそれぞれ同様であるため、その説明を省略する。ただし、ステップＳ６０２〜ステップＳ６１２、ステップＳ６１４〜ステップＳ６１９及びステップＳ６２１の処理では、上記のステップＳ６０１で入力されたテストデータに含まれる質問と文書集合と回答スタイルとを用いる。また、回答文生成モデル（ニューラルネットワーク）のパラメータは、学習処理で学習されたパラメータを用いる。

ステップＳ６１３：単語系列ベクトル化部１０３は、ステップＳ６１９で生成された出力単語の単語系列（ｙ_１，・・・，ｙ_ｔ−１）に含まれる各単語で単語ベクトル記憶部１０１を検索し、これら各単語を単語ベクトルに変換することで、当該単語系列をベクトル系列Ｙ＝［Ｙ_１，Ｙ_２，・・・，Ｙ_Ｔ］∈Ｒ^ｖ×Ｔに変換する。

このとき、単語系列ベクトル化部１０３は、単語系列（ｙ_１，ｙ_２，・・・，ｙ_ｔ−１）をベクトル系列Ｙに変換する前に、指定された回答スタイル（つまり、テストデータに含まれる回答スタイル）に応じた特殊文字を当該単語系列の先頭に挿入すると共に、末尾に特殊文字＜／Ｓ＞を挿入する。また、単語系列ベクトル化部１０３は、回答スタイルに応じた特殊文字と特殊文字＜／Ｓ＞とを挿入した後の単語系列の長さがＴ未満である場合は、当該単語系列の長さがＴとなるように、特殊文字＜ＰＡＤ＞でパディングする。更に、単語系列ベクトル化部１０３は、単語ベクトル記憶部１０１に格納されていない単語を単語ベクトルに変換する際には、当該単語を特殊文字＜ＵＮＫ＞として扱って単語ベクトルに変換する。なお、第二の実施形態では、単語ベクトル記憶部１０１には、回答スタイルに応じた特殊文字と、この特殊文字の単語ベクトルとを対応付けたデータが格納されているものとする。

ステップＳ６２０：スタイル依存回答文生成部１０５は、ステップＳ６１９で生成された出力単語ｙ_ｔが特殊単語＜／Ｓ＞（つまり、文末を表す特殊単語）であるか否かを判定する。出力単語ｙ_ｔが特殊単語＜／Ｓ＞でないと判定された場合、質問応答装置１０は、ステップＳ６２１の処理を実行する。一方で、出力単語ｙ_ｔが特殊単語＜／Ｓ＞であると判定された場合、質問応答装置１０は、ステップＳ６２２の処理を実行する。

ステップＳ６２２：出力部１０７は、ステップＳ６１９で生成された各出力単語ｙ_ｔで構成される回答文と、ステップＳ６１０で計算された文書適合度β_ｋと、ステップＳ６１１で計算された回答可能性ａとを出力する。これにより、文書集合に含まれる各文書の文書適合度β_ｋと当該文書集合の回答可能性ａとが得られると共に、回答スタイルに応じた回答文が得られる。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

１０ 質問応答装置
１０１ 単語ベクトル記憶部
１０２ 入力部
１０３ 単語系列ベクトル化部
１０４ 単語系列マッチング部
１０５ スタイル依存回答文生成部
１０６ パラメータ学習部
１０７ 出力部
１０８ 文書適合度計算部
１０９ 回答可能性計算部

Claims (8)

1. １つ以上の文書で構成される文書集合と、質問文と、該質問文に対する回答文のスタイルとを入力として、前記文書集合に基づいて前記質問文に対する回答文を生成する処理を学習済モデルにより実行する回答生成手段を有し、
   前記学習済モデルは、前記回答文を生成する際に、前記スタイルに応じて、前記回答文に含まれる単語の生成確率を決定する、
   ことを特徴とする質問応答装置。
2. 前記回答生成手段は、
   前記文書集合に含まれる単語、前記質問文に含まれる単語、及び予め設定された語彙集合に含まれる単語を用いて、前記回答文を生成し、
   前記学習済モデルは、前記回答文に含まれる単語を生成する際に、前記スタイルに応じて、前記語彙集合に含まれる単語、前記質問文に含まれる単語、又は前記語彙集合に含まれる単語のいずれを重視すべきかを表す比を算出する、ことを特徴とする請求項１に記載の質問応答装置。
3. 前記学習済モデルは、前記回答文に含まれる単語を生成する際に、前記文書集合に含まれる単語の注視分布と、前記質問文に含まれる単語の注視分布と、前記語彙集合に含まれる単語の確率分布とを、前記比を用いて合成することで、前記生成確率を決定する、ことを特徴とする請求項２に記載の質問応答装置。
4. 前記回答生成手段は、
   更に、前記回答文を生成する際における前記文書の適合性と、前記質問文に対する前記文書集合の回答可能性とを計算する処理を前記学習済モデルにより実行する、ことを特徴とする請求項１乃至３の何れか一項に記載の質問応答装置。
5. １つ以上の文書で構成される文書集合と、質問文と、該質問文に対する回答文のスタイルと、前記スタイルに応じた回答文の正解とを入力として、前記文書集合に基づいて前記質問文に対する回答文に含まれる単語の生成確率を計算する処理を学習済モデルにより実行する回答生成手段と、
   前記正解と、前記生成確率とを用いて計算された損失から、前記学習済モデルのパラメータを更新する更新手段と、
   を有することを特徴とする学習装置。
6. 前記スタイルには、前記回答文が単語で表現されることを示す「単語」又は前記回答文が句で表現されることを示す「フレーズ」と、前記回答文が自然文で表現されることを示す「自然文」とが少なくとも含まれる、ことを特徴とする請求項５に記載の学習装置。
7. １つ以上の文書で構成される文書集合と、質問文と、該質問文に対する回答文のスタイルとを入力として、前記文書集合に基づいて前記質問文に対する回答文を生成する処理を学習済モデルにより実行する回答生成手順をコンピュータが実行し、
   前記学習済モデルは、前記回答文を生成する際に、前記スタイルに応じて、前記回答文に含まれる単語の生成確率を決定する、ことを特徴とする質問応答方法。
8. コンピュータを、請求項１乃至４の何れか一項に記載の質問応答装置における各手段、又は、請求項５又は６に記載の学習装置における各手段として機能させるためのプログラム。

Images