JP2020140674A - 回答選択装置及びプログラム - Google Patents

Abstract

【課題】質問に対する回答を単語の系列情報のみを用いて選択する場合と比較して、回答を精度良く選択することができる回答選択装置及びプログラムを提供する。【解決手段】回答選択装置１０Ａは、質問に含まれる単語の順番を表す第１系列情報と、質問の構文構造を表す第１グラフの分散表現である第１グラフ情報とを統合して質問の第１統合情報とする第１統合部３４と、質問に対する複数の回答候補の各々について、回答候補に含まれる単語の順番を表す第２系列情報と、回答候補の構文構造を表す第２グラフの分散表現である第２グラフ情報とを統合して複数の回答候補の各々の第２統合情報とする第２統合部４０と、質問の第１統合情報及び複数の回答候補の各々の第２統合情報を入力として、質問に対して決定される、複数の回答候補の各々の適切度に基づいて、質問に対する回答を選択する選択部４２と、を備える。【選択図】図５

Description

本発明は、回答選択装置及びプログラムに関する。

例えば、特許文献１には、文書に含まれる文の動詞を抽出し、その動詞の主体や対象となる語彙を解析して、文を構成する語彙間の関係をグラフ構造で表現し、利用者が入力した文も同様に解析してグラフ構造で表現し、文書に含まれる文のグラフ構造から利用者が入力した文のグラフ構造と一致するものを検索して利用者に提示する文章検索方法が記載されている。この文章検索方法は、文書に含まれる文を章立てや段落分け、箇条書きの方法にもとづいて木構造に整理し、文書に含まれる文のグラフ構造が利用者から入力された文のグラフ構造と一致するとき、木構造において下位に位置する文を検索し、検索した文が命令文であればそのグラフ構造を利用者に提示し、検索した文が平叙文であれば平叙文とグラフ構造が一致する文の入力を利用者に促すことを繰り返すことにより、木構造の下位に位置する文のグラフ構造を検索する。

また、特許文献２には、入力された質問文に対してノンファクトイド型の質問応答を行うための回答文を生成する質問応答装置が記載されている。この質問応答装置は、入力された質問文に対する１つ以上の文からなる回答候補の集合を抽出する回答候補抽出手段と、回答候補抽出手段によって抽出された回答候補の集合に含まれる回答候補の各々について、質問文と回答候補との組み合わせに対する、質問文と回答候補との内容の関連性に関する特徴量と、回答候補中の括弧の割合を示す特徴量とを含む特徴ベクトルを生成する特徴量生成手段と、を備える。また、この質問応答装置は、質問文と回答候補との組み合わせの各々について、予め学習された特徴ベクトルに含まれる各特徴量に対する重みと、特徴量生成手段によって生成された組み合わせに対する特徴ベクトルとに基づいて、スコアを算出するスコア算出手段と、スコア算出手段によって算出されたスコアに従って、回答候補の集合をランキングするランキング手段と、を備える。

また、特許文献３には、入力文が発話文として適格であるか否かを判定するためのモデル学習装置が記載されている。このモデル学習装置は、発話文として適格であることを示す正例の情報又は発話文として適格でないことを示す負例の情報が付加されている形態素解析済みの入力文の各々について、係り受け解析を行い、入力文に含まれる各単語に対応して単語の品詞を表す各単語ノードを含み、単語の係り受け関係に応じたエッジで単語ノード間を結んだ木構造であって、単語ノードの各々について、単語ノードに対応する単語の表記を表すノード、単語ノードに対応する単語の標準表記を表すノード、及び単語ノードに対応する単語の終止形を表すノードの少なくとも１つを単語ノードの子ノードとして追加した木構造を作成する係り受け解析部を備える。また、このモデル学習装置は、係り受け解析部において入力文の各々について作成された木構造から得られる複数の部分木と、入力文の各々に付加されている正例の情報又は負例の情報とに基づいて、木構造に対応する文が、発話文として適格な文であるか否かを判定するモデルを学習するモデル学習部を備える。

特開平５−１９７７５８号公報 特許第５４３１５３２号公報 特許第６０５８５６３号公報

ところで、質問に対する回答を単語の系列情報を用いて複数の回答候補の中から選択することが行われている。この場合、回答候補が長文になるにつれて、質問に対応する部分を特定することが困難となり、回答を選択する際の精度が低下する場合がある。

本発明は、質問に対する回答を単語の系列情報のみを用いて選択する場合と比較して、回答を精度良く選択することができる回答選択装置及びプログラムを提供することを目的とする。

上記目的を達成するために、第１態様に係る回答選択装置は、質問に含まれる単語の順番を表す第１系列情報と、前記質問の構文構造を表す第１グラフの分散表現である第１グラフ情報とを統合して前記質問の第１統合情報とする第１統合部と、前記質問に対する複数の回答候補の各々について、前記回答候補に含まれる単語の順番を表す第２系列情報と、前記回答候補の構文構造を表す第２グラフの分散表現である第２グラフ情報とを統合して前記複数の回答候補の各々の第２統合情報とする第２統合部と、前記質問の第１統合情報及び前記複数の回答候補の各々の第２統合情報を入力として、前記質問に対して決定される、前記複数の回答候補の各々の適切度に基づいて、前記質問に対する回答を選択する選択部と、を備えている。

また、第２態様に係る回答選択装置は、第１態様に係る回答選択装置において、前記第１統合部が、双線形変換を用いて、前記第１系列情報と前記第１グラフ情報とをかけ合わせて相補的に前記質問の第１統合情報を導出し、前記第２統合部が、双線形変換を用いて、前記第２系列情報と前記第２グラフ情報とをかけ合わせて相補的に前記回答候補の第２統合情報を導出する。

また、第３態様に係る回答選択装置は、第１態様又は第２態様に係る回答選択装置において、前記質問から前記第１系列情報を抽出する第１系列情報抽出部と、前記第１系列情報及び前記第１グラフから前記第１グラフ情報を抽出する第１グラフ情報抽出部と、前記回答候補から前記第２系列情報を抽出する第２系列情報抽出部と、前記第２系列情報及び前記第２グラフから前記第２グラフ情報を抽出する第２グラフ情報抽出部と、を更に備えている。

また、第４態様に係る回答選択装置は、第３態様に係る回答選択装置において、前記第１グラフ情報抽出部が、前記第１グラフを入力として、前記第１グラフを分散表現に変換して得られる第１グラフ構造情報を出力する第１変換部と、前記第１系列情報及び前記第１グラフ構造情報を入力として、前記第１グラフのエッジの重みの強弱が付与された前記第１グラフ構造情報をエッジ重み強弱付き第１グラフ構造情報として出力する第１強弱付与部と、前記エッジ重み強弱付き第１グラフ構造情報を入力として、前記第１グラフのエッジの種類が付与された前記第１グラフ構造情報を前記第１グラフ情報として出力する第１種類付与部と、を含み、前記第２グラフ情報抽出部が、前記第２グラフを入力として、前記第２グラフを分散表現に変換して得られる第２グラフ構造情報を出力する第２変換部と、前記第２系列情報及び前記第２グラフ構造情報を入力として、前記第２グラフのエッジの重みの強弱が付与された前記第２グラフ構造情報をエッジ重み強弱付き第２グラフ構造情報として出力する第２強弱付与部と、前記エッジ重み強弱付き第２グラフ構造情報を入力として、前記第２グラフのエッジの種類が付与された前記第２グラフ構造情報を前記第２グラフ情報として出力する第２種類付与部と、を含んでいる。

また、第５態様に係る回答選択装置は、第３態様又は第４態様に係る回答選択装置において、前記第１系列情報抽出部と前記第１統合部との間に設けられ、かつ、前記第１系列情報及び前記第２系列情報を入力として、単語間の対応関係が付与された前記第１系列情報を単語間対応関係付き第１系列情報として出力する第１系列情報対応関係付与部と、前記第１グラフ情報抽出部と前記第１統合部との間に設けられ、かつ、前記第１グラフ情報及び前記第２グラフ情報を入力として、単語間の対応関係が付与された前記第１グラフ情報を単語間対応関係付き第１グラフ情報として出力する第１グラフ情報対応関係付与部と、前記第２系列情報抽出部と前記第２統合部との間に設けられ、かつ、前記第２系列情報及び前記第１系列情報を入力として、単語間の対応関係が付与された前記第２系列情報を単語間対応関係付き第２系列情報として出力する第２系列情報対応関係付与部と、前記第２グラフ情報抽出部と前記第２統合部との間に設けられ、かつ、前記第２グラフ情報及び前記第１グラフ情報を入力として、単語間の対応関係が付与された前記第２グラフ情報を単語間対応関係付き第２グラフ情報として出力する第２グラフ情報対応関係付与部と、を更に備えている。

また、第６態様に係る回答選択装置は、第５態様に係る回答選択装置において、前記第１統合部が、前記単語間対応関係付き第１系列情報と前記単語間対応関係付き第１グラフ情報とを統合して前記質問の単語間対応関係付き第１統合情報とし、前記第２統合部が、前記単語間対応関係付き第２系列情報と前記単語間対応関係付き第２グラフ情報とを統合して前記回答候補の単語間対応関係付き第２統合情報とし、前記第１統合部及び前記第２統合部の各々と前記選択部との間に設けられ、かつ、前記単語間対応関係付き第１統合情報及び前記単語間対応関係付き第２統合情報を入力として、中間表現により表される対応関係が付与された前記単語間対応関係付き第１統合情報を中間表現対応関係付き第１統合情報とし、中間表現により表される対応関係が付与された前記単語間対応関係付き第２統合情報を中間表現対応関係付き第２統合情報として各々出力する統合情報対応関係付与部を更に備えている。

また、第７態様に係る回答選択装置は、第６態様に係る回答選択装置において、前記選択部が、前記質問の中間表現対応関係付き第１統合情報及び前記複数の回答候補の各々の中間表現対応関係付き第２統合情報を入力として、前記質問に対して決定される、前記複数の回答候補の各々の適切度に基づいて、前記質問に対する回答を選択する。

また、第８態様に係る回答選択装置は、第１態様〜第７態様のいずれか１の態様に係る回答選択装置において、前記第１グラフが、前記質問の構文解析により得られた前記質問の各単語をノードとし、前記質問の構文解析により得られた依存関係ラベルをエッジとする依存構造グラフとされ、前記第２グラフが、前記回答候補の構文解析により得られた前記回答候補の各単語をノードとし、前記回答候補の構文解析により得られた依存関係ラベルをエッジとする依存構造グラフとされている。

更に、上記目的を達成するために、第９態様に係るプログラムは、コンピュータを、第１態様〜第８態様のいずれか１の態様に係る回答選択装置が備える各部として機能させる。

第１態様及び第９態様によれば、質問に対する回答を単語の系列情報のみを用いて選択する場合と比較して、回答を精度良く選択することができる、という効果を有する。

第２態様によれば、双線形変換を用いない場合と比較して、質問及び回答候補の各々の系列情報及びグラフ情報の統合情報を容易に得ることができる、という効果を有する。

第３態様によれば、質問及び回答候補の各々から系列情報のみを抽出する場合と比較して、回答を精度良く選択することができる、という効果を有する。

第４態様によれば、質問及び回答候補の各々のグラフについてエッジの重みの強弱及びエッジの種類を考慮しない場合と比較して、質問及び回答候補の各々について適切なグラフ情報を得ることができる、という効果を有する。

第５態様によれば、系列情報及びグラフ情報の各々について質問と回答候補との間における単語間の対応関係を考慮しない場合と比較して、質問及び回答候補の各々について適切な系列情報及びグラフ情報を得ることができる、という効果を有する。

第６態様によれば、系列情報及びグラフ情報の各々について質問と回答候補との間における中間表現により表される対応関係を考慮しない場合と比較して、質問及び回答候補の各々について適切な統合情報を得ることができる、という効果を有する。

第７態様によれば、質問及び回答候補の各々について中間表現により表される対応関係を考慮した統合情報を用いない場合と比較して、回答を精度良く選択することができる、という効果を有する。

第８態様によれば、質問及び回答候補の各々のグラフとして依存構造グラフを用いない場合と比較して、回答を精度良く選択することができる、という効果を有する。

第１の実施形態に係る回答選択装置の電気的な構成の一例を示すブロック図である。 比較例に係る回答選択装置を用いた回答選択処理の説明に供する図である。 比較例に係る質問と回答候補との関係の説明に供する図である。 実施形態に係る依存構造グラフの一例を示す図である。 第１の実施形態に係る回答選択装置の機能的な構成の一例を示すブロック図である。 第１の実施形態に係る第１系列情報抽出部及び第１グラフ情報抽出部の具体的な構成を示すブロック図である。 実施形態に係るグラフ構造情報の構築手順の説明に供する図である。 第１の実施形態に係る第１統合部の具体的な構成を示すブロック図である。 第１の実施形態に係る第２系列情報抽出部及び第２グラフ情報抽出部の具体的な構成を示すブロック図である。 第１の実施形態に係る第２統合部の具体的な構成を示すブロック図である。 第１の実施形態に係る選択処理プログラムの処理の流れの一例を示すフローチャートである。 第１の実施形態に係る回答選択手法を適用した場合の性能評価の一例を示すグラフである。 第２の実施形態に適用される階層的コアテンションの説明に供するブロック図である。 第２の実施形態に適用される各コアテンションの具体的な対応関係算出方法の説明に供する図である。 第２の実施形態に係る回答選択装置の機能的な構成の一例を示すブロック図である。

以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。

[第１の実施形態]
図１は、第１の実施形態に係る回答選択装置１０Ａの電気的な構成の一例を示すブロック図である。
図１に示すように、本実施形態に係る回答選択装置１０Ａは、制御部１２と、記憶部１４と、表示部１６と、操作部１８と、通信部２０と、を備えている。

本実施形態に係る回答選択装置１０Ａには、例えば、パーソナルコンピュータ（ＰＣ：Personal Computer）やサーバコンピュータ等の汎用的なコンピュータ装置が適用される。

制御部１２は、ＣＰＵ（Central Processing Unit）１２Ａ、ＲＯＭ（Read Only Memory）１２Ｂ、ＲＡＭ（Random Access Memory）１２Ｃ、及び入出力インターフェース（Ｉ／Ｏ）１２Ｄを備えており、これら各部がバスを介して各々接続されている。なお、後述のニューラルネットワークの計算では、特に機械学習の高速化のため、ＣＰＵに代えて、ＧＰＵ（Graphical Processing Unit）を用いることが望ましい。

Ｉ／Ｏ１２Ｄには、記憶部１４と、表示部１６と、操作部１８と、通信部２０と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１２Ｄを介して、ＣＰＵ１２Ａと相互に通信可能とされる。

制御部１２は、回答選択装置１０Ａの一部の動作を制御するサブ制御部として構成されてもよいし、回答選択装置１０Ａの全体の動作を制御するメイン制御部の一部として構成されてもよい。制御部１２の各ブロックの一部又は全部には、例えば、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部１２の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。

記憶部１４としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等が用いられる。記憶部１４には、本実施形態に係る回答選択処理を行うための選択処理プログラム１４Ａが記憶される。なお、この選択処理プログラム１４Ａは、ＲＯＭ１２Ｂに記憶されていてもよい。また、記憶部１４には、回答選択処理に用いる質問回答データベース（以下、「質問回答ＤＢ」という。）１４Ｂが記憶されている。

選択処理プログラム１４Ａは、例えば、回答選択装置１０Ａに予めインストールされていてもよい。選択処理プログラム１４Ａは、不揮発性の記憶媒体に記憶して、又はネットワークを介して配布して、回答選択装置１０Ａに適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が想定される。

表示部１６には、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等が用いられる。表示部１６は、タッチパネルを一体的に有していてもよい。操作部１８には、例えば、キーボードやマウス等の操作入力用のデバイスが設けられている。表示部１６及び操作部１８は、回答選択装置１０Ａのユーザから各種の指示を受け付ける。表示部１６は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。

通信部２０は、インターネットや、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークに接続されており、画像形成装置や他のＰＣ等の外部機器との間でネットワークを介して通信が可能とされる。

次に、図２及び図３を参照して、比較例に係る回答選択装置を用いた回答選択処理について説明する。

図２は、比較例に係る回答選択装置を用いた回答選択処理の説明に供する図である。
図２に示すように、比較例に係る回答選択装置は、ユーザから入力された質問Ｑに対する適切な回答Ａ_ｃを、複数の回答候補Ａ（∈｛Ａ_１，・・・，Ａ_Ｎ｝）の中から自動的に選択する。

このとき、複数の回答候補には、短文や長文で記述された回答文が存在する。一例として、回答候補Ａ_１や回答候補Ａ_Ｎは短文で、回答候補Ａ_２は長文である。

図３は、比較例に係る質問と回答候補との関係の説明に供する図である。
図３に示すように、回答候補が長文になるにつれて、質問に対する部分を特定することが困難となり、回答選択の精度が低下する場合がある。

図３に示す例では、比較的短文の回答候補Ａ_１の場合、質問Ｑに対する部分が「１５ｍｌ」と１つに特定されるが、比較的長文の回答候補Ａ_２の場合、質問Ｑに対する部分が「１５ｍｌ」と「７ｍｌｔｏ１４ｍｌ」とあり、１つに特定することが難しい。

すなわち、上記比較例に係る回答選択装置では、単語の順番を表す系列情報のみを用いていたため、回答選択の精度が低下する場合がある。本実施形態に係る回答選択装置１０Ａでは、系列情報に加えて、一例として、図４に示す依存構造グラフを用いて、文の依存構造を考慮することで回答選択の精度を向上させる。

図４は、本実施形態に係る依存構造グラフの一例を示す図である。
図４に示す依存構造グラフは、構文構造、つまり、文に含まれる単語の依存関係を表すグラフである。

本実施形態に係る回答選択装置１０ＡのＣＰＵ１２Ａは、記憶部１４に記憶されている選択処理プログラム１４ＡをＲＡＭ１２Ｃに書き込んで実行することにより、図５に示す各部として機能する。

図５は、第１の実施形態に係る回答選択装置１０Ａの機能的な構成の一例を示すブロック図である。
図５に示すように、本実施形態に係る回答選択装置１０ＡのＣＰＵ１２Ａは、第１系列情報抽出部３０、第１グラフ情報抽出部３２、第１統合部３４、第２系列情報抽出部３６、第２グラフ情報抽出部３８、第２統合部４０、及び選択部４２として機能する。なお、記憶部１４には質問回答ＤＢ１４Ｂが記憶されている。

本実施形態に係る質問回答ＤＢ１４Ｂには、質問と回答候補とのペアに、正解又は不正解のラベルが対応付けられて記憶されている。

本実施形態に係る第１系列情報抽出部３０は、一例として、上述の図２に示すように、ユーザから入力された質問Ｑから、質問Ｑに含まれる単語の順番を表す第１系列情報を抽出する。

本実施形態に係る第１グラフ情報抽出部３２は、質問Ｑの構文構造を表す第１グラフ及び第１系列情報から、第１グラフを分散表現に変換して得られる第１グラフ情報を抽出する。この第１グラフは、一例として、質問Ｑの構文解析により得られた質問Ｑの各単語をノードとし、質問Ｑの構文解析により得られた依存関係ラベルをエッジとする依存構造グラフである。この第１グラフには、例えば、上述の図４に示す依存構造グラフが用いられる。

本実施形態に係る第１統合部３４は、第１系列情報抽出部３０により抽出された第１抽出情報と、第１グラフ情報抽出部３２により抽出された第１グラフ情報とを統合して第１統合情報を生成する。

本実施形態に係る第２系列情報抽出部３６は、一例として、上述の図２に示すように、ユーザから入力された質問Ｑに対応する複数の回答候補Ａを質問回答ＤＢ１４Ｂから抽出する。例えば、質問Ｑに類似する質問に対応付けられている複数の回答候補Ａを質問回答ＤＢ１４Ｂから抽出する。第２系列情報抽出部３６は、抽出した複数の回答候補Ａの各々から、回答候補Ａに含まれる単語の順番を表す第２系列情報を抽出する。

本実施形態に係る第２グラフ情報抽出部３８は、複数の回答候補Ａの各々について、回答候補Ａの構文構造を表す第２グラフ及び第２系列情報から、第２グラフを分散表現に変換して得られる第２グラフ情報を抽出する。この第２グラフは、一例として、回答候補Ａの構文解析により得られた回答候補Ａの各単語をノードとし、回答候補Ａの構文解析により得られた依存関係ラベルをエッジとする依存構造グラフである。

本実施形態に係る第２統合部４０は、複数の回答候補Ａの各々について、第２系列情報抽出部３６により抽出された第２抽出情報と、第２グラフ情報抽出部３８により抽出された第２グラフ情報とを統合して第２統合情報を生成する。

本実施形態に係る選択部４２は、質問Ｑの第１統合情報及び複数の回答候補Ａの各々の第２統合情報を入力として、質問Ｑに対して決定される、複数の回答候補Ａの各々の適切度に基づいて、質問Ｑに対する回答を選択する。なお、適切度の導出には、一例として、公知のコサイン類似度が用いられる。コサイン類似度は、そのままベクトル同士の成す角度の近さを表現するため、１に近ければ類似しており（適切であり）、０に近ければ似ていない（適切でない）ことになる。選択部４２は、適切度が最も高い回答候補Ａを、質問Ｑに対する回答として選択する。

次に、図６を参照して、質問Ｑに関する第１系列情報抽出部３０及び第１グラフ情報抽出部３２の具体的な構成について説明する。

図６は、第１の実施形態に係る第１系列情報抽出部３０及び第１グラフ情報抽出部３２の具体的な構成を示すブロック図である。
図６に示すように、本実施形態に係る第１系列情報抽出部３０は、エンベディング層（Embedding Layer）３０Ａと、ＣＮＮ（Convolutional Neural Network）３０Ｂと、を含む。第１グラフ情報抽出部３２は、エンベディング層３２Ａと、ソフトエッジアテンション（Soft-Edge Attention）３２Ｂと、ペアレントチャイルドセルフアテンション（Parent-Child Self-Attention）３２Ｃと、を含む。

エンベディング層３０Ａは、質問Ｑに含まれる単語のワン・ホット（one-hot）ベクトルを入力として、単語の意味を表す分散表現（ここでは、単語埋め込み表現ともいう。）Ｗ_Ｗ１を出力する。例えば、語彙数がＭであるとき、各単語に０からＭ−１までのインデックスｉを振る。各単語に対し、ｉ次元の値が１で、それ以外の値が０のワン・ホットベクトルに対応させると、Ｍ次元実数空間への埋め込みが実現できる。なお、このエンベディング層３０Ａは、一例として、ニューラルネットワーク（ＮＮ：Neural Network）として構成されており、質問Ｑに対する適切な分散表現Ｗ_Ｗ１を機械学習する。

ＣＮＮ３０Ｂは、エンベディング層３０Ａからの分散表現Ｗ_Ｗ１を入力として、対象の単語だけではなく、前後Ｎ個の単語の系列情報を考慮した第１系列情報Ｈ１を出力する。第１系列情報Ｈ１は、第１系列情報素性ともいう。なお、このＣＮＮ３０Ｂは、分散表現Ｗ_Ｗ１に対する適切な第１系列情報Ｈ１を機械学習する。

一方、エンベディング層３２Ａは、第１変換部の一例である。エンベディング層３２Ａは、第１グラフの一例である第１依存構造グラフｇ１を入力として、第１依存構造グラフｇ１を分散表現に変換して得られる第１グラフ構造情報Ｒ１を出力する。このエンベディング層３２Ａは、上述のエンベディング層３０Ａと同様にＮＮとして構成されている。ここで、図７を参照して、エンベディング層３２Ａによるグラフ構造情報Ｒの構築手順について説明する。

図７は、本実施形態に係るグラフ構造情報Ｒの構築手順の説明に供する図である。

図７の（Ｓ１）では、質問Ｑを構文解析して依存構造グラフを生成する。

（Ｓ２）では、生成した依存構造グラフから、要素が依存関係ラベルのＩＤ（Identification）である隣接行列に変換する。

（Ｓ３）では、変換した隣接行列を分散表現に変換し、グラフ構造情報Ｒを生成する。

図６に戻り、ソフトエッジアテンション３２Ｂは、第１強弱付与部の一例である。ソフトエッジアテンション３２Ｂは、第１系列情報Ｈ１及び第１グラフ構造情報Ｒ１を入力として、第１依存構造グラフｇ１のエッジの重みの強弱が付与された第１グラフ構造情報Ｒ１をエッジ重み強弱付き第１グラフ構造情報Ｒ１として出力する。このソフトエッジアテンション３２Ｂは、ＮＮとして構成され、第１系列情報Ｈ１及び第１グラフ構造情報Ｒ１に対する適切なエッジの重みの強弱を機械学習する。ここで、単語ｘ_ｉ、ｘ_ｊ間の依存関係ラベルをエッジとした依存構造グラフのエッジの重みの強弱は、以下の式（１）により算出される。ｅ_ｉｊは単語ｘ_ｉ、ｘ_ｊ間のエッジの重みを考慮したエッジの分散表現である。つまり、ｅ_ｉｊは、分散表現ｒ_ｉｊが単語ｘ_ｉ、ｘ_ｊ間の接続重み（確率）を考慮した分散表現として算出される。この場合、ベクトルの向きは変更されず、大きさのみが変更される。

・・・（１）

但し、p(i|j)は単語ｘ_ｊの親が単語ｘ_ｉである確率を示す。ｒ_ｉｊは単語ｘ_ｉ、ｘ_ｊ間の依存関係ラベルの分散表現を示す。ｈ_ｉ、ｈ_ｊは系列情報Ｈ＝｛ｈ_１，・・・，ｈ_Ｍ｝の要素ベクトル（Ｍは単語数）を示す。Ｗ_ｄは重み行列を示す。ｈ_ｊ ^Ｔはｈ_ｊのベクトルの転置を示す。

ペアレントチャイルドセルフアテンション３２Ｃは、第１種類付与部の一例である。ペアレントチャイルドセルフアテンション３２Ｃは、エッジ重み強弱付き第１グラフ構造情報Ｒ１を入力として、第１依存構造グラフｇ１のエッジの種類が付与された第１グラフ構造情報Ｒ１を第１グラフ情報Ｇ１として出力する。第１グラフ情報Ｇ１は、第１グラフ情報素性ともいう。このペアレントチャイルドセルフアテンション３２Ｃは、ＮＮとして構成され、エッジ重み強弱付き第１グラフ構造情報Ｒ１に対する適切なエッジの種類を機械学習する。

次に、図８を参照して、質問Ｑに関する第１統合部３４の具体的な構成について説明する。

図８は、第１の実施形態に係る第１統合部３４の具体的な構成を示すブロック図である。
図８に示すように、本実施形態に係る第１統合部３４は、双線形変換（Bilinear Transform）を用いて、第１系列情報Ｈ１と第１グラフ情報Ｇ１とをかけ合わせて相補的に質問Ｑの第１統合情報を導出する。具体的に、この第１統合情報は、ｔａｎｈ（Ｈ１Ｗ_ｄＧ１^Ｔ）により導出される。但し、Ｈ１は第１系列情報、Ｇ１は第１グラフ情報、Ｗ_ｄは重み行列、Ｇ１^Ｔは第１グラフ情報Ｇ１の転置を示す。

次に、図９を参照して、回答候補Ａに関する第２系列情報抽出部３６及び第２グラフ情報抽出部３８の具体的な構成について説明する。

図９は、第１の実施形態に係る第２系列情報抽出部３６及び第２グラフ情報抽出部３８の具体的な構成を示すブロック図である。
図９に示すように、本実施形態に係る第２系列情報抽出部３６は、エンベディング層３６Ａと、ＣＮＮ３６Ｂと、を含む。第２グラフ情報抽出部３８は、エンベディング層３８Ａと、ソフトエッジアテンション３８Ｂと、ペアレントチャイルドセルフアテンション３８Ｃと、を含む。

エンベディング層３６Ａは、回答候補Ａに含まれる単語のワン・ホット（one-hot）ベクトルを入力として、単語の意味を表す分散表現Ｗ_Ｗ２を出力する。なお、このエンベディング層３６Ａは、上述の図６に示すエンベディング層３０Ａと同様に、ＮＮとして構成されており、回答候補Ａに対する適切な分散表現Ｗ_Ｗ２を機械学習する。

ＣＮＮ３６Ｂは、エンベディング層３６Ａからの分散表現Ｗ_Ｗ２を入力として、対象の単語だけではなく、前後Ｎ個の単語の系列情報を考慮した第２系列情報Ｈ２を出力する。第２系列情報Ｈ２は、第２系列情報素性ともいう。なお、このＣＮＮ３６Ｂは、分散表現Ｗ_Ｗ２に対する適切な第２系列情報Ｈ２を機械学習する。

一方、エンベディング層３８Ａは、第２変換部の一例である。エンベディング層３８Ａは、第２グラフの一例である第２依存構造グラフｇ２を入力として、第２依存構造グラフｇ２を分散表現に変換して得られる第２グラフ構造情報Ｒ２を出力する。このエンベディング層３８Ａは、上述のエンベディング層３６Ａと同様にＮＮとして構成されている。このエンベディング層３８Ａによるグラフ構造情報Ｒの構築手順は、上述の図７に示した手順において質問Ｑを回答候補Ａで置き換える以外は同様である。このため、ここでの繰り返しの説明は省略する。

ソフトエッジアテンション３８Ｂは、第２強弱付与部の一例である。ソフトエッジアテンション３８Ｂは、第２系列情報Ｈ２及び第２グラフ構造情報Ｒ２を入力として、第２依存構造グラフｇ２のエッジの重みの強弱が付与された第２グラフ構造情報Ｒ２をエッジ重み強弱付き第２グラフ構造情報Ｒ２として出力する。このソフトエッジアテンション３８Ｂは、ＮＮとして構成され、第２系列情報Ｈ２及び第２グラフ構造情報Ｒ２に対する適切なエッジの重みの強弱を機械学習する。なお、エッジの重みの強弱の算出には、上述の式（１）が用いられる。

ペアレントチャイルドセルフアテンション３８Ｃは、第２種類付与部の一例である。ペアレントチャイルドセルフアテンション３８Ｃは、エッジ重み強弱付き第２グラフ構造情報Ｒ２を入力として、第２依存構造グラフｇ２のエッジの種類が付与された第２グラフ構造情報Ｒ２を第２グラフ情報Ｇ２として出力する。第２グラフ情報Ｇ２は、第２グラフ情報素性ともいう。このペアレントチャイルドセルフアテンション３８Ｃは、ＮＮとして構成され、エッジ重み強弱付き第２グラフ構造情報Ｒ２に対する適切なエッジの種類を機械学習する。

次に、図１０を参照して、回答候補Ａに関する第２統合部４０の具体的な構成について説明する。

図１０は、第１の実施形態に係る第２統合部４０の具体的な構成を示すブロック図である。
図１０に示すように、本実施形態に係る第２統合部４０は、双線形変換を用いて、第２系列情報Ｈ２と第２グラフ情報Ｇ２とをかけ合わせて相補的に回答候補Ａの第２統合情報を導出する。具体的に、この第２統合情報は、ｔａｎｈ（Ｈ２Ｗ_ｄＧ２^Ｔ）により導出される。但し、Ｈ２は第２系列情報、Ｇ２は第２グラフ情報、Ｗ_ｄは重み行列、Ｇ２^Ｔは第２グラフ情報Ｇ２の転置を示す。

次に、図１１を参照して、第１の実施形態に係る回答選択装置１０Ａの作用を説明する。なお、図１１は、第１の実施形態に係る選択処理プログラム１４Ａの処理の流れの一例を示すフローチャートである。

図１１のステップ１００では、第１系列情報抽出部３０及び第２系列情報抽出部３６の各々が、一例として、上述の図２に示すように、ユーザから質問Ｑの入力を受け付ける。

ステップ１０２では、第１系列情報抽出部３０が、ステップ１００で入力を受け付けた質問Ｑから、一例として、上述の図６に示すように、質問Ｑに含まれる単語の順番を表す第１系列情報Ｈ１を抽出する。

ステップ１０４では、第１グラフ情報抽出部３２が、一例として、上述の図６に示すように、質問Ｑの構文構造を表す第１依存構造グラフｇ１及び第１系列情報Ｈ１から、第１依存構造グラフｇ１を分散表現に変換して得られる第１グラフ情報Ｇ１を抽出する。

ステップ１０６では、第１統合部３４が、一例として、上述の図８に示す双線形変換を用いて、ステップ１０２で抽出された第１系列情報Ｈ１と、ステップ１０４で抽出された第１グラフ情報Ｇ１とをかけ合わせて相補的に質問Ｑの第１統合情報を生成し、ステップ１２０に移行する。

一方、ステップ１０８では、第２系列情報抽出部３６が、ステップ１００で入力を受け付けた質問Ｑに対応する複数の回答候補Ａを質問回答ＤＢ１４Ｂから抽出する。

ステップ１１０では、第２系列情報抽出部３６が、ステップ１０８で抽出した複数の回答候補Ａの中から１つの回答候補Ａを特定する。

ステップ１１２では、第２系列情報抽出部３６が、ステップ１１０で特定した回答候補Ａから、一例として、上述の図９に示すように、回答候補Ａに含まれる単語の順番を表す第２系列情報Ｈ２を抽出する。

ステップ１１４では、第２グラフ情報抽出部３８が、一例として、上述の図９に示すように、回答候補Ａの構文構造を表す第２依存構造グラフｇ２及び第２系列情報Ｈ２から、第２依存構造グラフｇ２を分散表現に変換して得られる第２グラフ情報Ｇ２を抽出する。

ステップ１１６では、第２統合部４０が、一例として、上述の図１０に示す双線形変換を用いて、ステップ１１２で抽出された第２系列情報Ｈ２と、ステップ１１４で抽出された第２グラフ情報Ｇ２とをかけ合わせて相補的に回答候補Ａの第２統合情報を生成する。

ステップ１１８では、第２統合部４０が、全ての回答候補Ａについて第２統合情報の生成処理が終了したか否かを判定する。全ての回答候補Ａについて第２統合情報の生成処理が終了したと判定した場合（肯定判定の場合）、ステップ１２０に移行し、全ての回答候補Ａについて第２統合情報の生成処理が終了していないと判定した場合（否定判定の場合）、ステップ１１０に戻り処理を繰り返す。

ステップ１２０では、選択部４２が、質問Ｑの第１統合情報及び複数の回答候補Ａの各々の第２統合情報を入力として、質問Ｑに対して、複数の回答候補Ａの各々の適切度を決定する。なお、適切度の導出には、一例として、上述した公知のコサイン類似度が用いられる。

ステップ１２２では、選択部４２が、ステップ１２０で決定した適切度に基づいて、適切度が最も高い回答候補Ａを、質問Ｑに対する回答として選択し、本選択処理プログラム１４Ａによる一連の処理を終了する。

次に、図１２を参照して、第１の実施形態に係る回答選択手法を適用した場合の性能評価について説明する。

図１２は、第１の実施形態に係る回答選択手法を適用した場合の性能評価の一例を示すグラフである。
図１２に示す性能評価は、オープンデータセット「ＷｉｋｉＱＡ」を用いて評価した結果を示す。横軸は平均単語数、縦軸は評価値を示す。

図１２の（Ａ）は、評価データのうち、回答候補の平均単語数が１〜２５単語の短文の場合について示し、図１２の（Ｂ）は、評価データのうち、回答候補の平均単語数が２６〜５０単語の長文の場合について示している。

図１２の（Ａ）の場合、系列情報のみを用いた従来手法と比較して、本実施形態に係る提案手法のほうが４ｐｔ（１ｐｔ＝０．０１）ほど高い評価値を得ていることが分かる。一方、系列情報のみを用いた従来手法と比較して、本実施形態に係る提案手法のほうが７ｐｔほど高い評価値を得ていることが分かる。

このように本実施形態によれば、質問及び回答候補の各々に含まれる単語の順番を表す系列情報に加えて、質問及び回答候補の各々の構文構造を表すグラフ情報を用いて、質問に対する回答の選択が行われる。このため、系列情報のみを用いる場合と比較して、長文であっても適切な回答が得られる。

[第２の実施形態]
上記第１の実施形態では、系列情報及びグラフ情報を用いて、質問に対する回答の選択を行う場合について説明した。本実施形態では、更に、コアテンション（Co-Attention）機能を用いて、質問と回答候補との間の対応関係も考慮して、質問に対する回答の選択を行う場合について説明する。

図１３は、第２の実施形態に適用される階層的コアテンションの説明に供するブロック図である。
図１３に示す階層的コアテンションでは、第１階層コアテンション及び第２階層コアテンションが含まれる。

第１階層コアテンションでは、依存グラフ層（Dependency Graph Layer）から得られる質問側系列情報Ｈ_ｑ及び回答候補側系列情報Ｈ_ａが文レベルコアテンション（Sentence-level Co-Attention）に入力され、依存グラフ層から得られる質問側グラフ情報Ｇ_ｑ及び回答候補側グラフ情報Ｇ_ａがグラフレベルコアテンション（Graph-level Co-Attention）に入力される。文レベルコアテンションは、質問側系列情報Ｈ_ｑ及び回答候補側系列情報Ｈ_ａを入力として、単語間の対応関係を算出する。グラフレベルコアテンションは、質問側グラフ情報Ｇ_ｑ及び回答候補側グラフ情報Ｇ_ａを入力として、単語間の対応関係を算出する。

文レベルコアテンションの後段にはバイリニア層（Bilinear Layer）が設けられており、このバイリニア層では、文レベルコアテンションからの質問側系列情報Ｈ_ｑとグラフレベルコアテンションからの質問側グラフ情報Ｇ_ｑとが統合されて質問側統合情報が生成される。一方、グラフレベルコアテンションの後段にも同様にバイリニア層が設けられており、このバイリニア層では、文レベルコアテンションからの回答候補側系列情報Ｈ_ａとグラフレベルコアテンションからの回答候補側グラフ情報Ｇ_ａとが統合されて回答候補側統合情報が生成される。

第２階層コアテンションでは、上記２つのバイリニア層のうち、一方のバイリニア層からの質問側統合情報及び他方のバイリニア層からの回答候補側統合情報が統合コアテンションに入力される。統合コアテンションは、これらの質問側統合情報及び回答候補側統合情報を入力として、中間表現により表される対応関係を相補的に算出する。なお、ここでいう中間表現とは、特徴ベクトルとして表される。

図１４は、第２の実施形態に適用される各コアテンションの具体的な対応関係算出方法の説明に供する図である。

図１４に示すように、一方の入力である質問Ｑ及び他方の入力である回答候補Ａの対応関係を算出する。第１階層コアテンション（図１３参照）では、質問Ｑと回答候補Ａとの間の対応関係を単語単位で算出し、第２階層コアテンション（図１３参照）では、質問Ｑと回答候補Ａとの間の対応関係を中間表現レベルで算出する。ここで、対応関係は、双線形変換、つまり、ｔａｎｈ（Ｑ^ＴＵＡ）を用いて算出される。但し、Ｑは質問、Ａは回答候補、Ｕは重み行列、Ｑ^Ｔは質問Ｑの転置を示す。図１４に示す「ｐｒｏｄｕｃｔ」は、行列の内積を表している。

次に、図１５を参照して、上記の階層的コアテンションが適用された回答選択装置１０Ｂの構成について説明する。

図１５は、第２の実施形態に係る回答選択装置１０Ｂの機能的な構成の一例を示すブロック図である。
なお、上記第１の実施形態に係る回答選択装置１０Ａと同様の機能を有する構成要素には同一の符号を付し、ここでの繰り返しの説明は省略する。

本実施形態に係る回答選択装置１０ＢのＣＰＵ１２Ａは、記憶部１４に記憶されている選択処理プログラム１４ＡをＲＡＭ１２Ｃに書き込んで実行する。これにより、ＣＰＵ１２Ａは、第１系列情報抽出部３０、第１グラフ情報抽出部３２、第１文レベルコアテンション４４、第１グラフレベルコアテンション４６、第１統合部４８、第２系列情報抽出部３６、第２グラフ情報抽出部３８、第２文レベルコアテンション５０、第２グラフレベルコアテンション５２、第２統合部５４、統合コアテンション５６、及び選択部５８として機能する。なお、記憶部１４には上記第１の実施形態と同様に質問回答ＤＢ１４Ｂが記憶されている。

第１文レベルコアテンション４４は、第１系列情報対応関係付与部の一例である。第１文レベルコアテンション４４は、第１系列情報抽出部３０と第１統合部４８との間に設けられている。第１文レベルコアテンション４４は、第１系列情報Ｈ１及び第２系列情報Ｈ２を入力として、単語間の対応関係が付与された第１系列情報Ｈ１を単語間対応関係付き第１系列情報Ｈ１として出力する。

第１グラフレベルコアテンション４６は、第１グラフ情報対応関係付与部の一例である。第１グラフレベルコアテンション４６は、第１グラフ情報抽出部３２と第１統合部４８との間に設けられている。第１グラフレベルコアテンション４６は、第１グラフ情報Ｇ１及び第２グラフ情報Ｇ２を入力として、単語間の対応関係が付与された第１グラフ情報Ｇ１を単語間対応関係付き第１グラフ情報Ｇ１として出力する。

第２文レベルコアテンション５０は、第２系列情報対応関係付与部の一例である。第２文レベルコアテンション５０は、第２系列情報抽出部３６と第２統合部５４との間に設けられている。第２文レベルコアテンション５０は、第２系列情報Ｈ２及び第１系列情報Ｈ１を入力として、単語間の対応関係が付与された第２系列情報Ｈ２を単語間対応関係付き第２系列情報Ｈ２として出力する。

第２グラフレベルコアテンション５２は、第２グラフ情報対応関係付与部の一例である。第２グラフレベルコアテンション５２は、第２グラフ情報抽出部３８と第２統合部５４との間に設けられている。第２グラフレベルコアテンション５２は、第２グラフ情報Ｇ２及び第１グラフ情報Ｇ１を入力として、単語間の対応関係が付与された第２グラフ情報Ｇ２を単語間対応関係付き第２グラフ情報Ｇ２として出力する。

第１統合部４８は、単語間対応関係付き第１系列情報Ｈ１と単語間対応関係付き第１グラフ情報Ｇ１とを統合して質問Ｑの単語間対応関係付き第１統合情報を生成する。具体的に、双線形変換を用いて、単語間対応関係付き第１系列情報Ｈ１と単語間対応関係付き第１グラフ情報Ｇ１とをかけ合わせて相補的に質問Ｑの単語間対応関係付き第１統合情報を導出する。

第２統合部５４は、単語間対応関係付き第２系列情報Ｈ２と単語間対応関係付き第２グラフ情報Ｇ２とを統合して回答候補Ａの単語間対応関係付き第２統合情報を生成する。具体的に、双線形変換を用いて、単語間対応関係付き第２系列情報Ｈ２と単語間対応関係付き第２グラフ情報Ｇ２とをかけ合わせて相補的に回答候補Ａの単語間対応関係付き第２統合情報を導出する。

統合コアテンション５６は、統合情報対応関係付与部の一例である。統合コアテンション５６は、第１統合部４８及び第２統合部５４の各々と選択部５８との間に設けられている。統合コアテンション５６は、単語間対応関係付き第１統合情報及び単語間対応関係付き第２統合情報を入力として、中間表現により表される対応関係が付与された単語間対応関係付き第１統合情報を中間表現対応関係付き第１統合情報とし、中間表現により表される対応関係が付与された単語間対応関係付き第２統合情報を中間表現対応関係付き第２統合情報として各々出力する。

選択部５８は、質問Ｑの中間表現対応関係付き第１統合情報及び複数の回答候補Ａの各々の中間表現対応関係付き第２統合情報を入力として、質問Ｑに対して決定される、複数の回答候補Ａの各々の適切度に基づいて、質問Ｑに対する回答を選択する。なお、適切度の導出には、一例として、上述のコサイン類似度が用いられる。選択部５８は、適切度が最も高い回答候補Ａを、質問Ｑに対する回答として選択する。

このように本実施形態によれば、質問及び回答候補の各々に含まれる単語の順番を表す系列情報、質問及び回答候補の各々の構文構造を表すグラフ情報、更に、質問と回答候補との間の対応関係を用いて、質問に対する回答の選択が行われる。このため、系列情報のみを用いる場合と比較して、長文であっても適切な回答が得られる。

以上、実施形態に係る回答選択装置を例示して説明した。実施形態は、回答選択装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、これらのプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。

その他、上記実施形態で説明した回答選択装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

１０Ａ、１０Ｂ回答選択装置
１２ 制御部
１２Ａ ＣＰＵ
１２Ｂ ＲＯＭ
１２Ｃ ＲＡＭ
１２Ｄ Ｉ／Ｏ
１４ 記憶部
１４Ａ 選択処理プログラム
１４Ｂ 質問回答ＤＢ
１６ 表示部
１８ 操作部
２０ 通信部
３０ 第１系列情報抽出部
３０Ａ、３２Ａ、３６Ａ、３８Ａ エンベディング層
３０Ｂ、３６ＢＣＮＮ
３２ 第１グラフ情報抽出部
３２Ｂ、３８Ｂソフトエッジアテンション
３２Ｃ、３８Ｃペアレントチャイルドセルフアテンション
３４、４８ 第１統合部
３６ 第２系列情報抽出部
３８ 第２グラフ情報抽出部
４０、５４ 第２統合部
４２、５８ 選択部
４４ 第１文レベルコアテンション
４６ 第１グラフレベルコアテンション
５０ 第２文レベルコアテンション
５２ 第２グラフレベルコアテンション
５６ 統合コアテンション

Claims (9)

1. 質問に含まれる単語の順番を表す第１系列情報と、前記質問の構文構造を表す第１グラフの分散表現である第１グラフ情報とを統合して前記質問の第１統合情報とする第１統合部と、
   前記質問に対する複数の回答候補の各々について、前記回答候補に含まれる単語の順番を表す第２系列情報と、前記回答候補の構文構造を表す第２グラフの分散表現である第２グラフ情報とを統合して前記複数の回答候補の各々の第２統合情報とする第２統合部と、
   前記質問の第１統合情報及び前記複数の回答候補の各々の第２統合情報を入力として、前記質問に対して決定される、前記複数の回答候補の各々の適切度に基づいて、前記質問に対する回答を選択する選択部と、
   を備えた回答選択装置。
2. 前記第１統合部は、双線形変換を用いて、前記第１系列情報と前記第１グラフ情報とをかけ合わせて相補的に前記質問の第１統合情報を導出し、
   前記第２統合部は、双線形変換を用いて、前記第２系列情報と前記第２グラフ情報とをかけ合わせて相補的に前記回答候補の第２統合情報を導出する請求項１に記載の回答選択装置。
3. 前記質問から前記第１系列情報を抽出する第１系列情報抽出部と、
   前記第１系列情報及び前記第１グラフから前記第１グラフ情報を抽出する第１グラフ情報抽出部と、
   前記回答候補から前記第２系列情報を抽出する第２系列情報抽出部と、
   前記第２系列情報及び前記第２グラフから前記第２グラフ情報を抽出する第２グラフ情報抽出部と、
   を更に備えた請求項１又は２に記載の回答選択装置。
4. 前記第１グラフ情報抽出部は、
   前記第１グラフを入力として、前記第１グラフを分散表現に変換して得られる第１グラフ構造情報を出力する第１変換部と、
   前記第１系列情報及び前記第１グラフ構造情報を入力として、前記第１グラフのエッジの重みの強弱が付与された前記第１グラフ構造情報をエッジ重み強弱付き第１グラフ構造情報として出力する第１強弱付与部と、
   前記エッジ重み強弱付き第１グラフ構造情報を入力として、前記第１グラフのエッジの種類が付与された前記第１グラフ構造情報を前記第１グラフ情報として出力する第１種類付与部と、
   を含み、
   前記第２グラフ情報抽出部は、
   前記第２グラフを入力として、前記第２グラフを分散表現に変換して得られる第２グラフ構造情報を出力する第２変換部と、
   前記第２系列情報及び前記第２グラフ構造情報を入力として、前記第２グラフのエッジの重みの強弱が付与された前記第２グラフ構造情報をエッジ重み強弱付き第２グラフ構造情報として出力する第２強弱付与部と、
   前記エッジ重み強弱付き第２グラフ構造情報を入力として、前記第２グラフのエッジの種類が付与された前記第２グラフ構造情報を前記第２グラフ情報として出力する第２種類付与部と、
   を含む請求項３に記載の回答選択装置。
5. 前記第１系列情報抽出部と前記第１統合部との間に設けられ、かつ、前記第１系列情報及び前記第２系列情報を入力として、単語間の対応関係が付与された前記第１系列情報を単語間対応関係付き第１系列情報として出力する第１系列情報対応関係付与部と、
   前記第１グラフ情報抽出部と前記第１統合部との間に設けられ、かつ、前記第１グラフ情報及び前記第２グラフ情報を入力として、単語間の対応関係が付与された前記第１グラフ情報を単語間対応関係付き第１グラフ情報として出力する第１グラフ情報対応関係付与部と、
   前記第２系列情報抽出部と前記第２統合部との間に設けられ、かつ、前記第２系列情報及び前記第１系列情報を入力として、単語間の対応関係が付与された前記第２系列情報を単語間対応関係付き第２系列情報として出力する第２系列情報対応関係付与部と、
   前記第２グラフ情報抽出部と前記第２統合部との間に設けられ、かつ、前記第２グラフ情報及び前記第１グラフ情報を入力として、単語間の対応関係が付与された前記第２グラフ情報を単語間対応関係付き第２グラフ情報として出力する第２グラフ情報対応関係付与部と、
   を更に備えた請求項３又は４に記載の回答選択装置。
6. 前記第１統合部は、前記単語間対応関係付き第１系列情報と前記単語間対応関係付き第１グラフ情報とを統合して前記質問の単語間対応関係付き第１統合情報とし、
   前記第２統合部は、前記単語間対応関係付き第２系列情報と前記単語間対応関係付き第２グラフ情報とを統合して前記回答候補の単語間対応関係付き第２統合情報とし、
   前記第１統合部及び前記第２統合部の各々と前記選択部との間に設けられ、かつ、前記単語間対応関係付き第１統合情報及び前記単語間対応関係付き第２統合情報を入力として、中間表現により表される対応関係が付与された前記単語間対応関係付き第１統合情報を中間表現対応関係付き第１統合情報とし、中間表現により表される対応関係が付与された前記単語間対応関係付き第２統合情報を中間表現対応関係付き第２統合情報として各々出力する統合情報対応関係付与部を更に備えた請求項５に記載の回答選択装置。
7. 前記選択部は、前記質問の中間表現対応関係付き第１統合情報及び前記複数の回答候補の各々の中間表現対応関係付き第２統合情報を入力として、前記質問に対して決定される、前記複数の回答候補の各々の適切度に基づいて、前記質問に対する回答を選択する請求項６に記載の回答選択装置。
8. 前記第１グラフは、前記質問の構文解析により得られた前記質問の各単語をノードとし、前記質問の構文解析により得られた依存関係ラベルをエッジとする依存構造グラフであり、
   前記第２グラフは、前記回答候補の構文解析により得られた前記回答候補の各単語をノードとし、前記回答候補の構文解析により得られた依存関係ラベルをエッジとする依存構造グラフである請求項１〜７のいずれか１項に記載の回答選択装置。
9. コンピュータを、請求項１〜８のいずれか１項に記載の回答選択装置が備える各部として機能させるためのプログラム。