JP2017097561A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】意思決定を支援するシステムにおいて、意思決定を支援する情報を提供する際に、利用者の意思決定が他の当事者により受け入れられるか否かの予見性を高める。【解決手段】第１の質問を表す質問情報を取得する。第１の論理に基づいて質問に対する回答を与える第１の処理部による、第１の質問に対する第１の回答を取得する。第２の論理に基づいて質問に対する回答及び回答の評価を与える第２の処理部による、第１の質問に対する回答及び回答の評価を参照して得られた、第１の回答の評価を取得する。第１の回答と第１の回答の評価とを併せて提示する。【選択図】図２

Description

本発明は、情報処理装置、情報処理システム、情報処理方法及びプログラムに関する。

従来、意思決定を支援するシステムとして、あるタスクにおける意思決定に関する質問（条件又は前提を含む）を利用者がシステムに入力することで、その回答を出力する質問応答システムがあった。例えば、特許文献１は、タスクにおける利用者の質問に対する答えを含む情報源を探索することにより、利用者の質問に答える技術を開示している。また、意思決定のためのロジックを予めルールとして有しているエキスパートシステムも同等のシステムと言える。

特開２００２−１３２８１１号広報

一般的に、意思決定を支援するシステムは、タスクに対する当事者の観点又は立場に応じた論理に従って動作を行う。しかしながら、ある当事者の観点からは最良と思われる結論であっても、別の立場の当事者にとっては妥当ではない可能性がある。このため、観点又は立場が異なる複数の当事者がいる場合、ある当事者向けのシステムによる支援を受けて結論が得られても、他の当事者の同意を得るためにはさらに交渉を行う必要があった。通常、こういった交渉のコストは高くなるため、抑制することが求められている。

本発明は、意思決定を支援するシステムにおいて、意思決定を支援する情報を提供する際に、利用者の意思決定が他の当事者により受け入れられるか否かの予見性を高めることを目的とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。すなわち、
第１の質問を表す質問情報を取得する第１の取得手段と、
第１の論理に基づいて質問に対する回答を与える第１の処理部による、前記第１の質問に対する第１の回答を取得する第２の取得手段と、
第２の論理に基づいて質問に対する回答及び該回答の評価を与える第２の処理部による、前記第１の質問に対する回答及び該回答の評価を参照して得られた、前記第１の回答の評価を取得する第３の取得手段と、
前記第１の回答と前記第１の回答の評価とを併せて提示する提示手段と、
を備えることを特徴とする。

意思決定を支援するシステムにおいて、意思決定を支援する情報を提供する際に、利用者の意思決定が他の当事者により受け入れられるか否かの予見性を高めることができる。

実施形態１に係る支援装置の回路構成を示すブロック図。 実施形態１に係る支援装置の基本構成を示すブロック図。 実施形態１に係る支援装置の処理手順を示すフローチャート。 第２の結果として得られる情報の例を示す図。 実施形態５に係る支援装置の基本構成を示すブロック図。 実施形態３における結果の提示例を示す図。 実施形態７に係る支援装置の基本構成を示すブロック図。 実施形態７における結果の提示例を示す図。 第１の結果として得られる情報の例を示す図。 実施形態１における結果の提示例を示す図。

以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施形態の１つにすぎない。

［実施形態１］
以下、実施形態１に係る情報処理システムについて説明する。本実施形態に係る情報処理システムは、利用者の意思決定を支援する支援システムとして使用可能である。本実施形態に係る情報処理システムは、単一の情報処理装置で実現してもよいし、必要に応じて複数の情報処理装置に各機能を分散することで実現してもよい。システムが複数の情報処理装置で構成される場合は、各コンピュータ装置は互いに通信可能に、例えばLocal Area Network（ＬＡＮ）等を用いて接続されるものとする。

本実施形態に係る情報処理装置として使用可能なコンピュータ装置１００について、図１のブロック図を参照して説明する。図１において、Central Processing Unit（ＣＰＵ）１０１は、コンピュータ装置１００全体を制御する。Read Only Memory（ＲＯＭ）１０２は、変更を必要としないプログラム及びパラメータ等のデータを格納する。Random Access Memory（ＲＡＭ）１０３は、例えば外部装置等から供給される、プログラム及びデータ等を一時記憶する。外部記憶装置１０４は記憶媒体であって、例えばコンピュータ装置１００に固定して設置されたハードディスクドライブ（ＨＤＤ）若しくはメモリドライブ（ＳＳＤ）等を含む。また、外部記憶装置１０４は、コンピュータ装置１００から着脱可能なフレキシブルディスク（ＦＤ）若しくはCompact Disk（ＣＤ）等の光ディスク、磁気若しくは光カード、ＩＣカード、又はメモリカード等を含む。

入力インタフェース１０５は入力デバイス１０９とのインタフェースである。入力デバイス１０９は例えばポインティングデバイス又はキーボード等であり、入力デバイス１０９にはユーザの操作を受けてデータが入力される。出力インタフェース１０６は出力デバイス１１０とのインタフェースである。出力デバイス１１０は例えばモニタ等であり、出力デバイス１１０にはコンピュータ装置１００の保持するデータ、コンピュータ装置１００に供給されたデータ、又はプログラムの実行結果等を出力することができる。ネットワークインタフェース１０７は、インターネット等のネットワーク回線１１１に接続するためのインタフェースである。システムバス１０８は、コンピュータ装置１００が有する各ユニット１０１〜１０７を通信可能に接続し、各種データの転送経路として働く。

次に、本実施形態に係る支援システム２００の基本構成について、図２のブロック図を参照して説明する。支援システム２００は、意思決定を支援する支援装置２０１及び２０２を有している。支援装置２０１及び２０２は、それぞれ異なるロールの利用者が、異なる立場・観点で同一タスクを実施する際の意思決定を支援する。例えば、あるタスクに関して、一方の利用者は、タスクの実行方法をリスク、精度又は速度といった観点から選択し、他方の利用者は、必要な資金コストをできるだけ抑制する観点からタスクの実行方法を選択することが考えられる。本実施形態では、その具体的な例として、医療現場における治療方法の選択というタスクに関連して説明する。以下では、利用者のロールの一例として、治療方法を患者のリスク、治癒率及びＱＯＬといった観点から選択する医師と、患者の保険プランから見て妥当な治療方法であるかという観点から治療方法を評価する保険会社の担当者と、を想定する。以下では、説明のために、上記のタスク及びロールに限定して説明するが、本発明はこれらには限定されず、任意のタスク及び任意の異なるロールについての意思決定に応用できる。

医師と保険会社の担当者との間での治療方法の評価の違いについて例を挙げて説明する。例として、患者が、通院すると保険金が支払われ、その支払額に上限がない保険プランに加入しているものとする。医師は、例えば、ＱＯＬを向上させるために、通院日数が長くなったとしても、入院日数を長引かせず早く社会生活を送れるような治療方法を高く評価するかもしれない。しかし、保険会社は、通院が長引くことにより、保険会社による保険金の支払いが多くなることを懸念して、通院日数が少なくて済む他の治療方法を高く評価するかもしれない。一方で、患者が、通院しても保険金が支払われない保険プランに加入している場合、保険会社は、入院日数が少なくて済む治療方法を高く評価するかもしれない。別の例として、患者が、先進治療に保険金が支払われる保険プランに加入していたとする。医師は、難易度の高い手術を伴うが患者のＱＯＬが高くなる新しい先進治療を高く評価するかもしれない。また、医師は、反対に従来の治療方法を高く評価するかもしれない。一方で保険会社は、新しい先進治療は難易度の高い手術を伴うが治療費用も高いので、従来の治療方法を高く評価するかもしれない。反対に、保険会社は、患者が先進治療を保障するプランに入っているのだから、新しい先進治療を高く評価するかもしれない。

質問応答部２０３及び２０４は、質問に対して回答を提示することにより意思決定支援を行う。より具体的には、質問応答部２０３は、ある論理に基づいて質問に対する回答を与える処理部である。質問応答部２０３は、質問に対する回答の評価を与えることができてもよいが、これは必須ではない。また、質問応答部２０４は、別の論理に基づいて質問に対する回答及びこの回答の評価を与える処理部である。

より具体的には、質問応答部２０３及び２０４は、支援装置２０１及び２０２にそれぞれ対応した、各利用者のロール、すなわち各利用者の立場及び観点に応じた、情報源及び質問への応答ロジック（論理）を持っている。例えば、患者の状態に応じた治療方法の選択方法又は考えるべきリスク等の情報が記載された論文若しくはガイドライン等は、医師の立場から見た応答ロジックを含む情報源であるといえる。一方、患者の状態及び患者の入っている保険プランから、実際にどの程度の検査や治療が適用可能かを示す判断基準等が記載されたマニュアル又は過去の適用事例等は、保険会社の担当者の立場から見た応答ロジックを含む情報源と言える。このような各利用者のロールに応じた情報源と応答ロジックとに応じて、質問応答部２０３及び２０４は回答を抽出又は選択する。このような情報源及び応答ロジックは、例えば質問に対する回答を返す知識データベースとして実装することができる。質問応答部２０３及び２０４は、さらに、得られた回答を回答としての妥当さの評価順に提示してもよい。

本実施形態では、質問応答部２０３及び２０４は、後述する質問取得部２０５が取得した質問に相当する質問情報を受け取り、その質問に対応する記述内容を含む情報源を探索する。そして、質問応答部２０３及び２０４は、この情報源から回答となり得る候補の情報を抽出し、回答として提示する。情報源は、回答の根拠となるものであり、回答の根拠として情報源を併記して示しても良い。しかしながら、後述する回答の評価を取得できれば、回答を取得する方法は特に限定されない。例えば、あらかじめ設定された回答となりうる情報の集合について、それぞれの情報を評価することにより、評価が高い回答を選択してもよい。

また、回答の形態は特に限定されず、例えば情報源から引用した文又は単語等でありうる。別の例として、質問応答部２０３及び２０４は、情報源から得た情報に基づいて、回答に相当する情報を生成してもよいし、質問に対して説明的に回答する文を生成してもよい。回答の形態は上記のものに限定されるわけではなく、後述するように概念的に一致するか否かを判断するために質問応答部２０３及び２０４が提示する回答を比較できるような、任意の形態を用いることができる。この比較方法は、データが同一か否かを判断するマッチング処理には限られない。例えば、文又は画像等のデータが示す概念的な情報を認識することによる、含意認識又は深層学習による認識等の、任意の既知の技術を使いて回答の比較を行うことができる。

また、質問応答部２０３及び２０４は、回答の評価を取得する。例えば、質問応答部２０３及び２０４は、質問の含意の確からしさを利用して回答の評価を得ることができる。すなわち、質問応答部２０３及び２０４に入力された質問と、回答が抽出された情報源における回答に対応する質問の記述と、の間で意味的に内容が合致しているか否かの度合いを利用して、回答を評価することができる。この場合、意味的に内容が合致しているほど回答の評価を高くすることができる。また、情報源において、質問に相当する記述と、回答に相当する記述との間に、質問と回答の関係が存在するか否かを示す関係解析結果を利用して回答の評価を得ることもできる。この場合、質問と回答の関係が存在する確度が高いほど回答の評価を高くすることができる。このように、回答の評価は、質問応答部２０３及び２０４における、質問と回答との関連性を示す評価（第１の評価）を含むことができる。質問応答部２０３及び２０４は異なるロジックを有しているため、同じ質問に対して異なる回答を返すことが想定されるし、同じ質問に対して同じ回答を返す場合であっても、質問応答部２０３及び２０４の間で第１の評価は異なる可能性がある。

他にも、同一の質問及び回答について、質問と回答の関係が存在する情報源の数を利用して回答を評価することもできる。この場合、情報源の数が多いほど回答の評価を高くすることができる。さらに、情報源そのものの信頼度を用いて回答を評価することもできる。情報源の信頼度としては、外部から与えられる信頼度を用いることができ、例えば辞典及び教科書等には高い信頼度が与えられることが多い。また、情報源の信頼度として、他の文書からの参照頻度を用いることもでき、例えばより多くの文書に参照されている情報源は高い信頼度を有していると考えることができる。このように、回答の評価は、質問応答部２０３及び２０４における、質問と回答との関連性を示す情報源の信頼性を示す評価（第２の評価）を含むことができる。質問応答部２０３及び２０４は異なるロジックを有しているため、質問応答部２０３がある情報源に対して有している信頼性と、質問応答部２０４が同じ情報源に対して有している信頼性とは、異なる可能性がある。

回答の評価方法をいくつか説明したが、評価方法がこれらの方法に限定されるわけではなく、任意の方法を用いることができる。また、評価は複数の方法に基づいて行うことができ、総合的な判断により得られた評価を、回答毎に算出することもできる。総合的な判断方法としては、質問に対する回答が正しく得られる場合に評価が高くなるのであれば特に限定されない。例えば、上記の第１の評価と第２の評価との双方を参照して、回答の総合的な評価を決定することができる。一例としては、それぞれの評価方法に基づく評価値を用いた加重平均により総合的な評価値を算出することができる。この場合、加重平均に用いる重みは、正解の質問に対する回答が正しく得られている事例を用いて、学習により求めることができる。

質問取得部２０５は、質問を表す質問情報を取得する。以下では、質問取得部２０５が取得した質問のことを第１の質問と呼ぶ。例えば、質問取得部２０５は、入力インタフェース１０５を解してユーザにより入力された質問を取得することができる。本実施形態では、入力デバイス１０９としてキーボードを用い、ユーザはキーボードを用いて質問文テキストの入力を行うものとする。ただし、質問の入力方法はこれに限られないし、質問応答部２０３及び２０４が処理可能な情報に変換できるのであれば、質問取得部２０５は任意の形式の情報を取得することができる。例えば、ユーザによる質問は、発話による音声情報等の形式で入力されてもよい。この場合、入力デバイス１０９としてはマイクのようなデバイスを用いることができる。そして、マイクで得た音声情報を、入力インタフェース１０５でデジタル化し、得られたデジタル音声情報を一般的な音声認識処理によってテキスト化し、得られたテキストデータを質問文として扱うことができる。

質問取得部２０５は、さらに、質問に関連する関連情報を取得することができる。本実施形態では、医師が患者の治療方法を決定することを支援する場合が想定される。この場合、関連情報としては、患者のカルテ、過去の検査データ、又は診療情報等が想定される。用いられる関連情報の種類はタスクによって異なるため、質問取得部２０５は、タスクに合わせて、質問応答部２０３及び２０４が回答を生成するために必要な情報を取得すればよい。本実施形態で参照される患者のカルテ等の情報は、一般的には、各々の情報を管理している外部システムが管理している。この場合、質問取得部２０５は、患者識別情報をキーにして、外部システムから各情報を取得することができる。

そして、質問取得部２０５は、取得した質問を示す情報を質問応答部２０３に入力する。質問取得部２０５は、さらに精度の高い回答を得るために、取得した関連情報を質問応答部２０３にさらに入力することができる。以下では、質問を示す情報と関連情報とを併せて質問情報と呼ぶ。

結果管理部２０６は、質問応答部２０３による、質問に対する回答を取得する。そして、結果管理部２０６は、質問応答部２０３により得られた回答を保管及び管理する。また、結果管理部２０６は、質問応答部２０３により得られたそれぞれの回答の評価も保管及び管理する。質問応答部２０３から出力された回答と評価のセットの集合を、以下では、第１の結果と呼ぶ。本実施形態において、回答が複数得られた場合、得られた回答は全て保管・管理の対象とされる。本実施形態で、結果管理部２０６は、少なくとも、各回答とその評価のセットを保管及び管理する。図９は結果管理部２０６に管理されている回答の例を示し、第１の結果に含まれる回答９０１と、それぞれの回答について、質問応答部２０３により得られた評価を示す評価値であるスコア９０２が管理されている。

結果評価部２０７は、質問応答部２０４による第１の質問に対する回答及びこの回答の評価を参照して得られた、質問応答部２０３による第１の質問に対する回答の評価を取得する。本実施形態において結果評価部２０７は、第１の結果に含まれる回答に着目し、着目回答について、質問応答部２０４から回答としての評価を取得する。例えば、結果評価部２０７は、質問応答部２０３に入力された質問情報と同じ質問情報を、質問応答部２０４へと送ることができる。すると、質問応答部２０４は、質問応答部２０４が有する情報源と応答ロジックに基づいて質問情報に対応する回答とその評価のセットを得ることができる。そして、結果評価部２０７は質問応答部２０４により得られた回答とその評価のセットを、質問応答部２０４から受け取ることができる。質問応答部２０４から出力された回答と評価のセットの集合を、以下では第２の結果と呼ぶ。

もっとも、質問応答部２０３に入力された質問情報と全く同じ質問情報を、質問応答部２０４へと送ることは必須ではない。例えば、特に質問応答部２０３が遠隔地に存在している場合、個人情報等の秘密性の高い関連情報を送信することは望ましくないかもしれない。この場合、結果評価部２０７は、関連情報のうち一部とともに、又は関連情報なしに、質問応答部２０３に入力された質問を示す情報を質問応答部２０４へと送ることができる。

本実施形態において、着目回答の評価は、質問応答部２０４により得られた第１の質問に対する１以上の回答から選択された、着目回答に対応する回答の評価を用いて決定される。例えば、結果評価部２０７は、質問応答部２０４から、評価が上位である所定数の回答を一括で受け取ることができる。その上で、結果評価部２０７は、着目回答と同等の回答を質問応答部２０４から受け取った回答の集合から探索し、同等の回答があればその評価を取得する。着目回答と同等の回答とは、着目回答と同じ回答のほか、着目回答と概念的に一致する回答が含まれる。こうして選択された着目回答と同等の回答の評価が、着目回答の評価として用いられる。概念的に一致する回答は、例えば、曖昧検索を用いて検索する、若しくは、予め登録された概念的に一致する対応付け例に当てはまるかどうかを検索することによって得られる。

例えば、質問応答部２０４から図４に示されるような回答及び評価を得たとする。図４に示されるように、より具体的には、第２の結果において回答の評価は評価値として与えられる。また、質問応答部２０３からの回答は図９に示す通りであり、このうち最も評価の高い回答Ａ（９０３）に着目した場合について考える。この場合、結果評価部２０７は、図４に示した質問応答部２０４からの回答から回答Ａ（１１０１）を探索し、回答Ａに対応するスコア（評価値）を評価として取得する。すなわち、この例で結果評価部２０７は、着目回答である「回答Ａ」の評価として、スコア「０．３９」を得る。

さらなる実施形態においては、第２の結果における、着目回答に対応する回答についての上述した第１の評価と第２の評価との双方を参照して、着目回答の評価を決定することもできる。

なお、質問応答部２０３により得られた着目回答と同等の回答が、質問応答部２０４からの回答に含まれているとは限らない。よって、質問応答部２０４から所定数の回答を得た時点で、結果評価部２０７は質問応答部２０４からの回答の取得処理を打ち切ることができる。そして、着目回答と同等の回答が、質問応答部２０４からの回答に含まれていない場合、結果評価部２０７は、着目回答は質問応答部２０４から得られなかったと判定することができる。この場合、質問応答部２０４による着目回答に対しては任意の評価を与えることができ、例えば最も低い評価を与えることができる。

また、質問応答部２０４からの回答の取得方法は、上述したように所定数の回答を一括で取得する方法に限られない。例えば、着目回答と同等の回答が得られるまで、質問応答部２０４に対して問合せを繰り返すことにより、逐次的に回答を得ることができる。質問応答部２０４からの回答の取得方法として採用される方法は、質問応答部２０４が提供している回答取得のためのインタフェースの仕様や、問合せのトランザクションの負荷等を考慮して任意に決めることができる。

判定部２０８は、結果評価部２０７により得られた評価から、質問応答部２０３により得られた回答が、支援装置２０２の利用者にとって妥当であるか否かを判定する。本実施形態においては、第２の結果における、着目回答に対応する回答の評価値を用いて、着目回答の妥当性を判定する。例えば、質問応答部２０４による回答の評価を示すスコアに関して閾値を設定し、スコアが閾値以上であるか否かに応じて、回答が妥当かどうかを判定することができる。例えば、閾値が０．６と設定されていれば、スコアが０．６以上である場合は回答が妥当であると判定することができ、スコアが０．６を下回る場合には回答が妥当ではないと判定することができる。

閾値の定め方については特に限定されない、例えば、利用者が経験則に基づいて閾値を予め設定してもよい。また、過去の事例における、回答の評価値とユーザによって判定された回答の妥当性との関係に基づいて、閾値を決定することもできる。例えば、過去の事例における、回答の妥当性について支援装置２０２側のユーザの同意が得られたケースにおける回答の評価に基づいて、閾値を動的に計算することもできる。上述の医療現場における治療方法の選択の場合であれば、回答について保険会社の担当者が実際に妥当と判断したケースについての回答の評価に基づいて、閾値を計算できる。閾値を決定するためのルールはこの方法に限られず、任意のルールに基づいて閾値を決定することができる。

また、必ずしも閾値を用いて回答の妥当性を判定する必要はない。例えば、過去の事例における、回答の評価値とユーザによって判定された回答の妥当性との関係に基づいて構築された、評価値と妥当性との因果関係を示すモデルに基づいて、判定を行うこともできる。具体例として、過去の事例、例えば医師と保険会社との交渉実績が得られるのであれば、過去に質問応答部２０４により得られた評価と、同意又は非同意の交渉結果と、の間の因果関係を回帰的に分析し、因果関係の確率的なモデルを生成することができる。手法としては特に限定されず、一般的な回帰分析やベイジアンネットワーク等を利用したモデル化等の手法を用いることができる。そして、このような分析結果又はモデル等と、質問応答部２０４による回答の評価とを用いて、回答の妥当性を判定することができる。また、二値的に妥当であるかないかを判別するのではなく、妥当性を多段階（３段階以上）で評価することもでき、この場合、着目回答の妥当性の判定結果は、３つ以上のカテゴリから選択される。例えば、３段階又は５段階の妥当性を示すスケールを用いて妥当性を判定することができる。この場合に用いる手法も特に限定されず、例えば多クラスの判定を行うニューラルネットワークを過去の事例を元に構築して判別に用いることができる。

さらなる実施形態においては、第２の結果における、着目回答に対応する回答についての上述した第１の評価と第２の評価との双方を用いて、着目回答の妥当性を判定することもできる。例えば、判定部２０８は、第１の評価に基づく妥当性と、第２の結果に基づく妥当性と、の２つの判定を行うことができる。後述する提示部２０９は、それぞれの判定結果を区別して提示することができる。一方で、判定部２０８は、第１の評価に基づく妥当性と、第２の結果に基づく妥当性と、の２つの判定に基づいて、着目回答の総合的な妥当性を判定することもできる。例えば、質問と回答との関連性を示す評価（第１の評価）が低い場合、質問と回答との関連性を示す情報源の信頼性を示す評価（第２の評価）が低い場合のいずれであっても、支援装置２０２の利用者は回答が妥当ではないと判定することが考えられる。したがって、一例として、第１の評価が判断基準を満たし、かつ第２の評価も判断基準を満たす場合に、評価部は着目回答が妥当であると判定することができる。

提示部２０９は、着目回答と、着目回答の評価とを、併せて支援装置２０１の利用者に提示する。本実施形態においては、提示部２０９は、判定部２０８による判定結果を、支援装置２０１の利用者に評価として提示する。本実施形態で挙げた事例の場合、例えば、医師が考える治療方針が、保険会社の担当者の観点からみてどの程度妥当であるかが分かるように、判定結果を提示することは有用である。図１０は判定結果の提示例を示し、図１０には着目回答１００１と、そのスコア１００２と、妥当性の判定結果１００３が示されている。判定結果１００３は、支援装置２０２を利用するユーザの観点における妥当性を示しており、「○」は妥当であることを、「×」は妥当ではないことを示す。図１０の例では、質問応答部２０４により得られた回答Ａのスコアは閾値を超えていないため、「×」が提示されている。判定結果の提示方法は図１０に示すものには限られず、テキスト又はイラストを用いて、結果が判別できるように判定結果を提示することもできる。

また、前述した通り多段階の判定を行うことも可能であり、この場合妥当性の程度が分かる記号を提示することができる。記号としては、例えば、「○」「×」の他に、妥当か否か明確ではないことを示す「△」を用いることができる。さらに、「１」「２」「３」のような妥当性の程度が分かる数字を提示することもできる。さらに、妥当性に応じて分類されるクラスの数に応じて、段階的に変化するイラスト又はテキストを採用し、これらを提示することもできる。

次に、本実施形態に係る支援装置２０１が行う処理の手順について、図３のフローチャートを参照して説明する。ステップＳ３０１では、質問取得部２０５が、利用者から入力された質問を示す質問情報を取得し、外部記憶装置１０４に質問情報を保管する。

ステップＳ３０２では、質問応答部２０３が、ステップＳ３０１で取得された質問情報を受け取り、受け取った情報に対する回答とその評価のセットの集合（第１の結果）を出力する。結果管理部２０６は、出力された結果を外部記憶装置１０４に保管する。

ステップＳ３０３では、結果評価部２０７が、質問取得部２０５により管理されている質問情報を取り出し、取り出した情報を質問応答部２０４に入力する。そして、結果評価部は、質問情報に対応して質問応答部２０４から出力された回答とその評価のセットの集合（第２の結果）を取得する。

ステップＳ３０４では、結果評価部２０７が、結果管理部２０６から、第１の結果の中で処理の対象とする着目回答とその評価のセットを取得する。本実施形態で結果評価部２０７は、第１の結果に含まれる回答のうち、評価が最も高い回答を取得する。

ステップＳ３０５では、結果評価部２０７が、ステップＳ３０３で取得した第２の結果から、ステップＳ３０４で取得した回答と同等の回答を探索する。ステップＳ３０５の結果、同等の回答が発見された場合、処理はステップＳ３０７に移行する。同等の回答が発見されなかった場合、処理はステップＳ３１０に移行する。

ステップＳ３０７では、結果評価部２０７が、ステップＳ３０５で発見された回答とその評価のセットを取得する。そして、結果評価部２０７は、取得した回答の評価を出力する。

ステップＳ３０８では、ステップＳ３０７又はＳ３１０で得た評価から、判定部２０８が着目回答の妥当性を判定する。本実施形態では、前述した通り、ステップＳ３０７で得られた評価が予め設定された閾値を超えるか否かに基づいて、支援装置２０１，２０２の実際の利用者間で妥当性について合意が得られるか否かを判定する。

ステップＳ３０９では、提示部２０９が、ステップＳ３０８で得た判定結果と合わせて、着目回答とその評価のセットを、利用者に出力デバイス１１０を通して提示する。提示の仕方は、判定結果と着目回答とを合わせて提示するのであれば、特に限定されない。例えば、判定結果だけではなく、第２の結果における着目回答と同等の回答の評価を合わせて提示してもよい。

ステップＳ３１０は、第２の結果の中に着目回答と同等の回答が無かった場合に行われる。ステップＳ３１０では、結果評価部２０７が、着目回答の評価を設定する。ここで、結果評価部２０７は、着目回答に対して、着目回答が第２の結果に含まれなかった旨を表す評価を設定する。この場合、着目回答は、質問応答部２０４が回答として挙げる可能性はあったが、評価が低かったために第２の結果に含まれなかったのかもしれない。一方で、質問応答部２０４の情報源が不足していたために、質問応答部２０４が回答として挙げられなかったのかもしれない。特に後者の場合、支援装置２０１，２０２の実際の利用者間で相談を行った場合、着目回答の妥当性について合意が得られる可能性もある。このため、本実施形態では、着目回答に対して他の回答よりも低い評価を設定するのではなく、第２の結果に含まれなかった旨を表す評価を設定する。

本実施形態では、ある立場の利用者向けの支援装置２０１と他の立場の利用者向けの支援装置２０２が接続されている場合について説明した。しかしながら、支援装置２０１が、他の立場の利用者向けの質問応答部２０４を備えていてもよい。また、支援装置２０１の代わりに、支援装置２０１が接続されているさらなる支援装置が、質問応答部２０３を備えていてもよい。

上記で説明した実施形態により、利用者の質問に対して質問応答部２０３が提示した回答に対して、異なるロールの利用者の観点及び立場からどのような評価が得られるかを、予め推定できる。これにより、ロールの異なる担当者間でタスクの実行方法の妥当性について交渉する時に、交渉がどの程度難航しそうかを事前に予想することができる。また、容易に同意が得られそうな別の実行方法を模索したり、説明準備を十分に行うようにしたりといった対策を行うことで、担当者間の交渉のコストを抑制する効果が期待できる。

［実施形態２］
実施形態１において、第１の結果から着目回答が選択され、着目回答と同等の回答が第２の結果から探索された。そして、着目回答と同等の回答が存在しない場合には、着目回答に対しては第２の結果に存在しない旨を表す評価が与えられた。実施形態２では、着目回答の評価が所定の基準を満たさない場合、さらなる着目回答が選択される。所定の基準としては、着目回答の評価が閾値未満である場合、又は着目回答と同等の回答が第２の結果に存在しない場合等が挙げられる。例えば、着目回答と同等の回答が第２の結果に存在しない場合には、着目回答を選び直す自動調整処理を行うことができる。こうして、着目回答と同等の回答が第２の結果から発見され、着目回答に対する質問応答部２０４の評価が得られるまで、着目回答の選択及び評価が繰り返し行われる。

本実施形態における処理は、ステップＳ３０６において、第２の結果に着目回答と同等の回答が存在しなかった場合にはステップＳ３０４に戻って着目回答を選び直すことにより、実現できる。その他の処理は、図３のフローチャートと同じように行うことができる。第１の結果に含まれる回答の全てについて、同等の回答が第２の結果に含まれていない可能性がある。この場合、提示部２０９は、その旨、すなわち第１の結果に含まれる回答と同等の回答が第２の結果に存在しないことを示す情報、を利用者に提示することができる。

本実施形態の構成によれば、質問応答部２０４による評価が得られた着目回答を、利用者に提示できるようになる。このため、より同意が得られやすいと思われる回答に基づいて、担当者間の交渉を行えるようになる。

［実施形態３］
実施形態１では、第１の結果に含まれる１つの着目回答について、質問応答部２０４の出力に基づく評価及び判定が行われた。しかし、第２の結果として、複数の回答を一括で取得できる場合は、第１の結果に含まれる複数の回答について、一括して第２の結果から同等の回答を探索し、評価を与えることができる。この場合、結果評価部２０７は、利用者に提示する複数の回答を第１の結果から選択し、それぞれの回答を第２の結果に基づいて評価することができる。第１の結果と第２の結果との比較の仕方は特に限定されない。例えば、実施形態２と同様の方法を用いて、提示される複数の回答のそれぞれに対して、逐次的に第２の結果を参照して評価を与えることができる。

本実施形態の場合、提示部２０９は、第１の結果から選択された複数の回答と、それぞれの回答についての判定部２０８による判定結果とを、一覧可能に提示することができる。例えば、図６の例には、第１の結果から選択された回答（６０１）と、その判定（６０３）とが一覧表示されている。図６に示すように、さらに回答の評価を示すスコア（６０２）をさらに提示することもできる。

このように、本実施形態では、結果管理部２０６は質問応答部２０３により第１の質問に対して得られた複数の回答を取得し、結果評価部２０７はそれぞれの回答について第２の結果に基づく評価結果を得る。そして、提示部２０９は、第２の結果に基づく評価結果又は判定部２０８による判定結果にかかわらず、複数の回答のすべてを提示する。もっとも、提示される回答は、質問応答部２０３による評価に基づいて所定数に制限されていてもよい。例えば、質問応答部２０３による評価がより大きい回答のみを表示することもできる。

第１の結果に含まれる回答は、支援装置２０１の利用者にとっては妥当性が高い回答であると考えられるため、たとえ支援装置２０２の利用者にとって妥当性が低いとしても、利用者が選択を望む可能性がある。このため、本実施形態においては、第２の結果にかかわらず複数の回答のすべてが提示される。一方で、本実施形態では、第１の結果に含まれる回答のうち、どの回答が、担当者間の交渉で同意が得られやすいのかの目安を知ることができる。このため、交渉にかかるコスト削減が期待できるし、利用者は交渉に備えて予め準備することも可能となる。

［実施形態４］
実施形態１〜３では、支援装置２０１がトリガとなる例、すなわち支援装置２０１により処理が開始されて支援装置２０１のユーザに対して回答を提示する例について説明した。しかしながら、支援装置２０１と支援装置２０２のいずれか一方のみがトリガとなる構成には限定されない。ロールの異なる複数の利用者がそれぞれ利用する支援装置のうち、どの支援装置がトリガとなってもよいし、全ての支援装置がトリガとなってもよい。この場合、トリガとなる支援装置として、支援装置２０１と同様の構成を有する装置を用いることができる。そして、トリガとなる支援装置が支援装置２０１と同様の動作を行い、トリガではない支援装置が支援装置２０２と同様の動作を行うことにより、トリガとなる支援装置の利用者に対して回答及びその評価の提示を行うことができる。

本実施形態の構成によれば、トリガとなる支援装置を限定する必要はない。このため、様々なロールの利用者がトリガとなりうる柔軟な運用が可能になる。

［実施形態５］
実施形態１〜４では、回答の評価を支援装置２０１が行った。一方で、実施形態５では、回答の評価を支援装置２０２が行う。実施形態５に係る支援システムの構成例を図５に示す。この構成において、支援装置２０１は、支援装置２０２に回答の評価を依頼する評価依頼部５０１を有する。また、支援装置２０２は、評価依頼部５０１から依頼を受け取って、第１の結果に含まれる回答の評価を実施する評価部５０２を有する。

本実施形態において、評価依頼部５０１は、評価部５０２に対して、支援装置２０１が利用者から受け取った質問情報と合わせて、質問応答部２０３から得た第１の結果に含まれる着目回答を、評価部５０２へ送る。評価部５０２は、受け取った質問情報を用いて質問応答部２０４に問合せを行うことにより、質問応答部２０４から第２の結果を取得する。そして、評価部５０２は、評価依頼部５０１から受け取った着目回答と同等の回答を第２の結果から探索し、発見された回答の評価に基づいて、評価依頼部５０１が受け取った着目回答の評価を決定する。そして、評価依頼部５０１は、評価部５０２から、着目回答の評価を受け取る。

評価依頼部５０１は、複数の回答を評価部５０２へ送ってもよく、この場合評価部５０２は、各回答の評価を決めた後、その結果を評価依頼部５０１へと返すことができる。この場合、評価依頼部５０１は、複数の回答を一括して評価部５０２へ送って評価を一括して得てもよいし、回答を逐次評価部５０２へ送って評価を逐次得てもよい。回答全体の評価を得た場合には、提示部２０９は、実施形態３と同様に回答及び判定を提示することができる。

本実施形態の方法によれば、支援装置２０２（質問応答部２０４）により得られた質問情報に対する第２の結果を、支援装置２０１に開示する必要がなくなる。第２の結果を支援装置２０１の利用者が得られる場合は、支援装置２０１の利用者は第２の結果の中から適当な回答を探すことが可能になってしまう。交渉等を行う場合には、相手に意思決定の候補の情報を知られたくない場合があり、このような場合に支援装置２０２の利用者側における回答（第２の結果）を支援装置２０１の利用者側に開示する必要がない本実施形態は利用しやすい。一方で、同一のタスクを複数の利用者が協調して行うような場合は、第２の結果が開示されるデメリットよりも、より同意しやすい回答を探しやすくなるメリットが大きくなることがあり、このような場合には実施形態１のような方法も有利である。このように、状況に応じて本実施形態と他の実施形態とを使い分けることもできる。

本実施形態では、支援装置２０２が評価部５０２を有し、支援装置２０１が判定部２０８を有する場合について説明した。しかしながら、支援装置２０２が判定部２０８を有していても同等の効果が得られるため、このような構成を採用することもできる。この場合、支援装置２０２が有する判定部２０８は、評価依頼部５０１から受け取った回答に対する評価を決定した後、この評価に基づいて回答の妥当性を判定する。その後、支援装置２０２が有する判定部２０８は、回答に対する評価及び判定を評価依頼部５０１に返してもよいし、回答に対する評価を評価依頼部５０１に提供することなく回答に対する判定を評価依頼部５０１に返してもよい。このように、評価依頼部５０１が受け取る着目回答の評価は、質問応答部２０４が出力したスコア自体であってもよいし、スコアに基づく判定結果であってもよい。

［実施形態６］
実施形態１〜５において、質問応答部２０３が有し回答の根拠となる情報源及びロジックは、質問応答部２０４が有する情報源及びロジックとは異なるものとして説明した。しかしながら、質問応答部２０３と質問応答部２０４とは、異なるロジックと同じ情報源と用いてもよい。この場合、質問応答部２０３，２０４が、回答だけでなく、回答の妥当性を示す根拠として用いられる情報源自体の評価を示すスコアを出力できる場合は、これを利用した評価を行っても良い。情報源の評価としては、上述した情報源の信頼度の評価を用いることができる。

例えば、質問応答部２０３は、質問応答部２０３により得られた第１の結果に含まれる各回答について、質問と回答との関連性を示す情報源の情報を与えることができる。また、質問応答部２０４は、質問応答部２０４により得られた第２の結果に含まれる各回答について、質問と回答との関連性を示す情報源の情報を与えることができる。こうして、結果管理部２０６は、質問応答部２０３から、第１の結果に含まれる各回答について、根拠となる情報源を示す情報を取得することができる。また、結果評価部２０７は、同様に、質問応答部２０４から、第２の結果に含まれる各回答について、根拠となる情報源を示す情報を取得することができる。情報源を示す情報は、回答の根拠となる情報源のうち、より信頼性が高い所定数の情報源と、その信頼性を示す評価と、を含むことができる。情報源の信頼性を示す評価は、それぞれの質問応答部２０３，２０４においてスコアとして格納されている。

このとき、結果管理部２０６は、質問応答部２０３から、質問に対する回答に加えて、質問と回答との関連性を示す情報源（第１の情報源）の情報をさらに取得することができる。こうして、結果評価部２０７は、質問応答部２０３において着目回答の根拠となっている情報源を知ることができる。また、結果評価部２０７は、質問に対する回答及びその評価に加えて、質問応答部２０４による着目回答に対応する回答について、根拠となっている情報源とその信頼性を示す評価とを取得することができる。そして、結果評価部２０７は、質問応答部２０４において着目回答に対応する回答の根拠となっている情報源から、質問応答部２０３において着目回答の根拠となっている第１の情報源に対応する情報源を選択することができる。選択された情報源の信頼性を示す評価は、質問応答部２０４における第１の情報源に対する信頼性を示す評価として用いることができる。

こうして、結果評価部２０７は、着目回答の根拠となる情報源が、第２の結果における同等の回答の根拠となる情報源として、どの程度のスコアを得ているかを確認することができる。そして、判定部２０８は、第２の結果における着目回答に対応する回答の評価と、質問応答部２０４における第１の情報源に対する信頼性を示す評価と、を参照して、着目回答の評価を判定することができる。

例えば、着目回答の根拠としてスコアが高い情報源が、第２の結果における同等の回答の根拠となる情報源としても高いスコアを持つ場合は、着目回答が支援装置２０２の利用者により受け入れられる可能性は高い。したがって、結果評価部２０７は、このような着目回答には高い評価を与えることができる。一方、着目回答の根拠となる情報源が、第２の結果における同等の回答の根拠としては低いスコアしか与えられていない、あるいは根拠として用いられていない場合、着目回答が支援装置２０２の利用者により受け入れられる可能性は低い。したがって、結果評価部２０７は、このような着目回答には高い評価を与えず、低い評価を与えることができる。

具体的な評価例としては、質問応答部２０４における第１の情報源に対する信頼性を示す評価が閾値以上である場合、第２の結果における着目回答に対応する回答の評価を、着目回答の評価として用いることができる。一方で、質問応答部２０４における第１の情報源に対する信頼性を示す評価が閾値未満である場合、着目回答の評価を最低値にすることができる。質問応答部２０４において着目回答に対応する回答の根拠となっている情報源に第１の情報源が含まれない場合にも、着目回答の評価を最低値にすることができる。一方で、質問応答部２０４において着目回答に対応する回答の根拠となっている情報源に第１の情報源が含まれない場合、質問応答部２０４においては第１の情報源が考慮されていないことを示す評価を、着目回答の評価として用いることができる。質問応答部２０４において第１の情報源の評価が低い場合、第１の情報源を提示しても交渉は難航する可能性が高いが、質問応答部２０４において第１の情報源が考慮されていない場合、第１の情報源を提示すれば同意を得られる可能性がある。情報源の評価が低い場合と情報源が考慮されていない場合を区別して利用者に提示することにより、交渉の見通しの予測を利用者に提供することができる。

本実施形態においては、着目回答の根拠となった情報源が、第２の結果における同等の回答の根拠としてどの程度寄与できているかを加味して評価を行うことができる。利用者は、回答を相手の担当者に提示した際に、根拠となる情報源の評価を共有できるか否かの目安が得られるため、交渉において回答について同意を得ることの難しさについて、より精度の高い目安を得ることができる。

［実施形態７］
実施形態１〜６においては、支援装置２０１の利用者が交渉する対象として１つの支援装置２０２がある場合について説明した。しかしながら、支援装置２０２に相当する別の支援システムが複数存在してもよい。例えば、図７の例のように、１つの支援装置２０１に対し、支援装置２０２及び支援装置７０１の２つの支援装置が存在してもよい。この場合、結果評価部２０７は、第２の結果に加えて、支援装置７０１が有する質問応答部７０２により、質問情報に対して得られた回答及びその評価（第３の結果）を取得できる。そして、結果評価部２０７は、第１の結果に含まれる着目回答について、同等の解答候補に対して第２の結果及び第３の結果で与えられている評価を、実施形態１と同様の方法で得ることができる。また、判定部２０８は、第２の結果に基づく着目回答の判定と、第３の結果に基づく着目回答の判定と、をそれぞれ行うことができる。

本実施形態で得られた結果は、例えば、提示部２０９が、比較可能に一括して示すことができる。例えば、図８に示した例では、それぞれの回答について、支援装置２０２で得られたスコアに基づく判定結果（８０１）と、支援装置７０１で得られたスコアに基づく判定結果（８０２）と、が提示されている。それぞれの支援装置による判定結果を比較するために、図８に示すように、提示部２０９は、それぞれの質問応答部２０４，７０２にとって回答が妥当であるか否か、といった比較可能な表現で判定結果を提示することができる。

本実施形態によれば、支援装置２０１の利用者は、自身が選択しようとする回答について同意を得やすい交渉先を選ぶ際に、支援装置２０１に提示された評価を目安として利用することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０１，２０２ 支援装置、２０３，２０４ 質問応答部、２０５ 質問取得部、２０６ 結果管理部、２０７ 結果評価部、２０８ 判定部、２０９ 提示部

Claims (16)

1. 第１の質問を表す質問情報を取得する第１の取得手段と、
   第１の論理に基づいて質問に対する回答を与える第１の処理部による、前記第１の質問に対する第１の回答を取得する第２の取得手段と、
   第２の論理に基づいて質問に対する回答及び当該回答の評価を与える第２の処理部による、前記第１の質問に対する回答及び当該回答の評価を参照して得られた、前記第１の回答の評価を取得する第３の取得手段と、
   前記第１の回答と前記第１の回答の評価とを併せて提示する提示手段と、
   を備えることを特徴とする情報処理装置。
2. 前記第１の回答の評価は、前記第２の処理部による前記第１の質問に対する１以上の回答から選択された、前記第１の回答に対応する回答の評価を用いて決定されることを特徴とする、請求項１に記載の情報処理装置。
3. 前記第２の処理部による前記第１の質問に対する回答の評価は、評価値として与えられ、
   前記第３の取得手段は、前記選択された前記第１の回答に対応する回答の評価値を用いて決定された、前記第１の回答の妥当性の判定結果を、前記第１の回答の評価として取得することを特徴とする、請求項２に記載の情報処理装置。
4. 前記第１の回答の妥当性の判定結果は、前記選択された前記第１の回答に対応する回答の評価値が閾値以上であるか否かに応じて決定されることを特徴とする、請求項３に記載の情報処理装置。
5. 前記閾値は、過去の事例における、前記選択された前記第１の回答に対応する回答の評価値とユーザによって判定された前記第１の回答の妥当性との関係に基づいて、決定されていることを特徴とする、請求項４に記載の情報処理装置。
6. 前記第１の回答の妥当性の判定結果は、前記選択された前記第１の回答に対応する回答の評価値に応じて、３つ以上のカテゴリから選択されることを特徴とする、請求項３に記載の情報処理装置。
7. 前記第１の回答の妥当性の判定結果は、過去の事例における、前記選択された前記第１の回答に対応する回答の評価値とユーザによって判定された前記第１の回答の妥当性との関係に基づいて構築された、評価値と妥当性との因果関係を示すモデルに基づいて、決定されることを特徴とする、請求項３又は６に記載の情報処理装置。
8. 前記第２の取得手段は、前記第１の処理部による前記第１の質問に対する複数の前記第１の回答を取得し、
   前記提示手段は、前記第３の取得手段により取得された第１の回答の評価にかかわらず、前記複数の第１の回答を提示する
   ことを特徴とする、請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記第２の取得手段は、前記第３の取得手段により取得された前記第１の回答の評価が所定の基準を満たさない場合、前記第１の処理部による前記第１の質問に対するさらなる第１の回答を取得し、
   前記提示手段は、前記さらなる第１の回答を提示する
   ことを特徴とする、請求項８に記載の情報処理装置。
10. 前記第２の処理部による回答の評価は、前記第２の論理における質問と回答との関連性を示す第１の評価と、前記関連性を示す情報源の信頼性を示す第２の評価と、を含み、
    前記第３の取得手段は、前記第２の処理部による、前記第１の質問に対する回答、及び当該回答についての前記第１の評価と前記第２の評価との双方を参照して得られた、前記第１の回答の評価を取得する
    ことを特徴とする、請求項１乃至９の何れか１項に記載の情報処理装置。
11. 前記第３の取得手段は、前記第２の処理部による前記第１の質問に対する１以上の回答から選択された、前記第１の回答に対応する回答についての前記第１の評価と前記第２の評価との双方を用いて、決定された前記第１の回答の妥当性の判定結果を、前記第１の回答の評価として取得することを特徴とする、請求項１０に記載の情報処理装置。
12. 前記第１の処理部は、質問に対する回答に加えて、前記第１の論理が有している質問と回答との関連性を示す情報源の情報をさらに与え、
    前記第２の処理部は、質問に対する回答及び当該回答の評価に加えて、前記第２の論理が有する質問と回答との関連性を示す情報源の情報を与え、さらに前記情報源の信頼性を示す評価を与え、
    前記第２の取得手段は、前記第１の論理が有している前記第１の質問と前記第１の回答との関連性を示す第１の情報源の情報をさらに取得し、
    前記第３の取得手段は、前記第２の処理部による前記第１の質問に対する１以上の回答から選択された、前記第１の回答に対応する回答の評価と、当該回答について前記第１の質問との関連性を示す情報源から選択された、前記第１の情報源に対応する情報源の評価と、を参照して得られた、前記第１の回答の評価を取得する
    ことを特徴とする、請求項１乃至９の何れか１項に記載の情報処理装置。
13. 前記第３の取得手段は、前記第２の処理部に対して前記第１の質問及び前記第１の回答を入力し、前記第２の処理部から前記第１の回答の評価を受け取ることを特徴とする、請求項１乃至１２の何れか１項に記載の情報処理装置。
14. 第１の論理に基づいて質問に対する回答及び該回答の評価を与える第１の処理部と、
    第２の論理に基づいて質問に対する回答及び該回答の評価を与える第２の処理部と、
    第１の質問を表す質問情報を取得する手段と、
    前記第１の処理部を用いて前記第１の質問に対する第１の回答を取得する手段と、
    前記第２の処理部を用いて前記第１の質問に対する回答及び該回答の評価を取得する手段と、
    前記第２の処理部を用いて得られた前記第１の質問に対する回答及び該回答の評価を参照して、前記第１の回答の評価を取得する手段と、
    前記第１の回答と前記第１の回答の評価とを併せて提示する提示手段と、
    を備えることを特徴とする情報処理システム。
15. 情報処理装置が行う情報処理方法であって、
    第１の質問を表す質問情報を取得する工程と、
    第１の論理に基づいて質問に対する回答及び該回答の評価を与える第１の処理部が処理を行うことで得られた、前記第１の質問に対する第１の回答を取得する工程と、
    第２の論理に基づいて質問に対する回答及び該回答の評価を与える第２の処理部が処理を行うことで得られた、前記第１の質問に対する回答及び該回答の評価を参照して得られる、前記第１の回答の評価を取得する工程と、
    前記第１の回答と前記第１の回答の評価とを併せて提示する工程と、
    を有することを特徴とする情報処理方法。
16. コンピュータに、
    第１の質問を表す質問情報を取得する工程と、
    第１の論理に基づいて質問に対する回答及び該回答の評価を与える第１の処理部が処理を行うことで得られた、前記第１の質問に対する第１の回答を取得する工程と、
    第２の論理に基づいて質問に対する回答及び該回答の評価を与える第２の処理部が処理を行うことで得られた、前記第１の質問に対する回答及び該回答の評価を参照して得られる、前記第１の回答の評価を取得する工程と、
    前記第１の回答と前記第１の回答の評価とを併せて提示する工程と、
    を実行させるためのプログラム。

Images