JP2023162332A

JP2023162332A - 情報提供方法

Info

Publication number: JP2023162332A
Application number: JP2023138146A
Authority: JP
Inventors: 直美河村; Naomi Kawamura
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2019-12-26
Filing date: 2023-08-28
Publication date: 2023-11-08
Also published as: JP7343014B2; JPWO2021130964A1; JP7131720B2; US20220309942A1; JP2022166258A; WO2021130964A1

Abstract

【課題】チャットボットにおける質問に対する応答の精度の向上を図ることができる情報提供方法、情報提供システム及びプログラムを提供する。【解決手段】ネットワークに接続されたウェブサーバにて構成されるチャットボットにより、ユーザが操作するユーザ端末（情報処理装置）からの質問を受け付け、かかる質問に対して自動的に回答を提供する情報提供システムであって、ユーザから入力された質問文章に応じて、当該質問文章に対応する質問候補文章をユーザに対して出力する質問回答部と、質問候補文章に対するユーザの挙動を検出する検出部と、挙動に応じて質問文章に対する質問候補文章の評価を行う評価部と、を備える。【選択図】図８

Description

本発明は、ユーザからの質問に応じて情報を提供する情報提供方法、情報提供システム、プログラムに関する。

インターネット上のウェブサーバや、店舗に設置されたコンピュータを用いて、ユーザから入力された質問に対して自動的に回答を行うシステムとして、いわゆるチャットボットというシステムがある。例えば、チャットボットでは、予め質問候補文章と回答文章との組み合わせからなるＱ＆Ａデータを記憶しており、ユーザから入力された質問文章を解析し、かかる質問文章に対応する質問候補文章を抽出して、１つ又は複数の質問候補文章をユーザに提示する。そして、チャットボットは、ユーザに質問候補文章の中からユーザ自身が質問したい内容に最も近い質問候補文章を選択してもらい、選択された質問候補文章に対応付けられた回答文章を表示する。例えば、チャットボットの一例として、特許文献１に記載されているものがある。

そして、チャットボットでは、ユーザからの質問に対する応答の精度を上げるべく、最終的に提示した回答が正しいかどうかをユーザからフィードバックを得る機能を導入している。例えば、チャットボットは、回答を表示した後に、かかる回答が「正答」、「誤答」、「未解決」のいずれであるかを評価する入力をユーザに要求する。これにより、チャットボットでは、回答に対するユーザによる評価を分析したり学習することで、その後のユーザからの質問に対する応答の精度を向上させている。

特開２０１９－１８５６１４号公報

しかしながら、上述したようにチャットボットによる回答に対するユーザの評価を要求する場合には、ユーザから評価を得られないこともある。その結果、ユーザからフィードバックを得ることができず、質問に対する応答の精度の向上を図ることができない、という問題が生じる。

このため、本発明の目的は、上述した課題である、チャットボットにおける質問に対する応答の精度の向上を図ることができない、ことを解決することができる情報提供方法を提供することにある。

本発明の一形態である情報提供方法は、
ユーザから入力された質問文章に応じて、当該質問文章に対応する質問候補文章をユーザに対して出力し、
前記質問候補文章に対するユーザの挙動を検出し、
前記挙動に応じて前記質問文章に対する前記質問候補文章の評価を行う、
という構成をとる。

また、本発明の一形態である情報提供システムは、
ユーザから入力された質問文章に応じて、当該質問文章に対応する質問候補文章をユーザに対して出力する質問回答部と、
前記質問候補文章に対するユーザの挙動を検出する検出部と、
前記挙動に応じて前記質問文章に対する前記質問候補文章の評価を行う評価部と、
を備えた、
という構成をとる。

また、本発明の一形態であるプログラムは、
情報処理装置に、
ユーザから入力された質問文章に応じて、当該質問文章に対応する質問候補文章をユーザに対して出力する質問回答部と、
前記質問候補文章に対するユーザの挙動を検出する検出部と、
前記挙動に応じて前記質問文章に対する前記質問候補文章の評価を行う評価部と、
を実現させる、
という構成をとる。

本発明は、以上のように構成されることにより、チャットボットにおける質問に対する応答の精度の向上を図ることができる。

本発明におけるチャットボットの構成を示すブロック図である。図１に開示したチャットボットに記憶されるデータの一例を示す図である。図１に開示したチャットボットに記憶されるデータの一例を示す図である。図１に開示したチャットボットに記憶されるデータの一例を示す図である。図１に開示したチャットボットに記憶されるデータの一例を示す図である。図１に開示したチャットボットとユーザ端末とによる質問回答動作時の様子を示す図である。図１に開示したチャットボットとユーザ端末とによる質問回答動作時の様子を示す図である。図１に開示したチャットボットとユーザ端末とによる質問回答動作時の様子を示す図である。図１に開示したチャットボットとユーザ端末とによる質問回答動作時の様子を示す図である。図１に開示したチャットボットとユーザ端末とによる質問回答動作時の様子を示す図である。図１に開示したチャットボットとユーザ端末とによる質問回答動作時の様子を示す図である。図１に開示したチャットボットとユーザ端末とによる質問回答動作時の様子を示す図である。図１に開示したチャットボットの動作を示すフローチャートである。本発明の実施形態２における情報提供システムのハードウェア構成を示すブロック図である。本発明の実施形態２における情報提供システムの構成を示すブロック図である。本発明の実施形態３における情報提供システムの動作を示すフローチャートである。

＜実施形態１＞
本発明の第１の実施形態を、図１乃至図６を参照して説明する。図１乃至図４は、チャットボットの構成を説明するための図であり、図５乃至図６は、チャットボットの処理動作を説明するための図である。

［構成］
本発明におけるチャットボット１０は、ネットワークに接続されたウェブサーバにて構成されており、ユーザＵが操作するユーザ端末２０（情報処理装置）からの質問を受け付け、かかる質問に対して自動的に回答を提供する情報提供システムとして機能するものである。例えば、チャットボット１０は、所定の企業によって管理され、かかる企業内の従業員（ユーザ）からの質問に対する回答を提供するものであったり、所定の製品やサービスを提供する事業者によって管理され、ネットワークを介してアクセスしてきたユーザからの製品やサービスに関する質問に対して自動的に回答を提供するものである。

但し、本発明におけるチャットボット１０は、いかなる場面で利用されてもよく、いかなる情報を提供するものであってもよい。また、チャットボット１０は、必ずしもネットワークを介してユーザ端末２０から質問を受け付けて回答を提供する情報処理システムで構成されることに限定されない。例えば、チャットボット１０は、店舗内などに設置された設置端末で構成され、文字情報や音声情報を介して、直接ユーザから質問を受け付けたり回答を提供するように構成された情報処理システムであってもよい。

本実施形態におけるチャットボット１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、チャットボット１０は、図１に示すように、演算装置がプログラムを実行することで構築された、質問回答部１１、検出部１２、評価部１３、を備える。また、チャットボット１０は、記憶装置に形成された、Ｑ＆Ａデータ記憶部１４、正答率データ記憶部１５、評価データ記憶部１６を備える。以下、各構成について詳述する。

上記質問回答部１１は、まず、アクセスしてきたユーザ端末２０の表示画面に対して、図５Ａに示すように、チャット画面Ａ１と、メッセージ入力欄Ａ２と、送信ボタンＡ３を表示するよう出力する。チャット画面Ａ１は、ユーザＵとオペレータＰとのメッセージのやり取りを表示する画面である。メッセージ入力欄Ａ２は、ユーザＵがユーザ端末２０を介して質問文章を入力する入力欄であり、送信ボタンＡ３が押されることで、かかる質問文章がチャットボット１０に送信されて当該チャットボット１０に受け付けられる。

そして、質問回答部１１は、ユーザ端末２０から質問文章を受け付けると、図５Ｂに示すように、チャット画面Ａ１の質問欄Ｕ１にユーザＵからの質問文章を表示するよう出力し、これに応じて、チャット画面Ａ１にオペレータＰの応答欄Ｐ１に質問候補文章表示するよう出力する。このとき、質問回答部１１は、ユーザＵからの質問文章に対応する質問候補文章を、Ｑ＆Ａデータ記憶部１４内を検索して抽出し、抽出された質問候補文章をチャット画面Ａ１の応答欄Ｐ１に表示する。

ここで、上記Ｑ＆Ａデータ記憶部１４には、図２に示すように、予め用意された質問候補文章と回答文章との組み合わせからなるＱ＆Ａデータが記憶されている。例えば、Ｑ＆Ａデータの一例として、ＱＡＩＤ「ＱＡ１」のＱ＆Ａデータには、質問候補文章「産休の手続きを教えてください。」と、回答文章「産休の手続きは、以下のサイトにあります。・・・・・（ＵＲＬ）」との組み合わせが登録されている。なお、Ｑ＆Ａデータは、いかなる内容の質問候補文章と回答文章との組み合わせであってもよい。

そして、質問回答部１１は、Ｑ＆Ａデータ記憶部１４内の質問候補文章から、ユーザＵからの質問文章に対応する質問候補文章を抽出する。例えば、質問回答部１１は、予め質問文章に対応する質問候補文章（Ｑ＆Ａデータ）が機械学習されたモデルを記憶しており、かかるモデルにユーザＵからの質問文章を入力することで、１つ又は複数の質問候補文章が出力され、出力された質問候補文章を抽出する。なお、質問回答部１１による質問文章に対応する質問候補文章の抽出は、既知の他の方法で行われてもよく、いかなる方法で行われてもよい。

質問回答部１１は、上述したように抽出した質問回答文章の一覧を、図５Ｂに示すように、オペレータＰからの応答欄Ｐ１に表示する。この例では、質問回答部１１は、複数の質問候補文章（１，２，３）が抽出されたため、これらをすべて応答欄Ｐ１に表示する。このとき、質問回答部１１は、それぞれの質問候補文章をユーザＵにて選択可能なよう表示して出力する。但し、質問回答部１１が応答欄Ｐ１に表示する質問候補文章の数は任意である。なお、質問回答部１１は、質問文章に対して何ら質問候補文章が抽出されたなかった場合には、質問文章自体が適切ではないと判断できるため、かかる質問文章自体に対して不適切である旨の評価を付与してもよい。

また、質問回答部１１は、上述した質問候補文章（１，２，３）の一覧と共に、「質問をもっと見る」といった、ユーザＵが他の質問候補文章の出力を希望する選択肢を、応答欄Ｐ１に表示する。このとき、質問回答部１１は、「質問をもっと見る」の選択肢を、ユーザＵにて選択可能なよう表示して出力する。なお、「質問をもっと見る」といった文言は他の文言であってもよく、ユーザＵが表示されている質問候補文章の他にさらに別の質問候補文章の出力を希望する内容であればよい。

また、質問回答部１１は、上述した各質問候補文章（１，２，３）の選択肢と「質問をもっと見る」といった選択肢の他に、「この中には無い」といった選択肢を、応答欄Ｐ１に表示する。なお、「この中には無い」の選択肢は、既に表示された質問候補文章の中にユーザＵが希望する質問候補文章が無いことを伝えるための選択肢であり、その文言は他の文言であってもよい。そして、質問回答部１１は、「この中には無い」の選択肢を、ユーザＵにて選択可能なよう表示して出力する。

なお、質問回答部１１は、後述する検出部１２によって検出するユーザＵの挙動に応じて、さらにユーザＵに対して種々の情報をチャット画面Ａ１に表示して提供するが、その詳細については後述する。

上記検出部１２は、上述した図５に示すように、チャット画面Ａ１の応答欄Ｐ１に質問候補文章等を表示した後のユーザＵの挙動を検出する。例えば、検出部１２は、ユーザＵの挙動として、応答欄Ｐ１に表示された質問候補文章を含む各選択肢に対するユーザＵによる選択状況を検出する。一例として、検出部１２は、応答欄Ｐ１に表示されている質問候補文章（１，２，３）や、「質問をもっと見る」、「この中には無い」のうち、ユーザＵがユーザ端末２０を操作することによって当該ユーザ端末２０の表示画面に表示されているチャット画面Ａ１上で選択されたものを検出する。

また、検出部１２は、ユーザＵの挙動として、応答欄Ｐ１に質問候補文章等を表示した後に、さらにユーザＵからメッセージ入力欄Ａ２に他の質問文章が入力され、送信ボタンＡ３が押されることを検出する。なお、このとき入力された他の質問文章は、上述した質問回答部１１によって受け付けられ、上述同様にかかる他の質問文章に対応する質問候補文章等がユーザ端末２０に出力される。また、検出部１２は、ユーザＵの挙動として、上述したような応答欄Ｐ１の質問候補文章等の選択や他の質問文章の入力も行わず、チャット画面Ａ１を閉じる、といった質問を終了する動作も検出する。

なお、検出部１２は、後述するように質問候補文章のいずれかをユーザＵが選択した結果、質問回答部１１にて当該質問候補文章に対応する回答文章が出力された場合に、当該回答文章に対するユーザＵの挙動（第２の挙動）も検出する。例えば、検出部１２は、ユーザＵの挙動として、回答文章内にさらに詳細な回答が掲載されている別のウェブページへのリンク（アドレス情報）が含まれている場合に、かかるリンクがユーザＵによって選択されたか否かを検出する。また、検出部１２は、回答文章に続いて回答の評価がユーザＵによって入力された場合に、評価の度合いを検出する。例えば、ユーザＵにとって回答が役に立ったことを表すボタンと役に立たなかったことを表すボタンとが表示された場合に、いずれのボタンが選択されたかを検出する。

ここで、上述した質問回答部１１の説明に戻る。質問回答部１１は、上述したようにユーザＵからの質問に応じて質問候補文章を表示した後に、検出部１２にて検出されたユーザＵの挙動に応じて、さらにユーザＵに対して情報を提供するなどの種々の対応をとる。なお、以下では、ユーザＵの挙動に「パターン番号」を付与して説明する。

まず、図５Ｂに示す応答欄Ｐ１に表示されている質問候補文章等に対して、ユーザＵが何ら選択することなく、チャット画面Ａ１を閉じるなど質問を終了した場合には（パターン１）、質問回答部１１は、質問に対する回答を継続することなく回答処理を終了する。

また、図５Ｂに示す応答欄Ｐ１に表示されている質問候補文章等に対して、ユーザＵが「質問をもっと見る」を選択した場合には（パターン２）、質問回答部１１は、上述したように、最初の質問文章に対応する他の質問候補文章をＱ＆Ａデータ記憶部１４からさらに抽出する。そして、質問回答部１１は、図５Ｃに示すように、チャット画面Ａ１に対して、ユーザＵの質問欄Ｕ１に「質問をもっと見る」を表示すると共に、オペレータＰの応答欄Ｐ１に、さらに抽出された別の質問候補文章（４，５，６）と他の選択肢を表示する。なお、図５Ｂに示す応答欄Ｐ１に表示されている質問候補文章等に対して、ユーザＵが「この中にはない」を選択した場合も（パターン６）、質問回答部１１は、上述同様に最初の質問文章に対応する他の質問候補文章をさらに抽出するか、あるいは、質問に対する回答を継続することなく回答処理を終了する。

また、図５Ｂに示す応答欄Ｐ１に表示されている質問候補文章等に対して、ユーザＵが１つの質問候補文章（例えば、質問候補１）を選択した場合には、質問回答部１１は、選択された質問候補文章が含まれるＱ＆ＡデータをＱ＆Ａデータ記憶部１４内から特定し、特定したＱ＆Ａデータ内で選択された質問候補文章に対応付けられた回答文章を読み出す。そして、質問回答部１１は、図５Ｄに示すように、チャット画面Ａ１に対して、ユーザＵの質問欄Ｕ１に「質問候補１」を表示すると共に、オペレータＰの応答欄Ｐ１に、選択された質問候補文章に対応する「回答文章」を表示する。そして、その後、ユーザＵがチャット画面Ａ１を閉じるなど質問を終了した場合には（パターン３）、質問回答部１１は、質問に対する回答が完了したとして、かかる回答処理を終了する。

このとき、質問回答部１１は、回答文章にさらに詳細な回答が掲載されている別のウェブページへのリンク（アドレス情報（例えば、ＵＲＬ））が含まれている場合には、図５Ｄに示すように、チャット画面Ａ１の応答欄Ｐ１内に別のウェブページへのリンクも表示する。そして、質問回答部１１は、回答文章に含まれているリンクがユーザＵによって選択されると、リンク先のウェブページをユーザ端末２０に表示して提供する（パターン８）。また、質問回答部１１は、図５Ｅに示すように、回答文章に続いて回答に対するユーザによる評価の度合いが入力される入力手段を表示する。かかる入力手段としては、例えば、ユーザＵにとって、回答が役に立ったことを表すボタンと、役に立たなかったことを表すボタンと、を表示する。そして、質問回答部１１は、いずれかのボタンがユーザＵによって選択された際には（パターン９）、ユーザからの質問に対応する応答を終了する。なお、質問回答部１１は、回答に対するユーザによる評価の度合いが入力される入力手段として、上述した２つのボタンに限らず、３段階以上で評価を入力することができる入力手段を表示してもよい。

また、図５Ｄに示すように、質問候補文章に対応する回答文章が既に表示されているが、応答欄Ｐ１に表示されている質問候補文章等に対してユーザＵがさらに別の１つの質問候補文章（例えば、質問候補２）を選択した場合には（パターン４）、質問回答部１１は、図５Ｆに示すように、ユーザＵの質問欄Ｕ１に選択された別の質問候補文章を表示する。そして、質問回答部１１は、図示しないが、上述同様に、別の質問候補文章に対応する回答文章を応答欄Ｐ１に表示する。

また、図５Ｇに示すように、質問候補文章に対応する回答文章が既に表示されているが、ユーザＵからメッセージ入力欄Ａ２に新たな質問文章が入力され送信ボタンＡ３が押された場合には（パターン５）、質問回答部１１は新たな質問文章を受け付け、上述同様にチャット画面Ａ１のユーザＵの質問欄Ｕ１に表示する。なお、図５Ｂに示すように、ユーザＵが応答欄Ｐ１に表示されている質問候補文章を選択せず、ユーザＵからメッセージ入力欄Ａ２に新たな質問文章が入力された場合にも（パターン７）、質問回答部１１は上述同様に新たな質問文章を受け付け、上述同様にチャット画面Ａ１のユーザＵの質問欄Ｕ１に表示する。そして、質問回答部１１は、上述同様に、新たな質問文章に対応する新たな質問候補文章を抽出して応答欄Ｐ１に表示する。

上記評価部１３は、上述したように検出部１２にて検出したユーザＵの挙動に応じて、質問文章に対する質問候補文章の評価を行う。本実施形態では、上述したユーザＵの挙動に対応するパターン番号毎に正答率が設定されており、評価部１３は、かかる正答率を、実際に入力された質問文章と、かかる質問文章に対応して抽出された質問候補文章と、が対として含まれる評価データに関連付ける。そして、評価部１３は、図４Ａに示すように、質問を入力したユーザＵのユーザＩＤと、入力された質問文章と、抽出された質問候補文章を含むＱ＆ＡデータのＱＡＩＤと、正答率と、を関連付けて、評価データとして評価データ記憶部１６に記憶する。なお、正答率は、ユーザＵから入力された質問文章に対応して出力する質問候補文章が正しいとされる度合いを表す値であり、図３の正答率テーブルに示すように、予めユーザＵの挙動に応じたパターン番号毎に設定されていることとする。

具体的に、評価部１３は、以下のようにして検出部１２にて検出したユーザＵの挙動に応じて、質問文章に対応して抽出した質問候補文章の正答率を算出する。まず、パターン１の場合、つまり、表示された質問候補文章等に対して、ユーザＵが何ら選択することなく、チャット画面Ａ１を閉じるなど質問を終了した場合を考える。この場合は、質問文章に対応して抽出された全ての質問候補文章は「誤答」である確率が高いと判断できるため、正答率は「－０．５」が設定されており、その値を質問文章に対する全ての質問候補文章の正答率として算出する。なお、表示された質問候補文章等に対して、ユーザＵが「質問をもっと見る」を選択した場合であるパターン２の場合、「この中にはない」を選択した場合であるパターン６の場合も、質問文章に対応して抽出された全ての質問候補文章は「誤答」である確率が高いと判断できるため、正答率は「－０．５」が設定されており、その値を正答率として算出する。

次に、パターン３の場合、つまり、表示された質問候補文章等に対して、ユーザＵが１つの質問候補文章（例えば、質問候補１）を選択し、かかる質問候補文章に対応する回答文章が表示され、その後、ユーザＵがチャット画面Ａ１を閉じるなど質問を終了した場合を考える。この場合は、質問文章に対して選択された質問候補文章は「正答」である確率が高いと判断できるため、正答率は「０．５」が設定されており、その値を質問文章に対して選択された質問候補文章の正答率として算出する。

次に、パターン４の場合、つまり、上述同様に、質問候補文章等に対してユーザＵが１つの質問候補文章（例えば、質問候補文章１）を選択し、かかる質問候補文章に対応する回答文章が表示されたが、その後、ユーザＵがさらに別の１つの質問候補文章（例えば、質問候補２）を選択した場合を考える。この場合、最初にユーザＵが選択した質問候補文章（例えば、質問候補文章１）は「誤答」である確率が高いと考えらえるが、一度選択されているため、正答率は「－０．４」が設定されており、その値を質問文章に対して最初に選択された質問候補文章の正答率として算出する。

次に、パターン５の場合、つまり、まず、ユーザＵからの最初の質問文章に対応して質問候補文章等が表示され、かかる質問候補文章等に対してユーザＵが１つの質問候補文章を選択し、選択された質問候補文章に対応する回答文章が表示されたが、その後、ユーザＵが新たな質問文章を入力した場合を考える。この場合、評価部１３は、最初の質問文章と新たな質問文章との類似関係を分析する。例えば、評価部１３は、既知の手法にて、最初の質問文章と新たな質問文章とが類似するか否かを判断する。一例として、評価部１３は、最初の質問文章と新たな質問文章とをそれぞれ形態素解析してベクトル数値化し、これらの類似度を算出し、当該類似度が所定値以上である場合に類似すると判断する。但し、最初の質問文章と新たな質問文章との類似関係の分析は、いかなる方法で行われてもよい。そして、評価部１３は、最初の質問文章と新たな質問文章とが類似すると判断した場合には、最初の質問文章に対する選択した質問候補文章は「誤答」である確率が高いと判断でき、正答率は負の値が設定されており、その値を最初の質問文章に対して選択された質問候補文章の正答率として算出する。一方、評価部１３は、最初の質問文章と新たな質問文章とが類似しないと判断した場合には、最初の質問文章に対する選択した質問候補文章は「正答」である確率が高いと判断でき、正答率は正の値が設定されており、その値を最初の質問文章に対して選択された質問候補文章の正答率として算出する。

次に、パターン７の場合、つまり、まず、ユーザＵからの最初の質問文章に対応して質問候補文章等が表示されたが、かかる質問候補文章等に対してユーザＵが何も選択せず、ユーザＵが新たな質問文章を入力した場合を考える。この場合、評価部１３は、最初の質問文章と新たな質問文章との類似関係を上述同様に分析する。そして、評価部１３は、最初の質問文章と新たな質問文章とが類似すると判断した場合には、最初の質問文章に対して表示された全ての質問候補文章は「誤答」である確率が高いと判断でき、正答率は負の値が設定されており、その値を最初の質問文章に対して表示された質問候補文章の正答率として算出する。一方、評価部１３は、最初の質問文章と新たな質問文章とが類似しないと判断した場合には、最初の質問文章に対して表示された全ての質問候補文章は「正答」とも「誤答」とも判断できないため、正答率は０が設定されており、その値を最初の質問文章に対して表示された質問候補文章の正答率として算出する。

次に、パターン８の場合、つまり、まず、ユーザＵからの最初の質問文章に対応して質問候補文章等が表示され、かかる質問候補文章等に対してユーザＵが１つの質問候補文章を選択し、選択された質問候補文章に対応する回答文章が表示され、かかる回答文章内に詳細な回答が掲載されている別のウェブページへのリンク含まれている場合を考える。この場合、評価部１３は、ユーザＵにてリンクが選択された場合には、質問文章に対する選択した質問候補文章は「正答」である確率が高いと判断でき、正答率は「１」が設定されており、その値を質問文章に対して選択された質問候補文章の正答率として算出する。一方、評価部１３は、ユーザＵにてリンクが選択されなかった場合には、質問文章に対する選択した質問候補文章は「誤答」である確率が高いと判断でき、正答率は「－０．５」が設定されており、その値を質問文章に対して選択された質問候補文章の正答率として算出する。

次に、パターン９の場合、つまり、まず、ユーザＵからの最初の質問文章に対応して質問候補文章等が表示され、かかる質問候補文章等に対してユーザＵが１つの質問候補文章を選択し、選択された質問候補文章に対応する回答文章が表示され、さらに回答に対するユーザによる評価の度合いを表す選択ボタン（「回答が役立ったか否か」を選択するボタン）が表示された場合を考える。この場合、評価部１３は、ユーザＵにて「回答が役立った」旨のボタンが選択された場合には、質問文章に対する選択した質問候補文章は「正答」である確率が高いと判断でき、正答率は「１」が設定されており、その値を質問文章に対して選択された質問候補文章の正答率として算出する。一方、評価部１３は、ユーザＵにて「回答が役立たなかった」旨のボタンが選択された場合には、質問文章に対する選択した質問候補文章は「誤答」である確率が高いと判断でき、正答率は「－１」が設定されており、その値を質問文章に対して選択された質問候補文章の正答率として算出する。

また、評価部１３は、質問文章に対する質問候補文章に関連付けた正答率を修正する機能を有する。このとき、評価部１３は、評価データ同士が類似する度合いを表す類似度を算出し、当該類似度に応じて評価データのそれぞれに含まれる正答率を修正する。具体的に、評価部１３は、まず、２つの評価データ同士の類似度を、各評価データに含まれる質問文章及び質問候補文章に基づいて算出する。例えば、評価部１３は、質問候補文章は、当該質問候補文章が含まれるＱ＆ＡデータのＱＡＩＤが同一か否かに応じて類似度を判断し、質問文章は、形態素解析を行って質問文章同士の類似度を算出する。そして、評価部１３は、質問候補文章の類似度と質問文章の類似度とを総合的に判断して、２つの評価データ同士が類似すると判断した場合には、自身の正答率に他方の正答率を加算することで、当該正答率の修正を行う。例えば、図４Ｂに示すように、ユーザＩＤがＡとＥによる質問文章に対応する評価データ同士が類似すると判断した場合には、互いに正答率を加算して修正する。

なお、評価部１３による上述した正答率の算出は一例であり、他の基準や方法により、ユーザＵの挙動に応じて正答率を算出して、質問文章に対する質問候補文章の正答率を設定してもよい。

そして、上述した評価データは、評価データ記憶部１６に記憶され、後に、質問文章から質問候補文章を抽出する際に用いるモデルを生成するために機械学習の学習データとして利用される。そして、評価データに含まれる正答率は、モデルを学習する際の重みとして利用される。なお、上述した評価データは、必ずしも機械学習の学習データとして利用されることに限定されず、いかなる場面で利用されてもよい。

［動作］
次に、上述したチャットボット１０の動作を、主に図５に示すユーザ端末２０の表示画面と、図６のフローチャートを参照して説明する。チャットボット１０は、ユーザ端末２０からアクセスを受けると、図５Ａに示すようなチャット画面Ａ１をユーザ端末２０に表示し、メッセージ入力欄Ａ２に入力された質問文章を受け付ける（図６のステップＳ１）。

続いて、チャットボット１０は、ユーザＵからの質問文章に対応する質問候補文章をＱ＆Ａデータ記憶部１４から検索して抽出し（図６のステップＳ２）、図５Ｂのチャット画面Ａ１に示すように、ユーザＵからの質問文章を質問欄Ｕ１に表示すると共に、抽出された質問候補文章の一覧をチャット画面Ａ１の応答欄Ｐ１に表示する（図６のステップＳ３）。このとき、チャットボット１０は、図５Ｂに示すように、質問候補文章の一覧（質問候補文章１，２，３）と共に、「質問をもっと見る」、「この中には無い」といった選択肢も、応答欄Ｐ１に表示する。

続いて、チャットボット１０は、チャット画面Ａ１の応答欄Ｐ１に質問候補文章等を表示した後のユーザＵの挙動を検出する（図６のステップＳ４）。例えば、チャットボット１０は、ユーザＵの挙動として、応答欄Ｐ１に表示された質問候補文章や各選択肢に対するユーザＵによる選択状況や、その後に回答文章が表示された後のユーザＵによる操作、ユーザＵによるさらなるメッセージ入力欄Ａ２への他の質問文章の入力、を検出する。

そして、チャットボット１０は、ユーザＵの挙動に応じて、図５Ｃから図５Ｇに示すように、チャット画面Ａ１の質問欄Ｕ１や応答欄Ｐ１に種々の表示を出力する共に、質問文章に対する質問候補文章の正答率を算出する（図６のステップＳ５）。このとき、チャットボット１０は、予め設定された図３に示す正答率テーブルを参照して、ユーザＵの挙動に応じて、質問文章に対する質問候補文章の正答率を決定し、図４Ａに示すように、質問文章と質問候補文章に関連付けて評価データとして記憶する（図６のステップＳ６）。

なお、チャットボット１０は、後に任意のタイミングで、評価データに含まれる正答率の修正を行う。例えば、評価データ同士の類似度、つまり、各評価データに含まれる質問文章及び質問候補文章同士の類似度を算出し、評価データ同士が類似すると判断した場合には、自身の正答率に他方の正答率を加算することで修正を行う。

そして、チャットボット１０は、後に評価データを、質問文章から質問候補文章を抽出する際に用いるモデルを生成するための学習データとして使用することができる。このとき、チャットボット１０は、評価データに含まれる正答率を、モデルを学習する際の重みとして利用する。

以上のように、本発明によると、チャットボット１０は、ユーザから入力された質問文章に対応する質問候補文章をユーザに対して出力し、当該質問候補文章に対するユーザの挙動に応じて、質問文章に対する質問候補文章の評価を行う。このため、チャットボット１０は、ユーザが質問してから回答を得るまでの過程における当該ユーザの挙動を検出することができ、かかる挙動に応じた質問文章に対する質問候補文章の評価を得ることができる。その結果、チャットボット１０は、ユーザＵからの質問に対して行った応答の評価を得ることができ、質問に対する応答の精度の向上を図ることができる。

なお、上述した実施形態におけるチャットボット１０は、文章を用いてユーザＵとやり取りを行う構成であるとして説明しているが、本発明におけるチャットボットは、音声でユーザとやり取りを行ってもよい。つまり、チャットボットは、音声を介して、ユーザから質問文章を受け付け、ユーザに対して質問候補文章を出力し、ユーザの挙動を検出してもよい。

＜実施形態２＞
次に、本発明の第２の実施形態を、図７乃至図９を参照して説明する。図７乃至図９は、実施形態２における情報提供システムの構成を示すブロック図であり、図７乃至図８は、情報提供システムの動作を示すフローチャートである。なお、本実施形態では、実施形態１で説明したチャットボット及び情報提供方法の構成の概略を示している。

まず、図７を参照して、本実施形態における情報提供システム１００のハードウェア構成を説明する。情報提供システム１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０１（演算装置）
・ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ３０３にロードされるプログラム群１０４
・プログラム群３０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９

そして、情報提供システム１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図８に示す質問回答部１２１と検出部１２２と評価部１２３とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した質問回答部１２１と検出部１２２と評価部１２３とは、電子回路で構築されるものであってもよい。

なお、図７は、情報提供システム１００を構成する情報処理装置のハードウェア構成の一例を示しており、そのハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。

そして、情報提供システム１００は、上述したようにプログラムによって構築された質問回答部１２１と検出部１２２と評価部１２３との機能により、図９のフローチャートに示す情報提供方法を実行する。

図９に示すように、情報提供システム１００は、
ユーザから入力された質問文章に応じて、当該質問文章に対応する質問候補文章をユーザに対して出力し（ステップＳ１０１）、
前記質問候補文章に対するユーザの挙動を検出し（ステップＳ１０２）、
前記挙動に応じて前記質問文章に対する前記質問候補文章の評価を行う（ステップＳ１０３）。

本実施形態は、以上のように構成されることにより、情報提供システム１００は、ユーザから入力された質問文章に対応する質問候補文章をユーザに対して出力し、当該質問候補文章に対するユーザの挙動に応じて、質問文章に対する質問候補文章の評価を行う。このため、情報提供システム１００は、ユーザが質問してから回答を得るまでの過程における当該ユーザの挙動を検出することができ、かかる挙動に応じた質問文章に対する質問候補文章の評価を得ることができる。その結果、情報提供システム１００は、ユーザＵからの質問に対して行った応答の評価を得ることができ、質問に対する応答の精度の向上を図ることができる。

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報提供方法、情報提供システム、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。

（付記１）
ユーザから入力された質問文章に応じて、当該質問文章に対応する質問候補文章をユーザに対して出力し、
前記質問候補文章に対するユーザの挙動を検出し、
前記挙動に応じて前記質問文章に対する前記質問候補文章の評価を行う、
情報提供方法。

（付記２）
付記１に記載の情報提供方法であって、
前記質問回答部は、前記質問候補文章をユーザが操作する情報処理装置の表示画面に出力し、
前記検出部は、前記挙動として、前記質問候補文章を表示した表示画面に対するユーザによる操作を検出し、
前記評価部は、前記操作に応じて前記質問文章に対する前記質問候補文章の評価を行う、
情報提供方法。

（付記３）
付記１又は２に記載の情報提供方法であって、
前記検出部は、前記挙動として、ユーザに対して出力した前記質問候補文章に対するユーザによる選択状況を検出し、
前記評価部は、前記質問候補文章に対するユーザによる選択状況に応じて前記質問文章に対する前記質問候補文章の評価を行う、
情報提供方法。

（付記４）
付記３に記載の情報提供方法であって、
前記質問回答部は、前記質問候補文章をユーザに対して出力すると共に、他の前記質問候補文章の出力を希望する選択肢をユーザに対して出力し、
前記検出部は、前記挙動として、前記質問候補文章及び前記選択肢に対するユーザによる選択状況を検出し、
前記評価部は、前記質問候補文章及び前記選択肢に対するユーザによる選択状況に応じて、前記質問文章に対する前記質問候補文章の評価を行う、
情報提供方法。

（付記５）
付記１又は４のいずれかに記載の情報提供方法であって、
前記検出部は、ユーザに対して前記質問候補文章が出力された後に、さらにユーザから他の質問文章が入力されたことを検出し、
前記評価部は、前記質問文章と前記他の質問文章とに基づいて前記質問文章に対する前記質問候補文章の評価を行う、
情報提供方法。

（付記６）
付記５に記載の情報提供方法であって、
前記評価部は、前記質問文章と前記他の質問文章との類似関係を分析し、分析結果に基づいて前記質問文章に対する前記質問候補文章の評価を行う、
情報提供方法。

（付記７）
付記１乃至６のいずれかに記載の情報提供方法であって、
前記質問回答部は、前記質問候補文章に対するユーザの前記挙動に応じて、当該質問候補文章に対応する回答文章をユーザに対して出力し、
前記検出部は、前記回答文章に対するユーザの第２の挙動を検出し、
前記評価部は、前記第２の挙動に応じて前記質問文章に対する前記質問候補文章の評価を行う、
情報提供方法。

（付記８）
付記１乃至７のいずれかに記載の情報提供方法であって、
前記評価部は、前記質問文章に対する前記質問候補文章の評価として、前記挙動に応じて、前記質問文章に対応して出力する前記質問候補文章が正しいとされる度合いを表す正答率を算出し、前記質問文章と前記質問候補文章とが対となるデータに前記正答率を関連付けて記憶する、
情報提供方法。

（付記９）
付記８に記載の情報提供方法であって、
前記評価部は、前記質問文章と前記質問候補文章とが対となるデータ同士が類似する度合いを表す類似度を算出し、当該類似度に応じて前記データのそれぞれに関連付けられた前記正答率を修正する、
情報提供方法。

（付記１０）
ユーザから入力された質問文章に応じて、当該質問文章に対応する質問候補文章をユーザに対して出力する質問回答部と、
前記質問候補文章に対するユーザの挙動を検出する検出部と、
前記挙動に応じて前記質問文章に対する前記質問候補文章の評価を行う評価部と、
を備えた情報提供システム。

（付記１１）
付記１０に記載の情報提供システムであって、
前記質問回答部は、前記質問候補文章をユーザが操作する情報処理装置の表示画面に出力し、
前記検出部は、前記挙動として、前記質問候補文章を表示した表示画面に対するユーザによる操作を検出し、
前記評価部は、前記操作に応じて前記質問文章に対する前記質問候補文章の評価を行う、
情報提供システム。

（付記１２）
付記１０又は１１に記載の情報提供システムであって、
前記検出部は、前記挙動として、ユーザに対して出力した前記質問候補文章に対するユーザによる選択状況を検出し、
前記評価部は、前記質問候補文章に対するユーザによる選択状況に応じて前記質問文章に対する前記質問候補文章の評価を行う、
情報提供システム。

（付記１３）
付記１２に記載の情報提供システムであって、
前記質問回答部は、前記質問候補文章をユーザに対して出力すると共に、他の前記質問候補文章の出力を希望する選択肢をユーザに対して出力し、
前記検出部は、前記挙動として、前記質問候補文章及び前記選択肢に対するユーザによる選択状況を検出し、
前記評価部は、前記質問候補文章及び前記選択肢に対するユーザによる選択状況に応じて、前記質問文章に対する前記質問候補文章の評価を行う、
情報提供システム。

（付記１４）
付記１０又は１３のいずれかに記載の情報提供システムであって、
前記検出部は、ユーザに対して前記質問候補文章が出力された後に、さらにユーザから他の質問文章が入力されたことを検出し、
前記評価部は、前記質問文章と前記他の質問文章とに基づいて前記質問文章に対する前記質問候補文章の評価を行う、
情報提供システム。

（付記１５）
付記１４に記載の情報提供システムであって、
前記評価部は、前記質問文章と前記他の質問文章との類似関係を分析し、分析結果に基づいて前記質問文章に対する前記質問候補文章の評価を行う、
情報提供システム。

（付記１６）
付記１０乃至１５のいずれかに記載の情報提供システムであって、
前記質問回答部は、前記質問候補文章に対するユーザの前記挙動に応じて、当該質問候補文章に対応する回答文章をユーザに対して出力し、
前記検出部は、前記回答文章に対するユーザの第２の挙動を検出し、
前記評価部は、前記第２の挙動に応じて前記質問文章に対する前記質問候補文章の評価を行う、
情報提供システム。

（付記１７）
付記１０乃至１６のいずれかに記載の情報提供システムであって、
前記評価部は、前記質問文章に対する前記質問候補文章の評価として、前記挙動に応じて、前記質問文章に対応して出力する前記質問候補文章が正しいとされる度合いを表す正答率を算出し、前記質問文章と前記質問候補文章とが対となるデータに前記正答率を関連付けて記憶する、
情報提供システム。

（付記１８）
付記１７に記載の情報提供システムであって、
前記評価部は、前記質問文章と前記質問候補文章とが対となるデータ同士が類似する度合いを表す類似度を算出し、当該類似度に応じて前記データのそれぞれに関連付けられた前記正答率を修正する、
情報提供システム。

（付記１９）
情報処理装置に、
ユーザから入力された質問文章に応じて、当該質問文章に対応する質問候補文章をユーザに対して出力する質問回答部と、
前記質問候補文章に対するユーザの挙動を検出する検出部と、
前記挙動に応じて前記質問文章に対する前記質問候補文章の評価を行う評価部と、
を実現させるためのプログラム。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。

１０チャットボット
１１質問回答部
１２検出部
１３評価部
１４Ｑ＆Ａデータ記憶部
１５正答率データ記憶部
１６評価データ記憶部
２０ユーザ端末
１００情報提供システム
１０１ＣＰＵ
１０２ＲＯＭ
１０３ＲＡＭ
１０４プログラム群
１０５記憶装置
１０６ドライブ装置
１０７通信インタフェース
１０８入出力インタフェース
１０９バス
１１０記憶媒体
１１１通信ネットワーク
１２１質問回答部
１２２検出部
１２３評価部

Claims

情報処理装置が、
ユーザから入力された質問文章に対応する複数の質問候補文章を前記ユーザの端末に出力し、
前記質問候補文章が前記ユーザによって入力されたことに応じて、前記質問候補文章に対応する回答を前記ユーザの端末に出力すると同時に、前記回答に対する前記ユーザの評価を示す、前記ユーザにとって回答が役に立ったことを表すボタンと役に立たなかったことを表すボタンとを入力手段として出力し、
前記入力手段に入力された前記ユーザの評価に基づいて学習を行う、
情報提供方法。
ユーザから入力された質問文章に対応する複数の質問候補文章を前記ユーザの端末に出力する回答部と、
前記ユーザの評価に基づいて学習を行う評価部と、を備え、
前記回答部は、前記質問候補文章が前記ユーザによって入力されたことに応じて、前記質問候補文章に対応する回答を前記ユーザの端末に出力すると同時に、前記回答に対する前記ユーザの評価を示す、前記ユーザにとって回答が役に立ったことを表すボタンと役に立たなかったことを表すボタンとを入力手段として出力し、
前記評価部は、前記入力手段に入力された前記ユーザの評価に基づいて学習を行う
情報提供システム。
情報処理装置に、
ユーザから入力された質問文章に対応する複数の質問候補文章を前記ユーザの端末に出力する処理と、
前記質問候補文章が前記ユーザによって入力されたことに応じて、前記質問候補文章に対応する回答を前記ユーザの端末に出力すると同時に、前記回答に対する前記ユーザの評価を示す、前記ユーザにとって回答が役に立ったことを表すボタンと役に立たなかったことを表すボタンとを入力手段として出力する処理と、
前記入力手段に入力された前記ユーザの評価に基づいて学習を行う処理と、
を実現させるプログラム。