JP2010129033A - 対話心理学習装置とその方法、対話制御装置とその方法、プログラムと記録媒体 - Google Patents

Abstract

【課題】対話者の心的状態をＰＯＭＤＰで扱えるようにする。
【解決手段】この発明の対話心理学習装置は、報酬テーブルと、履歴統計量保存部と、価値関数生成部と、ポリシ生成部とを具備する。報酬テーブルは、制御システムの状態と対話者の心理とによって付与される報酬を記録する。履歴統計量保存部は、制御システムの状態と対話者の心理に関する履歴の統計量を保存する。価値関数生成部は、報酬と履歴の統計量を入力として価値関数を生成する。ポリシ生成部は、報酬と履歴の統計量と価値関数とを入力として報酬を最大にすることのできる方策をＰＯＭＤＰによって生成する。
【選択図】図２

Description

この発明は、部分観測マルコフ決定過程を用いた対話心理学習装置とその方法と、その対話学習装置を用いた対話制御装置とその方法と、プログラムと記録媒体に関する。

部分観測マルコフ決定過程（Partially Observable Markov Decision Process、以降ＰＯＭＤＰと称する。）とは、不確実が存在する状況下でコンピュータが自律的に判断して処理できる機能の振る舞いをモデル化する手法である。従来、ＰＯＭＤＰを使用した対話制御技術としては、６都市間のチケットを買うタスクを対象としたものが知られている（非特許文献１）。また、デジタル加入者線（ＤＳＬ：Digital Subscriber Line）のトラブルシューテイングに利用した事例がある（非特許文献２）。このどちらもタスクの達成率の向上を目的としたものである。

一方、対話制御技術には、単純にタスクの達成効率の向上を目的とするだけでなく、対話者の心的状態も制御可能な新しい技術が求められている。しかし、対話者の心的状態の制御も可能にした対話制御技術にＰＯＭＤＰを用いた事例は未だ報告されていない。
Partially Observable Markov Decision Processes with Continuous Observations for Dialogue Management Sigdial workshop 2005 J.williams, P.Poupart, S. Young Applying POMDPs to dialog systems in the troubleshooting domain,",NAACL-HTL workshop on Bridging the Gap, 2007

この発明は、対話者の心的状態をＰＯＭＤＰで扱えるようにした新しい対話心理学習方法とその装置と、その対話心理学習装置を用いた対話制御装置とその方法、及びプログラムと記録媒体を提供することを目的とする。

この発明の対話心理学習装置は、報酬テーブルと、履歴統計量保存部と、価値関数生成部と、ポリシ生成部とを具備する。報酬テーブルは、制御システムの状態と対話者の心理とによって付与される報酬を記録する。履歴統計量保存部は、制御システムの状態と対話者の心理に関する履歴の統計量を保存する。価値関数生成部は、報酬と履歴の統計量を入力として価値関数を生成する。ポリシ生成部は、報酬と履歴の統計量と価値関数とを入力として報酬を最大にすることのできる方策を生成する。

また、この発明の対話制御装置は、上記対話心理学習装置と、回答入力部と、心的状態認識部と、対話状態保存部と、アクション決定部と、対話データベースと、対話生成部とを具備する。回答入力部は対話者からの回答が入力される。対話状態保存部は対話状態の履歴を保存する。心的状態認識部は対話者の音声若しくは映像を入力として対話者の心的状態を認識する。アクション決定部は、対話心理学習装置が出力する方策と履歴の統計量と、回答と心的状態と、対話状態保存部に保存された一つ前の対話状態とを入力としてアクションを生成する。対話データベースは多数の対話を記録している。対話生成部は、アクションを入力としてアクションに対応する対話を対話データベースから選択して出力する。

この発明の対話心理学習装置によれば、制御システムの状態と対話者の心理とによって付与される報酬を最大にする方策をＰＯＭＤＰによって生成するので、対話者の心理状態の変化に対応した方策を学習することが可能な学習装置が実現出来る。また、この対話心理学習装置の生成する方策を使って対話内容を変えることで、この発明の対話制御装置は人間の心理状態のコントロールを可能にする。例えば、対話者を退屈させないで対話を続ける、或いは、対話者を飽きさせるような対話をして対話時間を短縮する、といったように対話者の心的状態をコントロールして対話を行うことが可能な対話制御装置が実現出来る。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。

〔ＰＯＭＤＰ〕
実施例の説明の前にＰＯＭＤＰについて説明する。ＰＯＭＤＰは強化学習の一種である。強化学習とは、試行錯誤を通じて環境に対応する学習制御の枠組みである。いわゆる教師有り学習とは異なり、状態入力に対する正しい行動出力を明示する教師が存在しない。ＰＯＭＤＰは、教師情報の代わりに報酬というスカラー情報を手がかりに学習を行うものである。

図１にＰＯＭＤＰの構造を示す。ｓは対話者の心理状態も含む対話制御システムの持つ状態である。ｓはｓ＝（ｓ１，ｓ２，ｓ３，…ｓｎ）というように、いくつかの状態の組み合わせで表現される。図１では、時刻ｔの状態ｓ′と時刻ｔ＋１の状態ｓを示している。ｏは観測される観測値である。ａは対話制御システム側から対話者に働きかけるアクションを表す。これらの変数の間には次のような値や確率が設定されている。
ｒ（ｓ，ａ）：状態ｓでアクションａを実行するときの報酬を表す。
Ｐ（ｓ｜ｓ′，ａ）：アクションａによって、状態がｓ′からｓに変わる確率である。Ｐ（ｏ｜ｓ，ａ′）：アクションａ′と状態ｓによって観測値ｏが観測される確率である。

報酬ｒは、事前に設定しておくものである。また、各統計量も大量の対話履歴情報から求めておく。ＰＯＭＤＰは式（１）に示すように、現在の状態確率の分布ｂ′（ｓ′）を引数として状態確率分布を更新する。

ここでηは確率値の総和を１にするための正規化値である。ｂ′（ｓ′）は一つ前（時刻ｎ）の状態確率の分布である。

状態確率分布ｂ′（ｓ′）を更新した時刻のポリシπ_Ｔ（ｂ）は、ｂ（ｓ）が得られると、そのときに最適となるアクションａを式（３）で計算する。

最適なアクションａとは、報酬ｒを最大にする方策のことである。最大にするとは、式
（３）の[・]内の値を最大にすることである。Ｖ_Ｔ（ｂ）は価値関数である。価値関数とは、未来のアクション系列と観測値の系列によって、状態ｓで得られる平均の報酬の総和である。

図２にこの発明の対話心理学習装置２００の機能構成例を示す。その動作フローを図３に示す。対話心理学習装置２００は、報酬テーブル２０と、履歴統計量保存部２１と、価値関数生成部２２と、ポリシ生成部２３とを具備する。対話心理学習装置２００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

報酬テーブル２０は、制御システムの状態と対話者の心理とによって付与される報酬を記録する。報酬テーブル２０は、予めシステム設計者が制御システムや対話者の望ましい状態がどのようなものであるかを設定した表である。ここで、制御システムとは、対話心理学習装置２００を用いた装置全体を意味する。

履歴統計量保存部２１は、制御システムの状態と対話者の心理に関する履歴の統計量を保存する。つまり、問題をどのように提示すれば良いかを過去の履歴から統計的に決定しておく。価値関数生成部２２は、上記報酬と上記履歴の統計量を入力として価値関数を生成する（ステップＳ２２、図３）。ポリシ生成部２３は、上記報酬と履歴の統計量と価値関数とを入力として上記報酬を最大にすることのできる方策を生成する（ステップＳ２３）。

価値関数生成部２２は、状態ｓでアクションａを実行するときの報酬ｒ（ｓ，ａ）を入力として、分布ｂ′においてアクションａを取るときの報酬の平均値ｒ（ｂ，ａ）を式（２）で計算する（ステップＳ２２１）。そして価値関数Ｖ_Ｔ（ｂ）を式（３）で計算する（ステップＳ２２２）。

この発明におけるアクションａは、例えば問題を選択することである。予めその問題が対話者にとってどれほど難しいかが統計量として求められている。この統計量はＰ（ｓ｜ｓ′，ａ′）として履歴統計量保存部２１に保存されている。観測値の結果や、心的状態の結果ｏ′がどの状態から得られるものかという確率Ｐ（ｏ｜ｓ，ａ）も予め統計量として求められており、同様に履歴統計量保存部２１に保存されている。

ポリシ生成部２３は、価値関数Ｖ_Ｔ（ｂ）と、履歴統計量保存部２１に保存されている統計量を入力として時刻Ｔでの方策π_Ｔ（ｂ）を式（３）で計算する。π_Ｔ（ｂ）は、状態の分布ｂが得られると、そのときの報酬ｒを最大にするアクションａを返す。式（３）は時刻Ｔまでの方策の計算であるが、これを∞まで計算すると任意の時刻の方策π_＊が計算出来る。このように、対話心理学習装置２００はＰＯＭＤＰを用いて任意の時刻の方策π_＊を出力する。

この発明の対話心理学習装置２００は、例えば対話制御装置に利用することが出来る。次に、対話心理学習装置２００を用いた対話制御装置３００の機能構成例を図４に示してその動作を説明する。その動作フローを図５に示す。

対話制御装置３００は、対話心理学習装置２００と、回答入力部３１と、心的状態認識部３０と、アクション決定部３２と、対話データベース３５と、対話状態保存部３３と、対話生成部３４とを具備する。対話制御装置３００も、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

回答入力部３１には、対話者からの回答が入力される（ステップＳ３１）。回答は、例えばキーボードから入力されるテキストである。心的状態認識部３０は、対話者の音声若しくは映像を入力として対話者の心的状態を認識する（ステップＳ３０）。心的状態認識部３０は、特徴量抽出部３０ａと心的状態分析部３０ｂとを含む。例えば対話者からの音声を元に心的状態を認識する場合、特徴量抽出部３０ａは、入力された音声から、ケプストラム特徴量とピッチ、その一次微分、二次微分を計算して対話者の音声の特徴量を抽出する（ステップＳ３０ａ）。心的状態分析部３０ｂは、その特徴量を入力としてサポートベクタマシンにより心的状態の認識結果を出力する（ステップＳ３０ｂ）。なお、映像から対話者の心的状態を認識することも可能である。例えばその手法は、参考文献「熊野史朗他著“表情認識のための変動輝度テンプレートとその頭部姿勢変動に対する頑健性の一検討”情処研報（ＣＶＩＭ），VOL.2007,No.87,pp.145〜152」に記載されたものが利用出来る。対話者からの回答と対話者の心的状態の認識結果を、ここでは観測値と呼ぶ。

アクション決定部３２は、対話心理学習装置２００が出力する方策π_＊と履歴の統計量を参照（ステップＳ２００）し、回答入力部３１と心的状態認識部３０からの観測値と対話状態保存部３３に保存された１ステップ前の状態確率の分布ｂ′（ｓ′）とを入力として上記した式（１）により次の状態ｂ（ｓ）を計算する（ステップＳ３２ａ）。計算した次の状態ｂ（ｓ）は対話状態保存部３３に保存する。そして、次の状態ｂ（ｓ）を引数として方策π_＊により次のアクションａを生成する（ステップＳ３２ｂ）。

対話生成部３４は、アクションａを入力としてアクションａに対応する対話を対話データベース３５から選択して出力する（ステップＳ３４）。対話制御装置３００は、以上の動作を観測値が得られる度に実行することで対話者との会話を進める。

この発明の対話制御装置３００によれば、対話制御装置３００の状態と対話者の心理とによって付与される報酬を最大にする方策をＰＯＭＤＰによって生成するので、対話者との対話の状態に応じて対話者の心理状態のコントロールを可能にする。例えば、対話を持続させたり、逆につまらなくさせたりすることが可能になる。

なお、回答入力部３１は音声認識装置で構成しても良い。図６に回答入力部６０を音声認識装置で構成した場合の対話制御装置６００の機能構成例を示す。回答入力部６０は、対話者の発した言葉を音声認識して対話者の回答とする。この場合、心的状態認識部３０′は、回答入力部６０で抽出した音声の特徴量から心的状態を認識する。このように回答入力部６０の音声認識装置を兼用化することで、対話制御装置の構成を簡単にすることが出来る。また、図４の心的状態認識部３０の特徴量抽出部３０ａが出力する音声の特徴量から対話者の回答を求めるようにしても良い。

〔検証実験〕
この発明の対話制御方法の効果を確認する目的で、音声認識を使って人物に関するクイズを出題することが出来る対話制御装置を作成して検証実験を行った。対話者と対話制御システムとの典型的な対話例として以下に示す様な人名当てクイズを想定した。

〔対話例〕
ふーふー：なぞなぞスタート
最初のヒント：野球解説者だよ。
対話者：長嶋茂雄？
ふーふー：違う、日本の野球選手というのはあってるよ。
第二のヒント：妻は５歳年上の姉さん女房だよ。
対話者：落合博満？
ふーふー：おしい、中日の選手というのはあってるよ。
第三のヒント：甲子園決勝では柳井高に敗れたよ。
対話者：坂東英二！
ふーふー：あたり！すごい！よく分かったね！

ここで「ふーふー」とは、対話制御装置のシステム上のキャラクター名であり、対話制御装置そのものを意味する。このようなタスクの対話制御装置を作り、２４人の話者を使う実験を４回行い基本的な対話の履歴を収集した。

まず、対話データベース３５には、上記したような人物名を当てる問題を用意し、各問題について難しい順番にヒントを並べて保存しておく。このヒントの選び方により、対話者の心的な状態を制御することを目的として実験を行った。各問題についてヒントをスキップ無し、１つ、或いは２つスキップしてヒントを提示するかをＰＯＭＤＰの方策によって決定する。このヒントの選び方によって、対話者の心的な状態を制御することを目的とする。

ＰＯＭＤＰの状態としてｓ＝（ｓ_ｅａｓｙ,ｓ_{ｋｎｏｗｓ}，ｓ_{ｑｕｅｓｔｉｏｎ}）を設定する。ｓ_ｅａｓｙは、対話者の心的状態であり、ヒントの難易によって「易」、「ニュートラル」、「難」の３つの状態を設定する。ｓ_{ｑｕｅｓｔｉｏｎ}には対話制御装置の状態としてヒントの番号０〜８を設定する（０は初期状態）。ｓ_{ｋｎｏｗｓ}には対話者の状態としてその問題の答えを知っているか完璧に答えられるかを表す、「知っている」、「知らない」、「正解」の３つの状態を設定する。全ての状態数は、３×９×３＝８１状態である。

アクションａは、どのヒントを出題するかで１から８を出力する。アクションａ′によって、状態ｓ′から状態ｓに変わる確率Ｐ（ｓ｜ｓ′，ａ′）を式（５）に示すように近似する。

これらの値は、対話実験の結果から推定した。観測値の確率も式（６）のように近似す
る。

ｏ_ｅａｓｙは心的状態の認識結果であり、その観測値は「易」、「ニュートラル」、「難」の３種類とする。この値は、心的状態認識部３０によって求められる。この実験では、心的状態認識部３０の代わりに人間の知識を用いた手法を利用した。つまり、対話者を観察して「易」、「ニュートラル」、「難」と判定したものをｏ_ｅａｓｙとし、本人が自分で宣言した「易」、「ニュートラル」、「難」をｓ_ｅａｓｙとして大量のデータから、その本人の内部状態が外部に現れる確率Ｐ（ｏ_ｅａｓｙ｜ｓ_ｅａｓｙ，ａ）を計算した。この確率は、アクションａによらないものと仮定して実験した。ｏ_{ｒｅｃｏｇ}は音声認識の結果そのものでは無く、その結果を判定して「正解」、「認識誤り」。「不正解」、「次のヒント」というカテゴリに分類した。Ｐ（ｏ_{ｒｅｃｏｇ}｜ｓ_{ｋｎｏｗｓ}，ａ）は、その４つのカテゴリの確率分布を示す。

以上の設定を行い、得られた確率の全てを対話心理学習装置２００の履歴統計量保存部２１に保存した。この実験では、心的状態認識の精度Ｐ（ｏ_ｅａｓｙ｜ｓ_ｅａｓｙ，ａ）の値を変化させることにより対話者の心的状態をコントロールできるかを調べた。報酬ｒは、状態ｓ_ｅａｓｙが「ニュートラル」のときに５.０という値が得られるように設定した。具体例としては、ｒ（ｓ_ｅａｓｙ＝「ニュートラル」，ｓ_{ｋｎｏｗｓ}＝ａｎｙ，ｓ_{ｑｕｅｓｔｉｏｎ}＝ａｎｙ，ａ）＝５.０のように設定した。ここでａｎｙはどんな値が入っても良いことを示す。また、易」と「難」の報酬ｒは０に設定した。この報酬の設定は、対話者の心的状態を難しくも易しくも無く出来るだけ「ニュートラル」の状態にすることを意味している。心的状態認識の精度Ｐ（ｏ_ｅａｓｙ｜ｓ_ｅａｓｙ，ａ）を次の３種類に変えて実験を行った。

（１）この発明の方法によって得られた確率とした。
（２）心的状態認識の精度Ｐ（ｏ_ｅａｓｙ｜ｓ_ｅａｓｙ，ａ）が全て等しい確率で起きるように設定。つまりＰ（ｏ_ｅａｓｙ｜ｓ_ｅａｓｙ，ａ）＝１/３。
（３）真の心的状態と心的状態認識部３０の認識結果とが一致する条件。つまり理想的な心的状態認識部３０を用いた場合に相当する。

評価を行うためには実際に人間を使うのでは無く、履歴統計量保存部２１に保存された統計量を用いて人間の代わりとした。

以上の３種類の設定で、１万回のシミュレーションを１０回行い、その時に稼げる平均報酬を計算した結果、（１）４．５８６、（２）４.５４３、（３）４.６６４であった。この結果から、この発明の対話制御装置によって得られた報酬が理想的な（３）に近い値を示した。これは心的状態がニュートラルの状態に多くいたことを示している。シミュレーションの結果においては、この状態が人間の心的状態の推定値となる。このことからＰＯＭＤＰにより、対話者の心的状態を制御可能であることが分かる。

以上説明したこの発明の対話心理学習装置とその方法、及びこの発明の対話制御装置とその方法は、上述の実施形態に限定されるものではなく、この発明の趣旨を逸脱しない範囲で適宜変更が可能である。例えば、心的状態認識部は、音声と映像を用いる例を示したが、心的状態の変化を表す生体信号を生体センサで検出するものでも良い。また、上記した装置及び方法において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ-ＲＡＭ
（Random Access Memory）、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ-Ｒ
（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてフラッシュメモリー等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

ＰＯＭＤＰの構造を示す図。 この発明の対話心理学習装置２００の機能構成例を示す図。 対話心理学習装置２００の動作フローを示す図。 この発明の対話制御装置３００の機能構成例を示す図。 対話制御装置３００の動作フローを示す図。 この発明の対話制御装置６００の機能構成例を示す図。

Claims (9)

1. 制御システムの状態と対話者の心理とによって付与される報酬を記録する報酬テーブルと、
   上記制御システムの状態と対話者の心理に関する履歴の統計量を保存する履歴統計量保存部と、
   上記報酬と上記履歴の統計量を入力として価値関数を生成する価値関数生成部と、
   上記報酬と履歴の統計量と価値関数とを入力として上記報酬を最大にすることのできる方策を生成するポリシ生成部と、
   を具備する対話心理学習装置。
2. 請求項１に記載した上記方策と履歴の統計量を出力する対話心理学習装置と、
   対話者からの回答が入力される回答入力部と、
   対話者の音声若しくは映像を入力として対話者の心的状態を認識する心的状態認識部と、
   対話状態の履歴を保存する対話状態保存部と、
   上記方策と履歴の統計量と、上記回答と上記心的状態と、上記対話状態保存部に保存された一つ前の対話状態とを入力としてアクションを生成するアクション決定部と、
   多数の対話を記録した対話データベースと、
   上記アクションを入力として上記アクションに対応する対話を上記対話データベースから選択して出力する対話生成部と、
   を具備する対話制御装置。
3. 請求項２に記載の対話制御装置において、
   上記回答入力部若しくは上記心的状態認識部は、どちらか一方に音声認識装置を備え、上記音声認識装置を備えない他方は上記一方の音声認識装置の出力を利用するものであることを特徴とする対話制御装置。
4. 価値関数生成部が、制御システムの状態と対話者の心理とによって付与される報酬と、上記制御システムの状態と対話者の心理に関する履歴の統計量とを入力として価値関数を生成する価値関数生成過程と、
   ポリシ生成部が、上記報酬と履歴の統計量と価値関数とを入力として上記報酬を最大にすることのできる方策を生成するポリシ生成過程と、
   を含む対話心理学習方法。
5. 回答入力部が、対話者からの回答を受け付ける回答入力過程と、
   心的状態認識部が、対話者の音声若しくは映像を入力として対話者の心的状態を認識する心的状態認識過程と、
   アクション決定部が、対話心理学習装置が出力する方策と履歴の統計量と、上記回答と上記心的状態と、対話状態保存部に保存された一つ前の対話状態とを入力としてアクションを生成するアクション決定過程と、
   対話生成部が、上記アクションを入力として上記アクションに対応する対話を上記対話データベースから選択して出力する対話生成過程と、
   を含む対話制御方法。
6. 請求項５に記載した対話制御方法において、
   上記回答入力過程若しくは上記心的状態認識過程は、どちらか一方に音声認識手段を備え、上記音声認識手段を備えない他方は上記一方の音声認識手段の出力を利用する過程であることを特徴とする対話制御方法。
7. 請求項１に記載した対話心理学習装置としてコンピュータを機能させるための装置プログラム。
8. 請求項２又は３に記載した対話制御装置としてコンピュータを機能させるための装置プログラム。
9. 請求項７と８に記載した何れかの装置プログラムを記録したコンピュータで読み取り可能な記録媒体。

Images