JP2010117964A - 困惑度推定装置、及びプログラム - Google Patents

Abstract

【課題】ユーザの困惑度を精度良く推定する。
【解決手段】ユーザがカーナビゲーション装置を操作した際の入力情報及びこの入力情報に応じた機器内部の状態変化に関し、かつユーザの困惑状況を示す操作時の機器内部の特徴量、及びこの操作時の機器内部の特徴量が示すユーザの困惑状況の継続時間、並びにユーザがカーナビゲーション装置を操作する前及び操作中のユーザの動作及び表情に関し、かつユーザの困惑状況を示す操作時のユーザの特徴量、及びこの操作時のユーザの特徴量が示すユーザの困惑状況の継続時間を検出し（１０２）、検出された特徴量及び継続時間の組、並びに困惑度推定データベースの内容に基づいて、検出された特徴量及び継続時間の組のパターンに対する困惑度をユーザの困惑度として推定する（１０４〜１１２）。
【選択図】図７

Description

本発明は、困惑度推定装置、及びプログラムに関する。

従来、定型操作事象系列登録部に登録された操作事象系列の発生頻度からユーザの困惑度を推定する困惑度の推定装置が知られている（例えば、特許文献１参照）。

また、従来、使用者（ユーザ）の動画像の顔構成要素の特徴点座標変化から顔面筋の収縮量を検出し困惑状態にあることを判別する技術が知られている（例えば、特許文献２参照）。
特開２００６−１３０１４９号公報 特開２００２−２５８６８２号公報

しかしながら、特許文献１に記載の困惑度の推定装置では、困惑したときに何も操作ができなくなってしまうユーザに対してその困惑度を推定することができなくなる、という問題がある。また、特許文献２に記載の技術では、困惑したときに、困惑したことが顔にあまり出ないユーザに対して困惑しているか否かを判定することができなくなる、という問題がある。そのため、特許文献２に記載の技術を、ユーザの表情から困惑度を推定する困惑度推定装置に適用した場合には、困惑したときに、困惑したことが顔にあまり出ないユーザに対してその困惑度を推定することができなくなる、という問題がある。

すなわち、上記の特許文献１及び特許文献２に記載の発明では、ユーザの困惑度を網羅的に推定することができないため、ユーザの困惑度を精度良く推定することができない、という問題がある。

本発明は、上述した問題点を解決するために成されたものであり、ユーザの困惑度を精度良く推定することができる困惑度推定装置及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の困惑度推定装置は、ユーザが操作対象機器を操作した際の入力情報及び該入力情報に応じた機器内部の状態変化の少なくとも一方に関する操作時の機器内部の特徴量を検出する第１の検出手段と、ユーザが前記操作対象機器を操作する前及び操作中のユーザの動作及び表情の少なくとも一方に関する操作時のユーザの特徴量を検出する第２の検出手段と、前記操作時の機器内部の特徴量及び前記操作時のユーザの特徴量の少なくとも一方の特徴量の複数のパターンの各々に対して、ユーザが操作対象機器を操作する際の操作に関する困惑度を予め記憶した記憶手段と、前記第１の検出手段及び前記第２の検出手段で検出された特徴量、及び前記記憶手段に記憶された内容に基づいて、検出された特徴量のパターンに対する困惑度をユーザの困惑度として推定する推定手段とを含んで構成されている。

本発明によれば、第１の検出手段によって操作時の機器内部の特徴量が検出され、第２の検出手段によって操作時のユーザの特徴量が検出される。また、記憶手段には、操作時の機器内部の特徴量及び操作時のユーザの特徴量の少なくとも一方の特徴量の複数のパターンの各々に対してユーザが操作対象機器を操作する際の操作に関する困惑度が予め記憶されている。そして、推定手段によって、検出された特徴量及び記憶手段に記憶された内容に基づいて、検出された特徴量のパターンに対する困惑度がユーザの困惑度として推定される。

従って、本発明によれば、操作時の機器内部の特徴量及び操作時のユーザの特徴量の少なくとも一方の特徴量の複数のパターンの各々に対して困惑度が予め記憶されており、第１の検出手段及び第２の検出手段で検出された特徴量のパターンに対する困惑度をユーザの困惑度として推定しているので、ユーザの困惑度を網羅的に推定することができ、ユーザの困惑度を精度良く推定することができる。

また、上記目的を達成するために、本発明の第２の困惑度推定装置は、ユーザが操作対象機器を操作した際の入力情報及び該入力情報に応じた機器内部の状態変化の少なくとも一方に関し、かつユーザの困惑状況を示す操作時の機器内部の特徴量、及び該操作時の機器内部の特徴量が示すユーザの困惑状況の継続時間を検出する第１の検出手段と、ユーザが前記操作対象機器を操作する前及び操作中のユーザの動作及び表情の少なくとも一方に関し、かつユーザの困惑状況を示す操作時のユーザの特徴量、及び該操作時のユーザの特徴量が示すユーザの困惑状況の継続時間を検出する第２の検出手段と、前記操作時の機器内部の特徴量及び該操作時の機器内部の特徴量が示すユーザの困惑状況の継続時間の組、並びに前記操作時のユーザの特徴量及び該操作時のユーザの特徴量が示すユーザの困惑状況の継続時間の組の少なくとも一方の組の複数のパターンの各々に対して、ユーザが操作対象機器を操作する際の操作に関する困惑度を予め記憶した記憶手段と、前記第１の検出手段及び前記第２の検出手段で検出された特徴量及び継続時間の組、並びに前記記憶手段に記憶された内容に基づいて、検出された特徴量及び継続時間の組のパターンに対する困惑度をユーザの困惑度として推定する推定手段とを含んで構成されている。

本発明によれば、第１の検出手段によって操作時の機器内部の特徴量及び継続時間が検出され、第２の検出手段によって操作時のユーザの特徴量及び継続時間が検出される。また、記憶手段には、操作時の機器内部の特徴量及び継続時間の組、並びに操作時のユーザの特徴量及び継続時間の組の少なくとも一方の組の複数のパターンの各々に対してユーザが操作対象機器を操作する際の操作に関する困惑度が予め記憶されている。そして、推定手段によって、検出された特徴量及び継続時間の組並びに記憶手段に記憶された内容に基づいて、検出された特徴量及び継続時間の組のパターンに対する困惑度がユーザの困惑度として推定される。

従って、本発明によれば、操作時の機器内部の特徴量及び継続時間の組並びに操作時のユーザの特徴量及び継続時間の組の少なくとも一方の組の複数のパターンの各々に対して困惑度が予め記憶されており、第１の検出手段及び第２の検出手段で検出された特徴量及び継続時間の組のパターンに対する困惑度をユーザの困惑度として推定しているので、ユーザの困惑度を網羅的に推定することができ、ユーザの困惑度を精度良く推定することができる。

また、第１の困惑度推定装置及び第２の困惑度推定装置における前記第２の検出手段を、ユーザが前記操作対象機器を操作する前及び操作中のユーザの指先の位置及び動作に関する特徴量、ユーザの発話に関する特徴量、並びにユーザの顔の位置、向き、及び表情の少なくとも１つに関する特徴量の少なくとも１つを前記操作時のユーザの特徴量として検出するようにしてもよい。

また、第１の困惑度推定装置及び第２の困惑度推定装置における前記第１の検出手段を、前記操作対象機器内で処理を行う場合にユーザの操作が必要な時間帯において所定時間以上ユーザの操作が行われていない状況、該ユーザの操作が必要な時間帯において必要な操作回数を超える回数の操作が行われた状況、及び該ユーザの操作が必要な時間帯において所定時間経過しても操作ステージが次の操作ステージに移行しない状況の少なくとも１つを、前記操作時の機器内部の特徴量として検出するようにし、前記記憶手段には、前記第１の検出手段で検出される前記少なくとも１つの状況を前記操作時の機器内部の特徴量として記憶させるようにしてもよい。

また、第１の困惑度推定装置及び第２の困惑度推定装置における前記第２の検出手段を、ユーザの指先が前記操作対象機器の操作部の前方の空間内で所定時間以上静止している状況、ユーザの指先が前記空間内で所定時間以上連続して移動している状況、ユーザの指先が前記空間内で所定時間以上連続して存在している状況、困惑時に発話する語をユーザが発話した状況、ユーザの顔が前記操作対象機器の表示部の前方の所定の空間内に存在する状況、ユーザの顔が所定角度以上傾いている状況、及びユーザの顔の表情が困惑した表情を示している状況の少なくとも１つの状況を前記操作時のユーザの特徴量として検出するようにし、前記記憶手段には、前記第２の検出手段で検出される前記少なくとも１つの状況を前記操作時のユーザの特徴量として記憶させるようにしてもよい。

また、上記目的を達成するために、本発明のプログラムは、コンピュータを、上記の第１の困惑度推定装置及び第２の困惑度推定装置における前記第１の検出手段、前記第２の検出手段、及び前記推定手段として機能させるためのプログラムである。

本発明によれば、例えば、第１の検出手段によって操作時の機器内部の特徴量が検出され、第２の検出手段によって操作時のユーザの特徴量が検出される。また、記憶手段には、操作時の機器内部の特徴量及び操作時のユーザの特徴量の少なくとも一方の特徴量の複数のパターンの各々に対してユーザが操作対象機器を操作する際の操作に関する困惑度が予め記憶されている。そして、推定手段によって、検出された特徴量及び記憶手段に記憶された内容に基づいて、検出された特徴量のパターンに対する困惑度がユーザの困惑度として推定される。

従って、本発明によれば、操作時の機器内部の特徴量及び操作時のユーザの特徴量の少なくとも一方の特徴量の複数のパターンの各々に対して困惑度が予め記憶されており、第１の検出手段及び第２の検出手段で検出された特徴量のパターンに対する困惑度をユーザの困惑度として推定しているので、ユーザの困惑度を網羅的に推定することができ、ユーザの困惑度を精度良く推定することができる。

また、本発明によれば、例えば、第１の検出手段によって操作時の機器内部の特徴量及び継続時間が検出され、第２の検出手段によって操作時のユーザの特徴量及び継続時間が検出される。また、記憶手段には、操作時の機器内部の特徴量及び継続時間の組、並びに操作時のユーザの特徴量及び継続時間の組の少なくとも一方の組の複数のパターンの各々に対してユーザが操作対象機器を操作する際の操作に関する困惑度が予め記憶されている。そして、推定手段によって、検出された特徴量及び継続時間の組並びに記憶手段に記憶された内容に基づいて、検出された特徴量及び継続時間の組のパターンに対する困惑度がユーザの困惑度として推定される。

従って、本発明によれば、操作時の機器内部の特徴量及び継続時間の組並びに操作時のユーザの特徴量及び継続時間の組の少なくとも一方の組の複数のパターンの各々に対して困惑度が予め記憶されており、第１の検出手段及び第２の検出手段で検出された特徴量及び継続時間の組のパターンに対する困惑度をユーザの困惑度として推定しているので、ユーザの困惑度を網羅的に推定することができ、ユーザの困惑度を精度良く推定することができる。

以上説明したように、本発明に係る困惑度推定装置及びプログラムによれば、ユーザの困惑度を網羅的に推定することができ、ユーザの困惑度を精度良く推定することができる、という効果が得られる。

以下、図面を参照して、ユーザによって操作される操作対象機器としてのカーナビゲーション装置を、本発明の構成の一部に適用した場合の困惑度推定装置の実施の形態を詳細に説明する。

図１に示すように、本実施の形態に係る困惑度推定装置１０は、カーナビゲーション装置１２、ユーザ顔撮影用カメラ１４、及びタッチパネル近傍撮影用カメラ１６を備えている。

カーナビゲーション装置１２は、コンピュータ１８、マイク２０、タッチパネル２２、及び表示装置２４を備えている。なお、本実施の形態におけるカーナビゲーション装置１２は、一般的なカーナビゲーション装置の各機能を実現するための各処理を実行する。例えば、カーナビゲーション装置１２は、ユーザの操作によって、現在位置から所望の目的地までのルート探索を行うルート探索処理を実行することにより、ルート探索機能を実現することができる。また、本実施の形態におけるカーナビゲーション装置１２は、マイク２０によってユーザの発話に対して音声認識処理を行い、ユーザの発話内容に応じた処理を実行する。

コンピュータ１８は、ＲＯＭ（Read Only Memory）１８ａ、ＨＤＤ（Hard Disk Drive）１８ｂ、ＣＰＵ（Central Processing Unit）１８ｃ、ＲＡＭ（Random Access Memory）１８ｄ、及びＩ／Ｏ（入出力）ポート１８ｅを備えている。これらＲＯＭ１８ａ、ＨＤＤ１８ｂ、ＣＰＵ１８ｃ、ＲＡＭ１８ｄ、及びＩ／Ｏポート１８ｅは互いにバス１８ｆで接続されている。

記憶媒体（記憶手段）としてのＲＯＭ１８ａには、ＯＳ等の基本プログラムが記憶されている。

記憶媒体（記憶手段）としてのＨＤＤ１８ｂには、詳細を以下で説明する困惑度推定処理、指先ジェスチャー検出処理、指先の停滞検出処理、指先の右往左往検出処理、指先のふらつき検出処理、非操作発話検出処理、機器操作情報検出処理、首かしげ検出処理、顔接近検出処理、及び困惑顔検出処理の各処理ルーチンを実行するための各プログラムが記憶されている。

また、ＨＤＤ１８ｂには、図２に示すように、困惑度推定データベース２６が記憶されている。困惑度推定データベース２６には、同図に図示されるように、操作対象機器であるカーナビゲーション装置１２をユーザが操作した際の入力情報に関する操作時の操作対象機器内部の特徴量２８ａ、カーナビゲーション装置１２をユーザが操作した際の入力情報に応じた操作対象機器内部の状態変化に関する操作時の操作対象機器内部の特徴量２８ｂ、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの動作に関する操作時のユーザの特徴量２８ｃ、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの表情に関する操作時のユーザの特徴量２８ｄ、またはこれらの特徴量を適宜組み合わせた複数の特徴量の組２８ｅの各々に対して、固有のＩＤ３０が登録されている。

ここで、本実施の形態における「カーナビゲーション装置１２をユーザが操作した際の入力情報に関する操作時の操作対象機器内部の特徴量」とは、例えば、カーナビゲーション装置１２内（操作対象機器内）で所定の処理（例えば、ルート探索機能を実行するための処理）を行う場合に、ユーザの操作が必要な時間帯（例えば、ルート探索処理（ルート探索機能を実行するための処理）において、目的地設定のためにユーザによる目的地の入力操作を必要とする時間帯）において、所定時間（例えば１０秒）以上ユーザの操作が行われていない状況（本実施の形態ではこの状況を「無操作」と称する）を示す特徴量のことを指す。なお、この状況は、ユーザが困惑していると考えられる状況である。また、上述したように本実施の形態では、このような状況を示す特徴量を、カーナビゲーション装置１２をユーザが操作した際の入力情報に関する操作時の機器内部の特徴量２８ａとして予め困惑度推定データベース２６に登録している。

また、本実施の形態における「カーナビゲーション装置１２をユーザが操作した際の入力情報に応じた機器内部の状態変化に関する操作時の操作対象機器内部の特徴量」とは、例えば、カーナビゲーション装置１２内で所定の処理を行う場合に、ユーザの操作が必要な時間帯において必要な操作回数を超える回数の操作が行われた状況を示す特徴量や、ユーザの操作が必要な時間帯において所定時間（例えば３０秒）経過しても操作ステージが次の操作ステージに移行しない状況（本実施の形態ではこの状況を「操作の停滞」と称する）を示す特徴量のことを指す。ここで、「ユーザの操作が必要な時間帯において必要な操作回数を超える回数の操作が行われた状況」とは、例えば、図３に示すような各操作ステージを有する目的地を検索する目的地検索処理において、ユーザの操作によって操作ステージの戻り（図３の例では操作ステージのＩＤの減少）が所定時間（例えば４０秒）以内に所定回数（例えば２回）以上行われた状況（本実施の形態ではこの状況を「操作の戻り」と称する）のことを指す。なお、これらの状況は、ユーザが困惑していると考えられる状況である。また、上述したように本実施の形態では、このような状況を示す特徴量を、カーナビゲーション装置１２をユーザが操作した際の入力情報に応じた機器内部の状態変化に関する機器内部の特徴量２８ｂとして予め困惑度推定データベース２６に登録している。

また、本実施の形態における「ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの動作に関する操作時のユーザの特徴量」とは、例えば、ユーザの指先が、カーナビゲーション装置１２のユーザによって操作される操作部としてのタッチパネル２２の前方の所定の空間内（または領域内）で所定時間（例えば１０秒）以上静止している状況（本実施の形態ではこの状況を「指先の停滞」と称する）を示す特徴量、ユーザの指先がこの空間内（または領域内）で所定時間（例えば１０秒）以上連続して移動している状況（本実施の形態ではこの状況を「指先の右往左往」と称する）を示す特徴量、ユーザの指先がこの空間内（または領域内）で所定時間（例えば１０秒）以上連続して存在している状況（本実施の形態ではこの状況を「指先のふらつき」と称する）を示す特徴量、困惑時に発話する語をユーザが発話した状況（本実施の形態ではこの状況を「困惑発話」と称する）を示す特徴量、ユーザの顔が表示部としての表示装置２４の画面の前方の所定の空間内に存在する状況（本実施の形態ではこの状況を「顔接近」と称する）を示す特徴量、及びユーザの顔がニュートラルの状態から所定角度（例えば１５度）以上傾いている状況（本実施の形態ではこの状況を「首かしげ」と称する）を示す特徴量のことを指す。なお、操作を行う人間の部位の一例として、「ユーザの指先」を挙げたが、本発明はこれに限られず、操作を行う人間の部位であれば、他の部位であってもよい。なお、これらの状況は、ユーザが困惑していると考えられる状況である。また、上述したように本実施の形態では、これらの状況を示す各特徴量を、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの動作に関する操作時のユーザの特徴量２８ｃとして予め困惑度推定データベース２６に登録している。

また、本実施の形態における「ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの表情に関する操作時のユーザの特徴量」とは、例えば、ユーザの顔の表情が困惑した表情を示している状況（本実施の形態ではこの状況を「困惑顔」と称する）を示す特徴量のことを指す。なお、この状況は、ユーザが困惑していると考えられる状況である。また、上述したように本実施の形態では、この状況を示す特徴量を、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの表情に関する操作時のユーザの特徴量２８ｄとして予め困惑度推定データベース２６に登録している。

更に、困惑度推定データベース２６には、図２に示されるように、上記ＩＤ３０とこのＩＤ３０に対応する継続時間３２との組（ペア）３４の複数のパターンが時系列パターン３６として予め登録されている。ここで、継続時間３２は、ＩＤ３０に対応する特徴量が示す状況が継続した時間である。なお、同図に図示されるように、本実施の形態では、時系列パターン３６として、操作時の操作対象機器内部の特徴量２８ａまたは２８ｂ（ＩＤ６、ＩＤ７、ＩＤ８、ＩＤ１２、ＩＤ１３、ＩＤ１４、・・・に対応）と、操作時のユーザの特徴量２８ｃまたは２８ｄ（ＩＤ１〜ＩＤ５、ＩＤ９〜ＩＤ１４、・・・に対応）とが組合わされたパターン（図２の例では「（ＩＤ１，２）（ＩＤ６，１）（ＩＤ５，３）」）、操作時の操作対象機器内部の特徴量２８ａまたは２８ｂのみのパターン（図２の例では「（ＩＤ７，１０）」）、及び操作時のユーザの特徴量２８ｃまたは２８ｄのみのパターン（図２の例では「（ＩＤ１０，５）」）が困惑度推定データベース２６に登録されている。そして、同図に図示されるように、困惑度推定データベース２６には、この時系列パターン３６の各々に対して、ユーザがカーナビゲーション装置１２を操作する際の操作に対する困惑度３８が予め登録されている。

ここで、例えば、同図に図示されるように、時系列パターン３６として「（ＩＤ１，２）（ＩＤ６，１）（ＩＤ５，３）」が登録され、この時系列パターン３６に対応する困惑度３８として「３」が登録されている場合について、これらの登録内容が意味することを詳細に説明する。この場合における登録内容は、「ＩＤ１」に対応する状況、すなわち「指先の停滞」の状況が２秒継続し、「ＩＤ６」に対応する状況、すなわち「無操作」の状況が１秒継続し、そして「ＩＤ５」の状況、すなわち「つぶやき」の状況が３秒継続した場合には、対応するユーザの困惑度が「３」であることを意味している。

なお、困惑度推定データベース２６に登録される内容は、カーナビゲーション装置１２を操作したユーザから予め聞き取りを行っておくことで取得される。例えば、困惑した状況とその状況の継続時間とのパターン（時系列パターン）、及びそのパターンに対応する困惑度とを、カーナビゲーション装置１２を操作したユーザから聞き取ることにより、取得することができる。なお、本実施の形態では、聞き取りなどによりユーザから困惑度を取得する際には、所定の段階、例えば、１〜５の５段階（１：全く困惑しなかった、２：ほとんど困惑しなかった、３：困惑した、４：まあまあ困惑した、５：大変困惑した）で困惑度を聞き取ることとする。なお、本実施の形態では、困惑度の数値が大きく（高く）なるほど、困惑している度合いが強くなることとするが、本発明はこれに限られない。例えば、１〜５の５段階（１：大変困惑した、２：まあまあ困惑した、３：困惑した、４：ほとんど困惑しなかった、５：全く困惑しなかった）の場合のように、困惑度の数値が小さく（低く）なるほど困惑している度合いが強くなるようにしてもよい。

以上、説明したように、本実施の形態の記憶手段としてのＨＤＤ１８ｂには、操作時の機器内部の特徴量２８ａまたは２８ｂ及びこの特徴量２８ａまたは２８ｂが示すユーザの困惑状況の継続時間３２の組３４、並びに操作時のユーザの特徴量２８ｃまたは２８ｄ及びこの特徴量２８ｃまたは２８ｄが示すユーザの困惑状況の継続時間３２の組３４の少なくとも一方の組３４の複数のパターン（時系列パターン）３６の各々に対して、ユーザがカーナビゲーション装置１２を操作する際の操作に関する困惑度３８が予め記憶されている。なお、ＨＤＤ１８ｂには、詳細を以下で説明する困惑度推定処理のステップ１０２で検出される特徴量及び継続時間の組のパターンとして想定される全てのパターンが記憶され、この全てのパターンの各々に対して困惑度３８が予め記憶されていることが好ましい。

また、ＨＤＤ１８ｂには、図４に示すように、ユーザ困惑時発話データベース４０が記憶されている。ユーザ困惑時発話データベース４０には、ユーザが困惑時に発話する単語（語）４２と、単語４２に対応する音声特徴量４４とが対応付けられて登録されている。なお、図４の例では音声特徴量が「発音」として示されている。本実施の形態では、この単語４２及び対応する音声特徴量４４は、予め実験的に取得されたものである。

ＣＰＵ１８ｃは、プログラムをＲＯＭ１８ａ及びＨＤＤ１８ｂから読み出して実行する。

ＲＡＭ１８ｄには、各種データが一時的に記憶される。

Ｉ／Ｏポート１８ｅには、ユーザ顔撮影用カメラ１４、タッチパネル近傍撮影用カメラ１６、マイク２０、タッチパネル２２、及び表示装置２４が接続されている。

コンピュータ１８を以下で詳細を説明する困惑度推定処理に従って機能ブロックで表すと、図５に示すように、第１の検出手段７０、第２の検出手段７２、記憶手段７４、及び推定手段７６で表すことができる。

ユーザ顔撮影用カメラ１４は、カーナビゲーション装置１２を操作するユーザの顔及び頭部を撮影可能な位置に設けられている。なお、このユーザとして、例えば、本実施の形態の困惑度推定装置１０が移動体としての車両に搭載されている場合には、車両を運転するドライバが考えられる。ユーザ顔撮影用カメラ１４は、撮影した画像の画像データを出力する。すなわち、ユーザ顔撮影用カメラ１４によって、ユーザの顔画像の画像データ及び頭部画像の画像データが出力される。

タッチパネル近傍撮影用カメラ１６は、図６（Ａ）、及び図６（Ｂ）に示すように、カーナビゲーション装置１２の操作部としてのタッチパネル２２の前方の所定の領域３６内（例えば、図６（Ｂ）に示すように、タッチパネル２２からタッチパネル２２の所定距離（例えば５ｃｍ）前方までの領域）を撮影可能な位置に設けられている。なお、本実施の形態では、領域３６を、指先検出領域３６と称する場合がある。タッチパネル近傍撮影用カメラ１６は、撮影した画像の画像データを出力する。すなわち、タッチパネル近傍撮影用カメラ１６によって、指先検出領域３６内のタッチパネル２２を操作しようとするユーザの所定の部位、例えばユーザの指先の画像の画像データを出力することができる。

マイク２０は、ユーザの発話（発話音声）を入力するためのものである。マイク２０は、入力された音声を検出し、音声信号を出力する。

操作部としてのタッチパネル２２は、ユーザの操作を受け付けて、受け付けた操作を示す信号を出力する。タッチパネル２２は、表示装置２４の画面に貼り付けられている。

表示部としての表示装置２４は、入力されたデータに基づいた画像を表示するＬＣＤ（Liquid Crystal Display）を含んで構成されている。

次に、コンピュータ１８のＣＰＵ１８ｃが実行する困惑度推定処理の処理ルーチンについて図７を参照して説明する。なお、本実施の形態において、困惑度推定処理は、困惑度推定装置１０の電源（図示せず）がオンされると、所定時間（例えば１秒）間隔で実行される。

まず、ステップ１００で、ユーザの操作が必要な時間帯であるか否かを判定する。ここで、この「ユーザの操作が必要な時間帯」とは、カーナビゲーション装置１２が、所定の処理、例えば、ルート探索処理を行う場合に、ユーザの操作（例えば、タッチパネル２２の操作、またはマイク２０に対する音声の入力操作）によって目的地が入力されるのを必要とする時間帯などのことを指す。

ステップ１００で、ユーザの操作が必要な時間帯であると判定された場合には、次のステップ１０２に進む。一方、ステップ１００でユーザの操作が必要な時間帯でないと判定された場合には、次のステップ１１４へ進む。

次のステップ１０２では、指先ジェスチャー検出処理、非操作発話検出処理、機器操作情報検出処理、首かしげ検出処理、顔接近検出処理、及び困惑顔検出処理を実行する。

ここで、まず、指先ジェスチャー検出処理について、図８を参照して説明する。

まず、ステップ２００で、タッチパネル近傍撮影用カメラ１６からの画像データに対して、図６（Ｂ）に示すように、指先検出領域３６の画像の肌色領域を特定し、肌色領域のうちタッチパネル２２に近い所定範囲の箇所をユーザの指先位置４６として検出する画像処理を施すことにより、指先位置４６を検出する。

次のステップ２０２では、上記ステップ２００で指先位置４６が検出されたか否かを判定することにより、指先位置４６が指先検出領域３６内に存在するか否かを判断する。なお、ステップ２０２では、上記ステップ２００で指先位置４６が検出されたと判定された場合には、指先位置４６が指先検出領域３６内に存在すると判断することができ、また、上記ステップ２００で指先位置４６が検出されなかったと判定された場合には、指先位置４６が指先検出領域３６内に存在しないと判断することができる。

ステップ２０２で、上記ステップ２００で指先位置４６が検出されたと判定された場合には、指先位置４６が指先検出領域３６内に存在すると判断して、次のステップ２０４へ進む。

ステップ２０４では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されている所定数のビット（例えば１ビット）のフラグである指先領域内フラグ（図示しない）の値を１に設定することにより、指先領域内フラグをオン（ＯＮ）にする。なお、初期段階では指先領域内フラグの値は０に設定されており、指先領域内フラグの値が０に設定されている場合には、指先領域内フラグはオフ（ＯＦＦ）となる。ここで、本実施の形態では、指先領域内フラグがオンになっている場合には、ユーザの指先位置４６が指先検出領域３６内に存在すると判断することができ、また、オフになっている場合には、指先位置４６が指先検出領域３６内に存在しないと判断することができる。

次のステップ２０６では、今回（すなわち直近の）、上記ステップ２００で検出された指先位置４６（今回指先位置と称する場合がある）と、前回、上記ステップ２００で検出された指先位置４６（前回指先位置と称する場合がある）との位置を比較して、今回指先位置と前回指先位置とが同じ位置であるか否かを判定することにより、指先位置４６が移動（または静止）しているか否かを判断する。なお、ステップ２０６で、今回指先位置と前回指先位置とが同じ位置であると判定された場合には、指先位置４６が静止している（すなわち、移動していない）と判断することができ、また、今回指先位置と前回指先位置とが同じ位置でないと判定された場合には、指先位置４６が移動している（すなわち、静止していない）と判断することができる。なお、前回指先位置は本実施の形態では、ＲＡＭ１８ｄに記憶されていることとする。また、ステップ２０６では、前回指先位置が存在しない場合、（例えば、１回目（初回）の指先ジェスチャー検出処理である場合や、詳細を以下で説明するステップ２２０での処理によってＲＡＭ１８ｄに記憶されている前回指先位置がクリア（消去）された場合）には、今回指先位置と前回指先位置との位置を比較して今回指先位置と前回指先位置とが同じ位置であるか否かを判定する上記処理を行わずに、ステップ２１２に進む。

ステップ２０６で、今回指先位置と前回指先位置とが同じ位置であると判定された場合には、指先位置４６は静止していると判断して、次のステップ２０８へ進む。

ステップ２０８では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されている所定数のビット（例えば１ビット）のフラグである指先移動中フラグ（図示しない）の値を０に設定することにより、指先移動中フラグをオフにすると共に、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されている所定数のビット（例えば１ビット）のフラグである指先静止中フラグ（図示しない）の値を１に設定することにより、指先静止中フラグをオンにする。なお、初期段階ではこれらの指先移動中フラグ及び指先静止中フラグの値は０に設定されており、指先移動中フラグの値が１に設定されている場合には、指先移動中フラグはオンとなり、指先静止中フラグの値が０に設定されている場合には、指先静止中フラグはオフとなる。ここで、本実施の形態では、指先移動中フラグがオンになっている場合には、ユーザの指先位置４６が移動したと判断することができ、また、オフになっている場合には、ユーザの指先位置４６が移動していないと判断することができる。また、指先静止中フラグがオンになっている場合には、ユーザの指先位置４６が静止していると判断することができ、また、オフになっている場合には、ユーザの指先位置４６が静止していないと判断することができる。そして、次のステップ２１２へ進む。

一方、ステップ２０６で、今回指先位置と前回指先位置とが同じ位置でないと判定された場合には、指先位置４６は移動していると判断して、次のステップ２１０へ進む。

ステップ２１０では、指先移動中フラグの値を１に設定することにより、指先移動中フラグをオンに設定すると共に、指先静止中フラグの値を０に設定することにより、指先静止中フラグをオフに設定する。そして、次のステップ２１２へ進む。

一方、ステップ２０２において、上記ステップ２００で指先位置４６が検出されなかったと判定された場合には、指先位置４６が指先検出領域３６内に存在しないと判断して、次のステップ２１８へ進む。

ステップ２１８では、指先領域内フラグ、指先移動中フラグ、及び指先静止中フラグの各値を０に設定することにより、指先領域内フラグ、指先移動中フラグ、及び指先静止中フラグをオフにする。

次のステップ２２０では、ＲＡＭ１８ｄに記憶されている前回指先位置をクリア（消去）する。そして、ステップ２１２へ進む。

ステップ２１２では、指先の停滞検出処理を実行する。ここで、指先の停滞検出処理について、図９を参照して説明する。

まず、ステップ３００で、指先静止中フラグの値を読み取って、指先静止中フラグの値が１であるか否かを判定することにより、指先静止中フラグがオンに設定されているか否かを判断する。

ステップ３００で、指先静止中フラグの値が１であると判定された場合には、指先静止中フラグがオンになっていると判断して、次のステップ３０２へ進む。

ステップ３０２では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されているカウンタであり、計測された時間を記憶（保持）するためのカウンタである指先静止中時間カウンタ（図示しない）の値を加算更新することにより、指先静止中フラグがオンになってから当該ステップ３０２を実行するまでの時間を指先静止中時間カウンタに記憶させる。より具体的に説明すると、本実施の形態では、上述したように、所定時間毎に困惑度推定処理が実行されることにより、当該所定時間毎に指先の停滞検出処理が実行される。ここで、例えば、１秒間隔で（１秒毎に）指先の停滞検出処理が実行された場合には、ステップ３０２では、１秒毎に指先静止中時間カウンタの値が加算更新される。これにより、指先静止中フラグがオンになってから当該ステップ３０２を実行するまでの時間が指先静止中時間カウンタに記憶される。

次のステップ３０４では、上記ステップ３０２で値が更新された指先静止中時間カウンタの値が示す時間が、所定時間Ｔ１秒（例えば１０秒）以上であるか否かを判定する。これにより、上記ステップ２００で検出された指先位置４６が、カーナビゲーション装置１２のタッチパネル２２の前方の領域（指先検出領域）３６内で所定時間Ｔ１秒（例えば１０秒）以上静止している状況（「指先の停滞」）であるか否かを判断することができる。すなわち、ステップ３０４において、上記ステップ３０２で値が更新された指先静止中時間カウンタの値が示す時間が、所定時間Ｔ１秒（例えば１０秒）以上であると判定（肯定判定）された場合には、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの指先の位置及び動作に関する特徴量として「指先の停滞」の状況を示す特徴量が検出されたと判断することができる。

ステップ３０４において、上記ステップ３０２で値が更新された指先静止中時間カウンタの値が示す時間が、所定時間Ｔ１秒（例えば１０秒）以上であると判定された場合には、次のステップ３０６へ進む。

ステップ３０６では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されている所定数のビット（例えば１ビット）のフラグである「指先の停滞」検出フラグ（図示しない）の値を１に設定することにより、「指先の停滞」検出フラグをオンにする。なお、初期段階では「指先の停滞」検出フラグの値は０に設定されており、「指先の停滞」検出フラグの値が０に設定されている場合には、「指先の停滞」検出フラグはオフとなる。ここで、本実施の形態では、「指先の停滞」検出フラグがオンになった場合には、「指先の停滞」の状況が検出されたと判断することができる。そして、次のステップ３０８へ進む。

ステップ３０８では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されているカウンタであり、計測された時間を記憶（保持）するためのカウンタである「指先の停滞」検出継続時間カウンタ（図示しない）の値を加算更新することにより、「指先の停滞」検出フラグがオンになってから当該ステップ３０８を実行するまでの時間を「指先の停滞」検出継続時間カウンタに記憶させる。より具体的に説明すると、例えば、１秒間隔で（１秒毎に）指先の停滞検出処理が実行された場合には、ステップ３０８では、１秒毎に「指先の停滞」検出継続時間カウンタの値が加算更新される。これにより、「指先の停滞」検出フラグがオンになってから当該ステップ３０８を実行するまでの時間が「指先の停滞」検出継続時間カウンタに記憶される。そして、指先の停滞検出処理を終了する。

一方、ステップ３０４で、上記ステップ３０２で値が更新された指先静止中時間カウンタの値が示す時間が、所定時間Ｔ１秒（例えば１０秒）以上でない（すなわち、所定時間Ｔ１秒未満である）と判定された場合には、次のステップ３１０へ進む。ステップ３１０では、「指先の停滞」検出フラグの値を０に設定することにより、「指先の停滞」検出フラグをオフにする。そして、指先の停滞検出処理を終了する。

また、ステップ３００で、指先静止中フラグの値が１でない（すなわち、０である）と判定された場合には、指先静止中フラグがオフになっていると判断して、次のステップ３１２へ進む。

ステップ３１２では、指先静止中時間カウンタの値をクリアする（０に設定する）。次のステップ３１４では、「指先の停滞」検出継続時間カウンタの値が示す時間が、０秒より大きいか否かを判定する。

ステップ３１４で、「指先の停滞」検出継続時間カウンタの値が示す時間が、０秒より大きいと判定された場合には、次のステップ３１６へ進む。ステップ３１６では、「指先の停滞」検出継続時間カウンタの値が示す時間を、「指先の停滞」の状況が継続した時間（指先の停滞状況継続時間）として検出すると共に、検出された指先の停滞状況継続時間を、詳細を以下で説明するステップ１０６で用いるために、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶させる。これにより、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に指先の停滞状況継続時間が記憶される。

次のステップ３１８では、「指先の停滞」検出継続時間カウンタの値をクリアする（０に設定する）。そして、ステップ３１０へ進む。

一方、ステップ３１４で、「指先の停滞」検出継続時間カウンタの値が示す時間が、０秒であると判定された場合には、次のステップ３１８へ進む。

以上、指先の停滞検出処理について説明した。ここで、図８の指先ジェスチャー検出処理の説明に戻る。

次のステップ２１４では、指先の右往左往検出処理を実行する。ここで、指先の右往左往検出処理について、図１０を参照して説明する。

まず、ステップ４００で、指先移動中フラグの値を読み取って、指先移動中フラグの値が１であるか否かを判定することにより、指先移動中フラグがオンに設定されているか否かを判断する。

ステップ４００で、指先移動中フラグの値が１であると判定された場合には、指先移動中フラグがオンになっていると判断して、次のステップ４０２へ進む。

ステップ４０２では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されているカウンタであり、計測された時間を記憶（保持）するためのカウンタである指先移動中時間カウンタ（図示しない）の値を加算更新することにより、指先移動中フラグがオンになってから当該ステップ４０２を実行するまでの時間を指先移動中時間カウンタに記憶させる。より具体的に説明すると、例えば、１秒間隔で（１秒毎に）指先の右往左往検出処理が実行された場合には、ステップ４０２では、１秒毎に指先移動中時間カウンタの値が加算更新される。これにより、指先移動中フラグがオンになってから当該ステップ４０２を実行するまでの時間が指先移動中時間カウンタに記憶される。

次のステップ４０４では、上記ステップ４０２で値が更新された指先移動中時間カウンタの値が示す時間が、所定時間Ｔ２秒（例えば１０秒）以上であるか否かを判定する。これにより、上記ステップ２００で検出された指先位置４６が、カーナビゲーション装置１２のタッチパネル２２の前方の領域（指先検出領域）３６内で所定時間Ｔ２秒（例えば１０秒）以上移動している状況（「指先の右往左往」）であるか否かを判断することができる。すなわち、ステップ４０４において、上記ステップ４０２で値が更新された指先移動中時間カウンタの値が示す時間が、所定時間Ｔ２秒（例えば１０秒）以上であると判定（肯定判定）された場合には、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの指先の位置及び動作に関する特徴量として「指先の右往左往」の状況を示す特徴量が検出されたと判断することができる。

ステップ４０４において、上記ステップ４０２で値が更新された指先移動中時間カウンタの値が示す時間が、所定時間Ｔ２秒（例えば１０秒）以上であると判定された場合には、次のステップ４０６へ進む。

ステップ４０６では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されている所定数のビット（例えば１ビット）のフラグである「指先の右往左往」検出フラグ（図示しない）の値を１に設定することにより、「指先の右往左往」検出フラグをオンにする。なお、初期段階では「指先の右往左往」検出フラグの値は０に設定されており、「指先の右往左往」検出フラグの値が０に設定されている場合には、「指先の右往左往」検出フラグはオフとなる。ここで、本実施の形態では、「指先の右往左往」検出フラグがオンになった場合には、「指先の右往左往」の状況が検出されたと判断することができる。そして、次のステップ４０８へ進む。

ステップ４０８では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されているカウンタであり、計測された時間を記憶（保持）するためのカウンタである「指先の右往左往」検出継続時間カウンタ（図示しない）の値を加算更新することにより、「指先の右往左往」検出フラグがオンになってから当該ステップ４０８を実行するまでの時間を「指先の右往左往」検出継続時間カウンタに記憶させる。より具体的に説明すると、例えば、１秒間隔で（１秒毎に）指先の右往左往検出処理が実行された場合には、ステップ４０８では、１秒毎に「指先の右往左往」検出継続時間カウンタの値が加算更新される。これにより、「指先の右往左往」検出フラグがオンになってから当該ステップ４０８を実行するまでの時間が「指先の右往左往」検出継続時間カウンタに記憶される。そして、指先の右往左往検出処理を終了する。

一方、ステップ４０４で、上記ステップ４０２で値が更新された指先移動中時間カウンタの値が示す時間が、所定時間Ｔ２秒（例えば１０秒）以上でない（すなわち、所定時間Ｔ２秒未満である）と判定された場合には、次のステップ４１０へ進む。ステップ４１０では、「指先の右往左往」検出フラグの値を０に設定することにより、「指先の右往左往」検出フラグをオフにする。そして、指先の右往左往検出処理を終了する。

また、ステップ４００で、指先移動中フラグの値が１でない（すなわち、０である）と判定された場合には、指先移動中フラグがオフになっていると判断して、次のステップ４１２へ進む。

ステップ４１２では、指先移動中時間カウンタの値をクリアする（０に設定する）。次のステップ４１４では、「指先の右往左往」検出継続時間カウンタの値が示す時間が、０秒より大きいか否かを判定する。

ステップ４１４で、「指先の右往左往」検出継続時間カウンタの値が示す時間が、０秒より大きいと判定された場合には、次のステップ４１６へ進む。ステップ４１６では、「指先の右往左往」検出継続時間カウンタの値が示す時間を、「指先の右往左往」の状況が継続した時間（指先の右往左往状況継続時間）として検出すると共に、検出された指先の右往左往状況継続時間を、詳細を以下で説明するステップ１０６で用いるために、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶させる。これにより、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に指先の右往左往状況継続時間が記憶される。

次のステップ４１８では、「指先の右往左往」検出継続時間カウンタの値をクリアする（０に設定する）。そして、ステップ４１０へ進む。

一方、ステップ４１４で、「指先の右往左往」検出継続時間カウンタの値が示す時間が、０秒であると判定された場合には、次のステップ４１８へ進む。

以上、指先の右往左往検出処理について説明した。ここで、図８の指先ジェスチャー検出処理の説明に戻る。

次のステップ２１６では、指先のふらつき検出処理を実行する。そして、指先ジェスチャー検出処理を終了する。ここで、指先のふらつき検出処理について、図１１を参照して説明する。

まず、ステップ５００で、指先領域内フラグの値を読み取って、指先領域内フラグの値が１であるか否かを判定することにより、指先領域内フラグがオンに設定されているか否かを判断する。

ステップ５００で、指先領域内フラグの値が１であると判定された場合には、指先領域内フラグがオンになっていると判断して、次のステップ５０２へ進む。

ステップ５０２では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されているカウンタであり、計測された時間を記憶（保持）するためのカウンタである指先領域内時間カウンタ（図示しない）の値を加算更新することにより、指先領域内フラグがオンになってから当該ステップ５０２を実行するまでの時間を指先領域内時間カウンタに記憶させる。より具体的に説明すると、例えば、１秒間隔で（１秒毎に）指先のふらつき検出処理が実行された場合には、ステップ５０２では、１秒毎に指先領域内時間カウンタの値が加算更新される。これにより、指先領域内フラグがオンになってから当該ステップ５０２を実行するまでの時間が指先領域内時間カウンタに記憶される。

次のステップ５０４では、上記ステップ５０２で値が更新された指先領域内時間カウンタの値が示す時間が、所定時間Ｔ３秒（例えば１０秒）以上であるか否かを判定する。これにより、上記ステップ２００で検出された指先位置４６が、カーナビゲーション装置１２のタッチパネル２２の前方の領域（指先検出領域）３６内で所定時間Ｔ３秒（例えば１０秒）以上連続して存在している状況（「指先のふらつき」）であるか否かを判断することができる。すなわち、ステップ５０４において、上記ステップ５０２で値が更新された指先領域内時間カウンタの値が示す時間が、所定時間Ｔ３秒（例えば１０秒）以上であると判定（肯定判定）された場合には、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの指先の位置及び動作に関する特徴量として「指先のふらつき」の状況を示す特徴量が検出されたと判断することができる。

ステップ５０４において、上記ステップ５０２で値が更新された指先領域内時間カウンタの値が示す時間が、所定時間Ｔ３秒（例えば１０秒）以上であると判定された場合には、次のステップ５０６へ進む。

ステップ５０６では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されている所定数のビット（例えば１ビット）のフラグである「指先のふらつき」検出フラグ（図示しない）の値を１に設定することにより、「指先のふらつき」検出フラグをオンにする。なお、初期段階では「指先のふらつき」検出フラグの値は０に設定されており、「指先のふらつき」検出フラグの値が０に設定されている場合には、「指先のふらつき」検出フラグはオフとなる。ここで、本実施の形態では、「指先のふらつき」検出フラグがオンになった場合には、「指先のふらつき」の状況が検出されたと判断することができる。そして、次のステップ５０８へ進む。

ステップ５０８では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されているカウンタであり、計測された時間を記憶（保持）するためのカウンタである「指先のふらつき」検出継続時間カウンタ（図示しない）の値を加算更新することにより、「指先のふらつき」検出フラグがオンになってから当該ステップ５０８を実行するまでの時間を「指先のふらつき」検出継続時間カウンタに記憶させる。より具体的に説明すると、例えば、１秒間隔で（１秒毎に）指先のふらつき検出処理が実行された場合には、ステップ５０８では、１秒毎に「指先のふらつき」検出継続時間カウンタの値が加算更新される。これにより、「指先のふらつき」検出フラグがオンになってから当該ステップ５０８を実行するまでの時間が「指先のふらつき」検出継続時間カウンタに記憶される。そして、指先のふらつき検出処理を終了する。

一方、ステップ５０４で、上記ステップ５０２で値が更新された指先領域内時間カウンタの値が示す時間が、所定時間Ｔ３秒（例えば１０秒）以上でない（すなわち、所定時間Ｔ３秒未満である）と判定された場合には、次のステップ５１０へ進む。ステップ５１０では、「指先のふらつき」検出フラグの値を０に設定することにより、「指先のふらつき」検出フラグをオフにする。そして、指先のふらつき検出処理を終了する。

また、ステップ５００で、指先領域内フラグの値が１でない（すなわち、０である）と判定された場合には、指先領域内フラグがオフになっていると判断して、次のステップ５１２へ進む。

ステップ５１２では、指先領域内時間カウンタの値をクリアする（０に設定する）。次のステップ５１４では、「指先のふらつき」検出継続時間カウンタの値が示す時間が、０秒より大きいか否かを判定する。

ステップ５１４で、「指先のふらつき」検出継続時間カウンタの値が示す時間が、０秒より大きいと判定された場合には、次のステップ５１６へ進む。ステップ５１６では、「指先のふらつき」検出継続時間カウンタの値が示す時間を、「指先のふらつき」の状況が継続した時間（指先のふらつき状況継続時間）として検出すると共に、検出された指先のふらつき状況継続時間を、詳細を以下で説明するステップ１０６で用いるために、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶させる。これにより、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に指先のふらつき状況継続時間が記憶される。

次のステップ５１８では、「指先のふらつき」検出継続時間カウンタの値をクリアする（０に設定する）。そして、ステップ５１０へ進む。

一方、ステップ５１４で、「指先のふらつき」検出継続時間カウンタの値が示す時間が、０秒であると判定された場合には、次のステップ５１８へ進む。

以上、指先のふらつき検出処理、及び指先ジェスチャー検出処理について説明した。

指先ジェスチャー検出処理によれば、例えば、図１２に示すように、時刻ｔ１〜ｔ９間で指先領域内フラグがオンとなり、時刻ｔ２〜ｔ５間及び時刻ｔ７〜ｔ８間で指先静止中フラグがオンとなり、時刻ｔ１〜ｔ２間、時刻ｔ５〜ｔ７間及び時刻ｔ８〜ｔ９間で指先移動中フラグがオンとなった場合には、同図に図示されるように、時刻ｔ１から時間Ｔ３秒経過した時刻ｔ３で、「指先のふらつき」検出フラグがオンとなり、指先領域内フラグがオフとなる時刻ｔ９で、「指先のふらつき」検出フラグがオフとなるため、時刻ｔ３〜ｔ９間を「指先のふらつき」の状況として検出すると共に、時刻ｔ３〜ｔ９間の時間を指先のふらつき状況継続時間として検出する。また、指先ジェスチャー検出処理によれば、指先静止中フラグがオンとなる時刻ｔ２から時間Ｔ１秒経過した時刻ｔ４で、「指先の停滞」検出フラグがオンとなり、指先静止中フラグがオフとなる時刻ｔ５に「指先の停滞」検出フラグがオフとなるため、時刻ｔ４〜ｔ５間を「指先の停滞」の状況として検出すると共に、時刻ｔ４〜ｔ５間の時間を指先の停滞状況継続時間として検出する。また、指先ジェスチャー検出処理によれば、指先移動中フラグがオンとなる時刻ｔ５から時間Ｔ２秒経過した時刻ｔ６で、「指先の右往左往」検出フラグがオンとなり、指先移動中フラグがオフとなる時刻ｔ７に「指先の右往左往」検出フラグがオフとなるため、時刻ｔ６〜ｔ７間を「指先の右往左往」の状況として検出すると共に、時刻ｔ６〜ｔ７間の時間を指先の右往左往状況継続時間として検出する。

なお、上記の指先ジェスチャー検出処理では、カメラ（タッチパネル近傍撮影用カメラ）を１台用いて、指先位置４６の２次元平面の位置を検出し、ユーザの指先がカーナビゲーション装置１２のタッチパネル２２の前方の領域３６内で所定時間Ｔ１秒以上静止している状況を示す特徴量、ユーザの指先が領域３６内で所定時間Ｔ２秒以上連続して移動している状況を示す特徴量、及びユーザの指先が領域３６内でＴ３秒以上連続して存在している状況を示す特徴量を、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの指先の位置及び動作に関する特徴量として検出する例について説明したが、本発明はこれに限られない。例えば、指先ジェスチャー検出処理において、カメラを複数台またはセンサを複数個用いて指先位置４６の３次元空間の位置を検出し、ユーザの指先がカーナビゲーション装置１２のタッチパネル２２の前方の所定の空間内で所定時間Ｔ１秒以上静止している状況を示す特徴量、ユーザの指先がこの所定の空間内で所定時間Ｔ２秒以上連続して移動している状況を示す特徴量、及びユーザの指先がこの所定の空間内で所定時間Ｔ３秒以上連続して存在している状況を示す特徴量を、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの指先の位置及び動作に関する特徴量として検出するようにしてもよい。

次に、非操作発話検出処理について、図１３を参照して説明する。

まず、ステップ６００で、マイク２０からの音声信号を取込む。

次のステップ６０２では、上記ステップ６００で取込んだ音声信号から、公知の技術（例えば、特開２００７−２３３１４８号公報に記載の技術）を用いて、音声発話区間を切り出す。

次のステップ６０４では、上記ステップ６０２で切り出された音声発話区間から、音声操作のための発話（音声操作発話）以外の発話を、非操作発話として検出する。すなわち、ステップ６０４では、ユーザの発話に関する特徴量として非操作発話を示す特徴量を検出する。例えば、ステップ６０４では、音声操作のための単語が登録された音声操作用データベースに登録されている単語に対する上記ステップ６０２で切り出された音声発話区間の発話の信頼度θ１を演算するために、音声操作用データベースを用いて音声発話区間の発話に対して音声認識処理を行って信頼度θ１を演算する。そして、ユーザ困惑時発話データベース４０に登録されている単語４２に対する音声発話区間の発話の信頼度θ２を演算するために、ユーザ困惑時発話データベース４０の音声特徴量４４を用いて音声発話区間の発話に対して音声認識処理を行って信頼度θ２を演算する。そして、信頼度θ２が信頼度θ１より大きく、かつ信頼度θ２が所定の閾値θ３より大きい場合に、音声発話区間における発話を非操作発話として検出する。なお、信頼度θ２が信頼度θ１より大きい場合に、音声発話区間における発話を非操作発話として検出してもよい。また、信頼度θ１、θ２については、公知の技術、例えば、「李晃伸，河原達也，鹿野清宏 ２パス探索アルゴリズムにおける高速な単語事後確率に基づく信頼度算出法 情報処理学会研究報告，２００３−ＳＬＰ−４９−４８，２００３−１２」に記載の技術を用いて演算することができる。

ここで、ステップ６０４において非操作発話が検出された場合には、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの動作に関する特徴量として、「困惑発話」の状況（困惑時に発話する語をユーザが発話した状況）を示す特徴量が検出されたと判断できる。

なお、ステップ６０４において、信頼度θ２が信頼度θ１より大きく、かつ信頼度θ２が閾値θ３より小さい場合に、音声発話区間における発話を非操作発話として検出してもよい。このようにして非操作発話が検出された場合には、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの動作に関する特徴量として、ユーザが困惑してつぶやいている状況（本実施の形態ではこの状況を「つぶやき」と称する）を示す特徴量が検出されたと判断できる。

次のステップ６０６では、音声発話区間の時間を、「困惑発話」（または「つぶやき」）の状況が継続した時間（困惑発話状況継続時間（またはつぶやき状況継続時間））として演算することにより、困惑発話状況継続時間（またはつぶやき状況継続時間）を検出し、検出された困惑発話状況継続時間（またはつぶやき状況継続時間）を、詳細を以下で説明するステップ１０６で用いるために、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶させる。これにより、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に困惑発話状況継続時間（またはつぶやき状況継続時間）が記憶される。そして、非操作発話検出処理を終了する。

以上、説明したように、非操作発話検出処理によって、ユーザの発話に関する特徴量である非操作発話を示す特徴量が検出される。

次に、機器操作情報検出処理について、図１４を参照して説明する。

まず、ステップ７００で、前回の機器操作情報検出処理のステップ７００の実行後から、当該（今回の）ステップ７００までの間に、ユーザがタッチパネル２２を操作したか、またはマイク２０を介して音声の入力操作を行ったか否かを、タッチパネル２２またはマイク２０からの信号に基づいて判定する。

ステップ７００で、ユーザがタッチパネル２２を操作したか、またはマイク２０を介して音声の入力操作を行ったと判定された場合には、次のステップ７１０へ進む。一方、ステップ７００で、ユーザがタッチパネル２２を操作していないと判定された場合、またはマイク２０を介して音声の入力操作を行っていないと判定された場合には、次のステップ７０２に進む。

ステップ７０２では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されているカウンタであり、計測された時間を記憶（保持）するためのカウンタである無操作中時間カウンタ（図示しない）の値を加算更新することにより、ユーザによる操作の入力が行われなくなってから当該ステップ７０２を実行するまでの時間を無操作中時間カウンタに記憶させる。より具体的に説明すると、例えば、１秒間隔で（１秒毎に）機器操作情報検出処理が実行された場合には、ステップ７０２では、１秒毎に無操作中時間カウンタの値が加算更新される。これにより、ユーザによる操作の入力が行われなくなってから当該ステップ７０２を実行するまでの時間が無操作中時間カウンタに記憶される。

次のステップ７０４では、上記ステップ７０２で値が更新された無操作中時間カウンタの値が示す時間が、所定時間Ｔ４秒（例えば１０秒）以上であるか否かを判定する。これにより、前回のユーザの操作（操作入力）から所定時間Ｔ４秒（例えば１０秒）以上経過している状況（「無操作」）であるか否かを判断することができる。すなわち、ステップ７０４において、上記ステップ７０２で値が更新された無操作中時間カウンタの値が示す時間が、所定時間Ｔ４秒（例えば１０秒）以上であると判定（肯定判定）された場合には、ユーザがカーナビゲーション装置１２を操作した際の入力情報に関する操作時の機器内部の特徴量として「無操作」の状況を示す特徴量が検出されたと判断することができる。

ステップ７０４において、上記ステップ７０２で値が更新された無操作中時間カウンタの値が示す時間が、所定時間Ｔ４秒（例えば１０秒）以上であると判定された場合には、次のステップ７０６へ進む。

ステップ７０６では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されている所定数のビット（例えば１ビット）のフラグである「無操作」検出フラグ（図示しない）の値を１に設定することにより、「無操作」検出フラグをオンにする。なお、初期段階では「無操作」検出フラグの値は０に設定されており、「無操作」検出フラグの値が０に設定されている場合には、「無操作」検出フラグはオフとなる。ここで、本実施の形態では、「無操作」検出フラグがオンになった場合には、「無操作」の状況が検出されたと判断することができる。そして、次のステップ７０８へ進む。

ステップ７０８では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されているカウンタであり、計測された時間を記憶（保持）するためのカウンタである「無操作」検出継続時間カウンタ（図示しない）の値を加算更新することにより、「無操作」検出フラグがオンになってから当該ステップ７０８を実行するまでの時間を「無操作」検出継続時間カウンタに記憶させる。より具体的に説明すると、例えば、１秒間隔で（１秒毎に）機器操作情報検出処理が実行された場合には、ステップ７０８では、１秒毎に「無操作」検出継続時間カウンタの値が加算更新される。これにより、「無操作」検出フラグがオンになってから当該ステップ７０８を実行するまでの時間が「無操作」検出継続時間カウンタに記憶される。そして、機器操作情報検出処理を終了する。

一方、ステップ７１０では、無操作中時間カウンタの値をクリアする（０に設定する）。次のステップ７１２では、「無操作」検出継続時間カウンタの値が示す時間が、０秒より大きいか否かを判定する。

ステップ７１２で、「無操作」検出継続時間カウンタの値が示す時間が、０秒より大きいと判定された場合には、次のステップ７１４へ進む。ステップ７１４では、「無操作」検出継続時間カウンタの値が示す時間を、「無操作」の状況が継続した時間（無操作状況継続時間）として検出すると共に、検出された無操作状況継続時間を、詳細を以下で説明するステップ１０６で用いるために、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶させる。これにより、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に無操作状況継続時間が記憶される。そして、次のステップ７１６へ進む。また、ステップ７１２で、「無操作」検出継続時間カウンタの値が示す時間が、０秒であると判定された場合には、次のステップ７１６へ進む。

ステップ７１６では、「無操作」検出継続時間カウンタの値をクリアする（０に設定する）。そして、ステップ７１８へ進む。ステップ７１８では、「無操作」検出フラグの値を０に設定することにより、「無操作」検出フラグをオフにする。そして、機器操作情報検出処理を終了する。

一方、ステップ７０４で、上記ステップ７０２で値が更新された無操作中時間カウンタの値が示す時間が、所定時間Ｔ４秒（例えば１０秒）以上でない（すなわち、所定時間Ｔ４秒未満である）と判定された場合には、次のステップ７１６へ進む。

以上、機器操作情報検出処理について説明した。機器操作情報検出処理によれば、例えば、図１５に示すように、時刻ｔ１０でユーザの操作が行われなくなり、時刻ｔ１２からユーザの操作が行われた場合（すなわち、時刻ｔ１０〜ｔ１２間ではユーザの操作が行われていない場合）には、時刻ｔ１０から所定時間Ｔ４秒経過した時刻ｔ１１で、「無操作」検出フラグがオンとなり、ユーザの操作が開始される時刻ｔ１２で、「無操作」検出フラグがオフとなるため、時刻ｔ１１〜ｔ１２間を「無操作」の状況として検出すると共に、時刻ｔ１１〜ｔ１２間の時間を無操作状況継続時間として検出する。なお、同図中の下向きの矢印はユーザの操作が行われたことを示す。

以上、説明したように、機器操作情報検出処理によって、カーナビゲーション装置１２内で処理を行う場合に、所定時間Ｔ４秒以上ユーザの操作が行われていない状況を示す特徴量が、ユーザがカーナビゲーション装置１２を操作した際の入力情報に関する操作時の機器内部の特徴量として検出される。

なお、本実施の形態において、上記と同様にして、例えば、図３に示すような各操作ステージを有する目的地を検索する目的地検索処理において、ユーザの操作によって操作ステージの戻り（図３の例では操作ステージのＩＤの減少）が所定時間Ｔ５秒（例えば４０秒）以内に所定回数Ｎ（例えば２回）以上行われた状況（「操作の戻り」）を示す特徴量を、ユーザがカーナビゲーション装置１２を操作した際の入力情報に応じた機器内部の状態変化に関する操作時の機器内部の特徴量として検出するようにしてもよい。この場合には、例えば所定時間間隔で（例えば１秒毎に）「操作の戻り」が起こっているかどうかを判定し、連続して「操作の戻り」が起こったと判定した時間を「操作の戻り」の状況が継続した時間（操作の戻り状況継続時間）として検出し、操作の戻り状況継続時間をＲＡＭ１８ｄに記憶させることとする。

また、本実施の形態において、同様に、所定時間Ｔ６秒（例えば３０秒）経過しても操作ステージが次の操作ステージに移行しない状況（「操作の停滞」）を示す特徴量を、ユーザがカーナビゲーション装置１２を操作した際の入力情報に応じた機器内部の状態変化に関する操作時の機器内部の特徴量として検出するようにしてもよい。この場合には、所定時間Ｔ６秒（例えば３０秒）経過してから次の操作ステージに移行するまでの時間を、「操作の停滞」の状況が継続した時間（操作の停滞状況継続時間）として検出し、操作の停滞状況継続時間をＲＡＭ１８ｄに記憶させることとする。

すなわち、機器操作情報検出処理によって、カーナビゲーション装置１２内で処理を行う場合に、所定時間Ｔ４秒以上ユーザの操作が行われていない状況を示す特徴量、所定時間Ｔ５秒以内に所定回数Ｎ以上の操作が行われた状況を示す特徴量、及び所定時間Ｔ６秒経過しても操作ステージが次の操作ステージに移行しない状況を示す特徴量の少なくとも１つを、操作時の機器内部の特徴量として検出するようにしてもよい。この場合には、この少なくとも１つの状況を示す特徴量を操作時の機器内部の特徴量として困惑度推定データベース２６に登録しておくとよい。

次に、首かしげ検出処理について、図１６を参照して説明する。

まず、ステップ８００で、ユーザ顔撮影用カメラ１４からの画像データに対して、公知の技術（例えば、特開２０００−９７６７６号公報に記載の技術）を適用することにより、ユーザ顔撮影用カメラ１４からの画像データから、ユーザの顔向き（ピッチ角、ヨー角、ロール角θ４）を検出する。なお、ステップ８００では、ロール角θ４のみを検出するようにしてもよい。

次のステップ８０２では、上記ステップ８００で検出したロール角θ４が、（θ_ｎ±θ_ｔｈ）の範囲内であるか否かを判定する。ここで、θ_ｎは予め求めておいたユーザのニュートラルな状態における顔向きのロール角である。また、θ_ｔｈは所定の閾値であり、例えば１５度である。なお、ロール角θ４が、（θ_ｎ±θ_ｔｈ）の範囲内でない（すなわち範囲外である）と判定された場合には、ユーザの顔はニュートラルの状態から所定角度θ_ｔｈ以上傾いている状況であり、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの顔の向きに関する特徴量として、ユーザの顔がニュートラルの状態から所定角度θ_ｔｈ以上傾いている状況（「首かしげ」）を示す特徴量が検出されたと判断することができる。

ステップ８０２で、ロール角θ４が、（θ_ｎ±θ_ｔｈ）の範囲内でない（すなわち範囲外である）と判定された場合には、ユーザの顔はニュートラルの状態から所定角度θ_ｔｈ以上傾いている状況であり、「首かしげ」の状況であると判断して、次のステップ８０４へ進む。

ステップ８０４では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されている所定数のビット（例えば１ビット）のフラグである「首かしげ」検出フラグ（図示しない）の値を１に設定することにより、「首かしげ」検出フラグをオンにする。なお、初期段階では「首かしげ」検出フラグの値は０に設定されており、「首かしげ」検出フラグの値が０に設定されている場合には、「首かしげ」検出フラグはオフとなる。ここで、本実施の形態では、「首かしげ」検出フラグがオンになった場合には、「首かしげ」の状況が検出されたと判断することができる。そして、次のステップ８０６へ進む。

ステップ８０６では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されているカウンタであり、計測された時間を記憶（保持）するためのカウンタである「首かしげ」検出継続時間カウンタ（図示しない）の値を加算更新することにより、「首かしげ」検出フラグがオンになってから当該ステップ８０６を実行するまでの時間を「首かしげ」検出継続時間カウンタに記憶させる。より具体的に説明すると、例えば、１秒間隔で（１秒毎に）首かしげ検出処理が実行された場合には、ステップ８０６では、１秒毎に「首かしげ」検出継続時間カウンタの値が加算更新される。これにより、「首かしげ」検出フラグがオンになってから当該ステップ８０６を実行するまでの時間が「首かしげ」検出継続時間カウンタに記憶される。そして、首かしげ検出処理を終了する。

一方、ステップ８０２で、ロール角θ４が、（θ_ｎ±θ_ｔｈ）の範囲内であると判定された場合には、次のステップ８０８へ進む。

ステップ８０８では、「首かしげ」検出継続時間カウンタの値が示す時間が、０秒より大きいか否かを判定する。

ステップ８０８で、「首かしげ」検出継続時間カウンタの値が示す時間が、０秒より大きいと判定された場合には、次のステップ８１０へ進む。ステップ８１０では、「首かしげ」検出継続時間カウンタの値が示す時間を、「首かしげ」の状況が継続した時間（首かしげ状況継続時間）として検出すると共に、検出された首かしげ状況継続時間を、詳細を以下で説明するステップ１０６で用いるために、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶させる。これにより、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に首かしげ状況継続時間が記憶される。そして、次のステップ８１２へ進む。また、ステップ８０８で、「首かしげ」検出継続時間カウンタの値が示す時間が、０秒であると判定された場合には、次のステップ８１２へ進む。

ステップ８１２では、「首かしげ」検出継続時間カウンタの値をクリアする（０に設定する）。そして、ステップ８１４へ進む。ステップ８１４では、「首かしげ」検出フラグの値を０に設定することにより、「首かしげ」検出フラグをオフにする。そして、首かしげ検出処理を終了する。

以上、首かしげ検出処理について説明した。首かしげ検出処理によれば、例えば、図１７に示すように、時刻ｔ１３〜ｔ１４で、ロール角θ４が（θ_ｎ±θ_ｔｈ）の範囲内でない状況である場合には、時刻ｔ１３から時刻ｔ１４まで、「首かしげ」検出フラグがオンとなるため、時刻ｔ１３〜ｔ１４間を「首かしげ」の状況として検出すると共に、時刻ｔ１３〜ｔ１４間の時間を首かしげ状況継続時間として検出する。

次に、顔接近検出処理について図１８を参照して説明する。

まず、ステップ９００で、ユーザ顔撮影用カメラ１４からの画像データに基づいて、顔画像を抽出する。ステップ９００では、例えば、テンプレートマッチング法による画像処理により画像データが表す画像の中から顔画像を検索することにより、顔画像を抽出することができる。

次のステップ９０２では、上記ステップ９００で抽出された顔画像の画像データに基づいて、顔画像の顔の幅（顔幅）Ｗを検出する。

次のステップ９０４では、上記ステップ９０２で検出された顔幅Ｗが、ユーザがニュートラルの状態の位置に存在している場合にユーザ顔撮影用カメラ１４によって予め撮影されたユーザの顔画像の顔幅Ｗ_ｎと、所定値Ｍ（例えば１．２）との積（Ｗ_ｎ・Ｍ）以上であるか否かを判定する。ここで、所定値Ｍは、例えば、ユーザが困惑している場合に、ユーザがカーナビゲーション装置１２の表示装置２４の画面を注視するために表示装置２４の画面に近づいて、表示装置２４の画面の前方の所定の空間内に存在したときのユーザ顔撮影用カメラ１４によって予め撮影されたユーザの顔画像の顔幅Ｗ_ｂを、上記の顔幅Ｗ_ｎで割った値（Ｗ_ｂ／Ｗ_ｎ）である。なお、顔幅Ｗが、（Ｗ_ｎ・Ｍ）以上であると判定された場合には、ユーザの顔は表示装置２４の画面の前方の所定の空間内に存在している状況であり、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの顔の位置に関する特徴量として、ユーザの顔が表示装置２４の画面の前方の所定の空間内に存在している状況（「顔接近」）を示す特徴量が検出されたと判断することができる。

ステップ９０４で、顔幅Ｗが、（Ｗ_ｎ・Ｍ）以上であると判定された場合には、ユーザの顔が表示装置２４の画面の前方の所定の空間内に存在している状況であり、「顔接近」の状況であると判断して、次のステップ９０６へ進む。

ステップ９０６では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されている所定数のビット（例えば１ビット）のフラグである「顔接近」検出フラグ（図示しない）の値を１に設定することにより、「顔接近」検出フラグをオンにする。なお、初期段階では「顔接近」検出フラグの値は０に設定されており、「顔接近」検出フラグの値が０に設定されている場合には、「顔接近」検出フラグはオフとなる。ここで、本実施の形態では、「顔接近」検出フラグがオンになった場合には、「顔接近」の状況が検出されたと判断することができる。そして、次のステップ９０８へ進む。

ステップ９０８では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されているカウンタであり、計測された時間を記憶（保持）するためのカウンタである「顔接近」検出継続時間カウンタ（図示しない）の値を加算更新することにより、「顔接近」検出フラグがオンになってから当該ステップ９０８を実行するまでの時間を「顔接近」検出継続時間カウンタに記憶させる。より具体的に説明すると、例えば、１秒間隔で（１秒毎に）顔接近検出処理が実行された場合には、ステップ９０８では、１秒毎に「顔接近」検出継続時間カウンタの値が加算更新される。これにより、「顔接近」検出フラグがオンになってから当該ステップ９０８を実行するまでの時間が「顔接近」検出継続時間カウンタに記憶される。そして、顔接近検出処理を終了する。

一方、ステップ９０４で、顔幅Ｗが、（Ｗ_ｎ・Ｍ）未満であると判定された場合には、には、次のステップ９１０へ進む。

ステップ９１０では、「顔接近」検出継続時間カウンタの値が示す時間が、０秒より大きいか否かを判定する。

ステップ９１０で、「顔接近」検出継続時間カウンタの値が示す時間が、０秒より大きいと判定された場合には、次のステップ９１２へ進む。ステップ９１２では、「顔接近」検出継続時間カウンタの値が示す時間を、「顔接近」の状況が継続した時間（顔接近状況継続時間）として検出すると共に、検出された顔接近状況継続時間を、詳細を以下で説明するステップ１０６で用いるために、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶させる。これにより、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に顔接近状況継続時間が記憶される。そして、次のステップ９１４へ進む。また、ステップ９１０で、「顔接近」検出継続時間カウンタの値が示す時間が、０秒であると判定された場合には、次のステップ９１４へ進む。

ステップ９１４では、「顔接近」検出継続時間カウンタの値をクリアする（０に設定する）。そして、ステップ９１６へ進む。ステップ９１６では、「顔接近」検出フラグの値を０に設定することにより、「顔接近」検出フラグをオフにする。そして、顔接近検出処理を終了する。

以上、顔接近検出処理について説明した。顔接近検出処理によれば、例えば、図１９に示すように、時刻ｔ１５〜ｔ１６で、顔幅Ｗが、（Ｗ_ｎ・Ｍ）以上となる状況である場合には、時刻ｔ１５から時刻ｔ１６まで、「顔接近」検出フラグがオンとなるため、時刻ｔ１５〜ｔ１６間を「顔接近」の状況として検出すると共に、時刻ｔ１５〜ｔ１６間の時間を顔接近状況継続時間として検出する。

次に、困惑顔検出処理について図２０を参照して説明する。

まず、ステップ９５０で、ユーザ顔撮影用カメラ１４から画像データを複数取込む。

次のステップ９５２では、上記ステップ９５０で取込んだ複数の画像データに基づいて、ユーザの困惑した表情を検出するための公知の技術（例えば特開２００２−２５８６８２号公報記載の技術）を用いて、ユーザの顔が困惑した表情を示している場合には、ユーザの困惑した表情を検出する。

次のステップ９５４では、上記ステップ９５２でユーザの困惑した表情を検出したか否かを判定する。なお、ユーザの困惑した表情を検出したと判定された場合には、ユーザの顔の表情は困惑した表情を示している状況であり、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの顔の表情に関する特徴量として、ユーザの顔の表情が困惑した表情を示している状況（「困惑顔」）を示す特徴量が検出されたと判断することができる。

ステップ９５４で、上記ステップ９５２でユーザの困惑した表情を検出したと判定された場合には、ユーザの顔の表情が困惑した表情を示している状況であり、「困惑顔」の状況であると判断して、次のステップ９５６へ進む。

ステップ９５６では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されている所定数のビット（例えば１ビット）のフラグである「困惑顔」検出フラグ（図示しない）の値を１に設定することにより、「困惑顔」検出フラグをオンにする。なお、初期段階では「困惑顔」検出フラグの値は０に設定されており、「困惑顔」検出フラグの値が０に設定されている場合には、「困惑顔」検出フラグはオフとなる。ここで、本実施の形態では、「困惑顔」検出フラグがオンになった場合には、「困惑顔」の状況が検出されたと判断することができる。そして、次のステップ９５８へ進む。

ステップ９５８では、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶されているカウンタであり、計測された時間を記憶（保持）するためのカウンタである「困惑顔」検出継続時間カウンタ（図示しない）の値を加算更新することにより、「困惑顔」検出フラグがオンになってから当該ステップ９５８を実行するまでの時間を「困惑顔」検出継続時間カウンタに記憶させる。より具体的に説明すると、例えば、１秒間隔で（１秒毎に）顔接近検出処理が実行された場合には、ステップ９５８では、１秒毎に「困惑顔」検出継続時間カウンタの値が加算更新される。これにより、「困惑顔」検出フラグがオンになってから当該ステップ９５８を実行するまでの時間が「困惑顔」検出継続時間カウンタに記憶される。そして、困惑顔検出処理を終了する。

一方、ステップ９５４で、上記ステップ９５２でユーザの困惑した表情を検出していないと判定された場合には、次のステップ９６０へ進む。

ステップ９６０では、「困惑顔」検出継続時間カウンタの値が示す時間が、０秒より大きいか否かを判定する。

ステップ９６０で、「困惑顔」検出継続時間カウンタの値が示す時間が、０秒より大きいと判定された場合には、次のステップ９６２へ進む。ステップ９６２では、「困惑顔」検出継続時間カウンタの値が示す時間を、「困惑顔」の状況が継続した時間（困惑顔状況継続時間）として検出すると共に、検出された困惑顔状況継続時間を、詳細を以下で説明するステップ１０６で用いるために、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に記憶させる。これにより、ＲＡＭ１８ｄ（またはＨＤＤ１８ｂ）に困惑顔状況継続時間が記憶される。そして、次のステップ９６４へ進む。また、ステップ９６０で、「困惑顔」検出継続時間カウンタの値が示す時間が、０秒であると判定された場合には、次のステップ９６４へ進む。

ステップ９６４では、「困惑顔」検出継続時間カウンタの値をクリアする（０に設定する）。そして、ステップ９６６へ進む。ステップ９６６では、「困惑顔」検出フラグの値を０に設定することにより、「困惑顔」検出フラグをオフにする。そして、困惑顔検出処理を終了する。

以上、困惑顔検出処理について説明した。なお、上記では、ステップ１０２（より詳しくは指先ジェスチャー検出処理における指先の停滞検出処理、指先ジェスチャー検出処理における指先の右往左往検出処理、指先ジェスチャー検出処理における指先のふらつき検出処理、非操作発話検出処理、首かしげ検出処理、顔接近検出処理、及び困惑顔検出処理）で、ユーザの指先がカーナビゲーション装置１２のタッチパネル２２の前方の所定の空間内で所定時間Ｔ１秒以上静止している状況、ユーザの指先がこの所定の空間内で所定時間Ｔ２秒以上連続して移動している状況、ユーザの指先がこの所定の空間内で所定時間Ｔ３秒以上連続して存在している状況、困惑時に発話する語をユーザが発話した状況、ユーザの顔が表示装置２４の画面の前方の所定の空間内に存在している状況、ユーザの顔がニュートラルの状態から所定角度θ_ｔｈ以上傾いている状況、及びユーザの顔の表情が困惑した表情を示している状況の各状況を示す各特徴量を操作時のユーザの特徴量として検出することにより、各状況を検出する例について説明したが、本発明はこれに限られない。例えば、ステップ１０２（より詳しくは指先ジェスチャー検出処理における指先の停滞検出処理、指先ジェスチャー検出処理における指先の右往左往検出処理、指先ジェスチャー検出処理における指先のふらつき検出処理、非操作発話検出処理、首かしげ検出処理、顔接近検出処理、及び困惑顔検出処理の少なくとも１つの検出処理）で、ユーザの指先がカーナビゲーション装置１２のタッチパネル２２の前方の所定の空間内で所定時間Ｔ１秒以上静止している状況、ユーザの指先がこの所定の空間内で所定時間Ｔ２秒以上連続して移動している状況、ユーザの指先がこの所定の空間内で所定時間Ｔ３秒以上連続して存在している状況、困惑時に発話する語をユーザが発話した状況、ユーザの顔が表示装置２４の画面の前方の所定の空間内に存在している状況、ユーザの顔がニュートラルの状態から所定角度θ_ｔｈ以上傾いている状況、及びユーザの顔の表情が困惑した表情を示している状況の少なくとも１つの状況を示す特徴量を、操作時のユーザの特徴量として検出するようにしてもよい。この場合には、この少なくとも１つの状況を示す特徴量を操作時のユーザの特徴量として困惑度推定データベース２６に登録しておくとよい。

ここで、図７に示された困惑度推定処理の説明に戻る。次のステップ１０４では、上記ステップ１０２における各検出処理によって検出された各特徴量（上記の例では、「指先の停滞」、「指先の右往左往」、「指先のふらつき」、「困惑発話」、「無操作」、「操作の戻り」、「操作の停滞」、「首かしげ」、「顔接近」、及び「困惑顔」の各状況を示す各特徴量）２８に対応する各ＩＤ３０を困惑度推定データベース２６から取得する。

次のステップ１０６では、上記ステップ１０４で取得された各ＩＤ３０と、この各ＩＤ３０が示す各特徴量２８に対応する、上記ステップ１０２における各検出処理によって検出された各継続時間（上記の例では、指先の停滞状況継続時間、指先の右往左往状況継続時間、指先のふらつき状況継続時間、困惑発話状況継続時間、無操作状況継続時間、操作の戻り状況継続時間、操作の停滞状況継続時間、首かしげ状況継続時間、顔接近状況継続時間、及び困惑顔状況継続時間）３２との組を履歴としてＨＤＤ１８ｂに記憶する。

次のステップ１０８では、ＨＤＤ１８ｂに記憶された履歴内容が、困惑度推定データベース２６に時系列パターン３６として登録されているか否かを判定する。なお、ステップ１０８では、履歴内容をキーとして困惑度推定データベース２６に検索をかけることにより、履歴内容が困惑度推定データベース２６に時系列パターン３６として登録されているか否かを判定することができる。

ステップ１０８で、履歴内容が困惑度推定データベース２６に時系列パターン３６として登録されていないと判定された場合には、ユーザは困惑していないと判断して（ユーザが困惑している状況ではないと判断して）、困惑度推定処理を終了する。

一方、ステップ１０８で、履歴内容が困惑度推定データベース２６に時系列パターン３６として登録されていると判定された場合には、次のステップ１１０へ進む。

ステップ１１０では、履歴内容に対応する時系列パターン３６に対応する困惑度３８を困惑度推定データベース２６から取得する。

そして、次のステップ１１２では、上記ステップ１１０で取得した困惑度３８をユーザの困惑度とすることにより、ユーザの困惑度を推定する。そして、困惑度推定処理を終了する。

一方、ステップ１１４では、上記の各フラグ（指先領域内フラグ、指先移動中フラグ、指先静止中フラグ、「指先の停滞」検出フラグ、「指先の右往左往」検出フラグ、「指先のふらつき」検出フラグ、「無操作」検出フラグ、「首かしげ」検出フラグ、「顔接近」検出フラグ、「困惑顔」検出フラグ）の値を０に設定することにより、各フラグをオフ（ＯＦＦ）にする。また、ステップ１１４では、上記の各カウンタ（指先領域内時間カウンタ、指先移動中時間カウンタ、指先静止中時間カウンタ、「指先の停滞」検出継続時間カウンタ、「指先の右往左往」検出継続時間カウンタ、「指先のふらつき」検出継続時間カウンタ、無操作中時間カウンタ、「無操作」検出継続時間カウンタ、「首かしげ」検出継続時間カウンタ、「顔接近」検出継続時間カウンタ、「困惑顔」検出継続時間カウンタ）の値をクリアする（０に設定する）。そして、困惑度推定処理を終了する。

なお、ステップ１００、１０２（より詳しくは機器操作情報検出処理）は、例えば、第１の検出手段７０で実行され、ステップ１０２（より詳しくは指先ジェスチャー検出処理、非操作発話検出処理、首かしげ検出処理、顔接近検出処理、及び困惑顔検出処理）は、例えば、第２の検出手段７２で実行され、ステップ１０４〜１１４は、例えば、推定手段７６で実行される。

以上、本実施の形態の困惑度推定装置１０について説明した。本実施の形態の困惑度推定装置１０は、記憶手段としてのＨＤＤ１８ｂを備えている。このＨＤＤ１８ｂには、操作時の機器内部の特徴量２８ａまたは２８ｂ及びこの特徴量２８ａまたは２８ｂが示すユーザの困惑状況の継続時間３２の組３４、並びに操作時のユーザの特徴量２８ｃまたは２８ｄ及びこの特徴量２８ｃまたは２８ｄが示すユーザの困惑状況の継続時間３２の組３４の少なくとも一方の組３４の複数のパターン（時系列パターン）３６の各々に対して、ユーザがカーナビゲーション装置１２を操作する際の操作に関する困惑度３８が予め記憶されている。

本実施の形態の困惑度推定装置１０によれば、ステップ１０２（より詳しくは機器操作情報検出処理）で、ユーザが操作対象機器としてのカーナビゲーション装置１２を操作した際の入力情報及びこの入力情報に応じた機器内部の状態変化に関し、かつユーザの困惑状況を示す操作時の機器内部の特徴量２８ａまたは２８ｂ、及びこの操作時の機器内部の特徴量２８ａまたは２８ｂが示すユーザの困惑状況の継続時間３２を検出する。また、ステップ１０２（より詳しくは指先ジェスチャー検出処理、非操作発話検出処理、首かしげ検出処理、顔接近検出処理、及び困惑顔検出処理）で、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの動作及び表情に関し、かつユーザの困惑状況を示す操作時のユーザの特徴量２８ｃまたは２８ｄ、及びこの操作時のユーザの特徴量２８ｃまたは２８ｄが示すユーザの困惑状況の継続時間３２を検出する。そして、ステップ１０４〜１１４の処理によって、ステップ１０２で検出された特徴量２８ａ〜２８ｄ及び継続時間３２の組３４、並びにＨＤＤ１８ｂに記憶された内容に基づいて、検出された特徴量２８ａ〜２８ｄ及び継続時間３２の組３４のパターン３６に対する困惑度３８をユーザの困惑度として推定する。

従って、本実施の形態の困惑度推定装置１０によれば、ユーザの困惑度を網羅的に推定することができ、ユーザの困惑度を精度良く推定することができる。

なお、困惑度推定装置１０に、ユーザの操作を支援する支援装置を組み合わせることで、例えば、推定されたユーザの困惑度に応じて、ユーザがあまり困っていないと判断できる場合には操作のヒントを出すだけに留め、ユーザがとても困っていると判断できる場合には操作ウィザードのような時間はかかるかもしれないが確実に操作を完了できる誘導を行うなど、ユーザ主導とシステム主導とを適切に切替えることでユーザに対して気の利いた操作性の提供が可能となる。

また、本実施の形態の困惑度推定装置１０単体を、操作対象機器の操作性をリアルタイムに評価するツールとして活用することができる。

なお、上記では、困惑度推定装置１０が統計的パターン認識手法によってユーザの困惑度を推定する例について説明したが、ニューラルネットワークやサポートベクトルマシンなどの機械学習によってユーザの困惑度を推定するようにしてもよい。

また、以下のように困惑度推定装置１０が動作するようにしてもよい。すなわち、ステップ１０２（より詳しくは機器操作情報検出処理）で、ユーザが操作対象機器としてのカーナビゲーション装置１２を操作した際の入力情報及びこの入力情報に応じた機器内部の状態変化の少なくとも一方に関し、かつユーザの困惑状況を示す操作時の機器内部の特徴量２８ａまたは２８ｂ、及びこの操作時の機器内部の特徴量２８ａまたは２８ｂが示すユーザの困惑状況の継続時間３２を検出するようにしてもよく、また、ステップ１０２（より詳しくは指先ジェスチャー検出処理、非操作発話検出処理、首かしげ検出処理、顔接近検出処理、及び困惑顔検出処理）で、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの動作及び表情の少なくとも一方に関し、かつユーザの困惑状況を示す操作時のユーザの特徴量２８ｃまたは２８ｄ、及びこの操作時のユーザの特徴量２８ｃまたは２８ｄが示すユーザの困惑状況の継続時間３２を検出するようにしてもよい。

また、本実施の形態では、各状況の継続時間３２を検出して、ユーザの困惑度を推定する際に、その検出された継続時間３２を考慮する例について説明したが、このような継続時間３２を検出せずに、ユーザの困惑度を推定する際に、特徴量の時系列パターンのみを考慮するようにしてもよい。この場合には、困惑度推定装置１０の構成及び動作は以下のようになる。

例えば、困惑度推定装置１０のＨＤＤ１８ｂには、操作時の機器内部の特徴量２８ａまたは２８ｂ、及び操作時のユーザの特徴量２８ｃまたは２８ｄの少なくとも一方の特徴量２８の複数のパターン（時系列パターン）３６の各々に対して、ユーザがカーナビゲーション装置１２を操作する際の操作に関する困惑度３８が予め記憶される。そして、困惑度推定装置１０は、ステップ１０２（より詳しくは機器操作情報検出処理）で、ユーザが操作対象機器としてのカーナビゲーション装置１２を操作した際の入力情報及びこの入力情報に応じた機器内部の状態変化に関する操作時の機器内部の特徴量２８ａまたは２８ｂを検出する。また、困惑度推定装置１０は、ステップ１０２（より詳しくは指先ジェスチャー検出処理、非操作発話検出処理、首かしげ検出処理、顔接近検出処理、及び困惑顔検出処理）で、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの動作及び表情に関する操作時のユーザの特徴量２８ｃまたは２８ｄを検出する。そして、ステップ１０４〜１１４の処理によって、ステップ１０２で検出された特徴量２８ａ〜２８ｄ、及びＨＤＤ１８ｂに記憶された内容に基づいて、検出された特徴量２８ａ〜２８ｄのパターン３６に対する困惑度３８をユーザの困惑度として推定する。なお、このとき、ステップ１０２（より詳しくは機器操作情報検出処理）で、ユーザが操作対象機器としてのカーナビゲーション装置１２を操作した際の入力情報及びこの入力情報に応じた機器内部の状態変化の少なくとも一方に関する操作時の機器内部の特徴量２８ａまたは２８ｂを検出し、また、ステップ１０２（より詳しくは指先ジェスチャー検出処理、非操作発話検出処理、首かしげ検出処理、顔接近検出処理、及び困惑顔検出処理）で、ユーザがカーナビゲーション装置１２を操作する前及び操作中のユーザの動作及び表情の少なくとも一方に関する操作時のユーザの特徴量２８ｃまたは２８ｄを検出してもよい。

本実施の形態に係る困惑度推定装置を示す図である。 本実施の形態に係る困惑度推定データベースの模式図である。 本実施の形態に係る操作ステージを模式的に表した図である。 本実施の形態に係るユーザ困惑時発話データベースの模式図である。 本実施の形態に係るコンピュータの機能ブロック図である。 本実施の形態に係るタッチパネル近傍撮影用カメラの配置位置及び撮影画像を説明するための図である。 本実施の形態に係る困惑度推定装置が実行する困惑度推定処理のフローチャートを示す図である。 本実施の形態に係る困惑度推定装置が実行する指先ジェスチャー検出処理のフローチャートを示す図である。 本実施の形態に係る困惑度推定装置が実行する指先の停滞検出処理のフローチャートを示す図である。 本実施の形態に係る困惑度推定装置が実行する指先の右往左往検出処理のフローチャートを示す図である。 本実施の形態に係る困惑度推定装置が実行する指先のふらつき検出処理のフローチャートを示す図である。 本実施の形態に係る困惑度推定装置が実行する指先ジェスチャー検出処理を説明するための図である。 本実施の形態に係る困惑度推定装置が実行する非操作発話検出処理のフローチャートを示す図である。 本実施の形態に係る困惑度推定装置が実行する機器操作情報検出処理のフローチャートを示す図である。 本実施の形態に係る困惑度推定装置が実行する機器操作情報検出処理を説明するための図である。 本実施の形態に係る困惑度推定装置が実行する首かしげ検出処理のフローチャートを示す図である。 本実施の形態に係る困惑度推定装置が実行する首かしげ検出処理を説明するための図である。 本実施の形態に係る困惑度推定装置が実行する顔接近検出処理のフローチャートを示す図である。 本実施の形態に係る困惑度推定装置が実行する顔接近検出処理を説明するための図である。 本実施の形態に係る困惑度推定装置が実行する困惑顔検出処理のフローチャートを示す図である。

符号の説明

１０ 困惑度推定装置
１２ カーナビゲーション装置１２
１４ ユーザ顔撮影用カメラ
１６ タッチパネル近傍撮影用カメラ
１８ コンピュータ
１８ｂ ＨＤＤ
１８ｃ ＣＰＵ
２０ マイク
２２ タッチパネル
２４ 表示装置

Claims (6)

1. ユーザが操作対象機器を操作した際の入力情報及び該入力情報に応じた機器内部の状態変化の少なくとも一方に関する操作時の機器内部の特徴量を検出する第１の検出手段と、
   ユーザが前記操作対象機器を操作する前及び操作中のユーザの動作及び表情の少なくとも一方に関する操作時のユーザの特徴量を検出する第２の検出手段と、
   前記操作時の機器内部の特徴量及び前記操作時のユーザの特徴量の少なくとも一方の特徴量の複数のパターンの各々に対して、ユーザが操作対象機器を操作する際の操作に関する困惑度を予め記憶した記憶手段と、
   前記第１の検出手段及び前記第２の検出手段で検出された特徴量、及び前記記憶手段に記憶された内容に基づいて、検出された特徴量のパターンに対する困惑度をユーザの困惑度として推定する推定手段と、
   を含む困惑度推定装置。
2. ユーザが操作対象機器を操作した際の入力情報及び該入力情報に応じた機器内部の状態変化の少なくとも一方に関し、かつユーザの困惑状況を示す操作時の機器内部の特徴量、及び該操作時の機器内部の特徴量が示すユーザの困惑状況の継続時間を検出する第１の検出手段と、
   ユーザが前記操作対象機器を操作する前及び操作中のユーザの動作及び表情の少なくとも一方に関し、かつユーザの困惑状況を示す操作時のユーザの特徴量、及び該操作時のユーザの特徴量が示すユーザの困惑状況の継続時間を検出する第２の検出手段と、
   前記操作時の機器内部の特徴量及び該操作時の機器内部の特徴量が示すユーザの困惑状況の継続時間の組、並びに前記操作時のユーザの特徴量及び該操作時のユーザの特徴量が示すユーザの困惑状況の継続時間の組の少なくとも一方の組の複数のパターンの各々に対して、ユーザが操作対象機器を操作する際の操作に関する困惑度を予め記憶した記憶手段と、
   前記第１の検出手段及び前記第２の検出手段で検出された特徴量及び継続時間の組、並びに前記記憶手段に記憶された内容に基づいて、検出された特徴量及び継続時間の組のパターンに対する困惑度をユーザの困惑度として推定する推定手段と、
   を含む困惑度推定装置。
3. 前記第２の検出手段は、ユーザが前記操作対象機器を操作する前及び操作中のユーザの指先の位置及び動作に関する特徴量、ユーザの発話に関する特徴量、並びにユーザの顔の位置、向き、及び表情の少なくとも１つに関する特徴量の少なくとも１つを前記操作時のユーザの特徴量として検出する請求項１または請求項２記載の困惑度推定装置。
4. 前記第１の検出手段は、前記操作対象機器内で処理を行う場合にユーザの操作が必要な時間帯において所定時間以上ユーザの操作が行われていない状況、該ユーザの操作が必要な時間帯において必要な操作回数を超える回数の操作が行われた状況、及び該ユーザの操作が必要な時間帯において所定時間経過しても操作ステージが次の操作ステージに移行しない状況の少なくとも１つを、前記操作時の機器内部の特徴量として検出し、
   前記記憶手段は、前記第１の検出手段で検出される前記少なくとも１つの状況を前記操作時の機器内部の特徴量として記憶した請求項１〜請求項３の何れか１項記載の困惑度推定装置。
5. 前記第２の検出手段は、ユーザの指先が前記操作対象機器の操作部の前方の空間内で所定時間以上静止している状況、ユーザの指先が前記空間内で所定時間以上連続して移動している状況、ユーザの指先が前記空間内で所定時間以上連続して存在している状況、困惑時に発話する語をユーザが発話した状況、ユーザの顔が前記操作対象機器の表示部の前方の所定の空間内に存在する状況、ユーザの顔が所定角度以上傾いている状況、及びユーザの顔の表情が困惑した表情を示している状況の少なくとも１つの状況を前記操作時のユーザの特徴量として検出し、
   前記記憶手段は、前記第２の検出手段で検出される前記少なくとも１つの状況を前記操作時のユーザの特徴量として記憶した請求項１〜請求項４の何れか１項記載の困惑度推定装置。
6. コンピュータを、請求項１〜請求項５の何れか１項記載の困惑度推定装置における前記第１の検出手段、前記第２の検出手段、及び前記推定手段として機能させるためのプログラム。

Images