JP2008003816A - 操作誘導装置及び操作誘導方法 - Google Patents

Abstract

【課題】機器の利用者にとって真に必要な場合にだけ機器操作を誘導する操作誘導装置を提供する。
【解決手段】機器操作のための操作メニューを表示する表示部２と、操作メニューにおける操作対象の領域を特定する情報である操作対象領域情報を格納している操作対象領域情報格納部３と、利用者の顔を映し出した映像信号を取得する映像信号取得部５と、取得された映像信号が示す画像から利用者の顔画像を切り出し、切り出した顔画像における眼球の運動を解析し、その解析結果と操作対象領域情報とから、利用者が注視している操作対象を特定するとともに、利用者が操作対象を集中して注視しているか否かを示す注視状態を推定し、利用者が操作対象を集中して注視していると推定され、かつ、操作対象に対する操作が行われない場合に、操作対象に対する操作を誘導するための表示制御を表示部２に対して行う映像信号処理部４とを備える。
【選択図】図２

Description

本発明は、利用者による機器操作を誘導する操作誘導装置に関する。

近年、機器が多機能となり複合機化、システム化していく中、使用方法や手順が複雑化してきている。そこで、従来、ヘルプ機能やガイダンスなどを使用した操作誘導方式やそれを搭載した電子機器が開示されている（例えば、特許文献１参照）。

特許文献１に開示された操作誘導方式においては、キーボードもしくはポインティングデバイスの入力時間や誤入力時間間隔の計測によって機器の利用者の習熟度を解析し、解析した習熟度に応じて、利用者が次に行うべき作業について説明したダイアログを表示する頻度を可変にしている。これによって、利用者の機器操作を効率化しようとするものである。
特開平９−１５２９２６号公報

しかしながら、上記特許文献１に開示された操作誘導方式では、単に入力操作における所要時間に基づいてダイアログの表示頻度を可変にする方式であるために、入力操作における所要時間と操作の習熟度とが必ずしも対応しないケースまでも勘案され、必要でないケースにおいても操作の誘導が行われるという問題がある。

たとえば、機器の利用者は使用法を理解していているが意思決定や選択に時間がかかる場合や、次に行うべき作業が複数存在するためにシステムがどのダイアログを表示すべきかが入力時間だけからは判断できない場合などが想定されていない。そのために、必要でないケースにおいても操作の誘導が行われ、かえって煩わしさが増すという問題がある。

そこで、本発明は、このような状況に鑑みてなされたものであり、機器の利用者にとって真に必要な場合にだけ機器操作を誘導する操作誘導装置及び操作誘導方法を提供することを目的とする。

上記目的を達成するために、本発明に係る操作誘導装置は、利用者による機器操作を誘導する操作誘導装置であって、前記機器操作のための操作メニューを表示する表示手段と、前記操作メニューにおける操作対象の領域を特定する情報である操作対象領域情報を格納している操作対象領域情報格納手段と、前記利用者の顔を映し出した映像信号を取得する映像信号取得手段と、前記映像信号取得手段が取得した映像信号が示す画像から利用者の顔画像を切り出す画像切り出し手段と、前記画像切り出し手段によって切り出された顔画像における眼球の運動を解析する眼球運動解析手段と、前記眼球運動解析手段による解析結果と前記操作対象領域情報格納手段に格納された操作対象領域情報とから、利用者が注視している操作対象を特定するとともに、前記利用者が前記操作対象を集中して注視しているか否かを示す注視状態を推定する注視状況解析手段と、前記利用者が前記操作対象を集中して注視していると前記注視状況解析手段によって推定され、かつ、前記操作対象に対する操作が行われない場合に、前記操作対象に対する操作を誘導するための表示制御を前記表示手段に対して行う表示制御手段とを備えることを特徴とする。これにより、利用者が操作対象を集中して注視しているとき、つまり、機器操作をしようとしているときであって、かつ、操作が停滞しているときにだけ、操作誘導が行われ、機器の利用者にとって真に必要な場合にだけ機器操作が誘導される。

ここで、前記眼球運動解析手段は、前記利用者の視線方向を解析し、前記注視状況解析手段は、前記眼球運動解析手段によって解析された視線方向に表示される前記操作メニュー上の操作対象を、前記操作対象領域情報が示す操作対象の領域ごとの位置情報に基づいて特定することによって、前記利用者が注視している操作対象を特定するのが好ましい。

また、前記眼球運動解析手段は、前記利用者の瞬目率、瞼を閉じるのに要する時間、瞼を開くのに要する時間、及び、瞳孔径の少なくとも１つを解析し、前記注視状況解析手段は、前記眼球運動解析手段によって解析された瞬目率が予め定めた一定値以下である場合、瞼を閉じるのに要する時間が予め定めた一定値以下である場合、瞼を開くのに要する時間が予め定めた一定値以下である場合、又は、瞳孔径が予め定めた一定値よりも大きい場合に、前記利用者が前記操作対象を集中して注視していると判断するのが好ましい。

また、前記表示制御手段は、前記操作対象に対する操作を誘導するための表示制御として、前記操作対象を前記表示手段に表示する際のコントラスト、輝度、色調、表示サイズのうちの少なくとも１つを変更する第１の出力モードと、前記表示手段に所定のメッセージを表示する第２の出力モードと、前記第１又は第２の出力モードによる表示制御に音声メッセージを加えた第３の出力モードとを、前記注視状況解析手段によって推定された前記利用者の集中の程度に応じて、切り替える構成としてもよい。これにより、機器操作の習熟度に対応した丁寧さで操作誘導が行われ、様々な習熟度の利用者にとって煩わしさを感じることがない快適な操作誘導装置が実現される。

また、前記操作誘導装置はさらに、前記利用者がどのような操作をしようとしているかを推定する利用者意図推定手段を備え、前記表示制御手段は、前記注視状況解析手段によって特定された操作対象が前記利用者意図推定手段によって推定された操作に対応する操作対象と一致し、かつ、前記利用者が前記操作対象を集中して注視していると前記注視状況解析手段によって推定され、かつ、前記操作対象に対する操作が行われない場合に、前記表示制御を行う構成としてもよい。これにより、操作者が操作しようとしている対象に対して操作誘導が行われるので、より利用者の意図を反映した的確な操作誘導が可能となる。

ここで、前記操作対象領域情報格納手段はさらに、利用者の操作に関する意図と利用者の眼球運動を伴う行動上の特徴とを対応づけたテーブルである利用者意図理解支援用情報を格納し、前記利用者意図推定手段は、前記操作対象領域情報格納手段に格納された利用者意図理解支援用情報を参照することで、前記眼球運動解析手段で解析された利用者の眼球運動に対応する利用者の操作に関する意図を特定し、特定した意図を前記利用者の意図として推定するのが好ましい。

なお、本発明は、このような操作誘導装置として実現できるだけでなく、操作誘導方法として実現したり、その方法に含まれるステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体として実現することもできる。

本発明によれば、機器の利用者にとって真に必要な場合にだけ機器操作が誘導され、これにより、やり方が分かっているのにいちいち誘導するようなおせっかいなヘルプ等が回避され、煩わしさが改善されるので、機器操作における快適性が向上される。

また、機器操作の習熟度に応じた操作誘導が行われ、初心者にとっても熟練者にとっても煩わしくない操作インターフェースが実現される。

よって、本発明により、機器操作が適切に支援され、特に、電子機器の高機能化に伴って操作が複雑化してきた今日において、本発明の実用的価値は極めて高い。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。

図１は、本発明の第１の実施形態に係る操作誘導装置の適用例を示す図である。本実施の形態における操作誘導装置は、利用者による機器操作を誘導する装置であり、一例として、機器の利用者の顔を撮像するカメラ６や、操作用のリモコン８等を備えるテレビ７に組み込まれる形態で実現される。

図２は、本実施形態に係る操作誘導装置１の機能構成を示すブロック図である。本図に示されるように、操作誘導装置１は、表示部２、操作対象領域情報格納部３、映像信号処理部４及び映像信号取得部５を備えている。

表示部２は、機器操作のための操作メニュー等を表示するＬＣＤ、ＰＤＰ、有機ＥＬディスプレイ、ＣＲＴ等であり、図１におけるテレビ７の画面に対応する。

操作対象領域情報格納部３は、操作メニューにおける操作対象の領域を特定する情報である操作対象領域情報を格納しているメモリ等である。

映像信号取得部５は、機器の利用者の顔を映し出した映像信号を取得する処理部であり、図１におけるカメラ６に対応する。なお、カメラ６は、可視光カメラだけでなく、赤外線（あるいは近赤外光）カメラ等も含まれる。

映像信号処理部４は、映像信号取得部５により取得された映像信号をもとに、利用者の眼球運動を解析し、その解析結果に基づいて、使用者が真に操作の誘導を必要としているケースにだけ、その誘導のための表示制御を表示部２に対して行う処理部であり、ＣＰＵとプログラム等によって実現される。

図３は、図２における映像信号処理部４の詳細な機能構成を示すブロック図である。映像信号処理部４は、画像切り出し部４４、眼球運動解析部４３、注視状況解析部４２及び表示制御部４１を備えている。

画像切り出し部４４は、映像信号取得部５が取得した映像信号が示す画像から、輪郭処理等により、利用者の顔画像を切り出す処理部である。

眼球運動解析部４３は、画像切り出し部４４によって切り出された顔画像における眼球の運動（利用者の視線方向、視線移動軌跡、視線停留時間、輻輳・開散、瞬目率、瞬目の動特定（瞼を閉じるのに要する時間・瞼を開くのに要する時間）、瞳孔径、瞳孔の動特性（光量の変化が検出された時の瞳孔径の変化率）等）を解析する。

注視状況解析部４２は、眼球運動解析部４３による解析結果と操作対象領域情報格納部３に格納された操作対象領域情報とから、利用者が注視している操作対象を特定するとともに、利用者が操作対象を集中して注視しているか否かを示す注視状態を解析する。

表示制御部４１は、利用者が操作対象を集中して注視していると注視状況解析部４２によって推定され、かつ、その操作対象に対する操作が一定時間内に行われない場合に、その操作対象に対する操作を誘導するための表示制御を表示部２に対して行う処理部である。

なお、表示制御部４１は、利用者の操作の有無については、リモコン８による操作を監視することによって判断する。また、操作を誘導するための表示制御としては、操作対象を表示部２に表示する際のコントラスト、輝度、色調、表示サイズのうちの少なくとも１つを変更する、あるいは操作対象を強調表示（立体表示や点滅など）にする第１の出力モードと、表示部２に所定のメッセージを表示する第２の出力モードと、第１又は第２の出力モードによる表示制御に音声メッセージを加えた第３の出力モードとを、注視状況解析部４２によって推定された利用者の集中の程度に応じて、切り替えて実行する。

ここで、眼球運動解析部４３による眼球運動の解析の詳細、及び、眼球運動を解析する意義について説明する。

眼球運動解析部４３は、画像切り出し部４４で切り出された顔画像の中から視線方向の解析を行う。解析方法としては、図４と図５に示すように、水平方向と垂直方法の強膜（白め）と角膜（黒目）の位置関係や割合によって、表示部２（画面）上の点を同定する。通常、水平方向と垂直方向の眼球運動情報だけでは、視線方向は検出できるが、奥行きを検出できないので、眼球運動情報の中からさらに左右の眼の輻輳（いわゆる近くを見ている時の寄り眼の状態）や開散（遠くを見ている時に開き眼の状態）を検出して、３次元的な注視点を抽出する。輻輳・開散については、さらに精度を上げるために、予めキャリブレーションによって表示部２を見ているときの寄り眼・開き眼の程度を計測しておくことで、検出してもよい。

また、眼球運動解析部４３は、画像切り出し部４４が切り出した眼の付近の画像データから、眼の開き度合いを表す上下瞼の間隔（以下、「眼の開度」と称す）を計測する。そして、１フレームごとの眼の開度を計測し、図６に示されるような、目の開度の時間変化を示す波形（以下、「瞬目波形」と称す）を作成する。眼球運動解析部４３は、作成した瞬目波形から、単位時間当たりの瞬目の回数（瞬目率）や、瞬目の動特定（瞼を閉じるのに要する時間、瞼を開くのに要する時間）を算出する。

本実施形態では、操作誘導装置１が起動すると、カメラ（映像信号取得部５）が利用者の顔の撮像を開始する。操作誘導装置１の動作中は、例えば１分毎に、その直前１分間の利用者の映像を解析し、瞬目情報を用いて生理状態を推測する。そして、当該生理状態に応じて、画面の表示状態を変化させる。つまり、操作誘導装置１は、例えば１分毎に、利用者の生理状態に応じて画面の表示状態を変えていく。併せて、映像信号取得部５は、利用者の顔の撮像を開始する。撮像された画像データは、図示されないバッファに蓄積されていく。ここで、例えば、上述した近赤外光による画像においては、虹彩での反射率が高いため、瞳孔だけが暗く、虹彩は眼球の白目より若干暗い程度の明るさとなる。すなわち、近赤外光による画像では、瞳孔が一番暗く、次に、虹彩、白目、瞼などの皮膚の順に明るくなる。そのため、この明るさの差を利用して瞳孔や瞼等を識別することが可能となる。

生理状態の推定に瞬目情報を用いる理由は、次の通りである。つまり、例えば、テレビ観視時には、瞬目回数は顕著に低下する。しかも、テレビ番組が面白い、すなわち興味・関心の度合いが高いときほど瞬目が少なくなる。関心度の高いものを見ているときは、瞬目回数は少なくなる。また、緊張や作業が長時間続くと、瞼が重い、あるいは眼を開けているのがつらく感じられるようになる。このような場合、すなわち、疲労している状態のときは、瞼が閉じるまでの時間、あるいは瞼が開くまでの時間が有意に長くなる。また、眠くなってきたときや疲労しているときなど、意識水準や活動水準が低下している状態になると、１〜２秒間の間に数回の瞬目が連続的に発生（これは、瞬目群発と呼ばれる）するようになる。以上のような瞬目の特性を計測すれば、利用者がコンテンツに集中しているか、読み疲れてきているか、あるいは眠い状態なのか等を推定することができる。

また、瞳孔径の変動によっても、利用者の生理・心理状態が推定できる。光が眼に入ったときには瞳孔は小さくなり（対光反応と呼ばれる）、暗いところでは大きくなる。瞳孔径は、若年者では直径最小２ｍｍ、最大８ｍｍ程度まで変化する。一方、高齢者では、暗いところでも瞳孔径は若年者のようには大きくならず、最大６ｍｍ程度までである。また、対光反応についても、若年者と高齢者とでは、応答速度特性が異なり、高齢者のほうが反応が遅い。

瞳孔径の変化については、次の通りである。眼に入射する光の量が一定でも、瞳孔の大きさは低周波で揺らいでいる。そして、緊張時は瞳孔が大きく開いており（散瞳）、動揺も目立たない。しかし、疲労を感じてくる、あるいは、眠くなってくると、瞳孔は小さくなり（縮瞳）、動揺し始める。そして、疲れているほど、あるいは、眠いほど、動揺は大きくなる。また、関心があるものを見るときにも瞳孔は大きくなる。一方、退屈な写真や意味不明な抽象画等の関心の薄いものに対しては、瞳孔の大きさはほとんど変化しない。このように、瞳孔の変化は人間の心理状態を反映する。そのため、瞳孔径や瞳孔反応等を計測すれば、利用者の年齢層や対象物への関心度や疲労状態等を推定することができる。

図７は、以上のような瞬目情報及び瞳孔情報と生理・心理状態推定との相関関係をまとめて示したテーブルである。

本実施の形態では、眼球運動解析部４３で得られた眼球運動の解析結果を以下のように利用している。注視状況解析部４２は、眼球運動解析部４３によって解析された視線方向に表示される操作メニュー上の操作対象を、操作対象領域情報格納部３に格納された操作対象領域情報が示す操作対象の領域ごとの位置情報に基づいて特定することによって、利用者が注視している操作対象を特定する。

また、注視状況解析部４２は、眼球運動解析部４３によって解析された瞬目率が予め定めた一定値以下である場合、瞼を閉じるのに要する時間が予め定めた一定値以下である場合、瞼を開くのに要する時間が予め定めた一定値以下である場合、又は、瞳孔径が予め定めた一定値よりも大きい場合に、利用者が操作対象を集中して注視していると判断する。そして、表示制御部４１は、利用者が操作対象を集中して注視していると注視状況解析部４２によって推定され、かつ、操作対象に対する操作が行われない場合に、その操作対象に対する操作を誘導するための表示制御を表示部２に対して行う。これによって、機器の利用者にとって真に必要な場合にだけ機器操作を誘導することが可能となる。

なお、瞳孔径の変動は年齢などの要因も含めて個人差があるが、個人認証などで非常に精度の良い認証が可能な虹彩情報も同様のカメラからの映像信号で取得できるので、虹彩認証のメカニズムを眼球運動解析部４３に組み込めば、個人の変動率を考慮した、より精度の良い生理・心理状態の推定ができる。

次に、以上のように構成された本実施形態における操作誘導装置１の動作について説明する。なお、利用者の生理・心理状態の推定については、瞳孔径の変動のみでの生理・心理状態推定、瞬目率の変動のみでの生理・心理状態推定、及び、瞳孔径の変動と瞬目率の変化とからの生理・心理状態推定が存在するが、本実施形態では、両方の情報（瞳孔径の変動と瞬目率の変化）からの推定を行う場合を説明する。

図８は、映像信号処理部４の処理手順を示すフローチャートである。

まず、画像切り出し部４４は、映像信号取得部５から、取得された映像信号を受け取り（ステップＳ１１）、受け取った映像信号を用いて、例えば１フレーム毎に、抽出された画像情報から眼球運動情報の切り出しに必要な部分を抽出する（ステップＳ１２）。そして、眼球運動解析部４３は、切り出された情報から、眼球運動情報（視線方向、視線移動軌跡、視線停留時間、輻輳・開散、瞬目率、瞬目の動特定、瞳孔径、瞳孔の動特性等）を解析し、その結果を示す眼球運動情報を注視状況解析部４２に渡す（ステップＳ１３）。

続いて、注視状況解析部４２は、眼球運動解析部４３によって解析された視線方向に表示される操作メニュー上の操作対象を、操作対象領域情報格納部３に格納された操作対象領域情報が示す操作対象の領域ごとの位置情報に基づいて特定することによって、利用者が注視している操作対象を特定する（ステップＳ１４）。具体的には、注視状況解析部４２は、例えば、視線方向と一致する操作対象を特定し、特定した操作対象及びその付近において、一定時間以上の視線停留時間が存在したり、視線移動軌跡が描かれたりした場合に、操作対象を有効に特定できたと判断する。

その結果、操作対象を有効に特定できた場合には（ステップＳ１５でＹｅｓ）、注視状況解析部４２は、眼球運動解析部４３で得られた眼球運動情報に基づいて、利用者の注視状態が集中モード（集中して注視している状態）か非集中モード（集中していない状態）かのモード判定を行う（ステップＳ１６）。具体的には、以下の条件でモード判定を行う。

（１）計測された瞬目数≦２０
→視覚情報処理に熱中しており、集中モードと判定する。
（２）（瞬目数＞２０）＆（１〜２秒の間に数回の瞬目群発がある）
→覚醒水準が低下し、非集中モードと判定する。
（３）瞬目の動特性が有意に（一定のしきい値より）長い
→非集中モードと判定する。
（４）計測された瞳孔径≦３ｍｍ
→縮瞳しており、非集中モードと判定する。
（５）（瞳孔径＞５ｍｍ）
→散瞳しており、覚醒度が高く、集中モードと判定する。
（６）瞳孔の動特性が遅く（一定のしきい値より小さい）、かつ、若者瞳孔（２ｍｍ≦瞳孔径≦８ｍｍ）、かつ、縮瞳
→非集中モードと判定する。
（７）瞳孔の動特性が遅く（一定のしきい値より大きい）、かつ、老人瞳孔（瞳孔径≦６ｍｍ）、かつ、散瞳
→集中モードと判定する。

このとき、上記条件（１）〜（７）によって集中モード及び非集中モードと判定される結果が混在した場合には、注視状況解析部４２は、例えば、判定数の多い結果（集中モード／非集中モード）を採用する。

その結果、注視状況解析部４２によって注視状態が集中モードと判定された場合は（ステップＳ１７でＹｅｓ）、続いて、表示制御部４１は、操作対象に対する操作が行われたか否かを判断する（ステップＳ１８）。例えば、リモコン８による操作を監視することで、利用者が操作対象を集中して注視し始めてから一定時間内にその操作対象に対する操作を行ったか否かを判断する。

その結果、その操作対象に対する操作が行われなかった場合に（ステップＳ１８でＮｏ）、表示制御部４１は、誘導操作が必要なケースが発生していると判断し、その操作対象に対する操作の誘導のための表示制御を行う（ステップＳ１９）。このとき、表示制御部４１は、例えば、上記条件（１）〜（７）のうちの１個の条件によって集中モードと判定された場合には、操作対象を表示部２に表示する際のコントラスト、輝度、色調、表示サイズのうちの少なくとも１つを変更する、あるいは操作対象を強調表示（立体表示や点滅など）にする第１の出力モードで表示制御し、上記条件（１）〜（７）のうちの２個の条件によって集中モードと判定された場合には、表示部２に所定のメッセージを表示する第２の出力モードで表示制御し、上記条件（１）〜（７）のうちの３個以上の条件によって集中モードと判定された場合には、第１又は第２の出力モードによる表示制御に音声メッセージを加えた第３の出力モードで表示制御するというように、利用者の集中の程度に応じて出力モードを切り替える。

あるいは、出力モードの他の切り替え例として、例えば、第１の出力モードで操作対象を表示し、一定時間（５秒等）経過しても利用者が操作しない場合に第２の出力モードに切り替え、さらに一定時間（さらに５秒等）経過しても利用者が操作しない場合に第３の出力モードに切り替えるというように、操作が行われない時間の経過に伴ってより親切な出力モードに切り替えていく方式でもよい。

なお、操作対象が有効に特定されなかった場合（ステップＳ１５でＮｏ）、あるいは、注視状態が非集中モードであると判定された場合（ステップＳ１７でＮｏ）、あるいは、操作対象に対する操作が一定時間内に行われた場合（ステップＳ１８でＹｅｓ）には、操作の誘導が必要でないと判断され、特別な表示制御は行われず、表示部２には通常の操作メニュー等が表示されたままの状態となる。

このように、本実施形態における操作誘導装置１によれば、利用者の眼球運動に基づいて、利用者が操作対象を集中して注視しているにも拘わらず、その操作対象に対する操作が行われなかった場合、つまり、利用者が真に操作の誘導を必要としている場合が推定され、そのような場合にだけ、機器操作の誘導が行われる。これにより、機器操作のガイダンスやヘルプ機能についての煩わしさが解消される。

次に、本実施形態における操作誘導装置１の具体的な動作例について説明する。ここでは、テレビ７の番組選択を例として説明する。

まず、利用者のテレビ７に対する基本的な操作手順の流れを説明する。図９は、「番組表から見る」操作の流れを示すフローチャートである。図１０は、その操作を説明するためのリモコン８の外観図である。

番組表から見たい番組を選択する場合、利用者は、まず、見たい放送（放送の種別）を選ぶ（ステップＳ２１）。具体的には、図１０に示されるように、リモコン８の左側の縦に配列されている４つのボタンＢ１を選択することで、地上アナログ／地上ディジタル／ＢＳ／ＣＳのどれかに切り替える。

続いて、「番組表」のボタンＢ２を押す（ステップＳ２２）。これによって、テレビ７の画面が切り替わり、図１１に示されるような、番組表から見たい番組を選択するためのＧＵＩ表示例になる。

そこで、利用者は、「矢印」及び「決定」ボタンＢ３を用いて、番組表から見たい番組を選んで決定する（ステップＳ２３）。すると、選択された番組内容が表示される（ステップＳ２４）。

図１２は、操作対象領域情報格納部３に格納されている操作対象領域情報、つまり、表示部２（画面）上の注視点から注視対象となるＧＵＩ部品を同定するために必要な情報テーブルの例を示す図である。

図１１に示される表示例では、画面上の表示領域として、日付表示領域Ｒ１、番組表操作領域Ｒ２、日付変更領域Ｒ３、番組情報提示領域Ｒ４があり、各領域Ｒ１〜Ｒ４には、図１２に示されるテーブルのように、ＧＵＩ部品（操作対象）の「番号」、「画像領域名」、「表示画像アドレス」、「枚数」、「領域座標」、「リモコン対応キー」に関する情報が対応づけられている。

ここで、「画像領域名」には、日付表示領域、番組表操作領域、日付変更領域、番組表提示領域等の名前が格納されている。「表示画像アドレス」には、画面領域に表示された表示画像が格納されているメモリのアドレスが格納されている。「枚数」には、上記表示画像の枚数が格納されている。複数枚数の表示画像によって、ボタンを押した時の反転画像やアニメーション表示が可能になる。「領域座標」には、表示画像を表示する表示部２（画面）上の座標が格納されている。「リモコン対応キー」には、画面領域に対応するリモコン８のボタンやキーのＩＤと個数が格納されている。

これらの情報により、表示画面とリモコン８のボタンとが動的に対応付けられる。例えば、図１３に、番組表から見たい番組を選んで決定する操作で使用されるリモコン８のボタンと操作対象との対応関係の例を示す。リモコン８には、日付変更領域Ｒ３の操作用ボタンＢ４、番組表操作領域Ｒ２の操作用ボタンＢ５、番組情報提示領域Ｒ４の操作用ボタンＢ３が存在するが、画面表示されているＧＵＩの位置と必ずしも一致した位置には配置されていない。

次に、上述した番組選択における操作手順において、操作の誘導が必要とされる確率が高い手順、つまり、利用者が戸惑いがちな手順の例を説明する。ここでは、そのような手順の例として、「今日の番組表」から「明日の番組表」に切り替える操作の流れを示すフローチャート（利用者が操作手順を戸惑うことなくスムーズに実行した場合）を図１４に示す。図１５は、その操作を説明するためのリモコン８の外観図である。

利用者は、図１２に示される番組表から、見たい番組を選択するためのＧＵＩ表示画面上の日付変更領域Ｒ３に注視対象を移す（ステップＳ３１）。続いて、利用者は、翌日ボタン（図１５に示される黄色いボタンＢ４１）を注視し確認した後に（ステップＳ３２）、リモコン８の黄色いボタンＢ４１を押す（ステップＳ３３）。そして、利用者は、番組表が翌日の情報に更新されたことを確認する（ステップＳ３４）。

次に、このような「今日の番組表」から「明日の番組表」への切り替え操作における本実施形態の操作誘導装置１の具体的な動作について説明する。

図１６は、利用者が「今日の番組表」から「明日の番組表」に切り替える操作における操作誘導装置１の動作手順を示すフローチャートである。

まず、注視状況解析部４２は、操作対象を特定する（ステップＳ４１）。ここでは、注視状況解析部４２は、眼球運動解析部４３による眼球運動の解析結果（視線方向等）と操作対象領域情報格納部３に格納された操作対象領域情報とを照合することで、利用者の注視対象が表示部２に表示された日付変更領域Ｒ３であることを特定する。

続いて、注視状況解析部４２は、注視状態が集中モードであるかどうかを判定する（ステップＳ４２）。その結果、注視状態が集中モードでない（非集中モードである）と判定された場合には（ステップＳ４２でＮｏ）、この手順における操作誘導が不要であると判断し、特別な操作誘導は行われない。一方、注視状態が集中モードであると判定された場合には（ステップＳ４２でＹｅｓ）、表示制御部４１は、続いて、日付変更領域Ｒ３に対する操作、つまり、翌日ボタン（リモコン８の黄色いボタンＢ４１）が押されたか否か判断する（ステップＳ４３）。

その結果、翌日ボタンが押された場合には（ステップＳ４３でＹｅｓ）、番組表が翌日の情報に更新されるが（ステップＳ４５）、一方、翌日ボタンが押されない場合には（ステップＳ４３でＮｏ）、表示制御部４１は、表示部２に表示された日付変更領域Ｒ３に注視対象を移すように操作誘導を行う（ステップＳ４４）。操作誘導として、日付表示領域Ｒ１の強調表示（アニメーション、色変化、矢印等）や音声案内などを行う。具体的には、図１７の表示例に示されるように、利用者の集中の程度に応じて、リモコン８上の日付変更領域（黄色いボタンＢ４１）に利用者が注視対象を移すように、表示部２にリモコン８の画像を表示し、表示したリモコン上の黄色いボタンに操作誘導するために日付表示領域Ｒ１を強調表示（アニメーション、色変化、矢印等の表示）するか、音声で「リモコンの黄色いボタンを押してください」などの音声案内を行う。

このとき、図１７に示される「今日の番組表」から「明日の番組表」に切り替える操作誘導の複数段階による２重画面の表示例のように、表示制御部４１は、（１）第１段階として、日付変更領域Ｒ３を強調表示し、それでも、利用者が次に行う操作が理解できない場合、（２）第２段階として、翌日ボタンに対応するリモコン８の位置を子画面に表示、あるいは／かつ、「リモコン８の黄色いボタンを押してください」という音声案内を行う、というように、時間の経過に伴って操作誘導の程度を変化させてもよい。

このような操作誘導によって、利用者は、翌日ボタンを押すことによって「今日の番組表」から「明日の番組表」に切り替えることができると気付き、翌日ボタンを押す。これによって、番組表は、翌日の情報に更新される（ステップＳ４５）。

このように、第１の実施形態では、利用者の注視状態と注視対象を推定することにより、本当に必要な時に、必要なだけの操作誘導を行うための画面の表示制御あるいは音声案内付き表示が行われる。つまり、人間の生理情報を取得するための映像信号取得部を有することで、利用者の注視状態や注視対象が解析でき、次期操作を行う必要のある操作画面領域に利用者の注視対象が入っていて、かつ、注視状態が集中モードである場合など、本当に必要な場合だけ、音声やアニメーションによる表示制御を行い、誘導喚起が行われるので、煩わしくないインターフェースが実現でき、快適性と利便性が向上される。

なお、表示制御の手法としては、上述の輝度・コントラスト調整の他に、画面の色調を変更しても良い。更に、画面に表示する画像をその部分だけ拡大して表示してもよい。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

図１８は、本発明の第２の実施形態に係る操作誘導装置１０の機能構成を示すブロック図である。操作誘導装置１０は、第１の実施形態の操作誘導装置に、利用者がどのような操作をしようとしているかを推定する機能を付加したものに相当し、表示部１２、操作対象領域情報格納部１３、映像信号処理部１４、映像信号取得部１５、利用者意図推定部１６及び入力部１７を備えている。

なお、操作誘導装置１０が備える構成要素のうち、表示部１２、操作対象領域情報格納部１３、映像信号処理部１４及び映像信号取得部１５は、それぞれ、第１の実施形態における表示部２、操作対象領域情報格納部３、映像信号処理部４及び映像信号取得部５が有する機能を備える。たとえば、映像信号処理部１４は、第１の実施形態における映像信号処理部４が有する構成要素４１〜４４と同一のものを有する。以下、第１の実施形態と異なる点を中心に説明する。

入力部１７は、利用者による操作指示を取得する処理部であり、図１に示されるリモコン８等に相当する。

操作対象領域情報格納部１３は、操作対象領域情報に加えて、図１９に示されるような利用者意図理解支援用情報を格納している。利用者意図理解支援用情報は、利用者の操作に関する意図と利用者の眼球運動を伴う行動上の特徴とを対応づけたテーブルであり、その意図を識別する「番号」、その意図の名前を示す「利用者意図名」、行動上の特徴を記述した情報の格納場所を示す「注視行動ＤＢアドレス」、その特徴に属する行動の個数を示す「個数」、その行動を識別する「行動名ＩＤ」等からなる。なお、図１９に示されたテーブルにおける「行動名→対処法」は、「注視行動ＤＢアドレス」で示される格納場所に格納された行動上の特徴を示す情報の内容例である。例えば、「日付変更」という「利用者意図名」を持っている番号１のデータでは、「行動名→対処法」に記載されているように、「表示部１２に表示された日付変更領域とリモコンとを交互に注視している場合には、日付を変更したいが操作方法がわからない」という行動上の特徴を記述した情報が登録されている。

利用者意図推定部１６は、利用者がどのような操作をしようとしているかを推定する処理部であり、入力部１７、操作対象領域情報格納部１３及び映像信号処理部１４と連動して動作する。具体的には、利用者意図推定部１６は、入力部１７からの入力が一定時間内になされず、かつ、次に操作される操作対象が定まっていない場合には、操作対象領域情報格納部１３に格納された利用者意図理解支援用情報を参照することで、映像信号処理部１４から得られる注視対象及び注視状態に関する利用者情報に対応する利用者の操作に関する意図を特定し、特定した意図を利用者の意図として推定する。そして、利用者意図推定部１６は、推定した意図に対応する操作対象、あるいは、予め定まっている場合にはその操作対象を、次期操作に係る操作対象として、映像信号処理部１４に通知する。

映像信号処理部１４は、利用者意図推定部１６からの依頼コマンドを受けて、注視状況解析部４２で解析された利用者の注視対象及び注視状態に関する利用者情報を利用者意図推定部１６に返信する。また、映像信号処理部１４の表示制御部４１は、注視状況解析部４２によって特定された操作対象が、利用者意図推定部１６から通知される次期操作に係る操作対象と一致し、かつ、利用者がその操作対象を集中して注視していると注視状況解析部４２によって推定され、かつ、その操作対象に対する操作が行われない場合にだけ、操作を誘導するための表示制御を行う。

次に、以上のように構成された本実施形態における操作誘導装置１０の動作について説明する。

図２０は、操作誘導装置１０による利用者意図の推定を中心とした動作を示すフローチャートである。まず、利用者意図推定部１６は、入力部１７からの入力を一定時間待つ（ステップＳ５１）。一定時間待っても利用者からの入力がない場合、利用者状態の推定処理に進む。

ここで、利用者意図推定部１６は、実行したい操作指示が利用者から既に入力されているか、あるいは、実行したい機能の要求が既に出されているかどうかをチェックする（ステップＳ５２）。

その結果、操作指示が既に入力されているか、あるいは、機能要求が既に出されている場合には（ステップＳ５２でＹｅｓ）、利用者意図推定部１６は、その操作指示、あるいは、機能要求に対応する操作対象を映像信号処理部１４に通知する（ステップＳ５４）。一方、操作指示が既に入力されておらず、かつ、機能要求が既に出されていない場合には（ステップＳ５２でＮｏ）、利用者意図推定部１６は、操作対象領域情報格納部１３及び映像信号処理部１４と連動して利用者の意図を推定し（ステップＳ５３）、その意図に対応する操作対象、つまり、次期操作の対象となる操作対象を映像信号処理部１４に通知する（ステップＳ５４）。

そして、次期操作対象の通知を受けた映像信号処理部１４の表示制御部４１は、注視状況解析部４２によって特定された操作対象が、利用者意図推定部１６から通知された次期操作に係る操作対象と一致し、かつ、利用者がその操作対象を集中して注視していると注視状況解析部４２によって推定され、かつ、その操作対象に対する操作が行われていない（操作が停滞している）か否かを判断し（ステップＳ５５）、それらの条件が満たされていると判断した場合にだけ（ステップＳ５５でＹｅｓ）、操作を誘導するための表示制御を行う（ステップＳ５６）。

図２１は、利用者意図推定部１６での処理の詳細な流れを示すフローチャートである。利用者意図推定部１６は、映像信号処理部１４に対して、ある一定時間の注視対象及び注視状態に関する利用者情報を得るためのコマンドを送り、注視に関する利用者情報を得る（ステップＳ６１）。

そして、利用者意図推定部１６は、操作対象領域情報格納部１３に格納してある利用者意図理解支援情報及び操作対象領域情報を参照することで、映像信号処理部１４から得られた利用者情報を元に、利用者の意図を推定し、推定された利用者意図番号、あるいは、推定された意図に対応する操作対象を映像信号処理部１４に通知する（ステップＳ６２）。つまり、利用者意図推定部１６は、利用者意図理解支援用情報における「行動名→対処法」のうち、「行動名（条件節）」について、映像信号処理部１４から得られた注視対象及び注視状態に関する利用者情報と一致するものを特定し、特定した「行動名（条件節）」に対応する「対処法」に示される操作対象を、次期操作に係る操作対象として、映像信号処理部１４に通知する。

このようにして、本実施の形態における操作誘導装置１０によれば、利用者が注視している操作対象が次に操作されるものであり、かつ、利用者がその操作対象を集中して注視しているが、その操作対象に対する操作が行われない場合にだけ、操作を誘導するための表示制御が行われる。よって、利用者が真に操作の誘導を必要としている場合にだけ、機器操作の誘導が行われ、これにより、機器操作のガイダンスやヘルプ機能についての煩わしさが解消され、操作インターフェースにおける快適性と利便性が向上される。

以上、本発明に係る操作誘導装置について、第１及び第２の実施形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。

たとえば、各実施形態における構成要素を任意に組み合わせて実現される操作誘導装置も本発明に含まれる。

また、上記第２の実施形態では、次期操作の対象は、利用者意図理解支援情報とそのときの利用者の眼球運動に基づいて推定されたが、次期操作の対象の推定については、この手法だけに限られず、例えば、予め内部に記憶された典型的な操作手順を示すデータに従って推定してもよい。

また、上記実施形態では、本発明に係る操作誘導装置は、テレビに組み込まれて適用されたが、本発明は、テレビだけでなく、パーソナルコンピュータや各種案内装置等の表示画面を備えるあらゆる種類の機器用の操作誘導装置として適用することができる。

本発明は、利用者による機器操作を誘導する操作誘導装置として、例えば、テレビ等の画面を備える電子機器用の操作誘導装置として、特に、ディジタルデバイドの問題にも対応した操作誘導装置、高齢者に適した操作誘導装置等として有用である。

本発明の実施形態に係る操作誘導装置の適用例を示す図 本発明の第１の実施形態に係る操作誘導装置の構成を示す機能ブロック図 映像信号処理部の詳細な構成を示すブロック図 水平方向の視線を計測する方法を説明する図 垂直方向の視線の計測する方法を説明する図 瞬目波形の一例を示す図 瞬目情報あるいは瞳孔情報による生理・心理状態推定との相関関係を示す図 映像信号処理部の処理手順を示すフローチャート 「番組表から見る」操作の流れを示すフローチャート 図９における操作を説明するためのリモコンの外観図 番組表から見たい番組を選択するためのＧＵＩ表示例 操作対象領域情報のデータ例を示す図 番組表から見たい番組を選んで決定する操作を説明するためのリモコンの外観図 「今日の番組表」から「明日の番組表」に切り替える操作の手順（利用者が操作手順を戸惑うことなくスムーズに実行した場合の手順）を示すフローチャート 図１４における操作を説明するためにリモコンの外観図 第１の実施形態において「今日の番組表」から「明日の番組表」に切り替える操作の流れを示すフローチャート 図１６における操作誘導の表示例（複数段階による２重画面）を示す図 本発明の第２の実施形態に係る操作誘導装置を示す機能ブロック図 利用者意図理解支援用情報のデータ例を示す図 操作誘導装置による利用者意図の推定を中心とした動作を示すフローチャート 利用者意図推定部の処理の流れを示すフローチャート

符号の説明

１、１０ 操作誘導装置
２、１２ 表示部
３、１３ 操作対象領域情報格納部
４、１４ 映像信号処理部
５、１５ 映像信号取得部
６ カメラ
７ テレビ
８ リモコン
１６ 利用者意図推定部
１７ 入力部
４１ 表示制御部
４２ 注視状況解析部
４３ 眼球運動解析部
４４ 画像切り出し部

Claims (8)

1. 利用者による機器操作を誘導する操作誘導装置であって、
   前記機器操作のための操作メニューを表示する表示手段と、
   前記操作メニューにおける操作対象の領域を特定する情報である操作対象領域情報を格納している操作対象領域情報格納手段と、
   前記利用者の顔を映し出した映像信号を取得する映像信号取得手段と、
   前記映像信号取得手段が取得した映像信号が示す画像から利用者の顔画像を切り出す画像切り出し手段と、
   前記画像切り出し手段によって切り出された顔画像における眼球の運動を解析する眼球運動解析手段と、
   前記眼球運動解析手段による解析結果と前記操作対象領域情報格納手段に格納された操作対象領域情報とから、利用者が注視している操作対象を特定するとともに、前記利用者が前記操作対象を集中して注視しているか否かを示す注視状態を推定する注視状況解析手段と、
   前記利用者が前記操作対象を集中して注視していると前記注視状況解析手段によって推定され、かつ、前記操作対象に対する操作が行われない場合に、前記操作対象に対する操作を誘導するための表示制御を前記表示手段に対して行う表示制御手段と
   を備えることを特徴とする操作誘導装置。
2. 前記眼球運動解析手段は、前記利用者の視線方向を解析し、
   前記注視状況解析手段は、前記眼球運動解析手段によって解析された視線方向に表示される前記操作メニュー上の操作対象を、前記操作対象領域情報が示す操作対象の領域ごとの位置情報に基づいて特定することによって、前記利用者が注視している操作対象を特定する
   ことを特徴とする請求項１記載の操作誘導装置。
3. 前記眼球運動解析手段は、前記利用者の瞬目率、瞼を閉じるのに要する時間、瞼を開くのに要する時間、及び、瞳孔径の少なくとも１つを解析し、
   前記注視状況解析手段は、前記眼球運動解析手段によって解析された瞬目率が予め定めた一定値以下である場合、瞼を閉じるのに要する時間が予め定めた一定値以下である場合、瞼を開くのに要する時間が予め定めた一定値以下である場合、又は、瞳孔径が予め定めた一定値よりも大きい場合に、前記利用者が前記操作対象を集中して注視していると判断する
   ことを特徴とする請求項１記載の操作誘導装置。
4. 前記表示制御手段は、前記操作対象に対する操作を誘導するための表示制御として、前記操作対象を前記表示手段に表示する際のコントラスト、輝度、色調、表示サイズのうちの少なくとも１つを変更する第１の出力モードと、前記表示手段に所定のメッセージを表示する第２の出力モードと、前記第１又は第２の出力モードによる表示制御に音声メッセージを加えた第３の出力モードとを、前記注視状況解析手段によって推定された前記利用者の集中の程度に応じて、切り替える
   ことを特徴とする請求項１記載の操作誘導装置。
5. 前記操作誘導装置はさらに、前記利用者がどのような操作をしようとしているかを推定する利用者意図推定手段を備え、
   前記表示制御手段は、前記注視状況解析手段によって特定された操作対象が前記利用者意図推定手段によって推定された操作に対応する操作対象と一致し、かつ、前記利用者が前記操作対象を集中して注視していると前記注視状況解析手段によって推定され、かつ、前記操作対象に対する操作が行われない場合に、前記表示制御を行う
   ことを特徴とする請求項１記載の操作誘導装置。
6. 前記操作対象領域情報格納手段はさらに、利用者の操作に関する意図と利用者の眼球運動を伴う行動上の特徴とを対応づけたテーブルである利用者意図理解支援用情報を格納し、
   前記利用者意図推定手段は、前記操作対象領域情報格納手段に格納された利用者意図理解支援用情報を参照することで、前記眼球運動解析手段で解析された利用者の眼球運動に対応する利用者の操作に関する意図を特定し、特定した意図を前記利用者の意図として推定する
   ことを特徴とする請求項５記載の操作誘導装置。
7. 表示装置に表示された操作メニューに対する利用者による操作を誘導する操作誘導方法であって、
   前記利用者の顔を映し出した映像信号を取得する映像信号取得ステップと、
   前記映像信号取得ステップで取得した映像信号が示す画像から利用者の顔画像を切り出す画像切り出しステップと、
   前記画像切り出しステップで切り出された顔画像における眼球の運動を解析する眼球運動解析ステップと、
   前記眼球運動解析ステップによる解析結果と前記操作メニューにおける操作対象の領域を特定する情報である操作対象領域情報とから、利用者が注視している操作対象を特定するとともに、前記利用者が前記操作対象を集中して注視しているか否かを示す注視状態を推定する注視状況解析ステップと、
   前記利用者が前記操作対象を集中して注視していると前記注視状況解析ステップによって推定され、かつ、前記操作対象に対する操作が行われない場合に、前記操作対象に対する操作を誘導するための表示制御を前記表示装置に対して行う表示制御ステップと
   を含むことを特徴とする操作誘導方法。
8. 表示装置に表示された操作メニューに対する利用者による操作を誘導するためのプログラムであって、
   請求項７記載の操作誘導方法に含まれるステップをコンピュータに実行させる
   ことを特徴とするプログラム。

Images