JP2011133942A - ユーザインターフェイス装置及びコンピュータプログラム - Google Patents

Abstract

【課題】ユーザの状況に応じた適切な動作を行うことができるユーザインターフェイス装置を提供する。
【解決手段】ユーザインターフェイス装置（１）は、ディスプレイ（１１０）に表示される表示画像を出力可能な画像出力手段（１３８）と、ディスプレイの周辺の周辺画像を撮像する撮像手段（１２１、１２２）と、撮像された周辺画像に基づいて、ユーザの指の状態を解析する解析手段（１３２）と、解析された指の状態に基づいて、ユーザの操作意図を推測する推測手段（１３４）と、ユーザの指先がディスプレイの表面に触れる前に、推測された操作意図に応じて、表示画像を変更するように画像出力手段を制御する制御手段（１３４、１３６、１３７）とを備える。
【選択図】図９

Description

本発明は、ユーザインターフェイス装置及びコンピュータプログラムに関し、特に、ユーザの指先がタッチパネルに触れていなくても、指先の動きに応じて該タッチパネル上に表示される画面を変更するユーザインターフェイス装置及びコンピュータプログラムの技術分野に関する。

この種の装置として、例えば、タッチパネルに指が接近した際に、発光ダイオードとフォトダイオードとによって、指がタッチパネルに触れる前に、該タッチパネルに対する指の位置を検出し、該検出された位置に対応する表示パネル上の表示項目に関する情報を、音声又は表示によって提供する装置が提案されている（特許文献１参照）。

或いは、アクションが定義された表示オブジェクトを含む動画の再生中に、表示オブジェクトの選択操作の発生を、カーソルの移動操作の開始やタッチパネルへの手の接近より予測して、再生状態を一時停止又はスロー再生に切り替える装置が提案されている（特許文献２参照）。

或いは、カメラが撮影した画像に基づいて、指先のディスプレイに対する３次元座標を算出し、該算出された３次元座標をディスプレイ画面上の２次元座標と対応付け、該対応付けられたディスプレイ画面上の２次元座標と、指先及びディスプレイ画面間の距離とに応じて、現在表示している画像の下位階層の画像をディスプレイ画面上に表示する装置が提案されている（特許文献３参照）。

特開２００５−１２２４５０号公報 特開２００８−２５０６５４号公報 特開２００８−２１０３４８号公報

しかしながら、上述の背景技術によれば、例えばタッチパネルに対する指の速度や経路等は考慮されていない。すると、例えばユーザがタッチパネル上に表示された項目の選択を迷っている場合に、ユーザが意図しない項目が選択されてしまう可能性があるという技術的問題点がある。

本発明は、例えば上記問題点に鑑みてなされたものであり、ユーザの状況に応じた適切な動作を行うことができるユーザインターフェイス装置及びコンピュータプログラムを提供することを課題とする。

本発明のユーザインターフェイス装置は、上記課題を解決するために、ディスプレイに表示される表示画像を出力可能な画像出力手段と、前記ディスプレイの周辺の周辺画像を撮像する撮像手段と、前記撮像された周辺画像に基づいて、ユーザの指の状態を解析する解析手段と、前記解析された指の状態に基づいて、前記ユーザの操作意図を推測する推測手段と、前記ユーザの指先が前記ディスプレイの表面に触れる前に、前記推測された操作意図に応じて、前記表示画像を変更するように前記画像出力手段を制御する制御手段とを備える。

本発明のユーザインターフェイス装置によれば、例えばメモリ、プロセッサ等を備えてなる画像出力手段は、例えば液晶モニタ等のディスプレイに表示される表示画像を出力可能である。表示画像は、例えば、複数の選択肢を有するメニュー画像、地図画像等である。尚、ディスプレイとして、公知のタッチパネルを用いてもよい。

例えば一又は複数のカメラを備えてなる撮像手段は、ディスプレイの周辺の周辺画像を撮像する。カメラは、光学カメラに限らず、例えば赤外線カメラや距離画像カメラ等であってよい。

尚、撮像手段が撮像する範囲は、実験的若しくは経験的に、又はシミュレーションによって、例えば、ディスプレイ上に表示された表示画面に対し何らかの操作を行うユーザが指を動かす範囲を求め、該求められた範囲を包含するような範囲として設定すればよい。

例えばメモリ、プロセッサ等を備えてなる解析手段は、撮像された周辺画像に基づいて、ユーザの指の状態を解析する。ここで、「指の状態」は、例えば指先の３次元座標や、指先とディスプレイとの間の距離等の位置情報に限らず、例えば指の本数や、ディスプレイに対する指の角度等の形状情報も意味してよい。

例えばメモリ、プロセッサ等を備えてなる推測手段は、解析された指の状態に基づいて、ユーザの操作意図を推測する。具体的には例えば、推測手段は、一時点における指先の３次元座標に基づいて、或いは、時間的に連続する複数の時点の各々における指先の３次元座標から指先の継時的な変化を求め、該求められた継時的な変化に基づいて、ユーザの操作意図を推測する。

より具体的には例えば、ディスプレイ上にメニュー画像が表示されている際に、指先の３次元座標と対応するディスプレイ上の２次元座標（即ち、指先の位置をディスプレイ上に投影した場合のディスプレイ上における位置）がほとんど変化せずに、指先とディスプレイとの間の距離が短くなっている場合、推測手段は、ユーザの操作意図を「選択」と推測する。或いは、指先の３次元座標が所定期間ほとんど変化しない場合、推測手段は、ユーザの操作意図を「思案中」と推測する。

例えばメモリ、プロセッサ等を備えてなる制御手段は、ユーザの指先がディスプレイの表面に触れる前に、推測された操作意図に応じて、表示画像を変更するように画像出力手段を制御する。具体的には例えば、「選択」と推定された場合、制御手段は、ディスプレイ上における指先の２次元座標に対応する選択肢に関連する画像に変更するように、又はディスプレイ上における指先の２次元座標に対応する選択肢の下位の選択肢を展開するように、画像出力手段を制御する。或いは、「思案中」と推定された場合、制御手段は、ヘルプ画面に変更するように、又は比較的簡易なメニュー画像に変更するように、画像出力手段を制御する。

以上の結果、本発明のユーザインターフェイス装置によれば、ユーザの状況に応じた適切な動作を行うことができる。特に、推定手段が、ユーザの指先の継時的な変化に基づいて、ユーザの操作意図を推定可能であるので、例えば「画面のスクロール」等の選択以外の操作を、指の状態に対応付けることができ、ユーザの負担を軽減することができる。

本発明のユーザインターフェイス装置の一態様では、前記推測手段は、前記解析された指の状態に基づいて、前記指の状態の継時的な変化を取得する継時変化取得手段を有する。

この態様によれば、例えばメモリ、プロセッサ等を備えてなる継時変化取得手段は、解析された指の状態に基づいて、指の状態の継時的な変化を取得する。これにより、比較的容易にして、ユーザの操作意図を推測することができ、実用上非常に有利である。尚、「指の状態の継時的な変化」は、指先の位置や指の形状の継時的な変化に限らず、例えば指先の移動速度等も意味してよい。

推測手段が継時変化取得手段を有する態様では、複数の階層を有するメニューデータである階層メニューデータが予め格納されている記憶手段を更に備え、前記表示画像は、前記階層メニューデータに含まれる一の階層のメニューデータに対応するメニュー画像であり、前記推測手段は、前記取得された継時的な変化が前記指先及び前記ディスプレイ間の距離の縮小であることを条件に、前記操作意図を「下位階層のメニュー画像の表示」であると推測し、前記取得された継時的な変化が前記距離の拡大であることを条件に、前記操作意図を「上位階層のメニュー画像の表示」であると推測してよい。

このように構成すれば、ユーザの指先がディスプレイの表面に触れる前に、複数回表示画面を変更することができる。この結果、ユーザの操作負担を軽減することができると共に、操作効率を向上させることができる。

推測手段が継時変化取得手段を有する態様では、前記推定手段は、前記取得された継時的な変化が前記指先の滞留であることを条件に、前記操作意思を「思案中」であると推測してよい。

このように構成すれば、例えばユーザに操作を促すような何らかの処理を実行することができ、実用上非常に有利である。尚「滞留」であるか否かは、例えば、ユーザの指先が所定の範囲内に留まっており、且つ指先の移動速度が所定値より小さいか否かを判定することによって、判定すればよい。

この態様では、前記制御手段は、前記推測手段により前記操作意思が「思案中」であると推測された場合、前記表示画像を、前記表示画像に係るヘルプ画像に変更するように前記画像出力手段を制御してよい。

このように構成すれば、ユーザが比較的容易にして当該ユーザインターフェイス装置を操作することができ、実用上非常に有利である。

本発明のユーザインターフェイス装置の他の態様では、前記解析手段は、前記指先の３次元座標を算出する３次元座標算出手段と、前記算出された３次元座標を、前記算出された３次元座標と対応する前記ディスプレイ上の２次元座標と、前記指先及び前記ディスプレイ間の距離とに変換する変換手段とを有する。

この態様によれば、例えばメモリ、プロセッサ等を備えてなる３次元座標算出手段は、指先の３次元座標を算出する。例えばメモリ、プロセッサ等を備えてなる変換手段は、算出された３次元座標を、該算出された３次元座標と対応するディスプレイ上の２次元座標と、指先及びディスプレイ間の距離と、に変換する。このため、比較的容易にして、ユーザの指が指し示すディスプレイ上の位置を特定することができると共に、ユーザの指先及びディスプレイ間の距離を特定することができる。

本発明のコンピュータプログラムは、上記課題を解決するために、コンピュータを、ディスプレイに表示される表示画像を出力可能な画像出力手段と、前記ディスプレイの周辺の周辺画像を撮像する撮像手段と、前記撮像された周辺画像に基づいて、ユーザの指の状態を解析する解析手段と、前記解析された指の状態に基づいて、前記ユーザの操作意図を推測する推測手段と、前記ユーザの指先が前記ディスプレイの表面に触れる前に、前記推測された操作意図に応じて、前記表示画像を変更するように前記画像出力手段を制御する制御手段と、として機能させる。

本発明のコンピュータプログラムによれば、当該コンピュータプログラムを格納するＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（ＤＶＤ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体から、当該コンピュータプログラムを、ユーザインターフェイス装置に備えられたコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してダウンロードさせた後に実行させれば、上述した本発明のユーザインターフェイス装置を比較的容易にして実現できる。これにより、上述した本発明のユーザインターフェイス装置の場合と同様に、ユーザの状況に応じた適切な動作を行うことができる。

本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。

本発明の実施形態に係るユーザインターフェイス装置の構成を示すブロック図である。 本発明の実施形態に係るディスプレイ及びカメラの位置関係の一例を示す斜視図である。 本発明の実施形態に係るユーザインターフェイス装置を、ユーザが操作する様子を示す図である。 本発明の実施形態に係るカメラにより撮像された画像の一例である。 本発明の実施形態に係る画像解析処理を示すフローチャートである。 本発明の実施形態に係る階層メニューデータの概念を示す概念図である。 本発明の実施形態に係るディスプレイ上に表示される通常メニュー画像の一例である。 本発明の実施形態に係るディスプレイ上に表示されるクイックメニュー画像の一例である。 本発明の実施形態に係る画面出力処理を示すフローチャートである。 本発明の実施形態に係る推測処理を示すフローチャートである。 本発明の実施形態に係るメニュー状態遷移処理を示すフローチャートである。

以下、本発明に係るユーザインターフェイス装置の実施形態を、図１乃至図１１に基づいて説明する。尚、本実施形態では、本発明に係るユーザインターフェイス装置の一例として、例えば自動車等の車両に搭載されるユーザインターフェイス装置を挙げる。

先ず、本実施形態に係るユーザインターフェイス装置の構成について、図１を参照して説明する。図１は、本実施形態に係るユーザインターフェイス装置の構成を示すブロック図である。

図１において、ユーザインターフェイス装置１は、ディスプレイ１１０、カメラ１２１及び１２２、並びにコンピュータ１３０を備えて構成されている。

ディスプレイ１１０は、タッチパネルを有している。該ディスプレイ１１０の画面の大きさは、例えば横１５ｃｍ×縦１０ｃｍである。

カメラ１２１及び１２２は、ディスプレイ１１０の画面やディスプレイ１１０の周囲を撮影できるように設置されている。図２に示すように、カメラ１２１及び１２２は、ディスプレイ１１０の画面の下方に、カメラ１２１及び１２２各々のレンズが真上を向くように設置されている。また、ディスプレイ１１０の真正面から平面的に見た場合に、カメラ１２１及び１２２各々のレンズの中心を結ぶ線分の垂直二等分線が、ディスプレイ１１０の中心を通るように、カメラ１２１及び１２２が設置されている。尚、図２は、本実施形態に係るディスプレイ及びカメラの位置関係の一例を示す斜視図である。

カメラ１２１及び１２２は、例えばディスプレイ１１０の手前６ｃｍの位置に設置されている。ディスプレイ１１０の真正面から平面的に見た場合に、カメラ１２１及び１２２各々のレンズと、ディスプレイ１１０の画面の下端との間の距離は、例えば１０ｃｍである。カメラ１２１及び１２２各々のレンズの中心を結ぶ線分の長さは、例えば５ｃｍである。

カメラ１２１及び１２２各々の画角は、例えば水平方向が９０度、垂直方向が６０度である。このため、カメラ１２１及び１２２は、ディスプレイ１１０の手前の縦（ｘ方向）１０ｃｍ×横（ｙ方向）１５ｃｍ×奥行き（ｚ方向）１２ｃｍの範囲を、少なくとも認識可能である。また、カメラ１２１及び１２２は、例えば６４０ピクセル×４８０ピクセルの画像を３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）で撮像可能である。

例えば図３に示すように、ユーザが指をディスプレイ１１０に接近させた場合、カメラ１２１は画像２０１（図４参照）を撮像し、カメラ１２２は画像２０２（図４参照）を撮像する。尚、図３は、本実施形態に係るユーザインターフェイス装置を、ユーザが操作する様子を示す図であり、図４は、本実施形態に係るカメラにより撮像された画像の一例である。

コンピュータ１３０は、カメラインターフェイス（Ｉ／Ｆ）１３１、画像解析部１３２、メニュー部１３３、推測部１３４、入力インターフェイス（Ｉ／Ｆ）１３５、制御部１３６、サービス部１３７、画面生成部１３８及び画面出力インターフェイス１３９を備えて構成されている。

カメラインターフェイス１３１は、コンピュータ１３０に、カメラ１２１及び１２２を接続するためのインターフェイスである。カメラインターフェイス１３１を介して、カメラ１２１及び１２２により撮像された画像がコンピュータ１３０に取り込まれる。

画像解析部１３２は、カメラインターフェイス１３１を介して取り込まれた画像を解析する。具体的には、画像解析部１３２は、取り込まれた画像に基づいて、ディスプレイ１１０に接近する、例えばユーザの指等の物体を検出し、該検出された物体のディスプレイ１１０に対する位置や、例えば指の立て方等の形状の特徴を算出する。

ここで、画像解析部１３２の動作について、図５のフローチャートを参照して説明を加える。

図５において、先ず、画像解析部１３２は、カメラ１２１により撮像された画像、及びカメラ１２２により撮像された画像に対し、ディスプレイ１１０に接近する物体の領域を前景として抽出する。続いて、画像解析部１３２は、前景とそれ以外の部分とを区分する二値の画像（以降、適宜“前景画像”と称する）を生成する（ステップＳ１０１）。尚、前景の抽出方法には、例えば、公知の背景差分による方法や肌色領域検出による方法を用いればよい。

次に、画像解析部１３２は、前景画像から、指先と推定される形状である特徴点を検出する（ステップＳ１０２）。尚、特徴点の検出方法には、例えば円形のテンプレートを予め用意しておき、前景画像において該テンプレートとの類似度が所定値以上である点を全て検出する方法を用いればよい。

次に、画像解析部１３２は、前景画像から検出した各特徴点の、ディスプレイ１１０に対する位置を求める（ステップＳ１０３）。具体的には、画像解析部１３２は、先ず、各特徴点の、カメラ１２１及び１２２に対する座標を、前景画像における各特徴点の座標と、カメラ１２１により撮像された画像、及びカメラ１２２により撮像された画像間における視差と、から３次元的に（即ち、３次元座標）を求める。尚、カメラ１２１及び１２２とディスプレイ１１０との配置は予めキャリブレーションされている。

続いて、画像解析部１３２は、求められたカメラ１２１及び１２２に対する特徴点の座標を、カメラ１２１及び１２２とディスプレイ１１０との配置のキャリブレーションの際に求められた変換行列を用いて、ディスプレイ１１０に対する座標に変換する（即ち、３次元座標の原点位置をディスプレイ１１０上の一点に変換する）。これにより、各特徴点の座標が、「ディスプレイ１１０上における位置（即ち、２次元座標）」と「ディスプレイ１１０と特徴点との間の距離」と、として表わされることとなる。

次に、画像解析部１３２は、検出された特徴点のうち、例えばディスプレイ１１０に最も近い特徴点を代表点として決定する（ステップＳ１０４）。ここで、決定された代表点の座標は、ディスプレイ１１０の画面の縦、横を夫々ｘ軸、ｙ軸とし、ディスプレイ１１０の画面に垂直な方向をｚ軸とした（図２参照）３次元座標で表わされる。

次に、画像解析部１３２は、前景画像から指の形状の特徴を求める形状解析処理を実行する（ステップＳ１０５）。該形状解析処理において求められる特徴は、例えばユーザが立てている指の本数や、ディスプレイ１１０に対する指の傾き等である。

この形状解析処理として、例えば次のような公知の方法を用いることができる。即ち、先ず、ディスプレイ１１０の周辺における指の見た目の太さに応じて予め決定された縮退及び／又は膨張を行う範囲内で、前景画像が縮退及び／又は膨張される。続いて、縮退及び／又は膨張された前景画像と、元の前景画像との差分画像を求め、該求められた差分画像における所定以上の大きさの塊が、指領域候補として検出される。続いて、指候補領域のうち、上記ステップＳ１０２の処理において検出された特徴点が含まれている指候補領域が指領域として検出され、該検出された指領域の個数が、ユーザが立てている指の本数として検出される。更に、各指領域のモーメントが計算され、指領域のディスプレイ１１０に対する角度が求められる。尚、ユーザが立てている指の本数が２本以上である場合、更に、各指の角度に基づいて、各指の間の角度が夫々求められる。

上述した処理の結果は、推測部１３４に送信される。

再び図１に戻り、メニュー部１３３は、図６に示すような複数の階層からなるメニューデータを保持している。図６は、本実施形態に係る階層メニューデータの概念を示す概念図である。尚、図６における符号３１１〜３１３、３２１〜３２３及び３３１〜３３８の各々は、一つのメニュー画像（即ち、メニュー表示状態）を示している。他方、図６における符号３０１は、メニュー非表示状態を示している。該メニュー非表示状態の場合、ディスプレイ１１０には、メニュー画像は表示されない。

また、メニュー部１３３は、複数の階層からなるメニューデータに加え、後述するクイックメニューデータ（図示せず）を保持している。クイックメニューデータと区別するため、複数の階層からなるメニューデータを、以下適宜「通常メニューデータ」と称する。

図６に示すように、通常メニューデータは、３層構造になっている。メニュー画像が階層間において実線で結ばれているものは、上位階層のメニュー画像に含まれるメニュー項目に、下位階層のメニュー画像が対応していることを示している。例えば、第２階層のメニュー画像３２１に含まれるメニュー項目３２１１〜３２１８の各々は、第３階層のメニュー画像３３１〜３３８に夫々対応している。

尚、同一階層のメニュー画像間では、２次元的な位置関係が定義されている。該位置関係は、上位階層のメニュー画像において、メニュー画像が対応付けられているメニュー項目が表示される位置関係と一致していることが望ましい。

ここで、通常メニューデータの具体例について説明する。

メニュー画像３１１が「カーナビの行き先決定メニュー」に係るメニュー画像であるとすると、メニュー画像３１１には、メニュー項目として、例えば「東京都」、「神奈川県」、「埼玉県」等が含まれる。

第２階層では、例えば、メニュー画像３２１が「東京都」に係るメニュー画像であり、メニュー画像３２２が「神奈川県」に係るメニュー画像であり、メニュー画像３２３が「埼玉県」に係るメニュー画像である。ここで、メニュー画像３１１において、「東京都」と「神奈川県」とが隣り合っている場合には、第２階層におけるメニュー画像間の位置関係も、メニュー画像３２１（即ち、「東京都」に係るメニュー画像）と、メニュー画像３２２（即ち、「神奈川県」に係るメニュー画像）とのように隣り合っている。

メニュー画像３２１には、メニュー項目として、例えば「千代田区」、「中央区」、「港区」等が含まれる。メニュー画像３２１に含まれる各メニュー項目３２１１〜３２１８に夫々対応する、第３階層におけるメニュー画像３３１〜３３８には、メニュー項目として、例えば各区に存在する具体的な施設（例えば、ガソリンスタンド、交番、コンビニエンスストア、レストラン等）が含まれる。

メニュー画像３１２が「再生する曲選択のメニュー」に係るメニュー画像であるとすると、メニュー画像３１２には、メニュー項目として、例えばアーティスト名が含まれる。一のアーティスト名に係るメニュー項目に対応する、第２階層におけるメニュー画像（図示せず）には、メニュー項目として、例えば該一のアーティスト名に対応するアルバム情報が含まれる。一のアルバム情報に係るメニュー項目に対応する、第３階層におけるメニュー画像（図示せず）には、メニュー項目として、例えば該一のアルバム情報に対応する楽曲が含まれる。

ディスプレイ１１０に表示される、通常メニューデータに係るメニュー画像は、例えば図７のようである。図７は、本実施形態に係るディスプレイ上に表示される通常メニュー画像の一例である。

図７に示すように、メニュー画像４００には、複数のメニュー項目４１０と、メニュー項目を上下左右にスクロール可能であることを示す記号４２１〜４２４とが含まれている。一つのメニュー画像に一度に表示可能なメニュー項目数（ここでは８個）を超えたメニュー項目を含んでいる場合には、メニュー項目をスクロールすることによって、メニュー項目の表示を切り替えることができる。

各メニュー項目４１０は、上述の如く、例えば項目名（漢字、仮名、外国語表記）、ピクトグラム、説明文、その他の情報等の一又は複数の情報を含んでいる。その他の情報は、メニュー項目により異なっている。具体的には例えば、メニュー項目が「施設」であるとすると、その他の情報には、施設のカテゴリ、営業時間、連絡先、駐車場やトイレ等の設備の情報、客の評判等が含まれる。或いは、メニュー項目が「楽曲」であるとすると、その他の情報には、ジャンル、アーティスト名、演奏時間、発表年等が含まれる。

尚、メニュー画像４００に表示されるカーソルの位置は、上述した画像解析部１３２により求められたユーザの指のディスプレイ１１０上における位置に対応している。

次に、ディスプレイ１１０に表示されるクイックメニューデータに係るメニュー画像について、図８を参照して説明する。図８は、本実施形態に係るディスプレイ上に表示されるクイックメニュー画像の一例である。

図８において、クイックメニュー画像５００には、メニュー項目として、例えば「最寄りのコンビニに寄る」、「最寄りの駐車場を探す」、「オーディオをミュートにする」等の、ユーザが突発的に行いたいと推測される項目が含まれる。或いは、当該ユーザインターフェイス装置１が搭載されている車両の現在位置や走行している方向、時間帯、ユーザの評価、移動目的等から、動的にメニュー項目を構成できるようにしてもよい。

図８に示すように、クイックメニュー画像５００は、図７に示したメニュー画像４００に比べて、選択可能なメニュー項目が少なく、ユーザがメニュー項目の選択を比較的容易に行うことができる。

再び図１に戻り、推測部１３４は、画像解析部１３２により算出された指等の位置や、形状情報を利用して、ユーザが行おうとしている操作（即ち、ユーザの操作意図）を推測し、該推測された操作に沿って、メニュー部１３３が保持するメニューデータに基づいて、適切なメニュー画像を選択したり、表示方法を切り替えたりすることによって、適切な表示画像を生成する。

推測部１３４は、更に、画像解析部１３２により算出された指等の位置や、形状情報を利用して、後述するサービス部１３７に命令を送ることもできる。

入力インターフェイス１３５は、ユーザからの操作を受け付ける。タッチパネルを備えるディスプレイ１１０に、ユーザの指が触れると、入力インターフェイス１３５に対し、タッチパネルから信号が送られる。

制御部１３６は、ユーザによるタッチパネルの操作を示す信号を、入力インターフェイス１３５を介して受信すると、受信した際に、推測部１３４により生成されディスプレイ１１０上に表示されているメニューを参照して、タッチパネルのユーザの指が触れた位置に対応する命令を、後述するサービス部１３７に対し送信する。

具体的には例えば、ディスプレイ１１０上に、「行き先設定メニュー」に係るメニュー画像が表示されている際に、タッチパネルの操作を示す信号を受信した制御部１３５は、タッチパネルのユーザの指が触れた位置に対応する位置に表示されている施設への道案内の開始を示す命令を、サービス部１３７に対し送信する。

サービス部１３７は、例えばナビゲーションサービスに係る機能と、オーディオサービスに係る機能とを有している。ナビゲーションサービスに係る機能には、例えば、（ｉ）ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用して、当該ユーザインターフェイス装置１が搭載されている車両の現在位置を取得すること、（ｉｉ）目的地が設定された際に地図情報を参照して目的地までの経路を算出すること、（ｉｉｉ）算出された経路と車両の位置を重畳した地図画像を生成すること、（ｉｖ）車両が交差点等に近づいた際に経路案内情報を出力すること、等が含まれる。

オーディオサービスに係る機能には、例えば、ユーザにより楽曲が選択された際に該選択された楽曲に対応する楽曲データを選択して再生すること等が含まれる。尚、ＧＰＳ等のデバイスや、地図データ及び楽曲データ等は、当該ユーザインターフェイス装置１に搭載又は格納されているが、ここでは図示及び説明を省略する。

画面生成部１３８は、推測部１３４により生成されたインターフェイス（例えば、メニュー画像）と、サービス部１３７により生成された画像（例えば、現在位置周辺の地図画像）とを合成して、ディスプレイ１１０上に表示される表示画像を生成する。生成された表示画像は、画面出力インターフェイス１３９を介して、ディスプレイ１１０に送信される。

尚、本実施形態に係る「カメラ１２１及び１２２」、「メニュー部１３３」並びに「画面生成部１３８」は、夫々、本発明に係る「撮像手段」、「記憶手段」及び「画像出力手段」の一例である。本実施形態に係る「画像解析部１３２」は、本発明に係る「解析手段」、「３次元座標算出手段」及び「変換手段」の一例である。本実施形態に係る「推測部１３４」は、本発明に係る「推測手段」及び「継時変化取得手段」の一例である。本実施形態に係る「推測部１３４」、「制御部１３６」及び「サービス部１３７」は、本発明に係る「制御手段」の一例である。

次に、以上のように構成されたユーザインターフェイス装置１の全体の動作について、図９のフローチャートを参照して説明する。

図９において、先ず、カメラ１２１及び１２２は、ディスプレイ１１０の表面を含む、該ディスプレイ１１０の周辺の画像を撮像する。該撮像された画像は、カメラインターフェイス１３１を介して、画像解析部１３２に送信される（ステップＳ２０１）。

次に、画像解析部１３２は、送信された画像に基づいて、上述した所定の解析処理を行う（ステップＳ２０２）。次に、推測部１３４は、画像解析部１３２による解析結果に基づいて、所定の推測処理を行う（ステップＳ２０３）。

ここで、推測部１３４が実行する所定の推測処理について、図１０及び図１１のフローチャートを参照して説明する。尚、所定の推測処理は、画像解析部１３２が解析結果を出力する度に実行される。

図１０において、先ず、推測部１３４は、指先が検出されているか否かを判定する（ステップＳ３０１）。指先が検出されていないと判定された場合（ステップＳ３０１：Ｎｏ）、推測部１３４は、後述するステップＳ３０９の処理が実行する。他方、指先が検出されていると判定された場合（ステップＳ３０１：Ｙｅｓ）、推測部１３４は、ディスプレイ１１０の画面上に表示されるカーソルの位置を決定する（ステップＳ３０２）。カーソルの位置は、上述の如く、画像解析部１３２により求められたユーザの指のディスプレイ１１０上における位置に対応している。

次に、推測部１３４は、所定のジェスチャが行われているか否かを判定する（ステップＳ３０３）。ここで、所定のジェスチャが行われているか否かは、例えば、推測部１３４が保持する画像解析部１３２により検出された指領域の履歴を参照し、過去の所定期間、指領域を検出し続けており、且つ、指のディスプレイ１１０に対する角度が所定値以上の範囲で、増減を繰り返しているか否かを判定することによって（具体的には例えば、３秒以上指領域を検出し続けており、且つ、指のディスプレイ１１０に対する角度が４５度以上の範囲で、増減を３回以上繰り返しているか否かを判定することによって）、判定すればよい。

所定のジェスチャが行われていると判定された場合（ステップＳ３０３：Ｙｅｓ）、推測部１３４は、更に、指のディスプレイ１１０に対する角度の、ディスプレイ１１０の右から左への角度変化と、ディスプレイ１１０の左から右への角度変化とのどちらが速い速度で行われているかを判定する。ディスプレイ１１０の右から左への角度変化のほうが速いと判定された場合、推測部１３４は、サービス部１３７に対し、オーディオの音量の減少を示す命令を送信する。他方、ディスプレイ１１０の左から右への角度変化のほうが速いと判定された場合、推測部１３４は、サービス部１３７に対し、オーディオの音量の増加を示す命令を送信する（ステップＳ３０４）。

次に、推測部１３４は、メニュー画像の表示状態を非表示にして（ステップＳ３０５）、処理を終了する。

ステップＳ３０３の処理において、所定のジェスチャが行われていないと判定された場合（ステップＳ３０３：Ｎｏ）、推測部１３４は、メニュー画像の表示状態が表示中であるか否かを判定する（ステップＳ３０６）。メニュー画像の表示状態が表示中でない（即ち、非表示である）と判定された場合（ステップＳ３０６：Ｎｏ）、推測部１３４は、後述するステップＳ４００の処理を実行する。他方、メニュー画像の表示状態が表示中であると判定された場合（ステップＳ３０６：Ｙｅｓ）、推測部１３４は、滞留判定を実行する（ステップＳ３０７）。

ここで、滞留判定は、例えば、推測部１３４が保持する画像解析部１３２により検出された指領域の履歴を参照し、所定時間前から現在までの間の指先の位置が、所定の大きさの縦・横・奥行きの枠の中におさまっており、且つ、指先の速度が所定の値を超えていないか否かにより行われる。具体的には例えば、滞留判定は、５秒前から現在までの間の指先の位置が、縦・横・奥行きの各々が３ｃｍの範囲内におさまっており、且つ、指先の速度が１ｃｍ／ｆｒａｍｅ（即ち、一つ前のフレームから現在のフレームまでの間で、指先が１ｃｍ移動する速度）を超えていないか否かにより行われる。

或いは、滞留判定は、例えば、メニュー画像の状態と関連付けて行われてもよい。具体的には例えば、過去の所定時間内（例えば、５秒以内）にメニュー画像の切り替えがなかった場合に滞留と判定してよい。加えて、ディスプレイ１１０の画面に表示されているカーソルの位置が、表示されているメニュー項目間の一点から移動しない時間が所定時間以上（例えば、５秒以上）連続した場合に滞留と判定してよい。

滞留であると判定された場合、推測部１３４は、例えば、ユーザの操作意思は思案中であると推測し、ヘルプ表示をＯＮにして、表示されているメニュー画像の、カーソルが重なっているメニュー項目に係る説明文を、メニュー画像上の適切な位置（例えば、カーソル周辺を隠さないような位置）に表示する。或いは、滞留であると判定された場合、推測部１３４は、ヘルプ表示をＯＮにして、表示されているメニュー画像に係る説明文を、メニュー画像上の適切な位置に表示する。他方、滞留でないと判定された場合、推測部１３４は、ヘルプ表示をＯＦＦにする。

次に、推測部１３４は、形状判定を実行する（ステップＳ３０８）。ここで、形状判定は、画像解析部１３２により求められた指の形状の特徴が、特定の形状をしているか否かを判定することにより行われる。具体的には例えば、形状判定は、推測部１３４が、ユーザが立てている指の本数が２本であるか否か、或いは、ユーザが立てている指の本数が２本である場合に、２本の指が互いになす角が所定の角度（例えば、４５度）を超えているか否か、を判定することにより行われる。

指の形状の特徴が特定の形状をしていると判定された場合、推測部１３４は、メニュー画像の表示方法を切り替える。具体的には例えば、推測部１３４は、メニュー項目の表示を「漢字」、「仮名」、「ピクトグラム」及び「外国語」の相互間で切り替える。また、指の形状の特徴が特定の形状をしていると判定された場合、推測部１３４が、２本の指が互いになす角が大きくなるほど、カーソルが重なっているメニュー項目を大きく表示するようにしてもよい。

次に、特定形状判定結果にかかわらず（即ち、ステップＳ３０８の処理の結果にかかわらず）、遷移処理に進む。推測部１３４は、メニュー画像の状態遷移に係る処理を実行する（ステップＳ４００）。メニュー画像の状態遷移に係る処理では、指の動き等から（厳密には、推測部１３４が保持する画像解析部１３２により検出された指領域の履歴）から、メニュー画像の切り替え判定を行う。

ここで、メニュー画像の状態遷移に係る処理について、図１１のフローチャートを参照して説明する。

図１１において、推測部１３４は、先ず、メニュー画像の表示状態が「一時表示ＯＦＦ」であるか否かを判定する（ステップＳ４０１）。「一時表示ＯＦＦ」であると判定された場合（ステップＳ４０１：Ｙｅｓ）、推測部１３４は、表示再開判定を実行する（ステップＳ４０２）。

ここで、表示再開判定は、メニュー画像の表示状態が「一時表示ＯＦＦ」に遷移したときの閾値を超えて、画像解析部１３２により検出された指先点（即ち、指先に対応する特徴点）がディスプレイ１１０に接近したか否かを判定することにより行われる。閾値を超えて接近していないと判定された場合、推測部１３４は、「一時表示ＯＦＦ」を維持して、処理を終了する。他方、閾値を超えて接近したと判定された場合、推測部１３４は、「一時表示ＯＦＦ」を解除して、以前表示されていたメニュー画像を表示するように画面生成部１３８を制御して、例えば後述するステップＳ４０５の処理を実行する。

ステップＳ４０１の処理において、「一時表示ＯＦＦ」でないと判定された場合（ステップＳ４０１：Ｎｏ）、推測部１３４は、メニュー画像が表示中であるか否かを判定する（ステップＳ４０３）。メニュー画像が表示されていないと判定された場合（ステップＳ４０３：Ｎｏ）、推測部１３４は、メニュー画像起動判定を実行する（ステップＳ４０４）。

ここで、メニュー画像起動判定は、次のように実行される。即ち、推測部１３４が保持する画像解析部１３２により検出された指先点の履歴を参照し、現在の一つ前の時点と、現在との間で、指先点が閾値Ｔｈ１（例えば、７ｃｍ）を超えて画面に接近し、且つ、接近速度が所定の速度（例えば、５ｃｍ／ｆｒａｍｅ）を超えているか否かが判定される。該条件に合致すると判定された場合、メニュー画面の表示状態が「クイックメニュー」とされ、図８に示したような、クイックメニュー画像５００を表示する状態となる。尚、閾値Ｔｈ１は、カメラ１２１及び１２２が撮像可能な範囲内に十分入るような値として設定されている。

上記条件に合致しないと判定された場合、推測部１３４が保持する画像解析部１３２により検出された指先点の履歴を参照し、現在の一つ前の時点と、現在との間で、指先点が閾値Ｔｈ１を超えて画面に接近したか否かが判定される。該条件に合致すると判定された場合、メニュー画像の表示状態が「第１階層」とされる。この場合、現在の指の形状に応じて、表示されるメニュー画像が変更される。具体的には例えば、ユーザが立てている指が１本の場合、メニュー画像３１１（図６参照）が表示され、ユーザが立てている指が２本の場合、メニュー画像３１２（図６参照）が表示される。上記条件に合致しないと判定された場合、推測部１３４は、処理を終了する。

ステップＳ４０３の処理において、メニュー画像が表示されていると判定された場合（ステップＳ４０３：Ｙｅｓ）、推測部１３４は、通常メニューデータに係るメニュー画像（以下、適宜“通常メニュー画像”と称する）が表示されているか否かを判定する（ステップＳ４０５）。通常メニュー画像が表示されていないと判定された場合（ステップＳ４０５：Ｎｏ）、推測部１３４は、後述するステップＳ４１４の処理を実行する。

他方、通常メニュー画像が表示されていると判定された場合（ステップＳ４０５：Ｙｅｓ）、推測部１３４は、指先が横方向に遷移しているか否かを判定する（ステップＳ４０６）。具体的には、推測部１３４は、推測部１３４が保持する画像解析部１３２により検出された指先点の履歴を参照し、現在の一つ前の時点の指先の位置と、現在の指先の位置を結ぶ直線を延長し、該延長された直線とディスプレイ１１０の平面と交差する点が、ディスプレイ１１０の表示範囲から上下左右のいずれかに外れており、且つ、現在の一つ前の時点から現在まで、指先が所定の速度（例えば、５ｃｍ／ｆｒａｍｅ）を超える速度でディスプレイ１１０に接近しているか否かを判定する。

上記条件に合致すると判定された場合（ステップＳ４０６：Ｙｅｓ）、推測部１３４は、ユーザの操作意思はメニューの遷移であると推測し、表示されている通常メニュー画像を、該通常メニュー画像と、指先が移動した方向において隣接する、同一階層の通常メニュー画像に変更して（ステップＳ４０７）、処理を終了する。他方、上記条件に合致しないと判定された場合（ステップＳ４０６：Ｎｏ）、推測部１３４は、通常メニュー画像をスクロールさせるか否かを判定する（ステップＳ４０８）。

具体的には、推測部１３４は、推測部１３４が保持する画像解析部１３２により検出された指先点の履歴を参照し、現在の一つ前の時点から現在まで、所定の速度（例えば、５ｃｍ／ｆｒａｍｅ）を超えて、且つ、上下左右のいずれかの方向に指先が移動しているか否かを判定する。該条件に合致する場合（ステップＳ４０８：Ｙｅｓ）、推測部１３４は、ユーザの操作意思はメニュー画面のスクロールであると推測し、指先の移動している方向に向けて、表示されている通常メニュー画像をスクロールさせ（ステップＳ４０９）、処理を終了する。

他方、上記条件に合致しないと判定された場合（ステップｓ４０８：Ｎｏ）、推測部１３４は、推測部１３４が保持する画像解析部１３２により検出された指先点の履歴を参照し、現在の一つ前の時点と、現在との間で、指先点が閾値を超えて、ディスプレイ１１０に接近したか否かを判定する（ステップＳ４１０）。尚、閾値は、表示されている通常メニュー画像が「第１階層」である場合、閾値Ｔｈ２（例えば、５ｃｍ）であり、表示されている通常メニュー画像が「第２階層」である場合、閾値Ｔｈ３（例えば、３ｃｍ）であり、表示されている通常メニュー画像が「第３階層」である場合、０である。

上記条件に合致すると判定された場合（ステップＳ４１０：Ｙｅｓ）、推測部１３４は、ユーザの操作意思は下位階層のメニュー画像の表示であると推測し、通常メニュー画像の表示状態を、現在の状態から一つ下位の状態に遷移させ（ステップＳ４１１）、処理を終了する。即ち、推測部１３４は、表示されている通常メニュー画像が「第１階層」である場合、「第２階層」に遷移させ、表示されている通常メニュー画像が「第２階層」である場合、「第３階層」に遷移させる。

この際、推測部１３４は、指先の移動方向に応じて、下位階層のどの画面に遷移するかを決定する。具体的には、現在の一つ前の時点での指先位置と、現在の指先位置を結ぶ直線を延長し、該延長された直線とディスプレイ１１０の平面とが交差する点が、表示中のメニュー項目の中で、重なっているか、最も距離が近いものに関連づけられた、下位階層の画面に遷移する。

他方、上記条件に合致しないと判定された場合（ステップＳ４１０：Ｎｏ）、推測部１３４は、推測部１３４が保持する画像解析部１３２により検出された指先点の履歴を参照し、現在の一つ前の時点と、現在との間で、指先点が閾値を超えてディスプレイ１１０から遠ざかり、且つ、現在の一つ前の時点と、現在との間における指先のディスプレイ１１０から遠ざかる移動速度が所定値（例えば、５ｃｍ／ｆｒａｍｅ）を超えているか否かを判定する（ステップＳ４１２）。

尚、閾値は、表示されている通常メニュー画像が「第１階層」である場合、閾値Ｔｈ１（例えば、７ｃｍ）であり、表示されている通常メニュー画像が「第２階層」である場合、閾値Ｔｈ２（例えば、５ｃｍ）であり、表示されている通常メニュー画像が「第３階層」である場合、閾値Ｔｈ３（例えば、３ｃｍ）である。

上記条件に合致すると判定された場合（ステップＳ４１２：Ｙｅｓ）、推測部１３４は、ユーザの操作意思はメニュー画像の一時ＯＦＦであると推測し、表示されている通常メニュー画像と閾値とを記憶して、メニュー画像の表示状態を「一時表示ＯＦＦ」として、処理を終了する。他方、上記条件に合致しないと判定された場合（ステップＳ４１２：Ｎｏ）、推測部１３４は、推測部１３４が保持する画像解析部１３２により検出された指先点の履歴を参照し、現在の一つ前の時点と、現在との間で、指先点が閾値を超えてディスプレイ１１０から遠ざかったか否かを判定する（ステップＳ４１４）。

尚、閾値は、表示されている通常メニュー画像が「第１階層」である場合、閾値Ｔｈ１（例えば、７ｃｍ）であり、表示されている通常メニュー画像が「第２階層」である場合、閾値Ｔｈ２（例えば、５ｃｍ）であり、表示されている通常メニュー画像が「第３階層」である場合、閾値Ｔｈ３（例えば、３ｃｍ）である。

上記条件に合致すると判定された場合（ステップＳ４１４：Ｙｅｓ）、推測部１３４は、ユーザの操作意思は上位階層のメニュー画像の表示であると推測し、表示されている通常メニュー画像が「第２階層」又は「第３階層」であることを条件に、現在の状態から一つ上位の状態に遷移させ、表示されている通常メニュー画像が「第１階層」であることを条件に、現在の状態を「非表示」状態に遷移させ（ステップＳ４１５）、処理を終了する。他方、上記条件に合致しないと判定された場合（ステップＳ４１４：Ｎｏ）、推測部１３４は、現在の状態を維持して（ステップＳ４１６）、処理を終了する。

再び図１０に戻り、推測部１３４は、上述したメニュー画像の状態遷移に係る処理の結果に応じて、ディスプレイ１１０に表示されるメニュー画像を生成して（ステップＳ３０９）、処理を終了する。尚、カーソルが重なっているメニュー項目を強調表示するようにしてもよい。

再び図９に戻り、制御部１３６は、ユーザによるタッチパネルの操作を示す信号を、入力インターフェイス１３５を介して受信すると、受信した際に、推測部１３４により生成されディスプレイ１１０上に表示されているメニューを参照して、タッチパネルのユーザの指が触れた位置に対応する命令を、後述するサービス部１３７に対し送信し、メニュー画像の表示状態を「非表示」とする（ステップＳ２０４）。

次に、画面生成部１３８は、推測部１３４により生成されたメニュー画像と、サービス部１３７により生成された画像とを合成して、ディスプレイ１１０上に表示される表示画像を生成し、画面出力インターフェイス１３９を介して、ディスプレイ１１０に送信する（ステップＳ２０５）。

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うユーザインターフェイス装置及びコンピュータプログラムもまた本発明の技術的範囲に含まれるものである。

１…ユーザインターフェイス装置、１１０…ディスプレイ、１２１、１２２…カメラ、１３０…コンピュータ、１３１…カメラインターフェイス、１３２…画像解析部、１３３…メニュー部、１３４…推測部、１３５…入力インターフェイス、１３６…制御部、１３７…サービス部、１３８…画面生成部、１３９…画面出力

Claims (7)

1. ディスプレイに表示される表示画像を出力可能な画像出力手段と、
   前記ディスプレイの周辺の周辺画像を撮像する撮像手段と、
   前記撮像された周辺画像に基づいて、ユーザの指の状態を解析する解析手段と、
   前記解析された指の状態に基づいて、前記ユーザの操作意図を推測する推測手段と、
   前記ユーザの指先が前記ディスプレイの表面に触れる前に、前記推測された操作意図に応じて、前記表示画像を変更するように前記画像出力手段を制御する制御手段と
   を備えることを特徴とするユーザインターフェイス装置。
2. 前記推測手段は、前記解析された指の状態に基づいて、前記指の状態の継時的な変化を取得する継時変化取得手段を有することを特徴とする請求項１に記載のユーザインターフェイス装置。
3. 複数の階層を有するメニューデータである階層メニューデータが予め格納されている記憶手段を更に備え、
   前記表示画像は、前記階層メニューデータに含まれる一の階層のメニューデータに対応するメニュー画像であり、
   前記推測手段は、前記取得された継時的な変化が前記指先及び前記ディスプレイ間の距離の縮小であることを条件に、前記操作意図を下位階層のメニュー画像の表示であると推測し、前記取得された継時的な変化が前記距離の拡大であることを条件に、前記操作意図を上位階層のメニュー画像の表示であると推測する
   ことを特徴とする請求項２に記載のユーザインターフェイス装置。
4. 前記推定手段は、前記取得された継時的な変化が前記指先の滞留であることを条件に、前記操作意思を思案中であると推測することを特徴とする請求項２又は３に記載のユーザインターフェイス装置。
5. 前記制御手段は、前記推測手段により前記操作意思が思案中であると推測された場合、前記表示画像を、前記表示画像に係るヘルプ画像に変更するように前記画像出力手段を制御することを特徴とする請求項４に記載のユーザインターフェイス装置。
6. 前記解析手段は、
   前記指先の３次元座標を算出する３次元座標算出手段と、
   前記算出された３次元座標を、前記算出された３次元座標と対応する前記ディスプレイ上の２次元座標と、前記指先及び前記ディスプレイ間の距離とに変換する変換手段と
   を有することを特徴とする請求項１乃至５のいずれか一項に記載のユーザインターフェイス装置。
7. コンピュータを、
   ディスプレイに表示される表示画像を出力可能な画像出力手段と、
   前記ディスプレイの周辺の周辺画像を撮像する撮像手段と、
   前記撮像された周辺画像に基づいて、ユーザの指の状態を解析する解析手段と、
   前記解析された指の状態に基づいて、前記ユーザの操作意図を推測する推測手段と、
   前記ユーザの指先が前記ディスプレイの表面に触れる前に、前記推測された操作意図に応じて、前記表示画像を変更するように前記画像出力手段を制御する制御手段と、
   として機能させることを特徴とするコンピュータプログラム。

Images