JP2019133395A

JP2019133395A - 入力装置

Info

Publication number: JP2019133395A
Application number: JP2018014844A
Authority: JP
Inventors: 及川　卓; Taku Oikawa; 卓及川
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2018-01-31
Filing date: 2018-01-31
Publication date: 2019-08-08

Abstract

【課題】ジェスチャー入力による操作性を向上させた入力装置を提供する。【解決手段】ジェスチャー入力システム１００は、撮像装置３００で車内のユーザの手を撮像し、撮像データを車載装置２００に提供する。車載装置２００は、提供された撮像データに基づいて画像解析を行い、任意の入力表示に対する入力空間にユーザの指が進入したか否かを判定する。ユーザの指が入力空間に１本あれば、当該入力空間に対応する入力表示を選択し、ユーザの指が入力空間に複数本あれば、当該入力空間に対応する入力表示が有する機能を実行する。【選択図】図６

Description

本発明は、ジェスチャー入力機能を備えた入力装置に関し、特に、車内空間でのジェスチャー入力に関する。

現在、パソコン、スマートフォン、タブレット端末、車載装置など、様々な電子装置において、タッチパネルが搭載され、各種指示がタッチパネルへのタッチ操作により入力されている。タッチ入力は、ディスプレイに映し出される表示画像に基づき、入力操作が直感的に行えることから、ＩＴスキルを持たない一般の方々にも広く利用されている。このような直感的に操作可能な入力方式は、タッチ入力以外にも、指や手の動きにより入力操作を行うジェスチャー入力、視線方向による視線入力、音声による音声入力などがあり、入力操作が簡便なことから注目を集めている。また、将来的な自動運転の実現に向けて、非接触操作が可能なジェスチャー入力が注目を集めている。

タッチ操作入力やジェスチャー入力においては、ユーザの手の動きを検出して、入力内容を選択することが知られている。特許文献１に記載の入力装置では、ユーザの指の数に基づいてタッチパネル操作を行う技術が開示されている。

特開２０１７−０６８２９１号公報

図１２は、従来の入力装置の一例を示す図である。同図は、ディスプレイ４０上に表示されたアイコン１０Ａ、１０Ｂ、１０Ｃのうち、１０Ｂをジェスチャー入力で選択する場面を示している。アイコン１０Ｂは、アイコン１０Ｂに対するジェスチャー入力を検出する検出領域２０を有している。検出領域２０は、アイコン１０Ｂの表示面から垂直方向に存在する空間である。ユーザ３０の手が検出領域２０に進入したことが検出されると、対象のアイコン１０Ｂの色が変化したり、カーソル表示がなされたりして、アイコン１０Ｂが選択されたことをユーザに認識させる（図１２（Ａ））。なお、ユーザ３０の手が検出領域２０を離脱すると、元の表示に切り替わる。

次に、ユーザ３０は、アイコン１０Ｂの選択を確定させる操作を行う必要がある。この確定操作により、アイコン１０Ｂが有する機能実行される（図１２（Ｂ））。例えば、アイコン１０Ｂが、エアコンのオン／オフを切り替えるものである場合には、確定操作により、エアコンのオン／オフが実行される。確定操作方法は、例えば、ユーザ３０が直接アイコン１０Ｂに直接タッチする方法や、検出領域２０内に一定期間ユーザ３０の指を置いておき、アイコン１０Ｂを選択し続けることをもって確定操作とする方法などがある。しかし、今後、自動運転技術が実用化されることを考慮すると、ユーザの状態によっては、ジェスチャー入力が困難になる場合が想定される。例えば、自動運転中であって、ユーザがリクライニング等の状態である場合、画面に直接触れるタッチ操作が困難となる場合がある。また、自動運転により、ユーザが予期しない振動が車両に伝わり、ジェスチャー入力の手がぶれることによって、入力が困難になる場合も想定される。

本発明は、このような従来の課題を解決し、ジェスチャー入力による操作性を向上させた入力装置を提供することを目的とする。

本発明に係る入力装置は、ジェスチャー入力可能な入力装置であって、入力対象を表示し、かつ前記入力対象へのユーザー操作部の接近または接触を検出する機能を備えた表示手段と、前記表示手段の入力対象との位置的関係から決められた検出領域内に前記ユーザー操作部が進入したか否かを検出する第１の検出手段と、前記検出領域内へ前記ユーザー操作部の進入が検出された場合、前記ユーザー操作部の態様が変化したか否かを検出する第２の検出手段と、前記ユーザー操作部の態様の変化が検出された場合に、前記入力対象を操作対象と認識する認識手段と、を有する。

好ましくは、前記認識手段は、前記検出領域内へ前記ユーザー操作部の進入が検出された場合、前記入力対象が選択対象と認識する。好ましくは、前記第２の検出手段は、ユーザーの指の態様の変化を検出する。好ましくは、前記第２の検出手段は、ユーザーの指の本数の変化を検出する。好ましくは、前記入力対象がロータリー式入力ボタンである場合に、前記第２の検出手段は、前記ユーザー操作部の第１の態様の変化と、当該第１の態様の変化に続く第２の態様の変化を検出することを含み、前記認識手段は、第１の態様の変化が検出されたとき、前記ロータリー式入力ボタンが掴まれたと認識し、第２の態様の変化が検出されたとき、前記ロータリー式入力ボタンが回転されたと認識する。好ましくは、入力装置はさらに、前記検出領域と前記ユーザー操作部の位置的関係を前記表示手段に表示させる表示制御手段を含む。好ましくは、前記第１の検出手段により前記ユーザー操作部が前記検出領域外に向かうことが検出されたとき、前記表示制御手段は、前記表示手段に警告を表示させる。

本発明によれば、ユーザ操作部の態様の変化を検出することで入力対象を操作対象と認識するようにしたので、例えば、車の振動時や自動運転時のリラックスした状態時のジェスチャー入力の操作性が向上する。また、車両が予期せぬ振動で揺れたとしても、ある程度の追従性が確保でき、操作の煩わしさの低減が見込まれる。

本発明の実施例に係るジェスチャー入力システムの具体的な全体構成を示す俯瞰図である。本発明の実施例に係る車内のジェスチャー入力システムの斜視図を示す図である。ジェスチャー入力システムの構成例を示すブロック図である。ジェスチャー入力プログラム４００の機能的な構成を示す図であるユーザの指の検出例を示す図である。本発明の実施例に係るジェスチャー入力システムの動作を示すフロー図である変形例に係るジェスチャー入力プログラム４００Ａの機能的な構成を示す図である。変形例に係るユーザが行うジェスチャー動作を例示する図である。変形例に係るジェスチャー入力システムの動作を示すフロー図である。入力表示が選択されている際の入力空間の拡張および警告表示を例示する図である。他の入力表示を例示する図である。従来の入力装置の一例を示す図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明の１つの好ましい態様では、ジェスチャー入力システムは、車両に搭載された車載装置への入力システムとして利用される。但し、本発明は、必ずしも車載用のジェスチャー入力システムに限定されるものではない。

本発明のジェスチャー入力システムは、ジェスチャー入力動作を撮像するための撮像装置を含み、撮像装置は、車内に設置された撮像カメラを含む。撮像カメラは、例えば、車両の天井などに設置され、車内の入力空間においてユーザの手などの実物体の動作または移動を撮像する。さらにジェスチャー入力システムは、入力情報としての撮像情報を撮像装置から受け取る電子装置を含む。当該電子装置は、例えば、車内に備えられた車載装置である。電子装置は、特に制限されないが、種々の機能を包含することができ、撮像装置から送信される撮像情報を解析する機能の他に、そのような解析から得られた入力に応答して動作可能なナビゲーション機能、オーディオ・ビデオデータを再生する機能、テレビ・ラジオ放送を受信する機能などを備えることができる。なお、ジェスチャー入力動作を検出するための手段は、撮像装置を用いたものに限られず、従来のジェスチャー入力システムで利用されている検出方法を用いることができ、例えば、静電センサーを用いた検出方法でも良い。

次に、本発明の実施例に係るジェスチャー入力システムについて図面を参照して説明する。図１は、本発明の実施例に係るジェスチャー入力システムの具体的な全体構成を示す俯瞰図である。本実施例に係るジェスチャー入力システム１００は、入力空間Ｒ１を撮像する撮像装置３００と、撮像装置３００からの撮像情報を受け取る車載装置２００とを含んで構成される。例えば、ユーザＵは、運転席の運転者であり、入力空間Ｒ１の範囲内で手Ｈを用いてジェスチャー動作を行うことで、車載装置２００への入力操作を行うことができる。

図２は、本発明の実施例に係る車内のジェスチャー入力システムの斜視図を示す図である。撮像装置３００は、車内の天井またはユーザの手Ｈが撮像可能なその他の位置に固定され、手Ｈの動作を撮像する入力空間Ｒ１を形成する。入力空間Ｒ１は、好ましくは、運転者が運転をしながら、片方の手Ｈを容易に動かすことできる空間である（図２の場合、左手でハンドルを操作し、右手でジェスチャー入力が可能となる空間である）。例えば、車載装置２００の表示部２５０のディスプレイがセンターコンソールに配置されるとき、入力空間Ｒ１は、運転席と助手席と間の空間、より好ましくはアームレスト上の空間であることができる。入力空間Ｒ１は、表示部２５０の表示面側に形成される３次元的な空間である。

図３は、ジェスチャー入力システムの構成例を示すブロック図である。車載装置２００は、例えば、ナビゲーション装置などの電子装置であり、記憶部２１０、ナビゲーション部２２０、音声出力部２３０、入力部２４０、表示部２５０、マルチメディア再生部２６０、制御部２７０、入力インターフェイス（入力ＩＦ）２８０を含む。車載装置２００は、入力インターフェイス２８０を介して撮像装置１００とデータの送受を可能にする。データの送受は、有線または無線のいずれかを問わない。

記憶部２１０は、種々のデータやプログラムなどを記憶することができる。さらに記憶部２１０は、マルチメディア再生部２６０で再生可能な映像データやオーディオデータを格納したり、ナビゲーション部２２０に必要な地図データ等を格納することができる。さらに好ましくは、記憶部２１０は、撮像装置１００から送信される画像データのデジタルデータを記憶したり、ジェスチャー入力を判定するために必要なデータを記憶することができる。ナビゲーション部２２０は、自車位置周辺の道路地図を案内したり、自車位置から目的地までの経路を探索し、これを案内したりする。自車位置は、ジャイロセンサや加速度センサーなどの測定結果、および／またはＧＰＳ衛星からのＧＰＳ信号から算出することができる。

音声出力部２３０は、マルチメディア再生部２６０で再生されたオーディオデータや記憶部２１０に記憶されているオーディオデータ等を出力する。入力部２４０は、タッチパネルやボタンキーなど、車載装置２００を使用するユーザが実行する機能を選択したり、ユーザの音声を入力するマイク等を含むことができる。

表示部２５０は、マルチメディア再生部２６０で再生されたビデオデータや、記憶部２１０に記憶されている地図データ等を表示するディスプレイを含む。ディスプレイは、タッチパネル機能を有しており、好ましくは図２に示すように、車両のセンターコンソール上に配置される。ディスプレイは、その表示面が入力空間Ｒ１と向き合うように設置されており、ディスプレイに表示されている入力表示（例えば、各アプリケーションを実行するアイコン、音量調整用のツマミ（以下、ロータリー表示という）、スクロール用のバーなど）に対してジェスチャー動作を行うことで、ディスプレイに触れずとも、各入力表示が行える入力操作を実行することができる。

マルチメディア再生部２６０は、ＣＤ、ＤＶＤ、メモリなどの外部媒体や記憶部２１０から読み出されたビデオデータやオーディオデータを再生したり、テレビ放送やラジオ放送で受信したビデオデータやオーディオデータを再生したりする。再生されたデータは、表示部２５０や音声出力部２３０から出力される。

制御部２７０は、マイクロプロセッサやマイクロコントローラ、ＲＯＭ／ＲＡＭ等を含み、例えば、プログラム等を実行することにより車載装置２００の各部を制御する。本実施例では、制御部２７０は、撮像装置３００から送信される画像データに基づき、ジェスチャー入力を制御するジェスチャー入力プログラム４００を実行する。図４は、ジェスチャー入力プログラム４００の機能的な構成を示す図である。

ジェスチャー入力プログラム４００は、画像データ取得部４１０、進入検出部４２０、選択実行部４３０、態様変化検出部４４０、入力機能実行部４５０を含む。画像データ取得部４１０は、撮像装置３００が撮像した入力空間Ｒ１のデジタル化された画像データを取得する。

進入検出部４２０は、画像データ取得部４１０が取得した画像データを解析し、取得された画像データに含まれるユーザＵの手Ｈの侵入を検出する。図５は、ユーザの指の検出例を示す図である。図５では、表示部２５０のディスプレイにアイコン２５１、２５２、２５３が表示されており、それぞれ、音楽再生のオン／オフ、空調のオン／オフ、車内ライトのオン／オフを切り替える入力表示となっている。ユーザＵは、表示部２５０に表示されたこれらのアイコンをタッチ操作入力できるほか、入力空間Ｒ１でジェスチャー動作を行うことで、入力操作を行うことができる。各アイコンには、それぞれ、対応する入力空間が予め決められており、例えば、入力空間Ｒ２は、アイコン２５２を操作する際の検出領域である。入力空間Ｒ２は、入力空間Ｒ１に含まれる３次元領域であり、好ましくは、アイコン２５２の表示面から垂直方向に存在する領域である。入力空間Ｒ２は、撮像装置３００が撮像した入力空間Ｒ１の中で予め定められる領域である。進入検出部４２０は、例えば、画像データから、入力空間Ｒ２にユーザＵの手Ｈの指Ｈ１が１本進入したことを検出することができる（図５（Ａ））。

選択実行部４３０は、進入検出部４２０によって、ユーザの指が１本検出された場合に、表示部２５０に表示された入力表示のうち、対応する入力表示の選択を実行する。対応するとは、例えば、入力空間Ｒ２にはアイコン２５２が対応しているため、入力空間Ｒ２で指が１本検出された場合には、選択実行部４３０によってアイコン２５２が選択される。アイコンの選択は、例えば、選択されたアイコンの表示色を他の非選択のアイコンと異なるように表示したり、選択されたアイコンを大きく表示したりするほか、アイコンに対するカーソル表示、アイコンの点滅など、様々な強調表示をもって選択されたアイコンを表示する。なお、本実施例では、アイコン２５２に対する入力空間Ｒ２を例示しているが、アイコン２５１に対する入力空間、アイコン２５３に対する入力空間が存在し、それぞれの入力空間で指の進入が検出された場合には、対応するアイコンが選択される。

態様変化検出部４４０は、選択実行部４３０によって任意のアイコンが選択され、選択されたアイコンの入力空間内でユーザの指の態様が変化したことを検出する。例えば、入力空間内のユーザの指の本数が変化したことを検出する。図５を用いて説明すれば、図５（Ａ）の状態で、進入検出部４２０による検出および選択実行部４３０によるアイコン２５２の選択が行われた後、図５（Ｂ）に示すように、指Ｈ１に加え指Ｈ２および指Ｈ３が侵入したことを認識し、指の数が変化したことを検出する。

入力機能実行部４５０は、態様変化検出部４４０によって指の態様の変化が検出された場合、選択されているアイコンの機能を実行する。例えば、アイコン２５２は、タッチすることで空調のオン／オフを切り替えられる機能を有しており、入力機能実行部４５０は、態様変化検出部４４０の検出結果に基づいて、図５（Ｂ）の状態になった時点でアイコン２５２の切り替え機能を実行する。具体的には、空調がオフの状態で入力機能実行部４５０の実行が行われた場合には、空調がオンに切り替えられ、空調がオンの状態で入力機能実行部４５０の実行が行われた場合には、空調がオフに切り替わる。その他、アイコン２５１の入力空間（検出領域）で同様の操作が行われた場合には、音楽再生のオン／オフが切り替えられ、アイコン２５３においては、車内ライトのオン／オフが切り替えられる。

選択実行部４３０および入力機能実行部４５０による選択／実行は、進入検出部４２０や態様変化検出部４４０、用いて即座に行うものであっても良いし、例えば、入力空間Ｒ２に指１本が３秒間連続して検出された場合には選択を行う、入力空間Ｒ２に複数の指が２秒間連続して検出された場合には入力機能の実行を行うなど、選択／実行までに時間を持たせるようにしても良い。

次に、撮像装置３００について説明する。撮像装置３００は、撮像装置３００は、車内の入力空間Ｒ１を撮像する撮像部３１０、Ｄ／Ａ変換部３２０、制御部３３０、画像データ送信部３４０を含む。

撮像部３１０は、車内上部に取り付けられた少なくとも１つの撮像カメラを含み、撮像カメラにより車内の入力空間Ｒ１（入力空間Ｒ２などの、各入力表示に対する入力空間を含む）を撮像する。撮像部３１０は、入力空間Ｒ１内にユーザＵの手Ｈが進入したとき動作を開始するようにしてもよいし、あるいは、図示しない赤外線センサーなどにより入力空間Ｒ１内への物体の進入が検知されたことに応答して動作を開始するようにしてもよい。

Ｄ／Ａ変換部３２０は、撮像部３１０によって撮像された画像データをデジタルデータに変換する。制御部３３０は、撮像装置３００の各部を制御し、例えば、撮像部３１０の動作開始、撮像部３１０のチルト、撮像された画像データの送信等を制御する。動画像データ送信部３４０は、撮像部３１０で撮像された画像データを車載装置２００に送信する。車載装置２００は、入力インターフェイス２８０を介して画像データを受け取る。動画像データ送信部３４０は、画像データのほか、複数の画像データを合わせて動画データとしてデータを送信することも可能である。

次に、ジェスチャー入力システムの全体動作について説明する。図６は、本発明の実施例に係るジェスチャー入力システムの動作を示すフロー図である。ジェスチャーシステム１００は、まず、撮像部３１０によってジェスチャー動作の検知／撮像が行われる（Ｓ１００、Ｓ１０２）。撮像された画像は、Ｄ／Ａ変換部３２０によってデジタルデータに変換され、動画像データ送信部３４０によって、車載装置２００に提供される（Ｓ１０４）。

画像データ取得部４１０は、撮像装置３００から提供された画像データを取得する（Ｓ１０６）。進入検出部４２０は、Ｓ１０６で取得された画像データに基づき、各入力表示に対する入力空間にユーザＵの指が進入したか否か、すなわち、指が１本存在するか否かを検出する（Ｓ１０８）。選択実行部４３０は、Ｓ１０８で検出された指が進入した入力空間に対応する入力表示を選択する（Ｓ１１０）。一方で、Ｓ１０６で取得された画像データに基づき、態様変化検出部４４０は、複数の指が含まれていることを検出する（Ｓ１１２）。入力機能実行部４５０は、Ｓ１１４で複数の指が進入していることを検出した場合、複数の指が存在する入力空間に対応する入力表示の機能を実行する（Ｓ１１４）。なお、通常、ある入力空間で１本の指が検出されたのち、当該入力空間で複数の指が検出されることから、入力機能実行部４５０が実行する入力表示は、選択実行部４３０によって選択された入力表示となる。

次に、図６の動作フローを、図５を用いて具体的に説明する。まず、Ｓ１００ないしＳ１０６の処理により、図５（Ａ）で示すような状態を認識できる撮像画像が取得される。このとき、Ｓ１０８およびＳ１１０の処理によって、アイコン２５２が選択状態となる。次に、図５（Ｂ）に示すような状態を認識できる撮像画像が新たに取得されると（Ｓ１００ないしＳ１０６）、Ｓ１０８の処理でＮｏとなった後、Ｓ１１２で複数の指が検出され、選択状態のアイコン２５２の機能が実行される（Ｓ１１４）。

本実施例では、ジェスチャー入力による操作を指の数によって区分けし、１本の指の場合には入力機能の選択を、１本の指から複数の指へと態様が変化した場合には入力機能の実行をするようにしたので、ジェスチャー入力の操作性が向上する。また、ジェスチャー入力の際に車両が振動したとしても、ある程度の追従性が確保でき、操作の煩わしさの低減が見込まれる。

次に、本実施例の変形例について説明する。上記した実施例では、機能のオン／オフを切り替えるジェスチャー入力方法について説明したが、変形例では、主に音量調節を行うＶｏｌノブを模したＧＵＩ（グラフィックユーザインターフェイス）を操作する場合のジェスチャー入力について説明する。図７は、変形例に係るジェスチャー入力プログラム４００Ａの機能的な構成を示す図である。ジェスチャープログラム４００Ａは、上記の実施例で説明した各機能部を含むことができ、さらに、態様変化検出部４４０は、複数指検出部４４２および動作変化検出部４４６を包含し、ロータリー表示掌握部４４４の機能を新たに含む。

図８は、変形例に係るユーザが行うジェスチャー動作を例示する図である。図８では、Ｖｏｌノブを模したロータリー表示２５４が表示部２５０に表示されている様子を示しており、ロータリー表示２５４に対応する入力空間Ｒ３が示されている。入力空間Ｒ３は、入力区間Ｒ１に含まれる３次元領域であり、好ましくは、ロータリー表示２５４の表示面から垂直方向に存在する領域である。入力空間Ｒ３は、撮像装置３００が撮像した入力空間Ｒ１の中で予め定められる領域である。

進入検出部４２０は、図８（Ａ）で示すように、入力空間Ｒ３にユーザＵの指Ｈ１が進入した撮像データが取得された場合、入力空間Ｒ３への進入を検出する。選択実行部４３０は、上記した実施例と同様に、入力空間Ｒ３にユーザの指が１本検出された場合に、ロータリー表示２５４を選択する。

複数指検出部４４２は、図８（Ｂ）に示すように、入力空間Ｒ３にユーザの指が複数本進入していることを検出する。ロータリー表示掌握部４４４は、複数指検出部４４２による検出が行われた場合、ロータリー表示２５４をユーザＵが仮想的に掴んだという判定を行う。当該判定が行われた際には、ロータリー表示２５４が仮想的に回転可能な状態であることを示すため、ロータリー表示２５４に陰影をつけて３次元的に見えるように表示を変更したり、回転可能な方向に矢印を表示するアシスト表示をしたりして、仮想的に掌握状態であることを表示する。

動作変化検出部４４６は、ロータリー表示２５４が仮想的に掴まれている状態で、図８（Ｃ）に示すような回転動作（右回り／左回り）を検出する。入力機能実行部４５０は、動作変化検出部４４６が検出した回転動作に応じた入力機能を実行する。例えば、右回りであれば音量を上げる、左回りであれば音量を下げるなどの入力制御を実行する。空調の調整であれば、温度の上げ下げの入力を行うことができる。

図９は、変形例に係るジェスチャー入力システムの動作を示すフロー図である。なお、画像データを受信するＳ１０６までのフローについては、上記した実施例と同様であるため、説明を割愛する。車載装置２００に撮像データが提供されると、まず、進入検出部４２０によって、指の進入があるか否かが検出される（Ｓ１０８）。これにより、ロータリー表示２５４に対する入力空間Ｒ３にユーザの指が検出された場合、選択実行部４３０によって、ロータリー表示２５４の選択が行われる（Ｓ１１０）。一方、複数指検出部４４２により、入力空間Ｒ３に複数の指が検出された場合には（Ｓ１１２）、ロータリー表示掌握部４４４によって、ロータリー表示２５４を仮想的につまんだ状態である判定がなされる（Ｓ１１６）。図９上には図示しないが、Ｓ１１６の判定がなされた状態で、動作変化検出部４４６によって入力空間Ｒ３内で回転動作が検出された場合には、入力機能実行部４５０によって各回転動作に対する入力が実行される。

次に、本実施例および変形例に適用可能な、入力表示が選択されている際の入力空間の拡張および警告表示について説明する。ジェスチャープログラム４００およびジェスチャープログラム４００Ａは、図６および図９の動作フローからわかるように、選択実行部４３０の選択が一度行われた場合であっても、次に取得された撮像データに基づいて入力空間に指が検出されない場合には、入力表示の選択が解除されてしまう。すなわち、すべての指が、検出領域である入力空間から出た場合に、選択を解除するようになっている。このような選択解除が意図せずに発生してしまう恐れを軽減するために、入力空間の拡張および警告表示を行うようにしても良い。図１０は、入力表示が選択されている際の入力空間の拡張および警告表示を例示する図である。図１０（Ａ）は、ロータリー表示２５４が選択実行部４３０によって選択されている状態を示しており、ジェスチャープログラム４００およびジェスチャープログラム４００Ａは、このような選択状態の際に入力空間Ｒ３を拡張し、選択状態が解除されにくい状態としても良い。入力空間Ｒ３の拡張により、ロータリー表示２５４からの距離Ｌ２は、通常の距離Ｌ１（図８）よりも長くなる。入力空間Ｒ３の拡張は、進入検出部４２０の検出範囲を拡大させることにより、実現することができる。

また、ジェスチャープログラム４００およびジェスチャープログラム４００Ａは、指が入力空間Ｒ３からはみ出しそうになった場合には、図１０（Ｂ）に示すように、表示部２５０に警告表示を表示するようにしても良い。警告表示は、ロータリー表示２５４の周りに入力空間Ｒ３を模した領域ｒ３を表示し、指の位置を模したマークｈ１、ｈ２、ｈ３が表示される。さらに、理想の指の位置をＰ１、Ｐ２、Ｐ３として表示し、ｈ１、ｈ２、ｈ３と線で結び、検出エリアからユーザの指が離れてしまうことを警告する。実際の指の位置と理想の指の位置の表示色を異なるものとすることにより、より分かり易い表示となる。なお、入力空間Ｒ３からのはみだしは、進入検出部４２０によって検出することができる。また、警告は、表示に限られず音声出力部２３０から警告案内を出力するようにしても良い。

上記した実施例および変形例では、オン／オフ切り替えの入力表示、つまみ式のロータリー表示を例示したが、ジェスチャー入力システム１００は、他の入力表示に対しても適応可能である。図１１は、他の入力表示を例示する図である。入力表示は、図１１（Ａ）に示すように、縦スクロール用の入力表示であっても良いし、図１１（Ｂ）に示すように、横スクロール用の入力表示であっても良い。これらのスクロール表示の場合、変形例と同様に、スクロール表示に対応する入力空間にユーザの指が進入した場合に選択実行部４３０によってスクロール表示が選択され、複数の指が侵入した場合に、スクロールバーＢを掴んだ状態になる。その後、縦または横のジェスチャー動作を検出し、表示画面のスクロールを行うことができる。その他、ページをめくる入力表示に、ジェスチャー入力システム１００を適用するようにしても良い。

本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形・変更が可能である。

１０Ａ、１０Ｂ、１０Ｃ：アイコン２０：検出領域
３０：ユーザ４０：ディスプレイ
１００：ジェスチャー入力システム２００：車載装置
２１０：記憶部２２０：ナビゲーション部
２３０：音声出力部２４０：入力部
２５０：表示部２５１：アイコン
２５２：アイコン２５３：アイコン
２５４：ロータリー表示２６０：マルチメディア再生部
２７０：入力部２８０：入力ＩＦ
３００：撮像装置３１０：撮像部
３２０：Ｄ／Ａ変換部３３０：制御部
３４０：動画像データ送信部４００、４００Ａ：ジェスチャー入力プログラム
４１０：画像データ取得部４２０：進入検出部
４３０：選択実行部４４０：態様変化検出部
４４２：複数指検出部４４４：ロータリー表示掌握部
４４６：動作変化検出部４５０：入力機能実行部
Ｂ：スクロールバーＨ：手
Ｈ１、Ｈ２、Ｈ３：指Ｒ１、Ｒ２、Ｒ３：入力空間
Ｕ：ユーザ

Claims

ジェスチャー入力可能な入力装置であって、
入力対象を表示し、かつ前記入力対象へのユーザー操作部の接近または接触を検出する機能を備えた表示手段と、
前記表示手段の入力対象との位置的関係から決められた検出領域内に前記ユーザー操作部が進入したか否かを検出する第１の検出手段と、
前記検出領域内へ前記ユーザー操作部の進入が検出された場合、前記ユーザー操作部の態様が変化したか否かを検出する第２の検出手段と、
前記ユーザー操作部の態様の変化が検出された場合に、前記入力対象を実行可能な操作対象と認識する認識手段と、
を有する入力装置。
前記認識手段は、前記検出領域内へ前記ユーザー操作部の進入が検出された場合、前記入力対象が選択対象と認識する、請求項１に記載の入力装置。
前記第２の検出手段は、ユーザーの指の態様の変化を検出する、請求項１に記載の入力装置。
前記第２の検出手段は、ユーザーの指の本数の変化を検出する、請求項３に記載の入力装置。
前記入力対象がロータリー式入力ボタンである場合に、前記第２の検出手段は、前記ユーザー操作部の第１の態様の変化と、当該第１の態様の変化に続く第２の態様の変化を検出することを含み、
前記認識手段は、第１の態様の変化が検出されたとき、前記ロータリー式入力ボタンが掴まれたと認識し、第２の態様の変化が検出されたとき、前記ロータリー式入力ボタンが回転されたと認識する、請求項１ないし４いずれか１つに記載の入力装置。
入力装置はさらに、前記検出領域と前記ユーザー操作部の位置的関係を前記表示手段に表示させる表示制御手段を含む、請求項１ないし５いずれか１つに記載の入力装置。
前記第１の検出手段により前記ユーザー操作部が前記検出領域外に向かうことが検出されたとき、前記表示制御手段は、前記表示手段に警告を表示させる請求項１ないし５いずれか１つに記載の入力装置。