JP2007164814A - インタフェース装置 - Google Patents

Abstract

【課題】 視線を動かすことなく容易に、しかも正確に効率よく機器を操作する事が可能な機器操作制御方法およびそれを用いたインタフェース装置を提供する。
【解決手段】 複数の操作項目を有する機器を操作するためのものであって、前記複数の操作項目のうち、ユーザが選択可能な操作項目を予め定められた順序に従って所定間隔で１つずつ自装置の操作対象として選択する選択手段と、前記操作対象を選択する間隔に合わせて、現在操作対象となっている操作項目をユーザに通知する通知手段と、ユーザからの各種指示を入力する指示入力手段と、この指示入力手段で所定の選択指示が入力されたときに前記操作対象となっている操作項目に基づき前記機器に対する操作を行う手段とを具備する。
【選択図】 図１

Description

本発明は、例えば、車載情報機器を始めとする各種の情報機器を操作するためのインタフェース装置に関する。

近年、自動車の中には、カー・ナビゲーションを始め、オーディオ装置、TV、ビデオ装置、携帯電話、エアコンなど数多くの情報機器、電装機器が搭載されるようになっている。車内で電話をかけるだけでなく、電子メールを読み書きしたり、インターネットにアクセスしたりすることさえ可能である。この傾向は今後もますます進み、自動料金収受システムや安全走行支援システムなども導入され、車はまさに走るコンピュータになろうとしている状況である。この様な状況では、様々な機器の操作パネルが氾濫し、個々の機器を操作するために、それぞれの操作パネルを操作する必要がある。

また、設置面積などの問題から、それらの様々な機器の操作パネルを全て用意するのは困難で、操作部を共有するようになりつつある。現在は、カー・オーディオ用の操作ボタンがあり、エアコン用の操作ボタンがあり、カー・ナビゲーション用の操作ボタンあるいはリモコンがあり、それぞれを使って操作を行うという状況が一般的である。しかし、一部の車載機器では、１つのディスプレイに全ての機器の状態が表示され、また，共通の入力装置によって操作を行うことができるようになっている。例えば、ディスプレイにタッチパネル機能が搭載されており、画面に表示されるメニューに触れることで操作が行えるようになっている。ディスプレイには、状況に応じて異なった画面を表示できるため、全ての機器の操作が可能である。例えば、ディスプレイに「エアコン」，「オーディオ」「カーナビ」などのメニューアイコンがあり、「オーディオ」に触れると、オーディオの操作パネルが表示され、その中の「音量を上げる」ボタンに触れると音量が大きくなる、といった具合である。また、表示されたメニュー画面に対し、タッチパネルではなくリモコンのような装置を使って操作を行う製品も多い。その場合には、典型的にはリモコンに４方向を指示するボタンが付いており、これを操作することで、メニューを選択していくものである。

このように、車載機器の種類が増えていく中で、運転者が行う操作の種類は飛躍的に増大している。特にカー・ナビゲーションの登場によって、操作の種類は大幅に増えたと言って良い。そのことにより、運転者が運転中に、あるいは信号待ちなどのわずかな時間に操作を行うというケースが増えている。従来ならば、オーディオ操作（音量調整、選曲）やエアコン操作（温度調整、風量調整）程度しか行っていなかったが、近年では、カー・ナビゲーションの表示画面を切り替えたり、現在地近辺の施設を探すために地図をスクロールしたり、携帯電話を使うこともある。このような操作が増えることにより、運転中の注意力が散漫し、事故などの原因になりやすい。事実、運転中の携帯電話の使用によって事故が急増し、道路交通法の改正により、運転中の携帯電話の使用が禁止された。ただし、手に電話機を持たずに通話できるハンズフリー装置を用いている場合は、運転中でも使用することができる。この例に見られるように、運転者の視線を動かさずに他のこと（この場合は電話）を行えることは安全上重要である。

一方、車載機器の操作について述べると、通常は操作パネルを見ながら操作を行うために、運転者の注意が前方よりそれることになる。そのような操作が増えると言うことは、運転中の危険が増大していることを示している。しかも、操作機器の増加により、操作パネルの種類が増加すると、目的の機器の操作パネルにアクセスするため、それを探すことを目的としてまず視線移動を行わなければならない。さらに、操作のためにボタンなどにアクセスするため、視線移動の時間は長くなってしまう。

また、前述したひとつの例のように、機器の操作がディスプレイと共通の入力装置に集約していると、例えば、従来ならば、エアコンの温度を上げるのには、温度つまみを回すか、温度上昇ボタンを押せばよかったものが、メインメニューから「エアコン」を選び、エアコンの操作パネルが表示されてから、「温度上昇」ボタンを押すことになり、運転者の視線の動きが増え、危険度が増してしまう。
特開平１０−１７７４４９号公報 特開２００１−２１６０６９号公報

このように、従来は、例えば自動車を運転する運転者が、前方を注視したままで（視線を動かすことなく）、効率よく車載機器などの操作を行うことが困難であった。

そこで、本発明は、上記問題点に鑑み、視線を動かすことなく容易に、しかも正確に効率よく機器を操作する事が可能な機器操作制御方法およびそれを用いたインタフェース装置を提供することを目的とする。

特に、車載機器のような特殊な環境下で操作しなければならない機器を車の運転に支障ないように操作することのできる機器操作制御方法およびそれを用いたインタフェース装置を提供することを目的とする。

本発明は、複数の操作項目を有する機器を操作するためのものであって、前記複数の操作項目のうち、ユーザが選択可能な操作項目を予め定められた順序に従って所定間隔で１つずつ自装置の操作対象として選択する選択手段と、前記操作対象を選択する間隔に合わせて、現在操作対象となっている操作項目をユーザに通知する通知手段と、ユーザからの各種指示を入力する指示入力手段と、この指示入力手段で所定の選択指示が入力されたときに前記操作対象となっている操作項目に基づき前記機器に対する操作を行う手段とを具備したことを特徴とする。

本発明によれば、現在操作対象であるとして通知されている操作項目に対しユーザが所定の選択指示を入力するだけで、操作メニューや操作対象の機器に対し操作が行えるので、ユーザは、視線を動かすことなく容易に、しかも正確に効率よく操作対象機器を操作することができる。

本発明によれば、視線を動かすことなく容易に、しかも正確に効率よく機器を操作することが可能となる。

以下、図面を参照しながら発明の実施の形態を説明する。
（第１の実施形態）
まず、本発明の第１の実施形態について説明する。
＜全体の構成＞
本実施形態に係るインタフェース装置は、操作メニューをもつ機器（操作対象機器）を操作するためのインタフェース装置であって、図１に示すように、指示入力部１と制御部２と操作メニュー操作部３と通知部４と機器動作制御部５とから構成されている。図１に示すような構成により、インタフェース装置は、操作対象機器の操作メニューをユーザからの指示に従って操作しながら、操作対象機器を操作するようになっている。

図１において、指示入力部１は、ユーザによりなされた各種指示（選択指示、操作指示など）が入力するようになっている。この指示入力部１は、例えば、予め設けられた複数個（３個ぐらいのできるだけ少ない数の）ボタンから構成されていてもよいし、ユーザの行うジェスチャを認識して、各種指示入力を行うものであってもよいし、さらに、ユーザにより発声した言葉を音声認識して各種指示入力を行うものであってもよいし、これらを組み合わせて、各種指示入力を行うものであってもよい。

制御部２は、指示入力部１から入力された指示に従って、操作メニュー操作部３と通知部４を制御するものである。
通知部４は、操作メニューに含まれるメニュー項目のうち、ユーザが選択可能であってしかも自装置において操作対象となっているメニュー項目を所定間隔で順番に１つずつユーザに通知するためのものである。

操作メニュー操作部３は、操作対象機器のもつ操作メニューを予め記憶し、制御部２からの制御に従って、この操作メニューから、ユーザが選択可能なメニュー項目を選択したり、その選択されたメニュー項目の中から所定間隔で順番に１つずつ操作対象としてのメニュー項目を選択して、操作対象を所定間隔毎に切り替えるようになっている。操作対象となっているメニュー項目が選択されたときは（指示入力部１から選択指示が入力されたときは）、当該メニュー項目対応の操作を操作対象機器に対し行う（操作コマンドを機器動作制御部５へ出力する）。

通知部４は、操作メニュー操作部３で操作対象となるメニュー項目を切り替える速度に同期して、操作メニュー操作部３で現在操作対象となっているメニュー項目をユーザに通知する。ここでは、例えば、音声によりユーザに通知するようになっている。すなわち、通知部４では、操作メニュー操作部３で現在操作対象となっているメニュー項目名の読み上げをおこなっている。

機器動作制御部５は、操作メニュー操作部３から出力される操作コマンドに基づき、操作対象機器を実際に動作させるためのものである。
ここで、インタフェース装置の操作対象機器の有する操作メニューについて説明する。例えば、ここでは、操作対象機器として、車載機器を例にとり説明する。すなわち、操作メニュー操作部３は、カー・オーディオ、カー・エアコン、カー・ナビゲーション・システム、その他の車載機器などの各種機能を操作するための車載機器の持つ操作メニューを操作・管理を行うものであるとする。

操作メニューの多くは、機能ごとに階層構造のかたちを取っている。図３に車載機器における操作メニューの階層構造の一例を示す。図３に示すように、例えば、「トップ・メニュー」があり、その下位階層に、「オーディオ・メニュー」、「エアコン・メニュー」、「ナビゲーション・メニュー」などがあり、さらに、例えば、「オーディオ・メニュー」の下には、「ＣＤ」や「テープ」の再生機器に対する操作メニューや、「ＦＭ」「ＡＭ」などのラジオに対する操作メニューなどがある。そして、例えば、「ＣＤ」プレーヤに対する操作メニューには、「再生操作・メニュー」、「停止操作・メニュー」、「スキップ操作・メニュー」などがある。図３では省略してあるが、「テープ」の再生機器や、ラジオに対する操作メニューについても同様なメニュー項目があり、さらに、「エアコン・メニュー」や「ナビゲーション・メニュー」の下にも、それら対応の操作メニューが存在する。

なお、便宜上、以降、操作メニューは階層構造をしているとして説明するが、これに限定されるものではない。階層の概念の存在しない平面構造（例えば、メニュー項目の全てが同一階層にある）でも構わないし、各機能がループ形状などを含んで相互に複雑に接続されているようなネットワーク構造でも構わない。また、操作メニュー項目の数が少なく、例えば２つ、３つであってもかまわない。

ユーザ（インタフェース装置を操作する者という意味で「操作者」とも呼ぶ）は、目的の操作を目指して、このメニュー階層をたどっていき、目的の操作にたどり着いたら、それを選択する。例えば、ＣＤに録音されている音楽を再生したい場合には、「トップ・メニュー」から「オーディオ・メニュー」を選択し、さらに「オーディオ・メニュー」から「ＣＤ」を選択した後、「再生操作・メニュー」を選択する。

また、別の操作（例えば、カー・ナビゲーションにおける地図拡大）を行いたい場合、再び、「トップ・メニュー」から「ナビゲーション・メニュー」を選択し、さらに「ナビゲーション・メニュー」から「地図拡大・メニュー」を選択する。

操作メニューは、必ずしも常に「トップ・メニュー」から始まる訳ではなく、現在いる階層情報を保持し、そこから始まることもある。
例えば、ＣＤに記録されている音楽を再生したい場合には、「トップ・メニュー」から「オーディオ・メニュー」を選択し、さらに「オーディオ・メニュー」から「ＣＤ」を経由して「再生操作・メニュー」を選択する。現在いる階層は、「再生操作・メニュー」である。続いて、カー・ナビゲーションにおける地図拡大を行いたい場合、「再生操作・メニュー」から「ＣＤ」に戻り、次に、「オーディオ・メニュー」に戻り、さらに「トップ・メニュー」に戻った後、そこから「ナビゲーション・メニュー」を選択し、さらに「ナビゲーション・メニュー」から「地図拡大・メニュー」を選択する。

こうすることで、比較的同じ機能にアクセスする場合は、早く目的のメニューにたどり着くことが可能である。例えば、図３で「ＣＤ」の下の階層の「再生操作・メニュー」にいるとき、「スキップ操作・メニュー」にいくには、１階層戻って、「ＣＤ」から、「スキップ操作・メニュー」を選択するだけでよい。

いずれの手法を取るとしても、目的の操作にたどり着くまでの階層が深い場合、それにたどり着くまでに時間を要してしまう。そこで、図４に示したように、ショートカット・メニューがあってもよい。これは、操作者が、自分がよく操作するメニューをショートカット・メニューとして幾つか登録し、目的のメニューに迅速にたどり着くものである。例えば、「ＣＤ」操作の各機能に迅速にたどり着きたい場合には、図４のように、操作者は、「ショートカット・メニュー＃１」として、「ＣＤ」の操作メニューを登録しておいて、「ショートカット・メニュー＃１」を直接呼び出すことで、再生、停止、スキップ、…、などといった操作メニューに迅速にアクセスすることができる。ショートカット・メニューは、「ショートカット・メニュー＃１」、「ショートカット・メニュー＃２」、…、と任意数を定義して使用することができる。

また、図５に示したように、フェイバリット・メニュー（お気に入りメニュー）を持つ場合もある。これは、操作者が、自分が必要なメニューだけを機能や階層に捕らわれずに自由にピックアップして幾つか登録し、お気に入りの機能のみを持つ自分独自のメニューに迅速にたどり着くものである。例えば、「再生操作」、「スキップ操作」「ナビゲーション・メニュー」だけを集めて、図５のように、「フェイバリット・メニュー＃１」として登録する。そして、「フェイバリット・メニュー＃１」を直接呼び出すことで、操作者自身が必要な操作のみを集めたメニューに迅速にアクセスすることができる。フェイバリット・メニューも同様に、「フェイバリット・メニュー＃１」、「フェイバリット・メニュー＃２」、…、と任意数を定義して使用することができる。

図２は、図１の操作メニュー操作部３の構成例を示したもので、操作メニュー保持部１１と、メニュー選択部１２と、操作メニュー状態管理部１３と、操作対象切替え部１４と、操作コマンド出力部１５とから構成されている。

操作メニュー保持部１１は、操作対象機器の有する操作メニューであって、例えば、図３に示したような階層的な構造を持つ操作メニューを保持する。図３に示したような操作対象機器が本来持っている操作メニューの他に、上記のようなショートカット・メニュー、フェイバリット・メニューが登録されていてもよい。

メニュー選択部１２は、メニュー階層の変更をして、ユーザが操作可能（選択可能）なメニュー項目を選択する。例えば、図３で、操作者が「トップ・メニュー」階層にいるとき、操作者が選択可能な項目は、「オーディオ・メニュー」、「エアコン・メニュー」、「ナビゲーション・メニュー」の３つであるので、この３つを操作可能状態にする。このとき、操作者が、「オーディオ・メニュー」を選択すると、メニュー階層は変更され、選択可能なメニューは、「ＣＤ」「テープ」「ＦＭ」「ＡＭ」となる。さらに、この状態から「ＣＤ」が選択されると、選択可能なメニューは、「再生操作・メニュー」、「停止操作・メニュー」、「スキップ操作・メニュー」、…というように変更される。このように、操作者の選択指示により、ユーザが操作可能な（選択可能な）メニュー項目を選択する。

また、操作メニューの構造は図３とは異なるが、操作メニューによっては、同じメニュー項目であっても、ＣＤの再生中、ラジオの受信中との異なる状況に応じて、異なる操作内容となる場合がある。例えば、ＣＤの再生中に、「スキップ操作・メニュー」を選択した場合、通常、ＣＤの次の曲に変更する動作が行われるが、ラジオの再生中に、「スキップ操作・メニュー」を選択した場合、ＣＤの場合とは異なり、ラジオ局の変更が行われる。このように、同じ操作メニュー項目名であっても、状況が異なった場合、その項目に対応する操作対象機器に対する操作コマンドを、その状況に対応して変更する。このような場合も、操作メニューの内容の変更に含まれるものとする。

操作メニュー状態管理部１３は、操作者が、例えば、図３に示した操作メニューの階層構造において、いまどの階層（状態）にいて、その階層で操作者が現在選択可能な項目は何か、などといった操作メニューの現在の状態を保持するとともに、操作者がどの階層にいたことがあるかなどの操作履歴を保持して、いつでもその状態に復帰できるようにするものである。

操作対象切替部１４は、操作メニュー状態管理部１３において現在保持されているユーザが選択可能なメニュー項目の中から、操作メニュー操作部３が操作対象とする項目を順番に１つづつ選択して、操作メニュー操作部３での操作対象を所定の間隔（速度）で切り替えるようになっている。なお、この操作対象のメニュー項目を切り替える速度は、ユーザからの指示（操作指示）で変更可能である。

操作コマンド出力部１５は、例えば、操作メニュー状態管理部１３において現在保持されている選択可能な操作メニューの項目のうち、操作対象となっているメニュー項目が、操作者によって選択されたとき、その項目に対応する操作対象機器に対する操作コマンドを機器動作制御部５へ出力するようになっている。

図１の機器動作制御部５は、操作メニュー操作部３から出力された操作コマンドを受けて実際の操作対象機器の動作を制御するためのものである。
例えば、ＣＤの「再生操作」というメニュー項目の選択がなされたときは、操作メニュー操作部３から、当該メニュー項目対応の操作コマンドが出力されるので、これを受けて、操作対象機器であるカー・オーディオ・プレイヤーを制御し、ＣＤ再生を行わせる。

ここで、１つ注意して頂きたいのは、通常、「メニュー」という用語を用いたとき、画面に表示されているメニュー（ＧＵＩとしてのメニュー）を想像することが多いかもしれないが、ここで用いている操作メニュー操作部３とは、画面表示は一切行わない。ここで扱っているのは、「メニュー操作」のための内部動作部分であり、表示などの表現はこの範疇ではない。

次に、通知部４について説明する。
通知部４は、操作メニュー操作部３での操作対象の切替え速度に同期して、現在操作対象となっているメニュー項目を操作者に通知するためのものである。
本実施形態におけるインタフェース装置は、運転者が車載機器を操作する際に、機器操作のための視線移動をなるべく減らし、運転中の機器操作における安全性の低下の問題を軽減することを目的としている。従来の機器操作のためのインタフェースは、典型的には、ＧＵＩなどを用いた画面中心のものであった。しかし、画面上の操作を中心にしたインタフェースを採用すると、どうしても、操作のために画面を見る必要が生じ、視線移動を大幅に軽減することは困難である。

そこで、本実施形態では、従来のような画面表示に替えて、例えば音声による操作メニュー項目の提示（通知）方法を用いる。つまり、通知部４では、操作メニュー操作部３で現在操作対象としているメニュー項目を、音声を用いて、操作者（＝運転者）に通知するわけである。

以下、簡単に、図１に示したインタフェース装置の動作を説明する。ここでは、例えば、図３に示した操作メニューを保持したインタフェース装置を例にとり説明する。

現在の操作メニューの状態が「トップ・メニュー」にあるとする。この状態でユーザが選択可能なメニュー項目は「オーディオ・メニュー」、「エアコン・メニュー」、「ナビゲーション・メニュー」であるので、操作対象切替部１４は、操作対象のメニュー項目を「オーディオ」→「エアコン」→「ナビゲーション」→「オーディオ」→…、というように、所定間隔（所定速度）で切り替える。

この速度（切替速度）に同期して、通知部４は、「オーディオ」→「エアコン」→「ナビゲーション」→「オーディオ」→…、とユーザが選択可能なメニュー項目名を読み上げていく。

そして、「ナビゲーション」が読み上げられているときに、指示入力部１から入力された選択指示が制御部２で認識されると、操作メニュー操作部３では、「ナビゲーション・メニュー」を選択する。すなわち、メニュー選択部１２は、「ナビゲーション・メニュー」の下位の階層にあるメニュー項目を選択する。この場合、選択可能なメニュー項目が、例えば、「地図拡大」、「地図縮小」、「現在地表示」、「目的地表示」であるとすると、操作対象切替部１４は、操作対象を「地図拡大」→「地図縮小」→「現在地表示」→「目的地表示」→…、というように切り替えていく。通知部４は、この切替速度に同期してユーザが選択可能な上記項目を読み上げていく。

例えば、「目的地表示」が読み上げられているときに、指示入力部１から入力された選択指示が制御部２で認識されると、操作メニュー操作部３では、「目的地表示・メニュー」を選択する。「目的地表示・メニュー」は、最下層のメニューであり、カー・ナビゲーション機器の実際の目的地を表示する機能に対する操作コマンドが、操作メニュー操作部３の操作コマンド出力部１５から機器動作制御部６に出力され、機器動作制御部６にて、当該操作コマンドを基に、実際のカー・ナビゲーション機器に対し、目的地を表示するような操作制御が行われる。

図６は、図１に示したインタフェース装置の指示入力部１が、ジェスチャ取得部６とジェスチャ認識部７に置き換えたもので、インタフェース装置への各種指示をユーザのジェスチャで行う場合を示したものである。なお、図６において、図１と同一部分には同一符号を付している。

以下、図６に示した構成のインタフェース装置を用いて、より詳細に説明する。
図６に示したインタフェース装置において、ジェスチャ取得部６は、操作者の手などの身体の部位の動き、形状、位置、方向など、あるいは、その操作者により保持または装着された物体の、動き、形状、位置、方向などをジェスチャとして取得するためのものである。

ジェスチャ認識部７は、ジェスチャ取得部６で取得されたジェスチャがどのようなジェスチャであるのかを認識するためのものである。
ジェスチャ認識部６で認識されたジェスチャの種類をもとに、制御部２は、操作メニュー操作部３と通知部４を制御するようになっている。
＜ジェスチャ取得部の説明＞
まず、ジェスチャ取得部１について説明する。
ジェスチャ取得部１は、操作対象機器の操作者の手や顔などの身体の部位、あるいは、その操作者により保持または装着された物体（例えば、手に持たれたペンなど）、によって行われるジェスチャを取得するものである。

ここで、「ジェスチャ」とは、動き、形状、位置、姿勢や向き、それらの組合せなどで表現される表現全般を指すとする。例えば、手のひらを振る、指を動かす、「グー」、「チョキ」、「パー」といったじゃんけんで提示するような手形状をする、足を動かす、顔を動かす、顔の表情を変える、手に持ったペンでストロークを描く、手に装着した指輪状や付け爪状の装置を動かす、装着した眼鏡状や帽子状の装置を動かす、などといった身振り・手振りによる表現や、保持または装着物を用いた表現などをジェスチャとして扱う。

それでは、手指を例として具体的なジェスチャの例を図７に示す。手指を使ったジェスチャの一例として、図７（ａ）（ｄ）（ｈ）に示す様に、「グー」、「チョキ」、「パー」といったじゃんけんで提示するような手の形状や、図７（ｂ）（ｃ）（ｅ）（ｇ）に示すような、５本の指のうちどの指を伸ばすか、あるいは、図７（ｆ）に示すような、人差し指と親指で丸を作る、など手によって表現されるさまざまな形状ジェスチャがある。本来「ジェスチャ」とは動きを伴う意味を含んでおり、必ずしも静止した手形状をジェスチャとは呼ばないこともあるが、これらの形状を提示する際には、操作者は、他の形からこれらの形へ、手の形を変形させているのであるから、その意味で広義のジェスチャとして扱う。また、検出処理方法を考えると、これらを静止形状として扱うのが比較的容易であるが、実際にはこれらの形状の時系列的な組み合わせ、形状と動きを伴うものなどもあり得る。ここでは、手指の形状ジェスチャに焦点を当てて説明したが、上述の通り、ジェスチャは形状だけではなく、動き、位置、姿勢、それらの組合せなどによるジェスチャでもよい。

次に、ジェスチャを取得するための具体的な手段について説明する。
ジェスチャを取得するための手段としては、小型ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラなどを用いて手を撮像する方法がある。これは、カメラを用いて物体を撮像し、そこからジェスチャを取得しようというものである。例えば、手指のジェスチャを取得する場合、カメラで得られた画像中の肌色の領域を検出することで、その部分を手領域とみなして取得しようというものである。また、動きを伴うジェスチャの場合、カメラ画像の時間差分をとることで、動きのある物体部分を取得することができる。この部分を得ることで、ジェスチャを取得することができる。

しかし、特に車載機器応用を考えた場合、車内は、昼は明るく、夜は暗いと外光状態の変動が大きく、カメラで得られる画像が大きく変動してしまうため、検出精度が低下してしまうという問題がある。また、カメラの前方を人やものが横切る毎に誤認識するおそれがある。

本願の発明者らによる、特開平１０−１７７４４９号公報において、発光手段と、これと同期して動作するイメージセンサによって、ジェスチャを高速に取得できる画像入力装置を発明している。これは、物体に赤外光を照射し、これと同期した動作をするイメージセンサを用いて、物体反射光のみを画像として取り出す装置である。反射光の強さは一般的に物体までの距離の２乗に反比例するため、近くの物体が遠くの背景から容易に切り出されるという特徴を持つ。この装置を使うと、装置自体が発光手段を持っているため、夜などの通常のＣＣＤカメラでは撮像が難しい条件下でも、検出が行える。また、基本的に発光手段から照射される光は人間の目に見えない近赤外光であり、運転者の妨げにならない。また、距離のある背景の物体は、反射光が届かず映らないため、関係ない動きなどによる誤動作は小さくできる。さらに、反射光と距離の間には相関関係があるため、得られた反射光画像は、物体の３次元情報を包含している（このことから、当該反射光画像を距離画像と呼ぶ）。つまり、特開平１０−１７７４４９号公報に記載の画像入力装置を本発明のジェスチャ取得部６に用いることで、ジェスチャを、３次元情報として、安定的にかつ高精度で、取得することが可能である。

なお、ジェスチャの取得方法は、上述したＣＣＤカメラを用いた方法や特開平１０−１７７４４９号における方法に限定されるものではなく、これに準じる、あるいは別の手段を用いて取得するものでも構わない。

次に、ジェスチャ取得部６として用いる、上記した画像入力装置（以下、画像入力装置１００とする）および当該画像入力装置１００にて取得される距離画像について簡単に説明する。

画像入力装置１００の外観を図８に示す。中央部には円形レンズとその後部にあるイメージセンサ（図示せず）から構成される受光部１０３が配置され、円形レンズの周囲にはその輪郭に沿って、赤外線などの光を照射するＬＥＤから構成される発光部１０１が複数個（例えば６個）等間隔に配置されている。

発光部１０１から照射された光が物体に反射され、受光部１０３のレンズにより集光され、レンズの後部にあるイメージセンサで受光される。イメージセンサは、例えば２５６×２５６のマトリックス状に配列されたセンサで、マトリックス中の各センサにて受光された反射光の強度がそれぞれ画素値となる。このようにして取得された画像が、図１０に示すような反射光の強度分布としての距離画像である。

図９は、画像入力装置の内部構成例を示したもので、主に、発光部１０２、受光部１０３、反射光抽出部１０２、タイミング信号生成部１０４から構成される。
発光部１０１は、タイミング信号生成部１０４にて生成されたタイミング信号に従って時間的に強度変動する光を発光する。この光は発光部前方にある対象物体に照射される。

受光部１０３は、発光部１０１が発した光の対象物体による反射光の量を検出する。
反射光抽出部１０２は、受光部１０３にて受光された反射光の空間的な強度分布を抽出する。この反射光の空間的な強度分布は画像として捉えることができるので、以下、これを距離画像と呼ぶ。

受光部１０３は一般的に発光部１０１から発せられる光の対象物による反射光だけでなく、照明光や太陽光などの外光も同時に受光する。そこで、反射光抽出部１０２は発光部１０１が発光しているときに受光した光の量と、発光部１０１が発光していないときに受光した光の量の差をとることによって、発光部１０１からの光の対象物体による反射光成分だけを取り出す。

反射光抽出部１０２では、受光部１０３にて受光された反射光から、その強度分布、すなわち、図１０に示すような距離画像を抽出する。
図１０では、簡単のため、２５６×２５６画素の距離画像の一部である８×８画素の距離画像の場合について示している。
物体からの反射光は、物体の距離が大きくなるにつれ大幅に減少する。物体の表面が一様に光を散乱する場合、距離画像１画素あたりの受光量は物体までの距離の２乗に反比例して小さくなる。

図１０において、行列中のセルの値（画素値）は、取得した反射光の強さを２５６階調（８ビット）で示したものである。例えば、「２５５」の値があるセルは、距離画像取得部１に最も接近した状態、「０」の値があるセルは、距離画像取得部１から遠くにあり、反射光が距離画像取得部１にまで到達しないことを示している。

距離画像の各画素値は、その画素に対応する単位受光部で受光した反射光の量を表す。反射光は、物体の性質（光を鏡面反射する、散乱する、吸収する、など）、物体の方向、物体の距離などに影響されるが、物体全体が一様に光を散乱する物体である場合、その反射光量は物体までの距離と密接な関係を持つ。手などは、このような性質をもつため、画像入力装置の前方に手を差し出した場合の距離画像は、手までの距離、手の傾き（部分的に距離が異なる）などを反映する図１１に示したような３次元的なイメージを得ることができる。

ジェスチャ認識部７では、撮像物体（予め定められている）の反射係数の違いによる反射光の強度と、認識対象（手）とそれ以外の撮像物体との位置関係とから、例えば、図１２に示すような、当該距離画像内にある認識対象の輪郭情報を抽出することができる。

例えば、画像入力装置１００を、認識対象である手をその間近から撮像できる位置に配置すれば、画像入力装置１００で取得された距離画像中の、認識対象としての手の映し出されている領域は予め推定できるとともに、他の撮像体より画像入力装置１００との距離が最も近くに存在することになる。すなわち、画像入力装置１００との距離が短いほど、画像入力装置１００が取得する反射光が強くなるので、画素値が大きくなる（画素値が大きければより黒に近くなる）。一番近い部分が最も黒く、画像入力装置１００から遠い位置にあるものほど徐徐に画素値が小さくなり（白くなり）、背景は最も遠いので、画素値はほぼ「０」となる。

画像入力装置１００から撮像物体までの距離値は、例えば、２５６階調あるいはより高精度に測定できる。
輪郭の抽出された物体までの距離ｄの算定には、まず当該物体の重心位置近傍の画像の代表画素値を求める。代表画素値としては、平均値、最近傍値などいくつかあるが、ここでは、最近傍値を使うとする。当該物体からの反射光の強さは物体までの距離の２乗に反比例して小さくなる。すなわち、画素値をＰ（ｉ、ｊ）とすると、その画素値と距離値ｗとの関係は、

Ｐ（ｉ、ｊ）＝Ｋ／ｗ２ …（１）
と表すことができる。ここで、Ｋは、撮像物体毎に定められるもので、例えば、ｗ＝０．５ｍのときに、当該撮像物体の画素値Ｐ（ｉ、ｊ）の値が「２５５」になるように調整された係数であり、反射係数ともいう。式（１）をｗについて解くことで、距離値ｗを求めることができる。

輪郭情報を抽出するには、隣合う画素の画素値を比較し、画素値が一定値α以上のところだけに定数値を入れて、同じ定数値が割り振られた連続した画像領域の画素を抽出すればよい。

すなわち、図１０のマトリックス上の座標位置（ｉ、ｊ）にある画素値をＰ（ｉ、ｊ）とし、輪郭情報の画素値をＱ（ｉ、ｊ）とすると、
・｛Ｐ（ｉ、ｊ）−Ｐ（ｉ−１、ｊ）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ、ｊ−１）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ＋１、ｊ）｝＞α、かつ
｛Ｐ（ｉ、ｊ）−Ｐ（ｉ、ｊ＋１）｝＞α
のとき、Ｑ（ｉ、ｊ）＝２５５
・ 上記以外のとき、Ｑ（ｉ、ｊ）＝０
とすることにより、図１２のような撮像物体の輪郭情報を得ることができる。
このような画像入力装置を用いてジェスチャを取得する構成をとることで、非接触でジェスチャを取得可能である。これを、操作者の立場で見ると、操作対象機器の操作者は、ジェスチャを行うことで非接触に機器の操作が行えるということである。

車載機器応用を考えた場合、運転者が車載機器を操作する場合、操作対象機器の操作者（つまり運転者）は、車の運転中、あるいは、信号待ちなどのわずかな間に機器を操作することとなる。このようなシチュエーションでは、機器操作のために機器やその操作パネルの方に視線を移し、長期間、前方から視線を外すことは非常に危険であり、重大な事故を引き起こし兼ねない。

しかし、ジェスチャを用いて非接触に機器操作が可能となることで、例えば、カー・オーディオの再生ボタンを探して押す、といったような、車載機器の操作パネルの操作部分に視線を移して探すという手間が必要なくなり、視線移動を行わずに機器操作が可能となる。

画像入力装置１００をジェスチャ取得部６として用いて、本実施形態のインタフェース装置を構成する場合、画像入力装置１００の設置位置というのは、インタフェース装置の使い勝手、性能に大きく左右する。

運転者が運転中に安全に機器操作をするためには、運転者がハンドルに手を乗せたまま、あるいはほとんどハンドルから手を離さずに操作できるような場所に、画像入力装置１００を配置するのがよい。例えば、図３（ａ）（ｂ）のように、ハンドルの中心部側に、発光部１０１、受光部１０３がハンドルを持った手の方を向くように配置するのが一例である。

また、カーブを切るときには通常操作はしないが、緩やかなカーブなど、わずかにハンドルを切っているときに操作を行う場合はあり得る。すると、ハンドルの裏側で、直接ハンドルに取り付けてしまうこともできる。そうすると、ハンドルの状態に関わらず、手とカメラの位置関係（距離、向き）などに変化が無く、したがって、安定した検出性能を得ることができる。これらの場合、画像入力装置１００で取得する画像には、ハンドルなどの部品が含まれていることが多いので、これらを省いて手の映し出されている領域のみを抽出する処理を行う。また、このとき、画像を処理する場合、画像の上下、左右方向の動きを求めるのは、斜め方向の動きを検出するより、容易であるため、手の位置とその動き方向に合わせて、カメラの向きを設置することが重要である。

以上説明したようにジェスチャ取得部６を構成することで、図１４に示したように、運転者は、運転姿勢を保ったまま（ハンドルに手を乗せたまま）、手指などを用いたジェスチャ操作を行うことができる。従来手法では、カー・オーディオなどを操作する際には、中央のコンパネ部分にある操作ボタンなどにアクセスするために、運転姿勢を崩して身を乗り出す必要があったが、本実施形態では、機器操作のために運転姿勢を崩すことなく機器操作が可能となる。これにより、運転中の機器操作のための視線移動を無くすだけでなく、運転中の姿勢移動も無くなるため、より運転中の機器操作における安全性が増すという効果がある。

なお、ここで説明した設置位置はあくまで一例であり、これに限定されるものではない。ハンドルの中央から、運転者の方向を撮影するように設置しても良いし、運転席と助手席の中央辺りのコンパネ部分や、シフトレバー付近に設置しても構わない。

次に、ジェスチャ認識部７について説明する。
ジェスチャ認識部７は、ジェスチャ取得部６で取得されたジェスチャがどのようなジェスチャであるのかを認識するものである。
具体的には、ジェスチャ取得部６で取得された手指などを撮像した画像（例えば、ここでは、画像入力装置で取得した距離画像）をもとに、取得された手指などの対象物がどのような形状としているのか、どのような位置にあるのか、どのような姿勢をしているか（どちらを向いているか）、どのような動きをしたのか、などの観点から認識・解析し、当該ジェスチャが、あらかじめ決められたどのジェスチャに属するのかを認識する。

以下、車載応用における手指ジェスチャの認識を例として、ジェスチャ認識部７の認識の方法の詳細について述べる。
図１３で示したように、ハンドルの奥側に、ハンドルを持った手の画像をジェスチャ取得部６としての画像入力装置１００を用いて取得した場合、当該取得した画像は、例えば、図１５、図１６で示すような画像となる。

図１５には、図１３のようにハンドルを握った手であって、握りこぶしの部分が画像の右下部分に撮像されている。また、図１６は、図１５の状態から、人差し指を図１７で示すように伸ばすジェスチャを行った際に撮像したもので、握りこぶしの部分から人差し指が横方向に伸びていることが確認できる。

ジェスチャ認識部７では、図１５、図１６に示したような画像から認識処理を行い、ハンドルを握っている状態のジェスチャ（図１５）から、人差し指を伸ばすジェスチャ（図１６）を行ったといったような認識を行う。

次に、図１５、図１６のような画像から手の形状を認識して、あらかじめ決められたジェスチャに合致するかどうかを決定する方法の一例を説明する。
この例のように、画像入力装置１００の設置されている場所と、画像入力装置１００で撮像される物体（この場合は、ハンドルに添えられた左手指によるジェスチャ）が予め定められている場合は、手指のモデル情報や、画像入力装置１００と撮像物体の位置関係などの知識を用いて、画像内に撮像された物体の特徴量を幾つか求めることで、手指の形状や位置を認識することができる。

例えば、この例のような位置関係で対象物を撮像した場合、撮像された物体は、ノイズ要素を除けば、「運転者の手」であると仮定することができる。しかも、ハンドルを握っている時には、手がある場所は拘束されているため、画像入力装置１００と手の位置関係から、手が画像中のどの領域に撮像されるかを予め推測することができる。

図１５では、ハンドルを握った際の手部分を撮像したものだが、このようにハンドルを保持している際には、画面の右下部分のみに手がくる。このような知識が予め分かっているため、図１５のように、画面の右下部分のみに特定の面積の物体が得られた場合は、図１３に示したようなハンドルを握った手のこぶし部分が存在すると認識することができる。

また、図１４のような手指ジェスチャが行われることが分かっていれば、図１６のような画像が得られた場合、先に得られた「ハンドルを握った手のこぶし」部分以外に物体が存在していることと、その際に、画像入力装置１００と対象物である手指の位置関係が既知であることから、存在しているものは、「指」であることが分かる。つまり、図１７のように、指が伸ばされた状態であると認識することが可能である。さらに、この「指」部分の位置を見ることで、これが人差し指であるのか、あるいは、他の指であるのかといった細かな認識や、「指」部分の幅を調べることで、伸ばされている指が１本なのか、あるいは複数本なのか、といったことまで認識することも可能である。

さらに、図１８に示すように、図１６における指先点を特徴点として得ることで、指の出されている位置を認識することができる。
指先の特徴点の算出方法は、色々考えられるが、その処理動作の一例を、図１９に示すフローチャートを参照しながら説明する。
まず、手指が伸ばされていない状態における「ハンドルを握った手のこぶし」部分の範囲を計算しておく（ステップＳ１）。具体的には、上で説明したように、例えば、画像内の右下部分にのみ撮像物が特定の割合である場合に、それを「ハンドルを握った手のこぶし」部分であるとみなし、図２０に示すように、その物体を囲む最小矩形を算出する。その矩形の範囲（Ｘ１，Ｙ１）−（Ｘ２，Ｙ２）を「ハンドルを握った手のこぶし」部分の範囲とする。

次に、現在の撮像画像における物体が、ステップＳ１で求めた範囲外に存在するか判定する（ステップＳ２）。範囲外に存在する場合には、手指におけるジェスチャが行われているとみなす。具体的には、撮像画像における物体を囲む最小矩形を算出し、その矩形の範囲の一部が先に求めた範囲の外部に存在するかどうかを認識する。この際、撮像系のノイズ要素を加味し、以下のような方法を用いる。

１） 撮像画像における物体を囲む最小矩形を算出する。図２１のように、この矩形領域の左上座標は（Ｘ１’，Ｙ１’）、右下座標が（Ｘ２’，Ｙ２’）になったとする。

２） 閾値ＴＨ１（任意の正整数）を設定する。
３） 以下の条件のうち、少なくとも１つを満たす場合、現在の撮像画像における物体が、ステップＳ１で求めた範囲外に存在すると判断する。
(ア) Ｘ１−Ｘ１’＞ＴＨ１
(イ) Ｙ１―Ｙ１’＞ＴＨ１
現在の撮像画像における物体が、ステップＳ１で求めた範囲外に存在すると判断された場合は、その部分が指部分であるとみなして、図２１に示したように、その部分の最左点を算出する（ステップＳ３）。

ステップ３で算出した最左点から、閾値ＴＨ２（任意の正整数）だけ右に移動した点を指先特徴点とする（ステップＳ４）。この際、閾値ＴＨ１、ＴＨ２の値は、指の大きさや動きの量などを考慮して予め定められたものである。

以上のような流れで指先特徴点を算出することが可能である。なお、ここで説明した手法はあくまでも一例であり、これに限定されるものではない。この算出方法に別手法を用いても、本発明の主旨にはなんら影響はなく、色々な手法を取ることが可能である。可能な方法の幾つかについては、後ほど簡単に説明する。

また、ここでは、指先の特徴点を取る手法に限定して説明したが、特徴点の算出は、指先に限られるものではなく、ジェスチャの認識に必要なあらゆる特徴点を考えることができる。例えば、図２２で示されたように、指の付け根の特徴点を合わせて得ることで、指の差している方向を得ることが可能となる。このように、複数の特徴点を効果的に取得することで、指の形状や位置だけではなく、指先が向いている方向などの情報をも得ることが可能である。

なお、ここで説明した指のジェスチャの認識方法は一例でこれに限定されるものではない。例えば、指部分の上部のエッジ検出をして、ハフ変換などをもちいることで、その傾きを検出することでもジェスチャを認識することができる。

さらに、画像入力装置１００を使用した場合、以上の説明で取得した形状、位置、向きなどは、２次元的な情報に留まらず、３次元的な情報として得られるという特徴がある。

ジェスチャ取得部６の説明のところで述べたが、画像入力装置１００は、従来のＣＣＤカメラなどと異なり、距離情報を含む画像を取得することが可能である。図１５、図１６、図２３などで示した画像は、画像入力装置１００にて取得した画像の例である。このような画像は、通常のカメラの画像と異なり距離情報を含んだ画像として得られるため、距離画像と呼ばれる。

距離画像は、奥行き情報を有する３次元画像で、例えば、ｘ軸（横）方向６４画素、ｙ軸（縦）方向６４画素、ｚ軸（奥行き）方向２５６階調の画像になっている。図１５、図１６、図２３などは、距離画像の奥行き値、すなわちｚ軸方向の階調をグレースケールで表現したもので、この場合、色が黒に近いほど距離が近く、白に近くなるほど距離が遠いことを示している。また、色が完全に白のところは、画像がない、あるいはあっても遠方でないのと同じであることを示している。なお、距離画像の表現方法はこれに限定されるものではない。画像入力装置１００からの絶対的な距離値が格納されていても構わないし、相対的な値の場合もある。また、距離に準じる奥行き情報を表す別の値でも構わない。また、格納方法も、上述した２次元行列の形だけではなく、他の方法を取ることも可能である。

図２３の説明に戻る。図２３は、図１６と同様に、ハンドルに掛けた手から指を伸ばすジェスチャを行った際に撮像したものである。図１６と図２３の指先部分を比較すると、図１６では、指先部分の濃淡値が濃く、手のこぶし部分と濃淡値にあまり差が無いことが分かる。一方、図２３では、指先部分の濃淡値は薄く、手のこぶし部分と値が明らかに異なる。これらの情報から、図１６と図２３では、指先と手のこぶし部分の相対的な位置関係が異なり、図１６の場合では、指先が画像入力装置１００から見て手のこぶし部分とほぼ同等の距離にあるのに対し、図２３の場合には、指先が画像入力装置１００から見て手のこぶし部分よりもかなり遠くの距離にあるといえる。以上から、図２３の場合の方が、図１６の場合よりも、画像入力装置１００から見て、より遠くに指を伸ばしていると認識することができる。

以上のように、画像入力装置１００をジェスチャ取得部６として用いた場合、ジェスチャの３次元的な情報が取得可能となり、従って、３次元的なジェスチャの認識が可能となるという特徴がある。

以上で説明したジェスチャの認識手法は、あくまで、一例である。この手法以外にも、例えば、指をのばした本数による形状の違いを認識する場合、伸ばした指が横切るであろう領域を設定し、横切っている指の数を数えることによって形状の違いを認識することができる。別の方法として、手の形状の輪郭線を考えると、指先は山状に出っ張っており、指の間は谷状にへこんでいる、それらの輪郭線形上を解析して、伸ばしている指の数を知ることができる。指先がカメラに向いているような場合は、指先はカメラへの距離が周りに比べ近い点となり、反射光量が極大となる。その極大点の数をカウントすることで、カメラに向いている指の数を検出することができる。自由な手の形状を認識するために、パタンマッチングという技術を使うことができる。これはあらかじめ認識したい形状をパタンとして登録しておき、入力された形状との相違度を計算し、近い形状があればそれが入力されたと判断するものである。相違度の計算の仕方としては、単純にパタンを重ね合わせ、その重なり具合を計算するものから、特徴空間へ写像し、そこでの距離で判断する方法もある。

形状の認識をする場合、精度よく行おうとすればするほど、処理に時間がかかる。従って、入力される画像のフレーム毎に認識処理を行うと、処理コストが増大してしまう。そこで、形状を提示する場合は、操作者が形状を提示して一定時間、画像がほぼ静止している場合に、認識処理を開始するという方法を取ることも可能である。これは操作者が意志を持って形状を出す場合は、静止させるという動作は自然であるからである。また、このことにより、静止状態を見つけたときのみ認識処理を行えばよいから、計算コストを下げることができる。また、ジェスチャを提示する意志無しに、動かした動作は、それが静止しない限り、ジェスチャ提示と誤認識してしまうことがない。

以上では、形状の認識について説明した。次に、動きを伴ったジェスチャの認識に関して説明する。動きを伴ったジェスチャは、以上で説明した形状の認識における認識結果の時系列的な変化を調べることで認識することができる。例えば、ある時点で、図１５のような画像から、握りこぶしの手形状が存在する、つまり、ハンドルを握っている手がある、と認識され、次の時点で、図１６のような画像から、人差し指が伸びた手形状があるという認識結果が得られた場合、人差し指を伸ばす動きを伴ったジェスチャが行われたと認識することができる。また、図１６、図２３、図１６といった画像が時系列的に得られた場合、その期間に、人差し指を画面奥方向に伸ばして、戻すという、一連の動きを伴ったジェスチャが行われたと認識することができる。同様に、図１６、図２４、図１６といった画像が時系列的に得られた場合、その期間に、人差し指を画面上方向に上げて、下げるという、一連の動きを伴ったジェスチャが行われたと認識することができる。このように、動きを伴ったジェスチャの認識についても、３次元的な動きとして認識可能である。

また、動きの認識は、このように形状の認識を伴わなくても可能である。先に説明したような特徴点の時系列変化を追跡することでも得ることができる。例えば、画像入力装置１００を用いた場合、画像には背景は映らず、手の部分のみが映っているので、この画像から手の輪郭を抽出して、さらに、その輪郭から重心計算を行えば、手の位置が求められる。その重心の軌跡を追跡することで基本的な動きを検出することが可能である。手首付近はほとんど動かさず、指先だけを動かすような場合には、手全体の重心計算を行うと、検出される動きの精度が悪いことがある。このような場合は、手の形状を細かく考慮した処理を行うことが考えられる。例えば、画像入力装置１００に向かって指を伸ばしている場合、指の先端はカメラに最も近く、したがって反射光が最も大きく、画像中で極大点となっていることが多い。このような点を検出し、それらの最も近いもの、あるいは極大点の平均などを求めることで、手全体の重心点を求めるのに比べ、実際の動きに対し感度のよい評価値として、位置情報を得ることができる。この場合、複数の極大点の画像フレーム間の対応関係などを求めておくと、画像の端のほうに存在していた極大点が画像外に出てしまった場合などの位置の挙動がおかしくなるのを防ぐことができる。いずれにしろ，得られた手形状データから、位置の情報を取り出し，その軌跡を解析することによって動きジェスチャを検出することができる。通常のＣＣＤカメラを使った場合でも色情報などにより、手の形状がきちんと切り出すことができれば、そこから位置情報を取り出すことが可能である。

また、時系列的に並んだ任意の２枚の画像の差分画像を得ることでも動きの認識を行うことができる。差分画像を計算した場合、対象物に動きが無い部分は差分画像では値が無くなり、動いている部分のみの値が得られる。また、その差分画像内の値の正負によって、動いている方向を得ることが可能である。この情報を用いることで、どのような方向にジェスチャが行われたかを知ることができる。さらに細かい動き方向を知るためには、オプティカル・フローと呼ばれる手法を用いることができる。この手法は、基本的には、画像を複数の領域に分割し、それら領域の時間変化による動きの軌跡を得るものである。

以上で説明した動きの認識手法は、あくまでも一例であり、これらに限定されるものではない。他の手法をも自由に用いることができる。また、以上では、形状、位置、向き、動きの認識の手法について説明したが、ジェスチャは、これらだけによるものではなく、上記以外のジェスチャの認識を行う場合もある。

＜制御部の説明＞
次に、制御部２について、より詳細に説明する。
制御部２は、ジェスチャ認識部７で認識されたジェスチャの内容をもとに、操作メニュー操作部３と通知部４とを制御し、特に、操作メニュー操作部３で現在どのメニュー項目を操作対象として選択しているかをユーザに通知するために、操作メニュー操作部３での操作対象の切替タイミングと通知部４の動作を同期させるよう制御を行う点に特徴がある。

１）制御部の状態遷移と動作
ジェスチャ認識部７で認識されたジェスチャの種類により変化する制御部２の状態遷移を図２５に示す。
ここでは、ユーザから入力される指示として、操作開始、メニュー操作といった操作指示と、メニュー選択といった選択指示があるものとする。
まず、ジェスチャ認識部２でジェスチャが認識されていない（取得ジェスチャ無しの）場合、または、操作開始ジェスチャとして登録されている以外のジェスチャが得られた場合、制御部２の状態は、「スリープ状態」にある（初期状態）。「スリープ状態」では、ユーザ（機器操作者）が機器操作の意志がないとみなし、後述する操作メニュー操作部３に対し、機器を休止状態にするような制御を行う。「スリープ状態」とは、操作対象機器の電源がオフになっているときの状態とも云える。

「スリープ状態」において、操作開始ジェスチャが認識された場合、機器操作者が操作を開始したとみなし、「メニュー準備状態」に状態を遷移する。
「メニュー準備状態」では、操作メニュー操作部３に、操作メニューの準備を行うように促す。また、必要ならば、通知部４に、適宜制御情報を提供する。
その際、操作開始ジェスチャは１種類とは限らない。ジェスチャ認識部２によって認識されたジェスチャが、操作開始ジェスチャとして登録された複数種類のジェスチャのどれかに含まれている場合に操作開始ジェスチャであるとみなされる。

また、操作開始ジェスチャとみなされたジェスチャの種類に応じて、「メニュー準備状態」に遷移した際の動作が変化するようにしてもよい。すなわち、操作開始ジェスチャとして、例えば、「ハンドルを握った状態から手指の人差し指を伸ばす」ジェスチャ（以降、ジェスチャＡと呼ぶ）と、「ハンドルを握った状態から手指の４本の指を一斉に伸ばす」ジェスチャ（以降、ジェスチャＢと呼ぶ）がジェスチャ認識部２によって操作開始ジェスチャと認識されるべく登録されていたとする。「メニュー準備状態」において、ジェスチャＡの認識が行われた場合、通常のメニュー（例えば、図３に示すような操作対象機器が持つ操作メニュー）に基づき操作するための制御を、操作メニュー操作部３、通知部４に対し行うが、ジェスチャＢが得られた場合、「ショートカット・メニュー」（図４参照）に基づき操作するための制御を、操作メニュー操作部３、通知部４に対し行う、といったようにである。

「メニュー準備状態」において、操作者により操作開始ジェスチャが保たれている、あるいは、新たに行われた場合、「メニュー準備状態」のまま状態を保持する。
メニュー操作ジェスチャが得られた場合には、状態を「メニュー操作状態」に移行する。その他のジェスチャが得られた場合には、状態を「スリープ状態」に移行する。

「メニュー操作状態」では、操作メニュー操作部３に、取得したジェスチャの種類に対応した操作メニューに対する各種操作を行うように促す。また、必要ならば、通知部４に、適宜制御情報を提供する。この際にも、前述したのと同様に、「メニュー操作状態」に移行した際に使われたメニュー操作ジェスチャが複数あることもあるし、その複数のジェスチャそれぞれで挙動が変わることもある。

例えば、図２６（ａ）に示すように、「ハンドルを握った状態から手指の人差し指を伸ばす」ジェスチャで、人差し指の位置（姿勢）が画像入力装置１００に近い場合のジェスチャ（以降、ジェスチャＣと呼ぶ）、図２６（ｃ）に示すように、「ハンドルを握った状態から手指の人差し指を伸ばす」ジェスチャで、人差し指の位置（姿勢）が撮像系から遠い場合（以降、ジェスチャＤと呼ぶ）、図２６（ｂ）に示すように、ジェスチャＣとジェスチャＤの中間位置に人差し指があるジェスチャ（以降、ジェスチャＥと呼ぶ）によって、操作対象を切り替える速度（切替速度）を変えることができる。なお、操作対象の切替速度を変更する際には、通知部４に対しても、通知部４での動作が当該切替速度に同期するように制御を行う。

例えば、いま、ユーザが選択可能なメニュー項目として、「再生」、「停止」、「スキップ」、「逆スキップ」の４項目があったとすると、ジェスチャＣが行われた際には、これらのメニュー項目から、操作対象を「再生→停止→スキップ→逆スキップ→再生→…」というように切り替える速度が遅くなるように制御し、操作に不慣れな操作者でも操作しやすくする。ジェスチャＤが行われた際には、この切替速度が早くなるよう制御し、操作に慣れた操作者が操作に時間がかかり煩わしく感じるのを防ぐ、ジェスチャＥの場合は、その中間的な切替速度にする、というものである。

「メニュー操作状態」において、操作者によりメニュー操作ジェスチャが保たれている、あるいは、新たに行われた場合、「メニュー操作状態」のまま状態を保持する。メニュー選択ジェスチャが得られた場合には、状態を「メニュー選択状態」に移行する。その他のジェスチャが得られた場合には、状態を「メニュー準備状態」に移行する。

「メニュー選択状態」では、操作メニュー操作部３に、操作対象のメニュー項目に対し選択が行われたことを通知し、当該選択された操作対象のメニュー項目に対応する動作を行うように促す。また、必要ならば、通知部４に、適宜制御情報を提供する。これについても同様に、認識ジェスチャの種類により制御方法が変化することがあり得る。

「メニュー選択状態」において、メニュー操作ジェスチャが得られた場合には、状態を「メニュー操作状態」に移行する。その他のジェスチャが得られた場合には、状態を「メニュー準備状態」に移行する。

以上が、制御部２における状態遷移と、各状態における動作の説明である。
なお、以上では、遷移可能な状態を具体的に４つ挙げて説明したが、これに限定されるものではない。必要ならば、遷移状態は自由に増やしたり減らしたりすることができる。また、各状態に遷移するためのジェスチャ内容を、操作開始ジェスチャ、メニュー操作ジェスチャ、メニュー選択ジェスチャの３通りのジェスチャを例として説明したが、これに関しても、これに限定されるものではない。

自由に定義して用いることができる。さらに、状態遷移の仕方に関しても、図２５で説明したもののみに限定されるものではない。これらは、あくまでも、説明のための一形態である。

なお、上記実施形態では、指示入力部１としてユーザのジェスチャから操作開始、メニュー操作、メニュー操作の３種類の指示入力を行う場合を説明したが、これら指示指示入力は、ジェスチャによるもものとは限らない。例えば、指示入力部１が前述したように、ボタンにより構成されているときは、操作開始、メニュー操作、メニュー操作の３種類のボタンを予め設けておき、制御部２は、上記したような状態遷移を行うようにしても全く同様である。

＜制御部・操作メニュー操作部・通知部の動作＞
それでは、制御部２、操作メニュー操作部３、通知部４での一連の動作の様子を、図２７〜図２９に示したフローチャートを参照してより詳細に説明する。
例えば、図３０に示すような、ハンドルの所定の位置を（図３０（ａ））、手で握る動作（図３０（ｂ））、すなわち、「操作者（＝運転者）がハンドルを握るジェスチャ」（以降、ジェスチャＦと呼ぶ）が、制御部２における操作開始ジェスチャの１つとして登録されているとする。

制御部２が「スリープ状態」であるとき、上記操作開始ジェスチャ（例えば、ここでは、ジェスチャＦ）を取得した場合（図２７のステップＳ１０２ａ）、制御部２では、ステップＳ１０２の「メニュー準備状態」に遷移する。この際、運転中の機器の誤動作防止や、消費電力の低下などの理由から休止状態に入っていた操作メニューが、休止状態から復帰し（アクティブ状態にし）、操作メニュー操作部３，通知部４に対し、各種の動作が可能となる状態にする旨の制御情報が出される（ステップＳ１０２ｃ）。メニュー準備状態は、操作メニューが単にアクティブ状態になるだけであって、操作メニュー操作部３，通知部４は、何ら動作を行わない。従って、例えば、メニュー操作状態であるときに所定のジェスチャが入力されて、メニュー準備状態に遷移したとき、メニュー選択状態から所定のジェスチャが入力されてメニュー準備状態に遷移したときには、操作メニュー操作部３，通知部４の動作は停止（休止）した状態に等しい。

例えば、「メニュー準備状態」において、所定のメニュー操作指示の入力があったとき、「メニュー操作状態」へ遷移し、操作対象のメニューの読み上げが開始される。

「ハンドルを握った状態から手指の人差し指を伸ばす」ジェスチャ（ジェスチャＡ）と、「ハンドルを握った状態から手指の４本の指を一斉に伸ばす」ジェスチャ（ジェスチャＢ）が、制御部２へのメニュー操作指示のためのメニュー操作ジェスチャとして登録されているとする。ジェスチャＡ、ジェスチャＢは、操作メニューの種類の変更を指示するためのメニュー操作ジェスチャであり、ジェスチャＡは、ショートカット・メニューを選択するためのジェスチャとして制御部２に登録され、ジェスチャＢは、フェイバリット・メニューを選択するためのジェスチャとして制御部２に登録されているものとする。

例えば、「メニュー準備状態」において、ジェスチャＡやジェスチャＢなどのメニュー操作ジェスチャが認識された場合（図２８のステップＳ１０３ａ）、制御部２は、メニュー操作状態に遷移する（ステップＳ１０３）。

「メニュー準備状態」において、ジェスチャＡの認識が行われた場合（ステップＳ１０３ｂ、ステップＳ１０３ｃ）、ショートカット・メニュー（図４参照）に基づき操作するための制御を、操作メニュー操作部３、通知部４に対し行う。

すなわち、これを受け、操作メニュー操作部３では、休止前に保存しておいたショートカット・メニューの状態を復帰する動作を行う（ステップＳ１０２ｄ）。
通知部４は、当該メニューが操作可能になった旨を音声により操作者にアナウンスするようにしてもよい（ステップＳ１０２ｅ）。
「メニュー準備状態」において、ジェスチャＢの認識が行われた場合（ステップＳ１０３ｂ、ステップＳ１０３ｃ）、「フェイバリット・メニュー」（図５参照）に基づき操作するための制御を、操作メニュー操作部３、通知部４に対し行う。すなわち、これを受け、操作メニュー操作部３では、休止前に保存しておいたフェイバリット・メニューの状態を復帰する動作を行う（ステップＳ１０３ｇ）。通知部４は、当該メニューが操作可能になった旨を音声により操作者にアナウンスするようにしてもよい（ステップＳ１０３ｈ）。

図２６に示したジェスチャＣ，Ｄ，Ｅが、操作対象のメニュー項目の切替速度の変更指示のためのメニュー操作ジェスチャとして制御部２に登録されているとする。
「メニュー準備状態」あるいは「メニュー操作状態」あるいは「メニュー選択状態」にあるとき、図２６に示したようなジェスチャＣ，Ｄ，Ｅといったメニュー操作ジェスチャのいずれかが行われた際には（図２８のステップＳ１０３ｋ）、そのとき「メニュー準備状態」「メニュー選択状態」であるときは「メニュー操作状態」に遷移し（既に「メニュー操作状態」であるときは、そのままの状態にて）、当該入力されたジェスチャに対応する切替速度となるように、操作メニュー操作部３を制御し、操作メニュー操作部３では、この指示された切替速度で、操作対象を切り替える（ステップＳ１０３ｌ）。制御部２は、通知部４に対しては、当該指示された切替速度に同期して操作対象のメニュー項目をユーザに通知できるように、例えば、読み上げ速度を制御する。また、操作メニュー中の現在どの階層にいるのか、などの操作メニュー状態管理部１３に記録されている各種情報を通知させるようにしてもい（ステップＳ１０３ｍ）。

入力されたメニュー操作ジェスチャが、上記したジェスチャＡ〜Ｅのいずれでもないメニュー操作ジェスチャであるときは（ステップＳ１０３ｋ）、通常の操作メニュー（例えば、図３に示すような操作対象機器が持つ操作メニュー）に対しての操作を行うものとし、この通常のメニューに基づき操作するための制御を、操作メニュー操作部３、通知部４に対し行う。すなわち、これを受け、操作メニュー操作部３では、通常の操作メニューを休止前に保存しておいた前回の切替速度で操作対象を切替え（ステップＳ１０３ｎ）、通知部４は、前回の切替速度に対応する読み上げ速度でメニュー項目を読み上げる（ステップＳ１０３ｏ）。

例えば、メニュー操作ジェスチャが行われた際に、「トップ・メニュー」にいたとすると、通知部４からは「現在、トップ・メニューです。」という音声とともに、操作者が選択可能なメニュー項目（操作対象）が通知されてもよい。これにより、操作者は、これから操作可能なメニュー項目を知ることができる。

なお、既に「メニュー操作状態」であるときもジェスチャＡやジェスチャＢ、ジェスチャＣ、Ｄ、Ｅなどのメニュー操作ジェスチャが認識されれば、上記同様に操作メニューの種類の変更や、操作対象の切替速度の変更が行われる。また、「メニュー選択状態」であるときにも、ジェスチャＡやジェスチャＢ、ジェスチャＣ、Ｄ、Ｅなどのメニュー操作ジェスチャが認識されれば、上記同様に操作メニューの種類の変更や、操作対象の切替速度の変更が行われる。

メニュー操作状態では、通知部４からは、「トップ・メニュー」において選択可能なメニュー項目のうち、操作対象のメニュー項目が操作者に通知される状態である。すなわち、「トップ・メニュー」で選択可能なメニュー項目が「オーディオ・メニュー」、「エアコン・メニュー」、「ナビゲーション・メニュー」であったとすると、「オーディオ」→「エアコン」→「ナビゲーション」→「オーディオ」→…、というように、操作対象のメニュー項目が繰り返し、所定間隔で読み上げられる。

そして、例えば、「ナビゲーション」が読み上げられているときに、メニュー選択ジェスチャが行われたら（図２９のステップＳ１０４ａ）、メニュー選択状態に遷移して、その旨が制御部２から操作メニュー操作部３に通知される。操作メニュー操作部３では、現在アクティブになっている操作メニューの構造を基に、選択された当該操作対象のメニュー項目、すなわち、「ナビゲーション・メニュー」の下位の階層にあるメニュー項目をユーザが選択可能なメニュー項目として選択する（ステップＳ１０４ｂ）。このとき選択された当該選択対象のメニュー項目に基づき操作対象機器を操作する必要があるときは、操作コマンド出力部１５を介して操作コマンドを機器動作制御部５へ出力する（ステップＳ１０４ｃ）。

その後、ステップＳ１０３のメニュー操作状態に戻り、「ナビゲーション・メニュー」において、ユーザが選択可能なメニュー項目が、「地図拡大」、「地図縮小」、「現在地表示」、「目的地表示」であるので、操作メニュー操作部３では、操作対象を「地図拡大」→「地図縮小」→「現在地表示」→「目的地表示」→「地図拡大」→…、と切り替えていき、これに同期して、通知部４では、「地図拡大」→「地図縮小」→「現在地表示」→「目的地表示」→「地図拡大」→…、というように操作対象が逐次読み上げられ、「目的地表示」のときにメニュー選択ジェスチャが行われると、上記同様にして、メニュー選択状態に遷移して、現在の操作対象のメニュー項目が選択されたことが制御部２から操作メニュー操作部３に通知される。

操作メニュー操作部３では、現在アクティブになっている操作メニューの構造を基に、選択された当該操作対象のメニュー項目、すなわち、「目的地表示・メニュー」の下位の階層にあるメニュー項目をユーザが選択可能なメニュー項目として選択する（ステップＳ１０４ｂ）。このとき選択された当該選択対象のメニュー項目に基づき操作対象機器を操作する必要があるときは、操作コマンド出力部１５を介して操作コマンドを機器動作制御部５へ出力する（ステップＳ１０４ｃ）。すなわち、当該操作対象のメニュー項目「目的地表示」は、最下層のメニューであり、カー・ナビゲーション機器の実際の目的地を表示する機能を担っているため、この操作を行うための操作コマンドが、操作メニュー操作部３の操作コマンド出力部１５から機器動作制御部６に出力され、機器動作制御部６にて、実際のカー・ナビゲーション機器に目的地を表示するような操作コマンドが送られる。

また、通知部４で操作対象のメニュー項目が読み上げられているときに、例えば、手指を伸ばすのを止める（ハンドルを握った状態に戻す）と、先に行った指操作指示、選択指示入力（例えば、メニューの選択）をキャンセルできるようにしてもよい。

以上が制御部２、操作メニュー操作部３、通知部４が相互的に作用し、操作者が本インタフェース装置を操作する基本的な一連の流れである。
この際、操作者が操作に不慣れな場合、通知部４で操作対象のメニュー項目を読み上げる速度が速いと、メニュー選択ジェスチャを行うタイミングを逃し、目的のメニューを選択しようとして、誤って次のメニューを選択してしまう、という問題がある。そこで、メニュー操作ジェスチャの種類により、メニューの読み上げ間隔（読み上げ速度）を制御することが好ましい。図２６に示したように、ジェスチャＣ，Ｄ，Ｅといった複数のメニュー操作ジェスチャを登録しておき、メニュー操作ジェスチャとしてジェスチャＣが行われたときには、メニュー項目の読み上げ速度をゆっくりとして、操作に不慣れな操作者でも、余裕をもって操作できるようにする。

しかし、操作者が次第に操作になれてくると、ゆっくりメニュー項目が読み上げられたのでは、目的のメニューを選択するまで余計な時間がかかってしまい、操作のスピードを低下させるだけでなく、操作者を苛つかせる原因となる。そこで、本実施形態では、その辺りを考慮し、図２６におけるジェスチャＥをメニュー操作ジェスチャとして行った場合には、前述したよりも、読み上げ間隔を早く（または、読み上げ速度を早く、早口で、など）、ジェスチャＤを行った場合にはさらに早く、などとすることで解決することができる。

これは、メニュー操作ジェスチャの選び方にもよるが、本実施形態の場合、操作者にとって、指を出す位置を微妙に変化させるだけで、操作者の習熟度によるメニュー選択を操作者が感覚的にコントロールすることができるという点で優れている。人間は、速度・速い、速度・普通、速度・遅いといった３つのボタンがあって、それを用いてコントロールしなければならない場合、ボタンの位置をまったく見ずにそれらを使い分けることは非常に困難であるが、ジェスチャを用いて、指の出す位置を微妙に変えるなどということは、人間の持っている空間感覚から、非常に容易である。このような制御方法は、ジェスチャを用いたインタフェースに非常にむいている。

なお、以上では、速度変化のパラメータを３種類、離散的に変更する例を説明したが、これに限定されるものではない。指の位置関係などによって連続的に変化する構成も取ることができる。

ここで、キャンセルについて説明する。キャンセルとは、ここでは、現在の動作を一時停止して、選択などの指示がなされる前の状態、あるいは、過去のある時点の状態から再び動作を再開することである。

通知部４で操作対象のメニュー項目の読み上げ中に、例えば、手指を伸ばすのを止める（ハンドルを握った状態に戻す）と、メニューの選択をキャンセルできると述べた。これは、操作開始ジェスチャを止める、あるいはその他のジェスチャ（＝操作終了ジェスチャと呼ぶこともできる）を行うと、即座にメニュー選択などをキャンセルできることを意味している。例えば、指を戻すだけでキャンセルできれば、操作者が、運転中で切羽詰まった状態にあっても容易にキャンセルを行うことができる。

直前に行った選択指示をキャンセルするための操作指示が入力されたときは、メニュー選択部１２は、当該選択指示が入力される前に選択していたメニュー項目を再び選択し直して、当該直前に行った選択指示を取り消す。

ユーザによるキャンセル指示に時間の概念を入れることで、多機能なキャンセル機能を実現できる。例えば、上述のように、操作対象のメニュー項目を読み上げている際に、読み上げ速度（切替速度）が速く、目的のメニューを選択するタイミングを逃し、目的のメニュー項目を過ぎてしまったとしよう。この際、再び目的のメニュー項目にたどり着くためには、操作対象のメニュー項目の読み上げが一巡し、２週目の読み上げに入った後、目的のメニュー項目が読み上げられる時を待たなくてはならない。このような際に、先述したキャンセル指示を行い、すぐに操作開始ジェスチャを行った場合には、選択可能メニュー項目の先頭から再び読み上げが開始されるなどというようにすれば、一巡するのを待たなくて済む。

また、操作対象をユーザによる所定の操作指示により変更することもできる。
すなわち、操作対象切替部１４で操作対象とするメニュー項目を変更するための操作指示が入力されたときは、操作対象切替部１４は、現在の操作対象としてのメニュー項目から所定個前に操作対象として選択したメニュー項目から再び選択し直す。このような操作が行えると、選択のタイミングを逃して、目的のメニュー項目を過ぎてしまっても、上記操作指示をすることで、すぐに目的のメニュー項目の数個前ぐらいから読み上げられるため、すぐに目的のメニュー項目に到達することができる。例えば、「地図拡大」→「地図縮小」→「現在地表示」→「目的地表示」→…、と読み上げられている際に、「現在地表示」が選びたいときに、タイミングを逃して、「目的地表示」までいってしまったら、上記のような操作指示を行うことで、「目的地表示」の２つ前の「地図縮小」から読み上げが始まるというようにである。こうすると、すぐに、目的の「現在地表示」メニューにたどり着ける。

複数のジェスチャを組み合わせることにより、操作メニュー操作部３と通知部４の動作を一時停止した後、再び再開するまでの動作にバリエーションをつけることができる。

さて、通知部４では、音声により、操作対象のメニュー項目をユーザに通知する場合について説明したが、この場合に限らず、これに、各メニュー項目に対応する音や旋律などを合わせて用いるとより効果的である。

例えば、「音色 操作対象のメニュー項目」という組み合わせで、操作対象のメニュー項目を通知する。「音色」のところには、「ギターのド」、「ピアノのレ」などといったように、楽器と音階の組み合わせによって得られる音色を用いることができる。先のメニューの例で、「オーディオ」→「エアコン」→「ナビゲーション」→「オーディオ」→…、の「オーディオ」の前には、ピアノの音、「エアコン」の前にはギターの音…とし、さらには、「オーディオ」の下位階層のメニュー項目には、ピアノの音で統一し、「エアコン」のには、ギターの音で統一し、というようにすると、操作者が現在アクセスしているメニューに対応する操作対象機器は何なのかを瞬時に知ることができる。

さらに、下記のように、音階を同階層メニュー内のメニュー項目（選択可能なメニュー項目）に、音アイコンとして添付して、「ド 地図拡大」→「レ 地図縮小」→「ミ 現在地表示」→「ファ 目的地表示」→…、として操作対象のメニュー項目を通知することにより、現在の操作対象のメニュー項目の位置を直感的に知ることができる。

慣れてくれば、後ろのメニュー項目を聞かなくても、「地図縮小」は、「レ」だったから、というようにアクセスも可能である。これを上述した操作対象のメニュー項目の切替速度（読み上げ速度）の変化に応用すれば、遅く読み上げる際には、遅い間隔で、「ド 地図拡大」→→→「レ 地図縮小」→→→「ミ 現在地表示」→→→「ファ 目的地表示」→→→…と読み上げ、普通の速度で読み上げる際には、読み上げ間隔を上記よよりは早めて、「ド 地図拡大」→→「レ 地図縮小」→→「ミ 現在地表示」→→「ファ 目的地表示」→→…とし、速い速度で読み上げる際には、さらに早口で読み上げ、「ド （地図拡大）」→「レ （地図縮小）」→「ミ （現在地表示）」→「ファ （目的地表示）」→…とする。ここで、括弧で括られているのは、早口で読み上げていることを表している。また、「→」の数が多いほどメニュー項目と次に読み上げるメニュー項目との時間間隔が長いことを表している。

読み上げ速度をさらに速くしたい場合（それに伴い操作対象の切替速度をさらに速くしたい場合）、「ド」→「レ」→「ミ」→「ファ」→…というように、操作対象のメニュー項目の読み上げを省略して、それに対応する音階のみで、現在操作対象となっているメニュー項目を通知するようにしてもよい。感覚的に音階でメニュー項目を覚えてしまえば十分に操作可能で、本発明のインタフェース装置の操作に非常に習熟した操作者にとって、非常に有効な手法である。

なお、ここでは、単音の音のみを用いて説明してきたが、これに限定されるものではない。和音などを用いて、より直感的な音表現を行っても有効である。また、ここでは、「ド」、「レ」、「ミ」、…と順番に音を変える例を示したが、これに限定されるものではない。例えば、有名な楽曲の旋律を用いて、この旋律に一部分を１つのメニュ項目に対応させるようにしてもよい。例えば、「ベートーベン」の「運命」などの音楽を用いることで、あるメニュー項目は、「ジャジャジャジャーン」の「ジャジャジャ」のタイミングで選択すればよいというように、操作者がより直感的に覚えることが可能となる。

さらに、操作メニューの内容を暗示させる効果音を用いることも効果的である。例えば、エアコンを操作するためのメニュー項目の１つである「風量操作・メニュー」において、風の音などの効果音を上述した音色の部分に用いることで、操作者は直感的にそのメニュー内容を想像することができる。

なお、以上では、現在操作対象となっているメニュー項目を音声で通知する場合、音や旋律などと併せて現在操作対象となっているメニュー項目を音声で通知する場合、現在操作対象となっているメニュー項目に対応する音や旋律のみで通知する場合について説明したが、これに限定されるものではない。例えば、振動を用いることも可能である。また、振動や、上述した音、旋律、現在操作対象となっているメニュー項目を提示する音声などを組み合わせて用いることも可能である。

また、振動や、上述した音、旋律、現在操作対象となっているメニュー項目を提示する音声などを組み合わせて、現在操作対象となっているメニュー項目を通知するとともに、画面表示を行うようにしてもよい。この場合、画面には、ＧＵＩなどを用いて、選択可能なメニュー項目が表示される。このような画面表示を併用する場合、その表示画面を設ける位置を工夫することは重要である。本実施形態では、運転者の機器操作のための視線移動を軽減することが目的である。そこで、図３１に示すように、ハンドルの取り付けられている側の、運転中の運転者のほぼ視線方向に表示画面を設けることが好ましい。

また、上記実施形態では、インタフェース装置に対し指示を与えるために、操作開始、メニュー操作、メニュー選択といった種類のジェスチャを用いたが、ジェスチャの種類はこれらに限定されるものではない。例えば、メニュー操作ジェスチャとして、どの指が出されるか、出された指先の向きなどによって、「メニュー項目を１項目進めるジェスチャ」「メニュー項目を１項目前に戻すジェスチャ」などを用意し、操作者がそれらのジェスチャを行うことで、自ら積極的に、操作対象のメニュー項目の変更を行うような構成を取ることができる。

また、この場合もジェスチャの種類に応じて、メニュー項目を進める項目数などを変えることで、操作者の習熟度によってメニュー項目操作のための手段を選べるようにすることもできる。

さらに、画面表示を併用する場合、コンピュータの画面などでよく見られるような２次元空間にアイコンを配置して、それらを選択するといったような、所謂ＧＵＩ的な手法をとることもできる。

以上説明したように、上記実施形態に係る、操作メニューをもつ（複数の操作項目を有する）機器を操作するためのインタフェース装置によれば、通知部４で、操作メニューに含まれるメニュー項目のうち、ユーザが選択可能であってしかも自装置において操作対象となっているメニュー項目を所定間隔で順番に１つずつユーザに通知し、指示入力部１でユーザからの所定の選択指示（例えば、メニュー選択ジェスチャ）が入力されたときには、操作メニュー操作部３は、当該選択指示が入力されたときに操作対象となっているメニュー項目と操作メニューの構造とに基づき、操作メニューからユーザが選択可能なメニュー項目を選択するとともに、この選択されたメニュー項目を予め定められた順序に従って所定間隔で１つずつ操作対象として選択する。さらに、操作メニュー操作部３は、指示入力部１で選択指示が入力されたときに操作対象となっているメニュー項目に基づき操作対象機器に対する操作を行う。通知部４は、操作メニュー操作部３で操作対象を選択するタイミングに同期して、現在操作対象となっているメニュー項目をユーザに通知する。この通知部４で通知されている操作対象のメニュー項目に対しユーザが指示入力部１から所定の選択指示を入力するだけでよいので、ユーザは、視線を動かすことなく容易に、しかも正確に効率よく操作対象機器を操作することができる。

操作メニュー操作部３で操作対照を選択するタイミング（切替速度）は、指示入力部１から所定の操作指示（例えば、メニュー操作ジェスチャ）を入力することによりユーザ自身が変更することができる。上記インタフェース装置の操作に習熟度に応じて、ユーザは、操作対象の切替速度を速くしたり、遅くしたりすることができるので、使い勝手がよい。特に、上記インタフェース装置の操作に不慣れなユーザであっても、不便を感じることがない。

（第２の実施形態）
上記第１の実施形態では、指示入力手段１としてジェスチャ取得部６とジェスチャ認識部７を用いて、ＣＣＤカメラや、画像入力装置１００を用いて非接触にジェスチャを取得・認識する方法について説明したが、本発明のインタフェース装置に各種指示を入力する方法としては、ジェスチャのような非接触の手段に限定されるものではない。例えば、タッチパッドの特定の場所を指先を用いて触る、指先を縦に動かすといったように、タッチパッドの上を触りながら動かすことで任意のストロークを描く、タッチパッド上の手の触れている分布を得るなどといったような、接触型の指示入力も可能である。手にペンを持ってストロークを描いたりすることによっても上記同様な指示入力が可能である。

また、ジョイスティックなどを用いることで、方向により指示を入力することができる。この指示された方向が前述のジェスチャの種類に対応する。すなわち、各方向には、操作開始、メニュー操作、メニュー選択などの指示を対応させるようにしてもよい。

さらに、押す圧力を複数段階で認識することができるボタン型のスイッチなどでも、指先などでボタンを押す圧力の強さに、操作開始、メニュー操作、メニュー選択などの指示を対応させるようにしてもよい。

このような接触型の指示入力方式を採用した場合、第１の実施形態の本文で説明した場合とは異なり、ユーザ自身が触覚的に操作を行った結果として操作対照機器や本実施形態のインタフェース装置が動作するので、実際にユーザが操作を行ったという実感を得ることが可能となり、機器操作に対するユーザの安心感を増すことが可能となる。

ただし、このような接触型の指示入力を行う場合、その手段や配置数、配置方法などを考慮することが重要である。例えば、タッチパッドやボタン、ジョイスティックなど多種の手段を同時に用意したり、むやみにそれらを配置したりした場合、それらを探すために、視線をそちらに向ける必要がでてしまい、運転中の視線移動に繋がってしまうため、本発明における大きな主張点である安全性が低下してしまう。このため、車載応用の場合、ハンドルの付近に少数の指示入力部を配置し、手探りだけでもそれらに辿りつくような工夫が必要である。このような工夫がなされた場合、運転中の視線移動は最小限となり、あまり安全性を低下させることなく、機器操作を行うことが可能である。

（第３の実施形態）
指示入力部１として、ジェスチャ取得部６とジャスチャ認識部７を用いる以外にも、運転者（ユーザ）が運転中に安全に操作ができるものとして、例えば、音声認識を用いた指示入力方式が考えられる。これは、ユーザが発した音声を、マイクで検出し、その音声データを解析し、ユーザの意図を判定し、操作に結びつけるものである。

指示入力部１で音声認識により、ユーザが発声した音声コマンドにより各種指示を入力する場合も第１の実施形態と同様である。すなわち、この場合、第１の実施形態で説明した操作開始、メニュー操作、メニュー選択などに対応する各種音声コマンドをユーザが予め登録しておけばよい。例えば、操作開始に対応する音声コマンドを「カイシ」、メニュー選択に対応する音声コマンドを「ＯＫ」などとしてもよい。

なお、音声認識を用いた場合、コマンドを覚えるのが楽、しゃべるだけなので誰にでも使える、といったメリットがある反面、操作をする際にいつもしゃべらなければならない、誤認識が多い、といった問題点がある。しかし、ジェスチャ取得部６とジャスチャ認識部７と、音声認識を組み合わせることにより、より扱いやすいシステムを構築することができる。

例えば、操作メニューの階層を選択する際には、音声を使うと階層を辿らずに即座に行えるので、音声認識を用い、切替速度（読み上げ速度）や音量などを調整するための指示は、直感的なので、ジェスチャを用いた入力を行う。例えば、「音量」と発声した後、メニュー操作ジェスチャを行うことで音量がダイナミックに調整される。ちょうど良いと思ったところで、「ＯＫ」と発声すると決定される。

ナビゲーション・メニュー内で、位置の決定を指示する際に音声入力を用いることもできる。さらには、ジェスチャによる指示入力により、ユーザが選択可能となった複数の項目のうちのいずれかの項目をユーザが発声することにより当該項目の選択（決定）を指示することができる。例えば、地図上に表示されているレストランをジェスチャによって選択し、当該選択したレストランの「電話」「情報」「経路」などのいずれかの項目を音声コマンドで発行できる。「電話」と発声するとそのレストランへ電話をかけてくれ、「情報」と発声するとそのレストランに関する情報を表示し、「経路」と発声すると、そのレストランへの経路探索を開始する。

（第４の実施形態）
第４の実施形態として、ここでは、本発明に係るインタフェース装置をＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）の操作や携帯電話の操作、テレビ、ビデオ、情報家電機器の操作などに適用した場合について説明する。

図３２、図３３は、本発明の第４の実施形態におけるインタフェース装置の設置方法の一例を示した図である。例えば、ユーザのジェスチャにより操作を行う場合、ＰＤＡや携帯電話端末、家電機器のリモコン装置などの操作対象機器の裏面に、例えば、ユーザが右手に持って、右手で行ったジェスチャが取得可能であるように、インタフェース装置を配置する。

そして、図３３に示すように、操作対象機器を右手で保持しながら、人差し指などの手指のジェスチャを用いて操作対象機器を操作する。
このように、インタフェース装置の指示入力部１でジャスチャ、音声などにより指示が入力し易いように、当該インタフェース装置を操作対象機器に設けることで、上述のような携帯電話などの機器の操作を、直感的に、かつ視線移動なく、行うことが可能となる。

現在、携帯電話は広く普及している。携帯電話には、ｅ−ｍａｉｌやＷＷＷの閲覧、その他の各種情報へのアクセスなど、従来の通話機能に加え、情報端末としての数々の機能が付加されるようになった。特に、ｅ−ｍａｉｌ機能は広く普及し、携帯電話を保持している人の大部分がこの機能を使用しているといっても過言ではない。

しかし、近年、この携帯電話を用いたｅ−ｍａｉｌ等の使用に関して、安全性の問題がでてきている。携帯電話は自由に持ち歩いて使用することができるため、路上で歩きながらｅ−ｍａｉｌで送る文章を作成する若者が増えてきているという問題である。文章は、携帯電話の番号ボタンを利用して入力するため、視線は、どうしても携帯電話の画面に集中する。この動作を行いながら公道を歩き、他の通行者にぶつかったり、文章の作成に熱中するあまり、横断歩道の信号が赤であるのに気づかずに、そのまま赤信号を渡ってしまい、交通事故にあってしまったりするといったような問題である。このような場合に、視線を画面に集中させずに操作が可能であれば、交通事故や無駄なもめ事などを起こすことがなく、安全である。

そこで、図３３のように、携帯電話に本発明のインタフェース装置を適用することにより、携帯電話の画面に視線移動をすることなく、メールの入力やＷＷＷの操作などの各種の操作が可能となり、上述したような問題が解決可能となる。

また、近年、ＣＡＴＶや、ＢＳ放送、ＣＳ放送など、テレビのチャンネルは多チャンネル化してきており、数百チャンネル存在する場合もある。このような多チャンネルの放送において、操作者が数百チャンネルの中から、リモコンで目的のチャンネルを迅速に選ぶことは困難である。

従来のテレビ放送では、１０程度のチャンネル数しかなかったため、リモコンに全てのボタンを用意することが可能であった。そこで、操作者は、目的のチャンネルのボタンを直接押すだけで、チャンネルを選ぶことができたが、チャンネル数が増えてしまったために、リモコンに全てのチャンネルのボタンを用意することができなくなった。そこで、１）目的のチャンネルの番号を入力する方式、２）ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）とよばれる番組一覧を表示して、そこから目的のチャンネルを選択する方式、３）リモコンの上下ボタンを利用して、チャンネルを逐次変更して、目的のチャンネルまで辿り着く方式、の３つの方式がとられることが多い。しかし、１）の場合、チャンネル番号を知っていないと使用できない。チャンネル数が多くなればなるほど、目的の番組が放送されるチャンネル番号を記憶しておくことは困難である。２）の場合、非常に多チャンネルの番組表から目的の番組を選ぶため、広大な番組表のなかを探索して、目的の番組に辿り着かなくてはならない。これは、操作性に関する問題がある。３）の場合、例えば、上ボタンで次のチャンネルへ、下ボタンで前のチャンネルへ、と移動する訳だが、現在３００チャンネルにいて、７２１チャンネルに行きたいときに、上ボタンを何回も押さなければならないという問題がある。いずれの方法にしても、目的のチャンネルに迅速に辿り着くことは困難である。

ここに本発明のインタフェース装置を用いることで、このような問題を解決可能である。例えば、第１の実施形態でも説明したように、指先の位置によって、チャンネルを変えるスピードを変化させることによって、目的のチャンネルまで距離がある場合には、早く変え、目的のチャンネルが近づいてきた際には速度を落とし、目的のチャンネルが来たら選択するというようなことが可能となる。

また、ジェスチャの種類によってチャンネルの番号入力の方法を変えることもできる。例えば、図２６に示したジェスチャＤでチャンネルの１００の位の値を、ジェスチャＥでチャンネルの１０の位の値を、ジェスチャＣでチャンネルの１の位の値を変更できる様にすることで、チャンネルの番号入力も迅速に可能となる。

また、ビデオに本発明のインタフェース装置を適用した場合、リモコンに視線を移動せずに、ビデオの早送りなどが可能となる。映画などを見ている際に、リモコン操作のために視線を移動したため、大事な場面を見逃してしまう、といった問題が解決できる。さらに、ジェスチャの種類によって早送りのスピードなどを自由にコントロール可能なため、操作者が視線移動なしで迅速操作可能なだけでなく、その操作方法も自由にコントロールできるという利点もある。

以上のように、本発明は、車載機器の操作だけではなく、ＰＤＡ、携帯電話、家電機器などの汎用的なインタフェースとして、効果的に適用可能である。
なお、上記第４の実施形態では、操作対象機器の裏側にユーザ右手で操作可能なようにジェスチャの取得方向に向けて設置することに関して説明してきたが、これに限定されるものではない。機器の表側に、操作者の方を向くように設置してもよいし、裏側に、操作者とは逆方向に向くように設置してもよいし、それ以外の方法でも構わない。

要は、インタフェース装置に対し、ユーザが指示を入力する際に、その指示がユーザによるジェスチャによりなされるものであれば、そのジェスチャが取得し易い位置に設けるようにすればよい。もちろんインタフェース装置に対しなされるは指示は、ジェスチャに限らない。音声認識や操作ボタンにより指示入力を行うものであってもよい。そのような場合であっても、ユーザの発声音が正確に取得できるような所、操作ボタンが操作し易い所に、指示入力部１（あるいはインタフェース装置そのものを）を設けるようにすればよい。

なお、本発明の実施の形態に記載した本発明の手法（特に、制御部２，操作メニュー操作部３、通知部４、機器動作制御部５の図２７〜図２９に示した処理機能）は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、上記実施形態には種々の段階の発明は含まれており、開示される複数の構成用件における適宜な組み合わせにより、種々の発明が抽出され得る。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題（の少なくとも１つ）が解決でき、発明の効果の欄で述べられている効果（のなくとも１つ）が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明のインタフェース装置の構成例を概略的に示す図。 図１の操作メニュー操作部の機能構成を示した図。 操作対象機器の操作メニューの一例を示した図。 ショートカットメニューについて説明するための図。 フェイバリット・メニューについて説明するための図。 本発明の一実施形態に係るインタフェース装置の構成例を示した図。 ジェスチャの具体例を示した図。 画像入力装置の外観の一例を示した図。 画像入力装置の構成例を示した図。 反射光の強度を画素値とする距離画像の一例を示した図。 図１０に示した様なマトリックス形式の距離画像を３次元的な表した図。 距離画像から抽出された物体の輪郭画像の一例を示した図。 画像入力装置の取り付け位置について説明するための図。 手指を用いたジェスチャについて説明するための図。 画像入力装置で取得されたジェスチャの表示イメージを示した図。 画像入力装置で取得されたジェスチャの表示イメージを示した図。 手指を用いたジェスチャについて説明するための図。 指先の特徴点について説明するための図。 指先の特徴点を算出する処理を説明するためのフローチャート。 距離画像から握りこぶし部分の領域の抽出方法を説明するための図。 距離画像から指先部分の領域の抽出方法を説明するための図。 指先の向きの認識方法について説明するための図。 画像入力装置で取得されたジェスチャの表示イメージを示した図。 画像入力装置で取得されたジェスチャの表示イメージを示した図。 制御部の状態遷移を説明するための図。 手指を用いたジェスチャについて説明するための図。 制御部と操作メニュー操作部と通知部の動作を説明するためのフローチャート。 制御部と操作メニュー操作部と通知部の動作を説明するためのフローチャート。 制御部と操作メニュー操作部と通知部の動作を説明するためのフローチャート。 手指を用いたジェスチャについて説明するための図。 表示画面を設置する位置を説明するための図。 インタフェース装置の設置位置の一例について説明するための図。 インタフェース装置の設置位置の他の例について説明するための図。

符号の説明

１…指示入力部
２…制御部
３…操作メニュー操作部
４…通知部
５…機器動作制御部
６…ジェスチャ取得部
７…ジェスチャ認識部
１１…操作メニュー保持部
１２…メニュー選択部
１３…操作メニュー受胎管理部
１４…操作対象切替部
１５…操作コマンド出力部

Claims (12)

1. 複数の操作項目を有する車載機器を操作するためのインタフェース装置であって、
   ハンドルを把持したユーザの手によるジェスチャを取得するジェスチャ取得手段と、
   前記ジェスチャ取得手段で取得されたユーザのジャスチャから、当該ジェスチャの種類に対応した指示を認識するジェスチャ認識手段と、
   前記複数の操作項目のうち、ユーザが選択可能な操作項目を予め定められた順序に従って所定間隔で１つずつ操作対象として選択する選択手段と、
   前記操作対象を選択する間隔に合わせて、現在操作対象となっている操作項目をユーザに通知する通知手段と、
   前記通知手段で通知された操作項目に対応する指示を前記ジェスチャ認識手段で認識したときに前記操作対象となっている操作項目に基づき前記車載機器に対する操作を行う手段とを具備したことを特徴とするインタフェース装置。
2. 複数の操作項目を有する対象機器を操作するためのインタフェース装置であって、
   対象機器を保持したユーザの手によるジェスチャを取得するジェスチャ取得手段と、
   前記ジェスチャ取得手段で取得されたユーザのジャスチャから、当該ジェスチャの種類に対応した指示を認識するジェスチャ認識手段と、
   前記複数の操作項目のうち、ユーザが選択可能な操作項目を予め定められた順序に従って所定間隔で１つずつ操作対象として選択する選択手段と、
   前記操作対象を選択する間隔に合わせて、現在操作対象となっている操作項目をユーザに通知する通知手段と、
   前記通知手段で通知された操作項目に対応する指示を前記ジェスチャ認識手段で認識したときに前記操作対象となっている操作項目に基づき前記対象機器に対する操作を行う手段とを具備したことを特徴とするインタフェース装置。
3. 前記ジェスチャ認識手段で第１の操作指示が認識されたとき、前記操作対象としての操作項目を選択する間隔を変更することを特徴とする請求項１または２のいずれか１つに記載のインタフェース装置。
4. 前記通知手段は、現在該操作対象となっている操作項目を音声でユーザに通知することを特徴とする請求項１または２のいずれか１つに記載のインタフェース装置。
5. 前記通知手段は、現在操作対象となっている操作項目に対応する音や旋律とともに、該操作対象の操作項目を音声でユーザに通知することを特徴とする請求項１または２のいずれか１つに記載のインタフェース装置。
6. 前記通知手段は、現在操作対象となっている操作項目に対応する音や旋律で該操作対象の操作項目をユーザに通知することを特徴とする請求項１または２のいずれか１つに記載のインタフェース装置。
7. 前記通知手段は、現在操作対象となっている操作項目に対応する振動で該操作対象の操作項目をユーザに通知することを特徴とする請求項４乃至６のいずれか１つに記載のインタフェース装置。
8. 前記ジェスチャ認識手段で第２の操作指示が認識されたとき、前記選択手段は、現在の操作対象としての操作項目から所定個前に前記操作対象として選択した操作項目から再び選択し直すことを特徴とする請求項１または２のいずれか１つに記載のインタフェース装置。
9. 前記ジェスチャ認識手段で第３の操作指示が認識されたとき、前記選択手段は、該選択指示が入力される前に選択していた操作項目を再び選択し直して、直前に入力された前記選択指示を取り消すことを特徴とする請求項１または２のいずれか１つに記載のインタフェース装置。
10. 前記ジェスチャ取得手段は、ハンドルを把持または対象機器を保持したユーザの手の一部をハンドルまたは対象機器の裏側から撮像した画像を取得し、
    前記ジェスチャ認識手段は、前記画像を基にジャスチャの種類に対応した指示を認識する認識することを特徴とする請求項１または２いずれか１つに記載のインタフェース装置。
11. 前記ジェスチャ取得手段で取得した画像は、距離画像であることを特徴とする請求項１０記載のインタフェース装置。
12. 前記ジェスチャ取得手段は、認識対象に所定の光を照射するための発光手段と、該発光手段で該撮像対象に光を照射したときに該認識対象からの反射光を含む光を受光する受光手段と、該受光手段で受光された受光量から該認識対象に該光を照射していないときの受光量を差し引いた結果得られる、該認識対象からの反射光の強度分布で表された該認識対象の距離画像を生成する生成手段と、を備え、固定位置に設置されて、前記ジェスチャを行うユーザの身体の一部あるいは前記物体を前記認識対象とする前記距離画像を取得し、
    前記指示認識手段は、前記ジェスチャ取得手段で取得された前記距離画像中の前記認識対象の画像領域のうち、前記ジェスチャを行っていないときの前記認識対象の画像領域の範囲外の画像領域の形状及び奥行き方向の距離情報を含む複数の特徴量を用いて、前記ジェスチャの種類を認識するともに、当該ジェスチャの種類に対応した指示を認識することを特徴とする請求項１または２いずれかに記載のインタフェース装置。

Images