JP2005196530A - 空間入力装置及び空間入力方法 - Google Patents

Abstract

【課題】 立体虚像を有効に活用した操作入力を行うことができる「空間入力装置及び空間入力方法」を提供する。
【解決手段】 立体虚像１０を表示する立体虚像表示部２と、表示された立体虚像１０への接触を、複数設けられた操作点１２で検出する空間位置検出部３と、接触を検出した操作点１２と、操作点１２の検出順序とから入力された指示を解析し、指示された処理を行う制御部４とを有して構成される。接触を検出した操作点１２と、操作点１２の検出順序とから入力された指示を解析するため、複数の入力パターンを設けて指示を入力することが可能となる。
【選択図】 図１

Description

本発明は空間入力装置及び空間入力方法に関し、特に、立体虚像を利用してオーディオ機器やナビゲーション装置などの操作入力を行う空間入力装置及び空間入力方法に関する。

近年のコンピュータグラフィックス技術の進歩は著しく、特に空間や立体など３次元の存在を、スクリーンや空間に投影する立体虚像の研究に注目が集まっている。また、表示した立体虚像の活用方法についての研究も盛んに行われている。

立体虚像を表示させて、この立体虚像への接触位置を検出することで機器の操作入力を行う技術が特許文献１に開示されている。

特許文献１では、図１２（Ａ）に示すように車内のセンターコンソール１００に設置したホログラム１０１からなる操作パネルの写真に、光照射を行って三次元の立体虚像１０２の仮想スイッチ１０３を浮き出させている。この仮想スイッチ１０３に対する操作者の接触位置を位置検出センサ１０４で検出してコントロールユニット１０５がこの仮想スイッチ１０３の入力に応じた操作指示を行っている。また立体虚像の仮想スイッチ１０３は、操作パネルの写真を投影したものであるため、図１２（Ｂ）に示すように文字が記載された操作スイッチが表示される。

特開平９−１９０２７８号公報

しかしながら上述した特許文献１の開示技術では、立体虚像を表示しているにも関わらず、従来のタッチパネルによる入力と同等の操作しか行うことができず、立体虚像の有効活用を図れているとは言えない。

また特許文献１では、文字が記載された操作スイッチを投影して仮想パネルを表示している。しかしながら立体虚像として表示された文字は読みにくく、目が疲れるという問題がある。このため図１２（Ｂ）に示すような複数の立体虚像の中から一意の該当スイッチを簡単に見つけ出すのは難しいという問題が生じる。

本発明は上記事情に鑑みてなされたものであり、立体虚像を有効に活用した操作入力を行うことができる空間入力装置及び空間入力方法を提供する。

本発明の空間入力装置は、立体虚像を表示する虚像表示部と、表示された前記立体虚像への接触を、複数設けられた操作点で検出する検出部と、接触を検出した操作点と、操作点の検出順序とから入力された指示を解析し、指示された処理を行う制御部と、を有することを特徴としている。

表示した立体虚像への接触を複数の操作点で検出し、接触を検出した操作点と、操作点の検出順序とから入力された指示を解析している。従って複数の入力パターンを設けて指示を入力することが可能となり、複数の操作入力が可能となる。

上記構成の空間入力装置において、前記虚像表示部は、複数の層に階層化された立体虚像を表示し、前記検出部は、前記複数の操作点を前記複数の層の各層に有しているとよい。

複数の層に階層化された立体虚像に、それぞれ複数の操作点を設けたことにより、さらに多くの入力パターンを設けて指示を入力することが可能となる。

上記構成の空間入力装置において、前記虚像表示部は、複数の層に階層化された立体虚像を、上位層から下位層の順に順次表示し、前記検出部は、前記複数の操作点を前記複数の層の各層に有し、前記制御部は、前記上位層で入力された指示に応じて、前記下位層に表示する立体虚像を変更するとよい。

上位層で選択された指示に該当する立体虚像を下位層に表示するようにしている。従って、入力可能な指示の数を増やすことができ、複数の機器を操作可能となる。

上記構成の空間入力装置において、前記立体虚像への接触を検出する前記複数の操作点は、前記立体虚像の中央部と、該中央部の周囲とに配置されているとよい。

立体虚像への接触を検出する操作点を、立体虚像の中央部と、この中央部の周囲とに配置している。従って、操作者にとって認識しやすい操作点の配置とすることができる。

上記構成の空間入力装置において、前記制御部は、前記立体虚像への接触を検出した操作点の近傍の表示色を、他の部分とは異なる色で表示するとよい。

立体虚像への接触を検出した操作点の近傍の表示色を、他の部分とは異なる色で表示したことにより、操作者は入力確認を目視により行うことが可能となる。

上記構成の空間入力装置において、前記虚像表示部は、複数の領域に分けられ各領域に前記操作点を有する第１層と、該第１層と同一の領域に分けられ各領域に前記操作点を有する第２層とが重ねて表示され、前記第１層と前記第２層の各領域に、車両用機器または該車両用機器の操作項目を表す立体虚像が表示された立体虚像を表示し、前記制御部は、前記第１層の領域が選択されると、該選択された領域の表示色を他の領域とは異なる色で表示し、前記第１層で選択された領域と同じ前記第２層の領域が選択されることで決定入力と判定するとよい。

重ね合わせて表示された第１層と第２層のそれぞれの領域に、車両用機器または該車両用機器の操作項目を表す立体虚像が表示されている。制御部は、第１層の領域が選択されると、選択された領域の表示色を他の領域とは異なる色で表示し、第１層で選択された領域と同じ前記第２層の領域が選択されることで決定入力と判定する。従って、操作者の選択した車両用装置又は操作項目を第１層の立体虚像によって通知することができる。操作者は第１層の立体虚像を確認して、第２層の立体虚像で決定入力を行うことができるため、操作をより確実に行うことができる。

上記構成の空間入力装置において、前記立体虚像への接触を通報する報音部を有するとよい。

立体虚像への接触を通報する報音部を設けたことにより、立体虚像に接触していることを操作者に通報することができる。

上記構成の空間入力装置において、前記検出部は、赤外線を照射する赤外線発光素子と、前記複数の操作点に対応して設けられ、前記赤外線の反射光を受光できる所定の位置に配置された受光素子とを有するとよい。

検出部が赤外線発光素子と、反射した赤外線を受光する受光素子とからなることにより、検出部を低コストで作成することができる。

上記構成の空間入力装置において、前記制御部は、使用可能な状態にある車両用機器を表す立体虚像を表示させるとよい。

使用可能な状態にある車両用機器を表す立体虚像を表示させることにより、使用者に車両用機器の状態を認識させることができる。

上記構成の空間入力装置において、前記制御部は、予め設定された優先順位に従って、使用可能な状態となった車両用機器を表す立体虚像を表示させるとよい。

予め設定された優先順位に従って、使用可能な状態となった車両用機器を表す立体虚像を表示させている。従って、操作者の使用頻度の高い車両用機器から表示することができると共に、操作者に使用可能な状態にある車両用機器を認識させることができる。

本発明の空間入力方法は、立体虚像を表示する表示ステップと、表示した立体虚像への接触を、複数の操作点で検出する検出ステップと、接触を検出した操作点と、操作点の検出順序とから入力された指示を解析する解析ステップと、解析した処理を実行する処理ステップとを有している。

表示した立体虚像への接触を複数の操作点で検出し、接触を検出した操作点と、操作点の検出順序とから入力された指示を解析している。従って複数の入力パターンを設けて指示を入力することが可能となり、複数の機能を操作可能となる。

本発明は、立体虚像を有効に活用した操作入力を行うことが可能となる。

次に、添付図面を参照しながら本発明の好適な実施例を説明する。

まず、図１を参照しながら本実施例の空間入力装置１の構成を説明する。図１に示す空間入力装置１は、立体虚像１０を表示する立体虚像表示部２と、表示された立体虚像１０への接触を、複数の操作点１２で検出する空間位置検出部３と、接触を検出した操作点１２と、接触を検出した操作点１２の検出順序とから入力された指示を解析し、指示された処理を実行する制御部４と、制御部４からの指示により音声やメロディなどを出力するスピーカ７とを備えている。また、制御部４には、入力された指示を解析する演算部５と、演算部４で解析した指示を実行する処理部６とを有している。

立体虚像表示部２には、表示する立体画像が保持されており、制御部４により選択された画像の立体虚像を表示する。立体虚像表示部２は、図２に示すようにディスプレイ２１と、その前面に設けた２枚の凹レンズ２２とからなり、ディスプレイ２１に表示された画像を２枚の凹レンズ２２を介して投影することで立体虚像１０を表示する。

立体虚像表示部２により表示される立体虚像１０について説明する。立体虚像表示部２により表示される立体虚像１０は、図２に示すように複数の立体虚像が重ねられ階層化されている。本実施例では、図２に示すように操作者に近い方から上位の第１層ａ、第２層ｂ、下位の第３層ｃの３層の立体虚像１０からなる。なお、表示する立体虚像１０の層数は図示したものに限定されるものではなく、任意の数とすることができる。また最初に第１層ａの立体虚像層１０だけを表示して、この第１層ａによる操作が入力されると、この第１層ａの立体虚像１０を消去して次の第２層ｂの立体画像１０を表示するといったように、上位層から順番に表示するものであってもよい。

階層化された立体虚像１０の各層には、図３に示すように複数の虚像スイッチ１１（Ａ，Ｂ，・・・，Ｉ）が設けられている。虚像スイッチ１１（Ａ〜Ｉ）は、図３に示すように立体虚像１０を、中央領域と、この中央領域の周囲の８つ周辺領域とに分けた各領域に設けられている。なお、領域の分け方、及び虚像スイッチ１１の数については任意であり、操作する機器の機能や、操作者の操作のしやすさなどによって適宜変更可能である。各虚像スイッチ１１には、指や腕などの障害物の虚像スイッチ１１への挿入を検知する操作点１２が設けられている。本実施例では、図３に示すように各操作スイッチ１１に対応してＡ〜Ｉの９個の操作点１２が表示されている。この操作点１２には後述する赤外線発光素子３１からの赤外線が照射されている。この操作点１２に指や腕などの障害物が挿入されることで、立体虚像１０への接触、すなわち操作入力を検出する。なお、図３では虚像スイッチ１１と操作点１２だけを表示しているが、実際には図４、５に示すようにアイコンに虚像スイッチ１１を重ねて表示される。もちろん、操作性を重視する場合には図３に示すように虚像スイッチ１１だけを表示するものであってもよい。

次に、立体虚像への操作入力を検出する空間位置検出部３の構成について説明する。空間位置検出部３は、図６に示すように赤外線発光素子３１と、複数の受光素子３２とからなる。受光素子３２は複数設けられた操作点１２に対応して設けられ、図７に示すように各操作点１２に指などの障害物が挿入された際に、この障害物によって反射した赤外線を受光できる位置に設けられている。また、立体虚像１０を階層化して表示する際には、図６に示すように各層毎に受光素子３２を設けることになる。操作点１２に対応して設けられた受光素子３２は、対応する操作点１２に指や手などの障害物が挿入され赤外線反射光を受光すると、赤外線を受光したことを示す検出信号を演算部５に出力する。演算部５は、受光素子３２からの検出信号を入力することで、どの操作点が選択されたのかを判断することができる。また、空間位置検出部３を赤外線発光素子３１と受光素子３２とから構成することで、空間位置検出部を低コストで作成することができる。

演算部５は、図８に示されるように空間位置検出部３の各受光素子３２から出力される検出信号を入力して、操作履歴として操作履歴データベース５２に記録する操作履歴記録部５１と、操作履歴を記録する操作履歴データベース５２と、コマンドデータベース５４を参照して操作者により入力された指示を解析する指示入力判定部５３と、コマンドデータを記録したコマンドデータベース５４とを備えている。

空間位置検出部３の各受光素子３２は、赤外線発光素子３１から出力された赤外線の反射光を受光すると、受光したことを示す検出信号を操作履歴記録部５１に出力する。操作履歴記録部５１は、検出信号を入力した受光素子３２の識別情報を操作履歴データベース５２に記録する。なお、操作履歴記録部５１は、最初に検出信号を入力してから所定時間内に入力される検出信号を一つの操作と判定して操作履歴データベース５２に記録する。図９（Ａ）に示すように、操作履歴データベース５２には、操作履歴記録部５１によって書き込まれる操作履歴（入力を検出した受光素子３２の識別番号（本実施例ではＡ，Ｂ，Ｃのアルファベットで受光素子３２を識別している））の履歴と、この操作履歴が書き込まれた時間（入力時間）とが記録されている。

指示入力判定部５３は、コマンドデータベース５４を参照して、操作履歴データベース５２に書き込まれた操作履歴から操作者の指示を判定する。図９（Ｂ）に示すようにコマンドデータベース５４には、操作入力の手順と、この操作入力に割り当てられた指示（実行するコマンド）とが記録されている。これらのコマンドは、装置によって異なるためＣＤ、ラジオ、ＭＤなどのように装置毎にコマンドが記録されている。

指示入力判定部５３で判定された操作者からの指示は、処理部６に通知され、ここで処理が実行される。例えば操作者からの指示が、オーディオ機器のＣＤ操作であれば、ＣＤを操作可能な立体虚像を立体虚像表示部２を介して表示する。また、指示が具体的な処理、例えば、カーエアコンの風量調節やＣＤの選曲であれば、処理指示信号を出力して該当する処理を実行する。また、操作点１２に指などが挿入されたことを検出すると、スピーカ７により音声やメロディを出力して、立体虚像１０に接触していることを操作者に認識させる。

次に、空間入力装置１への操作入力の方法について説明する。上述したように、表示された立体虚像１０には複数の操作点１２が設けられており、この操作点１２に指などの障害物を挿入することで、空間入力装置１は入力を認識する。空間入力装置１に指示入力（実行させるコマンド）を認識させるためには、複数の操作点１２を所定の順番で選択して入力していかなければならない。以下では、この入力動作をジェスチャーと呼ぶ。このジェスチャーを行うことで、空間入力装置１はコマンドデータベース５４を参照して操作者の指示入力（実行するコマンド）を認識する。以下に、ジャスチャーとこのジェスチャーによって入力される指示の例を示す。例えば、オーディオ装置を操作する場合に、図１０（Ａ）に示す１つの立体虚像１０の面上を上から下に、操作点ＢＡＥと通過させるジェスチャーを行うことで音量（ＵＰ，ＤＯＷＮ）の調節を行う。また、図１０（Ｂ）に示す中央の周囲の８つの虚像スイッチ１１を時計周りに回すジェスチャー、または反時計周りに回転させるジェスチャーを行うことで早送り、巻き戻しを行う。また図１０（Ｃ）に示す第１層ａから第２層ｂへというように層間を通過させるジェスチャーを行うことで演奏を開始させる。また図１０（Ｄ）に示す中央の周囲の８つの虚像スイッチのうちの幾つかに同時に挿入するジェスチャー（つかむジェスチャー）を行うことで演奏の停止を行う。なお、これらの設定はあくまでも一例であって、ジェスチャーと空間入力装置１の認識するコマンドとの対応をコマンドデータベース５４に登録することで任意に設定可能である。

次に、操作入力方法の第２例を説明する。本例では、図１１に示すように複数に分けられ、各領域に操作点１２を有する第１層ａと、この第１層ａと同一の領域に分けられ、分けられた各領域に操作点１２を有する第２層ｂとが重ねて表示されているものとする。また図１１には示していないが、第１層ａと第２層ｂの各領域には、車両用機器の立体虚像や車両用機器の操作項目を表すアイコンが表示されているものとする（具体的には、図４に示すようなアイコンが表示されるが、図１１ではこれらのアイコンを省略しＡ〜Ｉのアルファベットで表記する）。

このような立体虚像１０を操作者に表示し、第１層ａのいずれかの領域が選択されたとする（図１１（Ａ）ではＥの領域が選択されたとする）。第１層ａのＥ領域が選択されると、制御部４は、図１１（Ａ）に示すように選択された領域の表示色を他の領域とは異なる色で表示する。このような表示とすることで、操作者の選択した車両用装置又は操作項目を確実に認識させることができる。操作者は第１層ａの立体虚像１０を確認しながら、そのまま指を第２層ｂまで挿入させる（図１１（Ｂ））。制御部４は、第２層ｂの入力を検出することで決定入力と判定する。このようにして操作をより確実に行うことができる。

次に、本実施例の空間入力装置１により車両に搭載された車両用機器の操作を行う場合の表示の一例を説明する。まず、図４に示すように車両に搭載され、空間入力装置１により操作可能な車両用機器を表すアイコンの立体虚像１０を表示する。なお、ここで表示されるアイコンは、使用可能な状態にあるアイコンだけとする。例えば、オーディオ装置にＭＤ（ミニディスク）が搭載されていても、オーディオ装置にＭＤが挿入されていない場合には使用可能状態にはないので、アイコンの表示は行わない。

ここで、表示した立体虚像への接触を制御部４により検出すると、表示したアイコンの色を変えたり、スピーカ７によりメロディを出力する。操作者に入力が確かに認識されたことを通知することができる。

次に、操作者により車両用機器のアイコンのうちのいずれか一つが選択されると、図５に示すように、選択されたアイコンと、選択された機能を操作できる操作点１２とを立体虚像表示部２により表示する。操作者は、表示された立体虚像を見ながら機器を操作する。例えば図１０（Ａ）〜図１０（Ｄ）に示すジェスチャーを入力することで、選択した機器を操作することができる。

このように本実施例では、表示した立体虚像１０への接触を複数の操作点１２で検出し、接触を検出した操作点１２と、操作点１２の検出順序とから入力された指示を解析している。従って複数の入力パターンを設けて指示を入力することが可能となり、複数の操作入力が可能となる。すなわち、表示した立体虚像を有効に利用することができる。また、立体虚像として車両用機器を表すアイコンや、操作項目を表すアイコンを表示することにより、操作者は簡単に所望とする虚像スイッチを選択することができる。

なお、上述した実施例は本発明の好適な実施例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

空間入力装置の構成を示すブロック図である。 階層化された立体虚像が表示されている状態を示す図である。 立体虚像の構成を示す図である。 立体虚像の一例を示す図である。 立体虚像の一例を示す図である。 空間位置検出部の構成を示す図である。 空間位置検出部の位置検出方法を示す図である。 演算部の構成を示す図である。 （Ａ）は操作履歴データベースの構成を示す図であり、（Ｂ）はコマンドデータベースの構成を示す図である。 操作入力方法を説明するための図である。 操作入力方法を説明するための図である。 特許文献１に開示された発明の構成を示す図である。

符号の説明

１ 空間入力装置 ２ 立体虚像表示部
３ 空間位置検出部 ４ 制御部
５ 演算部 ６ 処理部
７ スピーカ １０ 立体虚像
１１ 虚像スイッチ １２ 操作点
２１ ディスプレイ ２２ 凹レンズ
３１ 赤外線発光素子 ３２ 受光素子
５１ 操作履歴記録部 ５２ 操作履歴データベース
５３ 指示入力判定部 ５４ コマンドデータベース

Claims (11)

1. 立体虚像を表示する虚像表示部と、
   表示された前記立体虚像への接触を、複数設けられた操作点で検出する検出部と、
   接触を検出した操作点と、操作点の検出順序とから入力された指示を解析し、指示された処理を行う制御部と、
   を有することを特徴とする空間入力装置。
2. 前記虚像表示部は、複数の層に階層化された立体虚像を表示し、
   前記検出部は、前記複数の操作点を前記複数の層の各層に有していることを特徴とする請求項１記載の空間入力装置。
3. 前記虚像表示部は、複数の層に階層化された立体虚像を、上位層から下位層の順に順次表示し、
   前記検出部は、前記複数の操作点を前記複数の層の各層に有し、
   前記制御部は、前記上位層で入力された指示に応じて、前記下位層に表示する立体虚像を変更することを特徴とする請求項１記載の空間入力装置。
4. 前記立体虚像への接触を検出する前記複数の操作点は、前記立体虚像の中央部と、該中央部の周囲とに配置されていることを特徴とする請求項１から３のいずれか一項記載の空間入力装置。
5. 前記制御部は、前記立体虚像への接触を検出した操作点の近傍の表示色を、他の部分とは異なる色で表示することを特徴とする請求項１から４のいずれか一項記載の空間入力装置。
6. 前記虚像表示部は、複数の領域に分けられ各領域に前記操作点を有する第１層と、該第１層と同一の領域に分けられ各領域に前記操作点を有する第２層とが重ねて表示され、前記第１層と前記第２層の各領域に、車両用機器または該車両用機器の操作項目を表す立体虚像が表示された立体虚像を表示し、
   前記制御部は、前記第１層の領域が選択されると、該選択された領域の表示色を他の領域とは異なる色で表示し、前記第１層で選択された領域と同じ前記第２層の領域が選択されることで決定入力と判定することを特徴とする請求項１又は２記載の空間入力装置。
7. 前記立体虚像への接触を通報する報音部を有することを特徴とする請求項１から６のいずれか一項記載の空間入力装置。
8. 前記検出部は、赤外線を照射する赤外線発光素子と、
   前記複数の操作点に対応して設けられ、前記赤外線の反射光を受光できる所定の位置に配置された受光素子とを有することを特徴とする請求項１から７のいずれか一項記載の空間入力装置。
9. 前記制御部は、使用可能な状態にある車両用機器を表す立体虚像を表示させることを特徴とする請求項１から８のいずれか一項記載の空間入力装置。
10. 前記制御部は、予め設定された優先順位に従って、使用可能な状態となった車両用機器を表す立体虚像を表示させることを特徴とする請求項１から８のいずれか一項記載の空間入力装置。
11. 立体虚像を表示する表示ステップと、
    表示した立体虚像への接触を、複数の操作点で検出する検出ステップと、
    接触を検出した操作点と、操作点の検出順序とから入力された指示を解析する解析ステップと、
    解析した処理を実行する処理ステップとを有することを特徴とする空間入力方法。

Images