JP2013045217A - 入力装置 - Google Patents

Abstract

【課題】非接触で入力操作を実行する入力装置において、ユーザが意図する操作を円滑に入力できる入力装置を提供する。
【解決手段】入力装置を操作するユーザの手などの操作物体の位置を検出する位置検出部と、前記位置検出部の検出結果に基づき、位置検出部から操作物体における最も近いポイントの位置の変化を検出する位置変化検出部と、映像表示部とを備え、前記位置変化検出部は、所定の範囲における位置検出部から最も近いポイントの位置の変化を検出し、前記映像表示部は、前記位置変化検出部の検出結果に応じて表示の変更を行う。
【選択図】図５

Description

本発明は入力装置に係り、特に電子機器に指示を与えるユーザインタフェースの使い勝手を向上させた入力装置に関する。

従来、ＴＶやレコーダといった映像装置、あるいは、ＰＣなどの情報処理機器に対して、ユーザは、リモコンによりチャンネル操作・表示操作をし、キーボードやマウス、あるいはタッチパネルなどの入力デバイスによりコマンド入力やデータ入力をすることが一般的であった。また近年では、センサ技術の向上により、特にゲーム機やポータブル機器の分野において、ユーザの動作をセンサで認識し、その結果によりユーザの意思を判断して、機器を動作させる手法が用いられている。

特許文献１には、手指の形状、動作を認識して、操作を判定する画像認識装置が開示されている。
特許文献２では、ユーザの操作となるジェスチャの認識対象を視覚的に表すためのジェスチャ画像表示を行うインタフェース装置が開示される。ユーザは、ジェスチャ画像を確認しながら、装置の操作を行うことができる。

特許文献３では、ユーザの操作となるジェスチャを表示したアイコンと行える操作を表示する車載機器が開示される。ユーザは、行うべきジェスチャを容易に知ることができる。
特許文献４では、ステアリング上の手の状態と操作対象機器を示す選択ガイド情報を表示する車両用操作入力装置が開示される。ユーザは、当該ガイドを参照して、手を動かして、目的の操作機器を選択することができる。

特許第４３１８０５６号公報 特開２００８−５２５９０号公報 特開２００１−２１６０６９号公報 特開２００５−２５０７８５号公報

特許文献１の画像認識装置では、ユーザの体の位置に応じて操作面を作成し、ユーザはその操作面に対する手あるいは指の位置、あるいは動きにより、装置に対する指示を行う。前記操作面は、仮想的な操作面であり、「操作者１０２は、マーカ１０１から仮想的な操作面７０１を想定して手６０１を突き出したり、モニタ１１１と連動させて画面上の一部と操作面７０１とをタッチパネルに見立ててタッチするように手６０１を動かしたりすることにより、入力操作を容易に行うことができる。（段落番号００３３）」ものとしている。

この特許文献１では、体の位置に応じて操作面を定めているため、以下のような問題点がある。
（１）仮想的な操作面に対して操作を行うため、ユーザが、操作面の大きさや、操作面と操作の対応関係、あるいは操作面と画面上の表示の対応関係を把握することが難しい。
（２）手を出す前に操作面位置を決めるため、キャリブレーションのタイミングが難しい。特に複数人いる場合に、画面の前にいる誰に対して操作領域を設けるかが決まらない。
また、特許文献２ないし特許文献４では、いずれの特許文献も、操作のための動きやポーズが表示され、ユーザはこれらに従って、所定の装置に関する動作を実行することが開示されている。

しかしながら、ユーザが、操作のために、所定の動きをしたり、所定のポーズをとろうとする際、所定の動き、所定のポーズに至るまでに、無意識に行う別の動きや、別のポーズが、操作のための動きと認識されてしまい、ユーザが意図しない装置の動作が実行されてしまう恐れがある。
つまり、いずれの特許文献も、ユーザが操作のためのジェスチャを行う際に、ユーザの動きが、物理的な物や画面表示とどのように対応し、操作としてどのように認識されるかをユーザに直感的に理解させることは考慮されていない。

また、いずれの特許文献の入力装置も、入力を検出するために手などの所定の形状を認識することが開示されている。しかし、手などの形状を認識する際に、参照する所定の形状のモデルとの比較や、所定の形状の学習などの処理が必要であり、入力装置が行う処理の負荷が高くかつ認識処理の時間がかかる恐れがある。
そこで本発明は、かかる事情を考慮した上で、上記課題を解決するためになされたもので、その目的は、非接触で入力操作を行う入力装置において、操作を行う物体のセンサに最も位置が近い点（以下、物体検出点と記す）を検出して、該物体検出点の位置の変化に応じて、入力操作の操作状態をリアルタイムに画面上に表示することにより、ユーザが意図する操作を円滑に入力できる入力装置を提供することにある。

上記目的を達成するために、本発明の入力装置において、入力装置を操作するユーザの手などの操作を行う物体における各点の位置を検出する位置検出手段と、前記位置検出手段の検出結果に基づき、前記位置検出手段から物体検出点の位置の変化を検出する位置変化検出手段と、映像表示手段とを備え、前記位置変化検出手段は、所定の範囲における位置検出手段から最も近いポイントの位置の変化を検出し、前記映像表示手段は、前記位置変化検出手段の検出結果に応じて表示の変更を行う。
ここで、前記映像表示手段は、前記位置変化検出手段の検出結果に応じて、表示内で示す物体の大きさ、長さ、深さ、縮尺等の量に関する表示や形、表示する物体の位置を変化させる。

本発明によれば、非接触で入力操作を行う入力装置において、ユーザは操作を直感的に把握して意図する操作を円滑に入力することができ、入力装置の使い勝手を向上できるという効果がある。

実施例１の入力装置を示す概観図である。 実施例１の入力装置の構成を示すブロック図である。 実施例１の入力装置の操作領域とユーザの操作方法を示す概観図である。 実施例１の入力装置の操作状態に応じた表示を説明する概観図である。 実施例１の入力装置の動作を説明するフローチャートである。 実施例２の入力装置の操作領域とユーザの操作方法を示す概観図である。 実施例２の入力装置の操作状態に応じた表示を説明する概観図である。 実施例２の入力装置の動作を説明するフローチャートである。 実施例２の入力装置の操作状態に応じた表示を説明する概観図である。 実施例３の入力装置を示す概観図である。 実施例３の入力装置の構成を示すブロック図である。 実施例３の入力装置の操作領域とユーザの操作方法を示す概観図である。 実施例３の入力装置の動作を説明するフローチャートである。 実施例４の入力装置の操作領域とユーザの操作方法を示す概観図である。 実施例４の入力装置の動作を説明するフローチャートである。 実施例５の入力装置を示す概観図である。 実施例５の入力装置の構成を示すブロック図である。 実施例５の入力装置の動作を説明するフローチャートである。 実施例５の入力装置の入力操作空間を示す概観図である。 実施例５の入力装置の距離テーブルである。 実施例６の入力装置の操作ポインタを検出する方法を説明する第１の概観図である。 実施例６の入力装置の操作ポインタを検出する方法を説明する第２の概観図である。 実施例７の入力装置の操作ポインタを検出する方法を説明する第１の概観図である。 実施例７の入力装置の操作ポインタを検出する方法を説明する第２の概観図である。 実施例７の入力装置の操作ポインタを検出する方法を説明する第３の概観図である。

以下、本発明に係る各実施例について説明する。

以下、本発明に係る第一の実施例を、図１ないし図５を用いて説明する。本実施例の入力装置１００は、ユーザの手と入力装置１００の間の距離をセンサにより検出し、該距離に応じて映像表示装置１０１に対する操作の指示を与える装置である。
先ず、図１および図２を用いて第一の実施例における入力装置の構成を説明する。

図１は、実施例１の入力装置１００を示す概観図であり、映像表示装置１０１、センシング部１０２、ユーザ１０３により、入力装置１００をユーザ１０３が使用する際の動作環境の概観を示す。
映像表示装置１０１は、映像表示装置１０１の外部から与えられる操作入力信号に基づき、ユーザに映像情報を提示する装置であり、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、液晶プロジェクタ、レーザープロジェクタ、リアプロジェクタなどのディスプレイ装置と、映像コンテンツやＧＵＩ（Graphical User Interface）などの表示処理に必要な演算処理装置やメモリを有する装置である。

センシング部１０２は、ユーザ１０３の手とセンサの間の距離を検出する構成要素であり、例えば、赤外線距離センサ、レーザ距離センサ、超音波距離センサ、距離画像センサ、電界センサをはじめとするセンサと、データ処理を行うマイクロコンピュータ（以下、マイコンと略記する）、及びマイコン上で動作するソフトウェアから構成される。センシング部１０２に用いるセンサは、特に限定されず、ユーザの手までの距離を検出するために得られる信号を、距離データに変換する機能を有すればよい。
ユーザ１０３は、入力装置１００に対して操作を行うユーザである。
図２は、実施例１の入力装置１００の構成を示すブロック図である。
入力装置１００は、図２に示すように、センシング部１０２、システム制御部２００、信号出力部２０１、を備える。
システム制御部２００は、距離検出部２０２、上下操作検出部２０３、を有する。

距離検出部２０２は、センシング部１０２から得られる距離データから、検出される距離を抽出あるいは分類する操作を行う構成要素である。上下操作検出部２０３は、距離検出部２０２が操作して検出した距離から、ユーザ１０３が手を上下に動かす操作を検出する構成要素である。
システム制御部２００は、ユーザ１０３の手のセンシング部１０２からの距離を検出し、手を上下に動かす操作を検出するためのデータ処理をおこなう構成要素である。システム制御部２００は、ＣＰＵ(Central Processing Unit)が、メモリ上に記憶されているソフトウェアモジュールを実行することにより実現してもよいし、専用のハードウェア回路により実現してもよい。

信号出力部２０１は、システム制御部２００から指示とデータを受け取り、映像表示装置１０１で表示を行う映像信号を出力する構成要素である。
次に、図３および図４を用いて第一の実施例に係る入力装置１００による操作方法について説明する。

図３は、実施例１の入力装置１００の操作領域とユーザの操作方法を示す概観図である。図３に示されるように、入力装置１００は、センシング部１０２から得られるユーザの手のセンシング部１０２からの距離に基づき、上方向操作領域、ホームポジション、下方向操作領域、の３つの操作領域のどこに手が位置しているかを検出する。前記操作領域は、ユーザ１０３の操作の検出方法を説明するための概念的な領域であり、ユーザ１０３が手をかざした位置に応じて、手の付近の空間に存在するものとする。
図４は、実施例１の入力装置の操作状態に応じた表示を説明する概観図である。図４では、映像表示装置１０１に画像を一覧するための表示がされており、ユーザ１０３の操作に応じて、一覧する画像のサイズや表示数が変更される様子を示している。

第一の実施例に係る入力装置１００の操作イメージは、図４に示されるように、ユーザ１０３が映像表示装置１０１を見ながら手を使って操作し、該手までのセンシング部１０２からの距離を入力装置１００が検出し、その検出結果に基づいて映像表示装置１０１の表示が変更されるものである。例えば、図４の“開始状態”に示されるように、ユーザ１０３の手が図３の“ホームポジション”の位置にあるとする。次に、図４の“操作状態Ａ”に示されるように、ユーザ１０３が手を図３の“ホームポジション”の位置から、図３の“上方向操作領域”に移動させると、映像表示装置１０１に表示される画像の一覧は、個々の画像のサイズが小さくなり、同時に表示される画像の数が多くなる。
一方、図４の“操作状態Ｂ”に示されるように、ユーザ１０３の手を図３の“ホームポジション”の位置から、図３の“下方向操作領域”に移動させると、映像表示装置１０１に表示される画像の一覧は、個々の画像のサイズが大きくなり、同時に表示される画像の数が少なくなる。すなわち、ユーザ１０３の手が検出される位置が、図３の“ホームポジション”から、図３の“上方向操作領域”や図３の“下方向操作領域”に移動すると、入力装置１００は映像出力装置１０１に対して、ユーザ１０３の手の移動方向に応じた指示を与え、映像出力装置１０１の表示が変更される。

図５は、実施例１の入力装置１００の動作を説明するフローチャートである。図５に基づき入力装置１００による入力操作の検出処理の手順について説明する。
入力操作の検出処理は、図２に示したシステム制御部２００が行う処理である。

先ず、システム制御部２００は、所定のユーザ操作に応じて、手の位置の検出を開始し（ステップＳ５００）、距離検出部２０２にてセンシング部１０２から得られる距離データから、検出される距離を抽出あるいは分類する処理を行い、手のセンシング部１０２からの距離を検出する。手の距離が検出された際には（ステップＳ５０１：Ｙｅｓ）、検出された距離に対応する操作領域を求める（ステップＳ５０２）。

手が位置する操作領域がホームポジションである場合は（ステップＳ５０３：Ｙｅｓ）、後記するステップＳ５０７に到る。一方、手が位置する操作領域がホームポジションではない場合は（ステップＳ５０３：Ｎｏ）、まず前回の検出で手が位置した操作領域がホームポジションであったことを確認し（ステップＳ５０４：Ｙｅｓ）、上下操作検出部２０３にて、上方向、もしくは下方向の操作を検出する（ステップＳ５０５）。このとき、ステップＳ５０４において、前回検出した操作領域がホームポジションではなかった場合は（ステップＳ５０４：Ｎｏ）、後記するステップＳ５０７に到る。すなわち、手が位置する操作領域がホームポジションから、他の操作領域に移動した場合にのみ、ステップＳ５０５で操作が検出され、上方向もしくは下方向の操作を検出した際には、信号出力部２０１を介して、検出した操作に対応する、映像表示装置１０１に操作を指示するため操作入力信号が出力される（ステップＳ５０６）。

ユーザ１０３が所定の操作にて、操作終了の意思表示をしたときには（ステップＳ５０７：Ｙｅｓ）、処理を終了し（ステップＳ５０８）、そうでないときには（ステップＳ５０７：Ｎｏ）、ステップＳ５０１に戻り、前記した手の距離の検出を継続する。
このように、入力装置１００は、ユーザ１０３が入力装置１００に対して手をかざしている距離の変化に応じて操作を検出し、映像表示装置１０１に操作の指示を与える。これにより、ユーザ１０３は、物理的な装置と手の距離の関係から、手の距離と操作の対応を直感的に把握でき、ユーザ１０３が意図する操作を円滑に入力できる。

以下、本発明に係る第二の実施例を、図６ないし図９を用いて説明する。
第一の実施形態の入力装置１００の表示制御方法は、手が位置する操作領域の変化に応じて操作を実行するインタフェースを提供するものであった。本実施例では、第一の実施例の操作方法に加えて、さらに、手と入力装置１００の相対的な距離の変化応じて操作を実行するインタフェースを提供するものである。
本実施形態の入力装置１００でも、図２に示したように、センシング部１０２、システム制御部２００、信号出力部２０１からなることは、第一の実施例と同様であるが、システム制御部２００が上下操作検出部で検出する操作のみが異なる。

先ず、図６及び図７を用いて第二の実施例の入力装置１００の操作方法について説明する。
図６は、実施例２の入力装置１００の操作領域とユーザの操作方法を示す概観図である。

図６に示されるように、入力装置１００は、センシング部１０２から得られるユーザの手の距離に基づき、操作に反映される大きさや量、長さ等を図るための操作基準６００に対して、どこに手が位置しているかを検出する。前記操作基準６００は、ユーザ１０３の操作の検出方法を説明するための概念的な基準であり、ユーザ１０３が手をかざした位置に応じて、手の付近の空間に存在するものとする。
図７は、実施例２の入力装置１００の操作状態に応じた表示を説明する概観図であり、ユーザ操作と操作結果の対応を示す。図７では、映像表示装置１０１に地図が表示されており、ユーザ１０３の操作に応じて、地図の縮尺が変更される様子を示している。

第二の実施例に係る入力装置１００の操作イメージは、図７に示されるように、ユーザ１０３が映像表示装置１０１を見ながら手を使って操作し、該手までのセンシング部１０２からの距離を入力装置１００が検出し、その検出結果に基づいて映像表示装置１０１の表示が変更されるものである。例えば、図７の“操作状態１”に示されるように、ユーザ１０３の手が操作基準６００の上位付近の位置にあるとする。次に、図７の“操作状態２”に示されるように、ユーザ１０３が手を操作基準６００の中位付近に移動させると、映像表示装置１０１に表示される地図の縮尺は拡大される。さらに、図７の“操作状態３”に示されるように、ユーザ１０３が手を操作基準６００の下位付近に移動させると、映像表示装置１０１に表示される地図の縮尺はより拡大される。

次に、図８を用いて第二の実施例に係る入力装置１００による入力操作の検出処理の手順について説明する。
図８は、実施例２の入力装置１００の動作を説明するフローチャートである。
入力操作の検出処理は、図２に示したシステム制御部２００が行う処理である。

先ず、システム制御部２００は、所定のユーザ操作に応じて、手の位置の検出を開始し（ステップＳ８００）、距離検出部２０２にてセンシング部１０２から得られる距離データから、検出される距離を抽出あるいは分類する処理を行い、手のセンシング部１０２からの距離を検出する。手の距離が検出された際には（ステップＳ８０１：Ｙｅｓ）、操作基準６００に対する手の位置を求める（ステップＳ８０２）。
次に、信号出力部２０１において、操作基準６００に対する、検出した手の相対的な位置より、地図の縮尺率を算出し、映像表示装置１０１に地図の縮尺率を変更する操作を指示するため操作入力信号が出力される（ステップＳ８０３）。
ユーザ１０３が所定の操作にて、操作終了の意思表示をしたときには（ステップＳ８０４：Ｙｅｓ）、処理を終了し（ステップＳ８０５）、そうでないときには（ステップＳ８０４：Ｎｏ）、ステップＳ８０１に戻り、前記した手の距離の検出を継続する。

このように、第二の実施例に係る入力装置１００は、ユーザ１０３が入力装置１００に対して手をかざしている距離の変化に応じて、操作基準６００に対する手の位置を検出し、操作基準６００に対する手の位置で示される大きさや量、長さ等を、映像表示装置１０１に対する操作として指示する。これにより、ユーザ１０３は、物理的な装置と手の距離の関係から、手の距離と、大きさ、長さ、深さ、縮尺等の量の対応を直感的に把握でき、ユーザ１０３が意図する操作を円滑に入力できる。

また、上記入力操作は、複数の階層からなるメニューを操作させるのに有効である。
図９は、実施例２の入力装置の操作状態に応じた表示を説明する概観図である。図９に示すように、映像表示装置１０１に複数の階層からなるメニューが表示される場合、操作基準６００に対し、階層を割り当てることにより、図中の斜め線で示すように、操作対象となる階層を手の位置により変更することができる。これにより、ユーザ１０３は、物理的な装置と手の距離の関係から、手の距離と、操作対象となる階層の対応を直感的に把握でき、ユーザ１０３が意図する操作を円滑に入力できる。

以下、本発明に係る第三の実施例を、図１０ないし図１３を用いて説明する。
第一の実施例の入力装置１００の表示制御方法は、手と入力装置１００の距離に応じて操作を実行するインタフェースを提供するものであった。本実施例では、第一の実施例の操作方法に加えて、さらに、手と入力装置１００の距離を検出する際に、手の形状に応じて検出距離の検出基準を決定するものである。

図１０は、実施例３の入力装置１００を示す概観図である。
図１１は、実施例３の入力装置１００の構成を示すブロック図である。
本実施形態の入力装置１００でも、図１０および図１１に示すように、システム制御部２００、信号出力部２０１を有することは、第一の実施例と同様であるが、センシング部１０２が撮像部１０００に置き換わることと、システム制御部２００が形状検出部１１００を有することが異なる。このため図１０で示すように、撮像部１０００が指の形状を明確に捕らえられるよう、図１のセンシング部１０２とは異なる位置に設けられても良い。また、図１のセンシング部１０２と図１０の撮像部１０００の双方を備えるようにしても良い。

撮像部１０００は、ユーザの手を撮像するための装置であり、例えば、ＴＯＦ（Time of flight）センサ機能を有する赤外線カメラ、ステレオカメラ、或いはＲＧＢカメラを用いると良い。撮像部１０００に用いるカメラは、特に、限定されず、ユーザに対して画像認識をするために、得た画像をデジタルデータに変換するための撮像画像を得る機能を有すればよい。
形状検出部１１００は、撮像部１０００から得られる撮像画像から、所定の手の形を検出する部分であり、例えば、パターンマッチング等の画像解析手法が用いられる。形状検出部１１００に用いられる画像解析手法は、特に限定されず、得た撮像画像の中に所定の手の形が存在するか否かと、手の距離および位置を検出する機能を有すればよい。

先ず、図１２を用いて第三の実施例の入力装置１００の操作の検出方法について説明する。
図１２は、実施例３の入力装置１００の操作領域とユーザの操作方法を示す概観図である。
図１２に示されるように、入力装置１００は、撮像部１０００から得られる撮像画像の中から、手の形１２００を検出し、手の形１２００を検出した際の入力装置１００とユーザ１０３の手の距離を、検出基準１２０１とする。さらに、入力装置１００は、前記検出基準１２０１に応じて、第一の実施例で示した操作領域の位置を変更する。操作領域が変更された後の操作については、第一の実施例と同様となる。

次に、図１３を用いて第三の実施例に係る入力装置１００による入力操作の検出処理の手順について説明する。
図１３は、実施例３の入力装置１００の動作を説明するフローチャートであり、第一の実施例で説明した図５のフローチャートに対して、ステップＳ５０１で手の位置を検出した後、ステップＳ５０２で操作領域を求めるまでの間に、ステップＳ１３００及びステップＳ１３０１を加えている。

入力操作の検出処理は、図１１に示したシステム制御部２００が行う処理である。
先ず、システム制御部２００は、所定のユーザ操作に応じて、手の位置の検出を開始し（ステップＳ５００）、距離検出部２０２にて撮像部１０００から得られる撮像画像から手を検出し、操作として検出される距離を抽出あるいは分類する処理を経て、手の距離を検出する。手の距離が検出された際には（ステップＳ５０１：Ｙｅｓ）、形状検出部１１００にて、所定の手の形状１２００を検出する処理を行う（ステップＳ１３００）。所定の手の形状は、例えば図１２の“ホームポジション”で示すように、親指と人差し指を接触させた時の形状などと予め定めておけば良い。所定の手の形状１２００が検出された際には（ステップ１３００：Ｙｅｓ）、手の距離を検出する際の検出基準１２０１を設定し（ステップＳ１３０１）、ステップＳ５０２以降の処理を行う。

一方、所定の手の形状１２００が検出されない場合は（ステップＳ１３００：Ｎｏ）、検出基準１２０１は設定されず、ステップＳ５０２以降の処理が行われる。ステップＳ５０２以降の処理については、第一の実施例で説明した図５のフローチャートと同様となる。即ち、図１３では図６と異なり、ユーザ１０３の手の形状を検出してホームポジションを設定できることに特徴がある。
このように、第三の実施例に係る入力装置１００は、ユーザ１０３が入力装置１００に対してかざしている手の形状に応じて、検出基準１２０１を設定する。これにより、ユーザ１０３は、手と操作領域の相対的な位置を、意図したタイミングで変更することができ、ユーザ１０３が任意の位置でより確実に操作を入力できる。

以下、本発明に係る第四の実施例を、図１４ないし図１５を用いて説明する。
第三の実施例の入力装置１００の表示制御方法は、手の形状に応じて検出基準１２０１を設定することにより、第一の実施例で説明した操作における、手と操作領域の相対的な位置を、意図したタイミングで変更することができるものであった。本実施例では、第三の実施例の操作方法に加えて、さらに、第二の実施例で説明した操作における、手と操作基準６００の相対的な位置を、意図したタイミングで変更できるものである。

本実施形態の入力装置１００でも、図１０および図１１に示すように、撮像部１０００、システム制御部２００、信号出力部２０１を有することは、第三の実施例と同様であるが、システム制御部２００で行われる検出処理の手順が異なる。
先ず、図１４を用いて第四の実施例の入力装置１００の操作の検出方法について説明する。
図１４は、実施例４の入力装置１００の操作領域とユーザの操作方法を示す概観図である。

図１４に示されるように、入力装置１００は、撮像部１０００から得られる撮像画像の中から、手の形１２００を検出し、手の形１２００を検出した際の入力装置１００とユーザ１０３の手の距離を、検出基準１２０１とする。さらに、入力装置１００は、前記検出基準１２０１に応じて、第二の実施例で示した操作基準６００の位置を変更する。また、操作基準６００が変更された後の操作は、手の形１２００が検出され続けている場合にのみ有効となり、操作が有効な場合の操作方法については第二の実施例と同様となる。

次に、図１５を用いて第四の実施例に係る入力装置１００による入力操作の検出処理の手順について説明する。
図１５は、実施例４の入力装置１００の動作を説明するフローチャートであり、第二の実施例で説明した図８のフローチャートに、ステップＳ１５００ないしステップＳ１５０２を加えたフローチャートである。
入力操作の検出処理は、図１１に示したシステム制御部２００が行う。

先ず、システム制御部２００は、所定のユーザ操作に応じて、手の位置の検出を開始し（ステップＳ８００）、距離検出部２０２にて撮像部１０００から得られる撮像画像から手を検出し、操作として検出される距離を抽出あるいは分類する処理を経て、手の距離を検出する。手の距離が検出された際には（ステップＳ８０１）、形状検出部１１００にて、所定の手の形状１２００を検出する処理を行う（ステップ１５００）。この際に、所定の手の形状が検出されない場合は（ステップ１５００：Ｎｏ）、以降の処理には進まず、ステップＳ８０４に到る。すなわち、所定の手の形状１２００が検出されている場合にのみ、操作が有効になる。
一方、所定の手の形状１２００が検出された際には（ステップ１５００：Ｙｅｓ）、前回の手の検出時に所定の手の形状であったかを確認し（ステップＳ１５０１）、前回の手の検出時に所定の手の形状ではなかった場合は（ステップＳ１５０１：Ｎｏ）、手の距離を検出する際の検出基準１２０１を設定し（ステップＳ１５０２）、ステップＳ８０２以降の処理を行う。また、前回の手の検出時に所定の手の形状であった場合は（ステップ１５０１：Ｙｅｓ）、検出基準１２０１は新たには設定されず、ステップＳ８０２以降の処理が行われる。ステップ８０２以降の処理については、第二の実施例で説明した図８のフローチャートと同様となる。

このように、第四の実施例に係る入力装置１００は、ユーザ１０３が入力装置１００に対してかざしている手の形状に応じて、検出基準１２０１を設定する。また、ユーザ１０３が所定の手の形状で手をかざしている場合にのみ、操作が有効になる。これより、ユーザ１０３は、手と操作基準の相対的な位置を、意図したタイミングで変更することができ、尚且つ、手の形により意図したタイミングでのみ操作を行うことができるため、ユーザ１０３が任意の位置でより確実に操作を入力できる。
以上、第一の実施例ないし第四の実施例で説明してきたように、本発明の入力装置の入力方法によれば、特許文献１ないし特許文献４の従来技術とは異なり、ユーザが手を出したときに表示され、さらに手と入力装置の間の距離に応じて変化する、画面上の表示を介して、入力装置に対して可能な入力操作と、操作状態を直感的に把握でき、操作性を向上させることができる。

以下、本発明に係る第五の実施例を、図１６ないし図２０を用いて説明する。
第一ないし第四の実施例の入力装置１００は、ユーザの手を認識して、手と入力装置１００の間の距離をセンサにより検出し、該距離に応じて映像表示装置１０１の表示を変更する装置であった。本実施例の入力装置１６００は、センシング部１６０２の距離検出結果を用いて物体検出点を検出し、該物体検出点の位置の変化（以下、動きと記す）に応じて映像表示装置１６０１の表示を変更する装置である。

まず、図１６および図１７を用いて第五実施例の入力装置１６００の構成を説明する。
図１６は、実施例５の入力装置１６００を示す概観図であり、映像表示装置１６０１、センシング部１６０２、ユーザ１６０３により、入力装置１６００をユーザ１６０３が使用する際の動作環境の概観を示す。
映像表示装置１６０１は、上記第一の実施例の映像表示装置１０１と同様な構成要素である。

センシング部１６０２は、センシング部１６０２の前方の空間に存在する物体の距離を測定する部分であり、例えば、赤外線距離センサ、レーザ距離センサ、超音波距離センサ、距離画像センサ、電界センサをはじめとするセンサと、データ処理を行うマイコン、及びマイコン上で動作するソフトウェアから構成される。センシング部１６０２に用いるセンサは、特に限定されず、物体の距離を検出するために得られる信号を、距離データに変換する機能を有すればよい。
ユーザ１６０３は、入力装置１６００に対して操作を行うユーザである。

方向軸１６０４は、センシング部１６０２の前方の空間に対応して互いに直交するＸ軸、Ｙ軸、およびＺ軸からなる方向を示す軸である。ここでX軸はセンシング部１６０２の横方向の軸を表し、Ｘ軸位置の値は、センシング部１６０２のＸ軸を０（零）とし、左右方向の距離を示す。Ｙ軸はセンシング部１６０２の縦方向の軸を表し、Ｙ軸位置の値は、センシング部１６０２の位置を０（零）とし、上下方向の距離を示す。Ｚ軸はセンシング部１６０２の奥行方向の軸を表し、Ｚ軸位置の値は、センシング部１６０２の位置を０（零）とし、センシング部１６０２の前方方向の距離を示す。
センシング部１６０２が距離測定した結果を、例えば以下に説明するＸ軸およびＹ軸の各位置の組合せ（以下、ＸＹ座標値と記す）に対してＺ軸の位置の値を示すテーブル２０００で表す。これによって、センシング部１６０２に対して、前方する空間にある物体の各点の位置はＸ軸、Ｙ軸およびＺ軸位置の値の組合せ（ＸＹＺ座標値）で表すことができる。

図１７は、実施例５の入力装置１６００の構成を示すブロック図である。
入力装置１６００は、図１７に示すように、センシング部１６０２、システム制御部１７００、信号出力部１７０１、を備える。
システム制御部１７００は、操作ポインタ抽出部１７０２および入力操作検出部１７０３の機能を実現する部分を有する。システム制御部１７００は、物体検出点を検出して、該物体検出点を操作ポインタとして扱い、入力装置１６００に対する操作を検出するためのデータ処理をおこなう部分である。システム制御部１７０１は、上記第一の実施例のシステム制御部２００と同様、ＣＰＵが、メモリ上に記憶されているソフトウェアモジュールを実行することにより実現してもよいし、専用のハードウェア回路により実現してもよい。

信号出力部１７０１は、上記第一の実施例の信号出力部２０１と同様、システム制御部１７００から指示とデータを受け取り、映像表示装置１６０１で表示を行う映像信号を出力する部分である。
操作ポインタ抽出部１７０２は、上記センシング部１６０２の出力結果により、物体検出点を操作ポインタとしてみなす部分である。
入力操作部検出部１７０３は、上記操作ポインタの動きから、入力装置１６００に対する入力操作の検出を行う部分である。ここで、入力操作とは、第一の実施例ないし第四の実施例に記載した、入力装置１６００に対する手の動きと相当し、例えば手が入力装置１６００に近づける、あるいは遠ざかるという動きのことを指す。

図１８は、実施例５の入力装置１６００の動作を説明するフローチャートであり、ユーザ入力操作の検出処理の手順を説明するものである。
図１９は、実施例５の入力装置１６００の入力操作空間を示す概観図であり、入力操作空間１９００とユーザ１６０３が操作する際の様子を説明するものである。

入力操作空間１９００は、センシング部１６０２の前方にあるユーザから入力操作の動作を検出する３次元空間である。入力操作空間１９００の大きさは、例えばＸ軸に関してはＸ１からＸ２、Ｙ軸に関してはＹ１からＹ２、Ｚ軸に関してはＺ１からＺ２の各方向においた所定の区間で定義される。ユーザの手の先にある物体検出点１９０１は、ユーザの手のセンシング部１６０２に最も位置が近い点である。
図２０は、実施例５の入力装置１６００の距離テーブルであり、入力操作空間におけるセンシング部１６０２の出力結果を表わす。テーブル２０００は、ＸＹ座標値に対する各点のＺ軸の位置を表す。

次に、図１８ないし図２０を用いて第五の実施例に係る入力装置１６００による操作方法について説明する。
例えば、入力装置１６００の電源がオンとなったときに、入力装置１６００は入力操作の検出を開始する（ステップＳ１８００）。
入力操作の検出が開始されると、入力装置１６００は図１９に示す入力操作空間１９００を生成する（ステップＳ１８０１）。
以下に説明するステップＳ１８０２ないしステップＳ１８０６で行われる一連の処理は、終了命令がなされていない限り、繰り返しされるループである。

まず、ユーザが行う入力操作の検出の終了命令があるか否かをチェックする（ステップＳ１８０２）。終了命令がなければ、次のステップに進む（ステップＳ１８０２：Ｎｏ）。終了命令があれば、入力操作の検出処理を終了する（ステップＳ１８０２：Ｙｅｓ）。検出終了の命令を与える方法として、例えばユーザが所定のスイッチなどで電源をオフにすることや、タイムアウト処理などで行ってもよい（ステップＳ１８０７）。
次に、センシング部１６０２を用いて、上記入力操作空間１９００内の物体の距離測定を行う（ステップＳ１８０３）。センシング部１６０２が距離測定した結果を図２０に示す距離テーブル２０００として出力する。

次に、上記テーブル２０００を参照して、入力操作空間１９００内に物体が存在するか否かをチェックする（ステップＳ１８０４）。具体的には、テーブル２０００を参照して、Ｚ軸の位置がＺ１以上かつＺ２以下の点が存在するか否かをチェックする。該当する点が存在しなければ、処理ステップをステップＳ１８０２に戻す（ステップＳ１８０４：Ｎｏ）。該当する点が存在すれば、次のステップに進む（ステップ１８０４：Ｙｅｓ）。
次に、入力装置１６００の操作ポインタ抽出部１７０２は、上記物体検出点を操作ポインタとして設定する（ステップＳ１８０５）。

次に、ステップＳ１８０５で設定操作ポインタの位置の変化を用いて、入力装置１６００に対する入力操作を検出する（ステップＳ１８０６）。ここで、図１９においてユーザが手を動かすと操作ポインタとして扱う物体検出点１９０１の位置が手の動きに応じて変化するため、入力操作検出部１７０３は該物体検出点の動きをみて、入力操作を検出する。
ここで、上記ステップＳ１８０６で検出したユーザの操作に応じて、上記第一の実施例ないし第四の実施例と同様に、映像表示装置１６０１への表示を変化させる。
このように、本実施例の入力装置１６００は、物体検出点の位置の変化に応じて、操作の入力を行う。これにより、高い処理負荷かつ処理時間がかかる手の形状を認識する処理等を行わなくても、低処理負荷の非接触の入力装置を実現することができる。

以下、本発明に係る第六の実施例を、図２１Ａと図２１Ｂを用いて説明する。
上記第五の実施例の入力装置１６００は、物体検出点を操作ポインタの位置として扱い、該操作ポインタの動きに応じて映像表示装置１６０１の表示を変更する入力装置であった。本実施例の入力装置１６００は、第五の実施例の入力装置１６００と同様な構成を持つが、操作ポインタの抽出する方法が異なる入力装置１６００に関するものである。

図２１Ａと図２１Ｂは、実施例６の入力装置の操作ポインタを検出する方法を説明する概観図であり、本実施例に係る操作ポインタを抽出するために、物体検出点のＹ軸の位置における、Ｘ軸の位置に対するＺ軸の位置を示す。

図２１Ａの線２１００は、図１８のフローチャートに示すステップＳ１８０２で生成したテーブル２０００を参照し、物体検出点１９０１のＹ軸の位置における、Ｘ軸の各位置に対して、Ｚ軸の距離を表す線である。
図２１Ｂの線２１０３は、物体検出点２１０４が例えばユーザ１６０３の頭や胴体など大きいな物体のセンシング部１６０２に最も位置が近い点として検出した場合の、該物体検出点２１０４のＹ軸の位置における、Ｘ軸の位置に対するＺ軸の位置を表す線である。

次に、本実施例における操作ポインタの抽出方法（図１８のステップＳ１８０５）について説明する。
まず、操作ポインタ抽出部１７０２は、図２１Ａにおける物体検出点１９０１を操作ポインタの候補とする。次に、線２１００上に存在する、物体検出点１９０１の周辺点が輪郭となる２次元の形状２１０１を生成する。ここで、本実施例の入力装置１６００は上記形状２１０１のＸ軸の幅２１０２がある所定の条件幅Ａ以内であり、かつＺ軸の幅２０１２がある所定の条件幅Ｂ以上であるという条件を満たしていれば、物体検出点１９０１を入力装置１６００の操作ポインタとしてみなし、該条件を満たさなければ物体検出点１９０１を操作ポインタとしてみなさない。

条件幅Ａおよび条件幅Ｂの大きさの決め方によって、操作ポインタとみなす物体の形や大きさが異なる。例えば図２１Ａと図２１Ｂに示すように、ユーザの手を、操作を行う物体としたい場合に、条件幅Ａおよび条件幅Ｂの大きさを人間の手の大きさに合わせる。
これにより、図２１Ａに関しては、形状２１０１が上記の条件を満たすものであるとして、点１９０１は操作ポインタとしてみなす。また、図２１Ｂに関しては、点２１０４の周辺で生成された形状２１０５のＸ軸幅２１０６が、条件幅Ａよりも長く、上記の条件を満たさないため、点２１０４を操作ポインタとしてみなさない。
なお、Ｘ軸の条件幅およびＺ軸の条件幅で操作ポインタの判定を行うが、Ｙ軸の条件幅を用いてもよい。

このように、本実施例の入力装置１６００は、入力操作空間１９００において、センシング部１６０２から最も近い点を操作ポインタの候補とし、該操作ポインタの周辺の点で生成する形状の大きさ、形に応じて、実際に操作ポインタとみなすか否かを判定する。これにより、センシング部１６０２から最も近い点が例えばユーザの頭、胴体など、手の大きさより大きな物体の存在する点にあると検出されれば、該点を操作ポインタとしてみなさない。つまり第五の入力装置１６００と比較して、本実施例の入力装置１６００は、ユーザが意図しない物体を誤って操作ポインタと扱わず、より正確に入力の検出を行うことができる。

以下、本発明に係る第七の実施例を、図２２Ａないし図２２Ｃをを用いて説明する。
第五の実施例および第六の実施例の入力装置１６００は、一つの入力操作空間における物体検出点を操作ポインタとして扱い、該操作ポインタの動きに応じて映像表示装置１６０１の表示を変更する入力装置であった。本実施例の入力装置１６００は、複数の入力操作空間を生成し、各該入力操作空間に応じて操作ポインタの決め方を変えて、ユーザの入力操作を検出する入力装置１６００に関するものである。

図２２Ａないし図２２Ｃをは、本実施例に係る複数の入力操作空間におけるユーザの入力操作を検出する際の入力装置１６００とユーザの様子と、それぞれの様子において、操作ポインタを抽出するために、Ｙ軸の位置がセンシング部１６０２から最も距離が近い点のＹ軸の位置における、Ｘ軸の各位置に対するＺ軸の距離を説明する概観図である。
上記ステップＳ１８０１で、本実施例の入力装置１６００は、３つの入力操作空間を作成する。第一の入力操作空間２２１０は、Ｘ１からＸ２のＸ軸区間、Ｙ１からＹ２のＹ軸区間、Ｚ１からＺ２のＺ軸区間で設定されるセンシング部１６０２から最も近い入力操作空間である。第二の入力操作空間２２１１は、Ｘ１からＸ２のＸ軸区間、Ｙ１からＹ２のＹ軸区間、Ｚ２からＺ３のＺ軸区間で設定される入力操作空間である。第三の入力操作空間２２１２は、Ｘ１からＸ２のＸ軸区間、Ｙ１からＹ２のＹ軸区間、Ｚ３からＺ４のＺ軸区間で設定される入力操作空間である。つまり、Ｚ軸方向において、センシング部１６０２から最も近い順から、第一の入力操作空間２２１０、第二の入力操作空間２０１１と最後に第三の入力操作空間２０１２が作成される。

本実施例の入力装置１６００は、第五の実施例と同様に、操作ポインタを抽出する際にまず物体検出点の周辺の点で生成する形状の大きさおよび形をみて、操作ポインタとみなすか否かを判定するが、物体検出点がどの入力操作空間に存在するかに応じて、上記条件幅Ａおよび条件幅Ｂを異なる値にする。
例えば、第一の操作空間２０１０において、操作ポインタとみなすための条件幅は、条件幅Ａ１および条件幅Ｂ１とする。これによって、図２２Ａに示すように、ユーザの手が第一の入力操作空間２１１０に出した際に、手の先の点に生成される形状２２０１のＸ軸幅２２０２が条件幅Ａ１の長さ以内、かつ形状２２０１のＺ軸幅２２０３が条件幅Ｂ１の長さ以上であるため、ユーザの手の先は操作ポインタとしてみなす。このとき、入力装置１６００は、手の動きを操作として検出する。

第二の操作空間２０１１において、操作ポインタとみなすための条件幅は、条件幅Ａ２および条件幅Ｂ２とする。これによって、図２２Ｂに示すように、ユーザが第二の入力操作空間２１１１立っている場合に、物体検出点の周辺から生成される形状２２０４のＸ軸幅２２０５が条件幅Ａ２の長さ以内、かつ形状２２０４のＺ軸幅２２０６が条件幅Ｂ２の長さ以上であるため、該物体検出点を操作ポインタとしてみなす。この場合、入力装置１６００は、ユーザがＺ２およびＺ３の間にことを認識することができる。
第三の操作空間２０１２において、操作ポインタとみなすための条件幅は、条件幅Ａ３および条件幅Ｂ３とする。これによって、図２２Ｃに示すように、例えば複数のユーザ集まって第三の入力操作空間２１１１にいる場合に、物体検出点の周辺から生成される形状２２０７のＸ軸幅２２０８が条件幅Ａ３の長さ以内、かつ形状２２０７のＺ軸幅２２０９が条件幅Ｂ３の長さ以上であるため、該物体検出点を操作ポインタとしてみなす。この場合、入力装置１６００は、一人以上のユーザがＺ３およびＺ４の間にいることを認識することができる。

本実施例の入力装置１６００は、操作ポインタが第一の入力操作空間２０１０、第二の入力操作空間２０１１、または第三の入力操作空間２０１２のどちらかに検出されるかに応じて、異なった入力操作を検出する。例えば、操作ポインタが第三の入力操作空間２０１２に検出された場合、映像表示装置１６０１に広告を表示する。操作ポインタが第二の入力操作空間２０１１に検出された場合、映像表示装置１６０１に、ユーザをさらに近づけるようにガイドの画像を表示する。操作ポインタが第一の入力操作空間２０１０に検出された場合、上記第一の実施例ないし第四の実施例と同様に、手の動きを検出して表示する画面を変化する。

このように、本実施例の入力装置１６００は複数の入力操作空間を生成し、各該入力操作空間において、異なる方法でユーザの入力操作を検出する。これにより、操作ポインタがどの入力操作空間に検出されたかに応じて、入力装置１６００に対して異なった操作に割り当てることができる。
以上、第五の実施例ないし第七の実施例で説明してきたように、本発明の入力方法によれば、ユーザが手などの操作物体を出したときに、該物体のもっとも先端の点を操作ポインタとしてみなす。ユーザが該操作物体を動かすと、センサからみた手の先端の点の位置の変化に応じて、入力装置に対する操作を検出することができる。これにより、手の形状や人体モデルを使わなくても、低処理負荷の入力検出方法が実現できる。

１００…入力装置、１０１…表示画面、１０２…センシング部、１０３…ユーザ、
２００…システム制御部、２０１…信号出力部、２０２…距離検出部、２０３…上下操作
検出部、６００…操作基準、１０００…撮像部、１１００…形状検出部、１２００…手の
形状、１２０１…検出基準、１６００…入力操作、１６０１…表示画面、１６０２…センシング部、１６０３…ユーザ、１７００…システム制御部、１７０１…信号出力部、１７０２…操作ポインタ抽出部、１７０３…入力操作検出部、１９００…入力操作空間。

Claims (5)

1. 電子機器をはじめとする装置に該装置のユーザが指示を与えるためのユーザインタフェースを有する入力装置であって、
   所定の検出空間にあるユーザの体における所定部の位置を検出する位置検出部と、
   前記入力装置の動作を制御し、前記所定部の位置を操作の基準点と見做すか否かを決定するシステム制御部と、
   該システム制御部が前記所定部の位置を操作の基準点と見做すと決定した場合に前記所定部の位置の変化を検出する位置変化検出部と、
   前記システム制御部からの指示に応じて所定の画像を表示する表示部と、を備え、
   前記システム制御部は、
   前記位置変化検出部における前記位置の変化の検出結果に基づき、前記表示部に表示する画像を変更する
   ことを特徴とする入力装置。
2. 請求項１に記載の入力装置において、前記システム制御部は、前記位置検出部が検出した前記ユーザの体における所定部の前記入力装置からの距離に応じて、前記表示部に表示する画像を拡大または縮小することを特徴とする入力装置。
3. 請求項１に記載の入力装置において、前記システム制御部は、前記所定部の位置を操作の基準点と見做すか否かを決定する際には、前記ユーザの体における所定部の形状に応じて決定することを特徴とする入力装置。
4. 電子機器をはじめとする装置に該装置のユーザが該装置周辺の所定の検出空間から指示を与えるためのユーザインタフェースを有する入力装置であって、
   物体の大きさを検出する物体大きさ検出部と、
   前記入力装置の動作を制御し、前記ユーザの操作の基準点を決定するシステム制御部と、
   該システム制御部が決定した前記基準点に対する前記ユーザの位置の変化を検出する位置変化検出部と、
   前記システム制御部からの指示に応じて所定の画像を表示する表示部と、を備え、
   前記物体の大きさ検出部は、前記検出空間に定めた所定の位置のうち最も前記入力装置に近い所定位置における周辺の物体の大きさを検出し、該物体の大きさが所定値よりも大きい場合には、
   前記システム制御部は、前記最も近い所定位置を操作の基準点と決定し、前記位置変化検出部における前記位置の変化の検出結果に基づき、前記表示部に表示する画像を変更することを特徴とする入力装置。
5. 請求項４に記載の入力装置において、前記システム制御部は、前記検出空間を複数の空間に分割し、分割された検出空間毎に前記物体大きさ検出部が検出した物体の大きさに対して異なる値の前記所定値を設定すること、を特徴とする入力装置。

Images