JP2013109538A - 入力方法及び入力装置 - Google Patents

Abstract

【課題】非接触で入力操作を実行する入力装置において、ユーザが意図する操作を円滑に入力できる入力装置を提供する。
【解決手段】入力装置は、入力装置からユーザの手までの距離を検出する距離検出手段と、前記距離検出手段の検出結果に基づき、距離の変化を検出する距離変化検出手段と、前記距離変化検出手段の検出結果に基づき、外部の装置に指示を与える指示出力手段と、を備え、前記距離変化検出手段は、所定の第一の距離を、距離の変化の始まりとして、第二の距離に距離が変化したことを検出し、前記指示出力手段は、前記距離変化検出手段の検出結果を、前記ユーザの操作として扱い、外部の装置に指示を与える。
【選択図】図１７

Description

本発明は、ユーザの操作する手と操作される画面の間の距離をセンサにより検出して、検出結果に応じた操作指示を与える、入力方法及び入力装置に関する。

従来、ＴＶやレコーダといった映像装置、あるいは、ＰＣなどの情報処理機器に対して、ユーザは、リモコンによりチャンネル操作・表示操作をしたり、キーボードやマウス、あるいはタッチパネルなどの入力デバイスによりコマンド入力やデータ入力をすることが一般的であった。

また近年では、センサ技術の向上により、特に、ゲーム機やポータブル機器の分野において、ユーザの動作をセンサで認識し、その結果によりユーザの意思を判断して、機器を動作させる手法が用いられている。

特許文献１には、手指の形状、動作を認識して、操作を判定する画像認識装置が開示されている。

特許文献１の画像認識装置では、ユーザの体の位置に応じて操作面を作成し、ユーザはその操作面に対する手あるいは指の位置、あるいは動きにより、装置に対する指示を行う。前記操作面は、仮想的な操作面であり、操作者１０２は、マーカ１０１から仮想的な操作面７０１を想定して手６０１を突き出したり、モニタ１１１と連動させて画面上の一部と操作面７０１とをタッチパネルに見立ててタッチするように手６０１を動かしたりすることにより、入力操作を容易に行うことができる。（段落番号００３３）

特許第４３１８０５６号公報

しかしながら、上記特許文献１では、画面上と平行な操作面での操作については考慮しているが、画面と垂直方向での操作については考慮していない。

そこで、本発明は、かかる事情を考慮した上で、ユーザが操作を行う際に、表示画面の垂直方向の動きや垂直方向の操作領域も考慮して、ユーザがより直感的な操作を行えるようにすることを目的とする。

上記目的を達成するために、本発明では、一例として特許請求の範囲に記載の構成とする。本構成では、非接触で入力操作を実行する入力装置において、ユーザの手と、操作される表示画面との距離を検出して、該距離とその距離にでの操作範囲における手の位置に応じた入力操作を実行するようにする。

本発明によれば、ユーザは、ユーザの操作する手と操作される表示画面との距離や該距離での操作範囲における手の位置に対応して実行される、操作対象の変更等の操作を直感的に把握でき、ユーザが意図する操作を円滑に入力できる。

実施例１の入力装置を示す概観図である。 実施例１の入力装置の構成を示すブロック図である。 実施例１の入力装置の操作領域とユーザの操作方法を示す概観図である。 実施例１の入力装置のユーザ操作と操作結果の対応を説明する概観図である。 実施例１の入力装置の動作を説明するフローチャートである。 実施例１の入力装置のユーザ操作と操作結果の対応を説明する概観図である。 実施例２の入力装置の操作領域とユーザの操作方法を示す概観図である。 実施例２の入力装置のユーザ操作と操作結果の対応を説明する概観図である。 実施例２の入力装置の動作を説明するフローチャートである。 実施例３の入力装置を示す概観図である。 実施例３の入力装置の構成を示すブロック図である。 実施例３の入力装置の操作領域とユーザの操作方法を示す概観図である。 実施例３の入力装置の動作を説明するフローチャートである。 実施例４の入力装置の操作領域とユーザの操作方法を示す概観図である。 実施例４の入力装置の動作を説明するフローチャートである。 実施例５の入力装置の構成を示すブロック図である。 実施例５の入力装置の操作領域とユーザの操作方法を示す概観図である。 実施例５の入力装置の動作を説明するフローチャートである。 実施例６の入力装置を示す概観図である。 実施例６の入力装置の構成を示すブロック図である。 実施例６の入力装置の操作領域とユーザの操作方法を示す概観図である。 実施例６の入力装置の動作を説明するフローチャートである。 実施例６の入力装置の操作領域とユーザの操作方法を示す概観図である。

以下、本発明に係る各実施例について説明する。

以下、本発明に係る第一の実施例を、図１ないし図５を用いて説明する。本実施例の入力装置１００は、ユーザの操作する手と操作される表示画面１０１の間の距離をセンサにより検出し、該距離に応じて表示画面１０１に対する操作の指示を与える装置である。

先ず、図１および図２を用いて本発明の第一の実施例の入力装置の構成を説明する。

図１は、表示画面１０１、センシング部１０２、ユーザ１０３により、入力装置１００をユーザが使用する際の動作環境の概観を示す。

表示画面１０１は、表示画面外部から与えられる操作入力信号に基づき、ユーザに映像情報を提示する装置であり、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ（Plasma Display Panel）、液晶プロジェクタ、レーザープロジェクタ、リアプロジェクタなどのディスプレイ装置と、映像コンテンツやＧＵＩ（Graphical User Interface）などの表示処理に必要な演算処理装置やメモリを有する装置である。

センシング部１０２は、ユーザの手とセンサの間の距離を検出する部分であり、例えば、赤外線距離センサ、レーザ距離センサ、超音波距離センサ、距離画像センサ、電界センサ、などのセンサと、データ処理を行うマイコン、及びマイコン上で動作するソフトウェアから構成される。センシング部１０２に用いるセンサは、特に、限定されず、ユーザの手までの距離を検出するために得られる信号を、距離データに変換する機能を有すればよい。

ユーザ１０３は、入力装置１００に対して操作を行うユーザである。

入力装置１００は、図２に示すように、センシング部１０２、システム制御部２００、信号出力部２０２、を備える。

システム制御部２００は、距離検出部２０２、上下操作検出部２０３を有する。

距離検出部２０２は、センシング部１０２から得られる距離データから、操作として検出される距離を抽出あるいは分類する。上下操作検出部２０３は、距離検出部２０２が操作として検出した距離から、ユーザ１０３が手を上下に動かす操作を検出する。

システム制御部２００は、ユーザ１０３の手の距離を検出し、手を上下に動かす操作を検出するためのデータ処理を行う。システム制御部２００は、ＣＰＵが、メモリ上に記憶されているソフトウェアモジュールを実行することにより実現してもよいし、専用のハードウェア回路により実現してもよい。

信号出力部２０１は、システム制御部２００から指示とデータを受け取り、表示画面１０１に操作を指示するため操作入力信号を出力する。

次に、図３および図４を用いて本発明の第一の実施例に係る入力装置１００による操作方法について説明する。

図３は、本発明の第一の実施例に係る入力装置１００による操作領域とユーザの操作方法について説明する概観図である。図３に示されるように、入力装置１００は、センシング部１０２から得られるユーザの手の距離に基づき、図３（上方向操作領域）、図３（ホームポジション）、図３（下方向操作領域）、の３つの操作領域のどこに手が位置しているかを検出する。前記操作領域は、ユーザ１０３の操作の検出方法を説明するための概念的な領域であり、ユーザ１０３が手をかざした位置に応じて、手の付近の空間に存在する
ものとする。

図４は、発明の第一の実施例に係るユーザ操作と操作結果の対応を説明する概観図である。図４では、表示画面１０１に画像を一覧するための表示がされており、ユーザ１０３の操作に応じて、一覧する画像のサイズや表示数が変更される様子を示している。

本発明の第一の実施例に係る入力装置１００の操作イメージは、図４に示されるように、ユーザ１０３が表示画面１０１を見ながら手を使って操作し、該手までの距離を入力装置１００が検出し、その検出結果に基づいて表示画面１０１の表示が変更されるものである。例えば、図４（開始状態）に示されるように、ユーザ１０３の手が図３（ホームポジション）の位置にあるとする。次に、図４（操作状態Ａ）に示されるように、ユーザ１０３が手を図３（ホームポジション）の位置から、図３（上方向操作領域）に移動させると、表示画面１０１に表示される画像の一覧は、個々の画像のサイズが小さくなり、同時に表示される画像の数が多くなる。一方、図４（操作状態Ｂ）に示されるように、ユーザ１０３の手を図３（ホームポジション）の位置から、図３（下方向操作領域）に移動させると、表示画面１０１に表示される画像の一覧は、個々の画像のサイズが大きくなり、同時に表示される画像の数が少なくなる。すなわち、ユーザ１０３の手が検出される位置が、図３（ホームポジション）から、図３（上方向操作領域）や図３（下方向操作領域）に移動すると、入力装置１００は表示画面１０１に対して、ユーザ１０３の手の移動方向に応じた指示を与え、表示画面１０１の表示が変更される。

次に、図５のフローチャートを用いて本発明の第一の実施例に係る入力装置１００による入力操作の検出処理の手順について説明する。

入力操作の検出処理は、図２に示したシステム制御部２００が行う。

先ず、システム制御部２００は、所定のユーザ操作に応じて、手の位置の検出を開始し（ステップ５００）、距離検出部２０２にてセンシング部１０２から得られる距離データから、操作として検出される距離を抽出あるいは分類する処理を行い、手の距離を検出する。手の距離が検出された際には（ステップ５０１）、検出された距離に対応する操作領域を求める（ステップ５０２）。

手が位置する操作領域がホームポジションである場合は（ステップ５０３：Ｙｅｓ）、手の距離の検出を継続する。一方、手が位置する操作領域がホームポジションではない場合は（ステップ５０３：Ｎｏ）、まず前回の検出で手が位置した操作領域がホームポジションであったことを確認し（ステップ５０４：Ｙｅｓ）、上下操作検出部にて、上方向、もしくは下方向の操作を検出する（ステップ５０５）。このとき、ステップ５０４において、前回検出した操作領域がホームポジションではなかった場合は（ステップ５０４：Ｎｏ）、ステップ５０５は行わず、ステップ５０１以降の手の距離の検出を継続する。すなわち、手が位置する操作領域がホームポジションから、他の操作領域に移動した場合にのみ操作が検出される。

上方向もしくは下方向の操作を検出した際には、信号出力部２０１を介して、検出した操作に対応して、表示画面１０１に操作を指示するための操作入力信号が出力される（ステップ５０６）。

ユーザ１０３が所定の操作にて、操作終了の意思表示をしたときには（ステップ５０７）、処理を終了し、そうでないときには、ステップ５０１以降の手の距離の検出を継続する。

このように、入力装置１００は、ユーザ１０３が表示画面１００に対して手をかざしている距離の変化に応じて操作を検出し、表示画面１０１に操作の指示を与える。これにより、ユーザ１０３は、物理的な装置と手の距離の関係から、手の距離と操作の対応を直感的に把握でき、ユーザ１０３が意図する操作を円滑に入力できる。

以下、本発明に係る第二の実施例を、図６ないし図９を用いて説明する。

第一の実施形態の入力装置１００の表示制御方法は、手が位置する操作領域の変化に応じて操作を実行するインタフェースを提供するものであった。本実施例では、第一の実施例の操作方法に加えて、さらに、手と入力装置１００の相対的な距離の変化に応じて操作を実行するインタフェースを提供するものである。

本実施形態の入力装置１００でも、図２に示したように、センシング部１０２、システム制御部２００、信号出力部２０１からなることは、第一の実施例と同様であるが、システム制御部２００が上下操作検出部で検出する操作のみが異なる。

先ず、図６及び図７を用いて本発明の第二の実施例の入力装置１００の操作方法について説明する。図６は、本発明の第二の実施例に係る入力装置１００による操作基準とユーザの操作方法について説明する概観図である。

図６に示されるように、入力装置１００は、センシング部１０２から得られるユーザの手の距離に基づき、操作に反映される大きさや量、長さ等を図るための操作基準６００に対して、どこに手が位置しているかを検出する。前記操作基準６００は、ユーザ１０３の操作の検出方法を説明するための概念的な基準であり、ユーザ１０３が手をかざした位置に応じて、手の付近の空間に存在するものとする。

図７は、発明の第二の実施例に係るユーザ操作と操作結果の対応を説明する概観図である。図７では、表示画面１０１に地図が表示がされており、ユーザ１０３の操作に応じて、地図の縮尺が変更される様子を示している。

本発明の第二の実施例に係る入力装置１００の操作イメージは、図７に示されるように、ユーザ１０３が表示画面１０１を見ながら手を使って操作し、該手までの距離を入力装置１００が検出し、その検出結果に基づいて表示画面１０１の表示が変更されるものである。例えば、図７（操作状態１）に示されるように、ユーザ１０３の手が操作基準６００の上位付近の位置にあるとする。次に、図４（操作状態２）に示されるように、ユーザ１０３が手を操作基準６００の中位付近に移動させると、表示画面１０１に表示される地図の縮尺は拡大される。さらに、図４（操作状態３）に示されるように、ユーザ１０３が手を操作基準６００の下位付近に移動させると、表示画面１０１に表示される地図の縮尺はより拡大される。

次に、図８を用いて本発明の第二の実施例に係る入力装置１００による入力操作の検出処理の手順について説明する。

入力操作の検出処理は、図２に示したシステム制御部２００が行う。

先ず、システム制御部２００は、所定のユーザ操作に応じて、手の位置の検出を開始し（ステップ８００）、距離検出部２０２にてセンシング部１０２から得られる距離データから、操作として検出される距離を抽出あるいは分類する処理を行い、手の距離を検出する。手の距離が検出された際には（ステップ８０１）、操作基準６００に対する手の位置を求める（ステップ８０２）。

次に、信号出力部２０１において、操作基準６００に対する、検出した手の相対的な位置より、地図の縮尺率を算出し、表示画面１０１に地図の縮尺率を変更する操作を指示するための操作入力信号が出力される（ステップ８０３）。 ユーザ１０３が所定の操作にて、操作終了の意思表示をしたときには（ステップ８０４）、処理を終了し、そうでないときには、ステップ５０１以降の手の距離の検出を継続する。

このように、本発明の第二の実施例に係る入力装置１００は、ユーザ１０３が入力装置１００に対して手をかざしている距離の変化に応じて、操作基準６００に対する手の位置を検出し、操作基準６００に対する手の位置で規定される大きさや量、長さ等を、表示画面１０１に対する操作として指示する。これにより、ユーザ１０３は、物理的な装置と手の距離の関係から、手の距離と、大きさ、長さ、深さ、縮尺等の量の対応を直感的に把握でき、ユーザ１０３が意図する操作を円滑に入力できる。

また、上記入力操作は、複数の階層からなるメニューを操作させるのに有効である。図９に示すように、表示画面１０１に複数の階層からなるメニューが表示される場合、操作基準６００に対し、階層を割り当てることにより、操作対象となる階層を手の位置により変更することができる。これにより、ユーザ１０３は、物理的な装置と手の距離の関係から、手の距離と、操作対象となる階層の対応を直感的に把握でき、ユーザ１０３が意図する操作を円滑に入力できる。

以下、本発明に係る第三の実施例を、図１０ないし図１３を用いて説明する。

第一の実施例の入力装置１００の表示制御方法は、手と入力装置１００の距離に応じて操作を実行するインタフェースを提供するものであった。本実施例では、第一の実施例の操作方法に加えて、さらに、手と入力装置１００の距離を検出する際に、手の形状に応じて検出距離の検出基準を決定するものである。

本実施形態の入力装置１００でも、図１０および図１１に示すように、システム制御部２００、信号出力部２０１からなることは、第一の実施例と同様であるが、センシング部１０２が撮像部１０００に置き換わることと、システム制御部２００が形状検出部１１００を有することが異なる。

撮像部１０００は、ユーザの手を撮像するための装置であり、例えば、ＴＯＦ（Time of flight）センサ機能を有する赤外線カメラ、ステレオカメラ、ＲＧＢカメラなどである。撮像部１０００に用いるカメラは、特に、限定されず、ユーザに対して画像認識をするために、得た画像をデジタルデータに変換するための撮像画像を得る機能を有すればよい。

形状検出部１１００は、撮像部１０００から得られる撮像画像から、所定の手の形を検出する部分であり、例えば、パターンマッチング等の画像解析手法が用いられる。形状検出部１１００に用いられる画像解析手法は、特に限定されず、得た撮像画像の中に所定の手の形が存在するか否かと、手の距離および位置を検出する機能を有すればよい。

先ず、図１２を用いて本発明の第三の実施例の入力装置１００の操作の検出方法について説明する。図１２は、本発明の第三の実施例に係る入力装置１００による検出基準とユーザの操作について説明する概観図である。

図１２に示されるように、入力装置１００は、撮像部１０００から得られる撮像画像の中から、手の形１２００を検出し、手の形１２００を検出した際の入力装置１００とユーザ１０３の手の距離を、検出基準１２０１とする。さらに、入力装置１００は、前記検出基準１２０１に応じて、第一の実施例で示した操作領域の位置を変更する。操作領域が変更された後の操作については、第一の実施例と同様となる。

次に、図１３を用いて本発明の第三の実施例に係る入力装置１００による入力操作の検出処理の手順について説明する。図１３は、第一の実施例で説明した図５のフローチャートに、ステップ１３００及びステップ１３０１を加えたフローチャートである。

入力操作の検出処理は、図１１に示したシステム制御部２００が行う。

先ず、システム制御部２００は、所定のユーザ操作に応じて、手の位置の検出を開始し（ステップ５００）、距離検出部２０２にて撮像部１０００から得られる撮像画像から手を検出し、操作として検出される距離を抽出あるいは分類する処理を経て、手の距離を検出する。手の距離が検出された際には（ステップ５０１）、形状検出部１１００にて、所定の手の形状１２００を検出する処理を行う（ステップ１３００）。所定の手の形状１２００が検出された際には（ステップ１３００：Ｙｅｓ）、手の距離を検出する際の検出基準１２０１を設定し、ステップ５０２以降の処理を行う。一方、所定の手の形状１２００が検出されない場合は（ステップ１３００：Ｎｏ）、検出基準１２０１は設定されず、ステップ５０２以降の処理が行われる。ステップ５０２以降の処理については、第一の実施例で説明した図５のフローチャートと同様となる。

このように、本発明の第三の実施例に係る入力装置１００は、ユーザ１０３が入力装置１００に対してかざしている手の形状に応じて、検出基準１２０１を設定する。これにより、ユーザ１０３は、手と操作領域の相対的な位置を、意図したタイミングで変更することができ、ユーザ１０３が任意の位置でより確実に操作を入力できる。

以下、本発明に係る第四の実施例を、図１４ないし図１５を用いて説明する。

第三の実施例の入力装置１００の表示制御方法は、手の形状に応じて検出基準１２０１を設定することにより、第一の実施例で説明した操作における、手と操作領域の相対的な位置を、意図したタイミングで変更することができるものであった。本実施例では、第三の実施例の操作方法に加えて、さらに、第二の実施例で説明した操作における、手と操作基準６００の相対的な位置を、意図したタイミングで変更できるものである。

本実施形態の入力装置１００でも、図１０および図１１に示すように、撮像部１０００、システム制御部２００、信号出力部２０１からなることは、第三の実施例と同様であるが、システム制御部２００で行われる検出処理の手順のみが異なる。

先ず、図１４を用いて本発明の第四の実施例の入力装置１００の操作の検出方法について説明する。図１４は、本発明の第四の実施例に係る入力装置１００による検出基準とユーザの操作について説明する概観図である。

図１４に示されるように、入力装置１００は、撮像部１０００から得られる撮像画像の中から、手の形１２００を検出し、手の形１２００を検出した際の入力装置１００とユーザ１０３の手の距離を、検出基準１２０１とする。さらに、入力装置１００は、前記検出基準１２０１に応じて、第二の実施例で示した操作基準６００の位置を変更する。また、操作基準６００が変更された後の操作は、手の形１２００が検出され続けている場合にのみ有効となり、操作が有効な場合の操作方法については第二の実施例と同様となる。

次に、図１５を用いて本発明の第四の実施例に係る入力装置１００による入力操作の検出処理の手順について説明する。図１５は、第二の実施例で説明した図８のフローチャートに、ステップ１５００ないしステップ１５０２を加えたフローチャートである。

入力操作の検出処理は、図１１に示したシステム制御部２００が行う。

先ず、システム制御部２００は、所定のユーザ操作に応じて、手の位置の検出を開始し（ステップ８００）、距離検出部２０２にて撮像部１０００から得られる撮像画像から手を検出し、操作として検出される距離を抽出あるいは分類する処理を経て、手の距離を検出する。手の距離が検出された際には（ステップ８０１）、形状検出部１１００にて、所定の手の形状１２００を検出する処理を行う（ステップ１５００）。この際に、所定の手の形状が検出されない場合は（ステップ１５００：Ｎｏ）、以降の処理には進まず、手の検出のみを継続する。すなわち、所定の手の形状１２００が検出されている場合にのみ、操作が有効になる。一方、所定の手の形状１２００が検出された際には（ステップ１５００：Ｙｅｓ）、前回の手の検出時に所定の手の形状であったかを確認し（ステップ１５０１）、前回の手の検出時に所定の手の形状ではなかった場合は（ステップ１５０１：Ｎｏ）、手の距離を検出する際の検出基準１２０１を設定し、ステップ８０２以降の処理を行う。また、前回の手の検出時に所定の手の形状であった場合は（ステップ１５０１：Ｙｅｓ）、検出基準１２０１は設定されず、ステップ８０２以降の処理が行われる。ステップ８０２以降の処理については、第二の実施例で説明した図８のフローチャートと同様となる。

このように、本発明の第四の実施例に係る入力装置１００は、ユーザ１０３が入力装置１００に対してかざしている手の形状に応じて、検出基準１２０１を設定する。また、ユーザ１０３が所定の手の形状で手をかざしている場合にのみ、操作が有効になる。これにより、ユーザ１０３は、手と操作基準の相対的な位置を、意図したタイミングで変更することができ、尚且つ、手の形により意図したタイミングでのみ操作を行うことができるため、ユーザ１０３が任意の位置でより確実に操作を入力できる。

以下、本発明に係る第五の実施例を、図１６ないし図１８を用いて説明する。

第四の実施例の入力装置１００の表示制御方法は、手と入力装置１００の距離に応じて操作を実行するインタフェースを提供するものであった。本実施例では、第四の実施例の操作方法に加えて、さらに、手と入力装置１００の距離を検出した際に、手と入力装置１００の距離に応じてユーザが操作を行う操作領域の距離や大きさを決定するものである。 本実施形態の入力装置１００でも、図１６および図１７に示すように、システム制御部２００、信号出力部２０１、距離検出部２０３、撮像部１０００からなることは、第四の実施例と同様であるが、システム制御部２００において、上下操作検出部２０４と形状検出部１０００とに変わり、操作領域設定部１６００と位置検出部１６０１を有することが異なる。

操作領域設定部１６００は、距離検出部２０３から得られるユーザの手の距離から、ユーザが映像表示装置１０１に対して操作を行う際の操作領域の距離と大きさを算出する部分である。前記操作領域の距離と大きさの算出には、例えば、３次元の物体を外観通りに２次元平面に描画するための図法である透視投影の原理が用いられる。すなわち、ユーザの手と映像表示装置１０１の距離から、所定の値を用いてユーザの視点の位置を仮定し、該ユーザの視点に基づいて、ユーザの手の距離にある映像表示装置１０１の表示面と平行な２次元平面上に投影される映像表示装置１０１の表示面の大きさを、前記操作領域の大きさとして算出する。操作領域設定部１６００に用いられる操作領域の距離と大きさを算出方法は、特に限定されず、所定の値や数式に基づき、ユーザの手と映像表示装置１０１の距離から前記操作領域の距離と大きさが決定されればよい。

位置検出部１６０１は、前記操作領域におけるユーザの手の位置を座標値として算出する。

なお、入力装置１００の撮像部１０００は、距離検出部２０３でユーザの手の距離を得られたり、位置検出部１６０１でユーザの手の位置を得られたりする機能を有すればよく、例えば、撮像素子等を有さないセンシングデバイスでもよい。

先ず、図１７を用いて本発明の第五の実施例の入力装置１００の操作方法について説明する。

図１７は、本発明の第五の実施例に係る入力装置１００によるユーザ１０３の手の位置と操作領域の関係について説明する概観図である。

図１７に示されるように、入力装置１００は、ユーザ１０３の手と映像表示装置１０１の距離１７０２に応じて、前記操作領域設定部１６００において、先に述べた操作領域の距離と大きさの算出方法により、操作領域１７００の距離と大きさを決定する。さらに、前記位置検出部１６０１にて算出される座標値に応じて、映像表示装置１０１にカーソル１７０１が表示される。

従って、前記距離１７０２に応じて前記操作領域１７００の距離と大きさは変化するため、図１７の操作状態１では、操作状態２よりも前記距離１７０２が離れており、これに従って前記操作領域１７００の距離は映像表示装置１０１より離れ、大きさが小さくなる。同様に、操作状態３では、操作状態２よりも前記距離１７０２が近づいているため、前記操作領域１７００の距離は映像表示装置１０１に近づき、大きさは大きくなる。また、先に述べたように前記操作領域１７００の大きさの算出に透視投影の原理が用いられている場合は、ユーザの視点からは前記操作領域１７００の距離や大きさの変化が見られず、映像表示装置１０１の表示面と前記操作領域１７００とは重なっているように見える。

次に、図１８のフローチャートを用いて、本発明の第五の実施例に係る入力装置１００による入力操作の検出処理の手順について説明する。同図で示す処理は、図１６に示したシステム制御部２００がおこなう処理である。

先ず、システム制御部２００は、所定のユーザ操作に応じて、手の操作の検出を開始し（ステップ１８００）、距離検出部２０３にて撮像部１０００から得られる撮像画像から手を検出し、映像表示装置１０１とユーザの手の距離の検出（ステップ１８０１）、および前記距離の変化の検出（ステップ１８０２）を行う。次に、前記操作領域設定部１６００が、前記距離および距離の変化に応じて、操作領域１７００の距離と大きさを設定する（ステップ１８０３）。さらに、位置検出部１６０１が、前記操作領域１７００に対するユーザの手の位置の座標値を求める（ステップ１８０４）。前記座標値は、信号出力部２０１を介して映像表示装置１０１に出力される（ステップ１８０５）。これにより、映像表示装置１０１は、前記信号出力部２０１から得られる座標値に基づき、カーソル１７０１等の映像表示装置１０１に表示中のグラフィックスを変更し、ユーザは映像表示装置１０１の表示に対して操作を行うことができる。

このように、本発明の第五の実施例に係る入力装置１００は、ユーザが入力装置１００に対してかざしている手と映像表示装置１０１の距離に応じて、操作領域１７００を設定する。これにより、ユーザは、手をかざしている位置と、映像表示装置１０１に表示される操作位置とが、ユーザの視点から見て重なるように操作することができ、ユーザが任意の手の距離で円滑に操作を行うことができる。

以下、本発明に係る第六の実施例を、図１９ないし図２３を用いて説明する。

第五の実施例の入力装置１００の表示制御方法は、手と入力装置１００の距離に応じて操作領域の距離や大きさが変更されるインタフェースを提供するものであった。本実施例では、第五の実施例の操作方法に加えて、さらに、ユーザの頭や体の位置を検出することにより、入力装置１００に対する操作領域の上下左右の位置を補正するものである。

本実施形態の入力装置１００でも、図１９ないし図２１に示すように、システム制御部２００、信号出力部２０１、撮像部１０００、距離検出部２０３、操作領域設定部１６００、位置検出部１６０１からなることは、第五の実施例と同様であるが、図１９に示すように、入力装置１００の映像表示装置１０１が垂直に立った形状であることと、図２０に示すように、システム制御部２００において、ユーザ位置検出部２０００を有することが異なる。

ユーザ位置検出部２０００は、撮像部１０００から得られる撮像画像から、ユーザの頭や体の位置を検出する部分である。前記ユーザの頭や体の検出には、パターンマッチング等の画像解析手法による顔検出や、距離画像等を用いた３次元形状検出が用いられる。ユーザ位置検出部２０００に用いられるユーザの頭や体の検出方法は、特に限定されず、所定の検出手法や認識アルゴリズムにより、ユーザの頭や顔、体やその輪郭などの検出により、映像表示装置１０１に対するユーザの位置が特定できればよい。

先ず、図２１を用いて本発明の第六の実施例の入力装置１００の操作方法について説明する。図２１は、本発明の第六の実施例に係る入力装置１００によるユーザ１０３の位置と操作領域の関係について説明する概観図である。

図２１に示されるように、入力装置１００は、ユーザ１０３の手と映像表示装置１０１の距離１７０２に応じて、操作領域１７００の距離と大きさを決定する。さらに、入力装置１００は、ユーザ位置検出部２０００にて検出されるユーザ１０３の頭２１００の位置に応じて、映像表示装置１０１に対する操作領域１７００の位置を上下左右に補正する。また、前記補正には、先に述べた透視投影の原理が用いられる。例えば、同図では、映像表示装置１０１は、ユーザ１０３から見て右方向に位置しており、前記補正により、操作領域１７００の位置は、ユーザ１０３から見て左方向に移動する。さらに、前記位置検出部１６０１が、前記補正が行われた操作領域１７００に対するユーザ１０３の手の位置を座標値として算出することにより、映像表示装置１０１に該座標値に応じたカーソル１７０１が表示される。

従って、前記距離１７０２に応じて前記操作領域１７００の距離と大きさ、および位置は変化するため、同図において、操作状態１では、操作状態２よりも前記距離１７０２が離れているため、前記操作領域１７００の距離は映像表示装置１０１より離れ、大きさが小さくなり、ユーザ１０３から見て左方向に移動した位置となる。同様に、操作状態３では、操作状態２よりも前記距離１７０２が近づいているため、前記操作領域１７００の距離は映像表示装置１０１に近づき、大きさは大きくなり、ユーザ１０３から見て右方向に移動した位置となる。また、先に述べたように前記操作領域１７００の距離や大きさや位置の算出に透視投影の原理が用いられている場合は、ユーザの視点からは前記操作領域１７００の距離や大きさや位置の変化が見られず、映像表示装置１０１の表示面と前記操作領域１７００とは重なっているように見える。

次に、図２２のフローチャートを用いて、本発明の第五の実施例に係る入力装置１００による入力操作の検出処理の手順について説明する。図２２は、第五の実施例で説明した図１８のフローチャートに、ステップ２２００およびステップ２２０１を加えたフローチャートである。同図に示す処理は、図２０に示したシステム制御部２００がおこなう処理である。

先ず、システム制御部２００は、所定のユーザ操作に応じて、手の操作の検出を開始し（ステップ１８００）、距離検出部２０３にて撮像部１０００から得られる撮像画像から手を検出し、映像表示装置１０１とユーザの手の距離の検出（ステップ１８０１）、および前記距離の変化の検出（ステップ１８０２）を行う。次に、前記操作領域設定部１６００が、前記距離および距離の変化に応じて、操作領域１７００の距離と大きさを設定する（ステップ１８０３）。次に、ユーザ位置検出部２０００にてユーザの頭２１００の位置を検出し（ステップ２２００）、該位置が検出された際には、操作領域設定部１６００が該位置に応じて前記操作領域１７００の上下左右の位置を補正する。

さらに、位置検出部１６０１が、前記操作領域１７００に対するユーザの手の位置の座標値を求める（ステップ１８０４）。前記座標値は、信号出力部２０１を介して映像表示装置１０１に出力される（ステップ１８０５）。これにより、映像表示装置１０１は、前記信号出力部２０１から得られる座標値に基づき、カーソル１７０１等の映像表示装置１０１に表示中のグラフィックスを変更し、ユーザは映像表示装置１０１の表示に対して操作を行うことができる。

次に、本実施例で、図２１で示したように映像表示装置１０１とユーザ１０３の距離が近い場合ではなく、映像表示装置１０１とユーザ１０３の距離が離れた場合の入力装置１００の動作を説明する。図２３は、入力装置１００によるユーザ１０３の位置と操作領域１７００の関係について説明する概観図である。先ず、図２３の操作状態１において、ユーザ１０３が距離Ｚ１の範囲内に位置している場合は、入力装置１００が設定する操作領域１７００の設定等の動作は、第五の実施例や本実施例で先に説明した動作と同様となる。すなわち、操作領域設定部１６００が、先に述べた透視投影の原理を用いて操作領域１７００を設定するため、ユーザ１０３の手と映像表示装置１０１の距離が離れるにつれ、操作領域１７００の距離が離れ、大きさが小さくなる。

一方、図２３の操作状態２でユーザ１０３が距離Ｚ２の範囲内に位置している場合は、操作状態１と同様に透視投影の原理を用いて操作領域１７００を設定すると、操作領域１７００の大きさが小さくなりすぎてしまうため、ユーザが操作することが難しくなる。そこで、操作状態２において、ユーザ１０３が距離Ｚ２の範囲内に位置している場合は、操作領域設定部１６００において操作領域１７００を設定する際に用いる、値や数式を変更する。例えば、図２３の操作状態１においては、先に述べた透視投影の原理を用いて操作領域１７００が設定され、操作状態２においては、常に固定された所定の大きさの操作領域１７００が設定される。これにより、ユーザ１０３は、図２３の操作状態２のように、映像表示装置１０１から離れた位置で操作する場合にも、操作領域１７００の大きさが小さくなりすぎることがなく、円滑に操作を行うことができる。

なお、操作状態２において、操作領域設定部１６００は、操作状態１と同様に操作領域１７００の距離や大きさ、位置を設定し、該設定に用いる値や数式のみが異なってもよい。すなわち、操作領域１７００の距離や大きさ、位置は、前記距離Ｚ２の範囲内でのユーザ１０３の位置や手の距離に応じて変更される。これにより、ユーザ１０３には、前記距離Ｚ２の範囲内においても、操作状態１を同様の操作性が確保される。さらに、操作状態２では、前記距離Ｚ２の範囲内で設定される操作領域１７００の距離や大きさ、位置に適合するように、映像表示装置１０１に表示されるグラフィックスのサイズやデザインが変更されても良い。これにより、ユーザ１０３は、前記距離Ｚ１や距離Ｚ２での操作に適した操作を行うことができる。

このように、本発明の第六の実施例に係る入力装置１００は、映像表示装置１０１に対する、ユーザの手の距離や、ユーザの位置に応じて、操作領域１７００を設定する。これにより、ユーザは、手をかざしている位置と、映像表示装置１０１に表示される操作位置とが、ユーザの視点から見て重なるように操作することができ、ユーザが任意の手の距離で円滑に操作を行うことができる。

以上、第一の実施例ないし第六の実施例で説明してきたように、本発明の入力装置の入力方法によれば、特許文献１ないし特許文献４の従来技術とは異なり、体の位置や姿勢に関係なく、手を出したときに、手と入力装置の間の距離や、ユーザの位置に応じて、操作状態を直感的に把握でき、操作性を向上させることができる。

また、本発明の入力装置の入力方法によれば、入力装置に対する手の位置が検出される際の、基準となる位置が、ユーザの手の形状やユーザの位置に応じて動的に変更されるため、キャリブレーションのタイミングを途中で決める必用がなく、操作性を向上させることができる。

１００…入力装置、１０１…映像表示装置、１０２…センシング部、１０３…ユーザ、２００…システム制御部、２０１…信号出力部、２０２…距離検出部、２０３…上下操作検出部、６００…操作基準、１０００…撮像部、１１００…形状検出部、１２００…手の形状、１２０１…検出基準、１６００…操作領域設定部、１６０１…位置検出部、１７００…操作領域、１７０１…カーソル、１７０２…距離、２０００…ユーザ位置検出部、２１００…頭。

Claims (6)

1. ユーザの手により表示画面内で表示される操作対象を操作する入力方法であって、
   前記表示画面からユーザの手までの距離を検出するステップと、
   前記検出された距離での操作領域を設定するステップと、
   前記設定された操作領域における手の位置を算出するステップと、
   前記操作領域における手の位置に応じて表示画面内に表示される操作対象を変更する表示ステップを有することを特徴とする入力方法。
2. 前記検出された距離での操作領域は、当該検出された距離が小さくなるにつれて大きくなることを特徴とする請求項１に記載の入力方法。
3. 前記ユーザの体の一部の位置を検出するステップをさらに有し、
   前記検出された距離での操作領域を設定するステップにおいては、前記検出された体の一部の位置に応じて、前記操作領域の大きさや位置を補正することを特徴とする請求項１に記載の入力方法。
4. ユーザの手により表示画面内で表示される操作対象を操作する入力装置であって、
   前記表示画面からユーザの手までの距離を検出するセンサと、
   前記センサで検出された距離での操作領域を設定し、設定された操作領域のおける手の位置を算出し、前記操作領域における手の位置に応じて表示画面内に表示される操作対象を変更する制御部を備えることを特徴とする入力装置。
5. 前記センサで検出された距離での操作領域は、当該検出された距離が小さくなるにつれて大きくなることを特徴とする請求項４に記載の入力装置。
6. 前記制御部は、さらに、前記ユーザの体の一部の位置を検出し、前記検出された体の一部の位置に応じて、前記操作領域の大きさや位置を補正することを特徴とする請求項４に記載の入力装置。

Images